Extraction de sous-titres

Utilisez ce workflow pour créer des fichiers de sous-titres à partir d’une vidéo. Weydub prend en charge deux méthodes d’extraction :

• OCR pour extraire les sous-titres incrustés déjà visibles dans l’image vidéo.
• ASR pour extraire les dialogues prononcés dans la piste audio.

Vous souhaitez vérifier la qualité du résultat avant de générer les fichiers ? Essayez le workflow web Weydub correspondant : Générer des sous-titres.

Pour une explication au niveau système de l’OCR vidéo temporel, du filtrage du texte des scènes et de la segmentation ASR prête pour les sous-titres, consultez Génération de sous-titres par IA avec OCR vidéo et ASR.

Point de terminaison

POST /v-w-c/gateway/ve/work/free

L’extraction des sous-titres est asynchrone. Enregistrez body.idProject et body.dataList[].id, puis utilisez le modèle de tâche asynchrone pour l’interrogation, les rappels, le comportement en cas de nouvelle tentative et la signature des rappels.

Accès et limites

Choisir OCR ou ASR

N’utilisez pas OCR pour transcrire des vidéos contenant uniquement de la parole. N’utilisez pas ASR pour lire des sous-titres incrustés dans une vidéo silencieuse.

Charge utile d’extraction des sous-titres OCR

Utilisez OCR lorsque les sous-titres sont déjà incrustés dans l’image vidéo.

{
  "urls": ["https://example.com/video.mp4"],
  "needChineseOcclude": 14,
  "videoInpaintLang": "en",
  "lang": "en",
  "videoInpaintMasks": "[{\"type\":\"trans_only_ocr\",\"region\":[[0,0.8],[1,0.8],[1,1],[0,1]]}]",
  "extraOptions": "{\"extra_inpaint_config\":{\"auto_correct_on\":false,\"strip_last_punct_on\":true,\"scene_filter_on\":false}}",
  "callback": "https://your-domain.example/webhooks/weydub"
}

Remarques :

• needChineseOcclude doit être 14.
• videoInpaintMasks est requis pour l’extraction OCR et doit être une chaîne JSON compacte avant la signature.
• type doit être trans_only_ocr.
• Définissez lang sur videoInpaintLang lorsqu’aucune traduction n’est nécessaire.
• Les coordonnées sont normalisées de 0 à 1, dans l’ordre suivant : coin supérieur gauche, coin supérieur droit, coin inférieur droit, coin inférieur gauche.

Masques OCR

Utilisez un ou plusieurs masques lorsque la zone visible des sous-titres est connue. Les masques limités dans le temps permettent d’éviter d’extraire comme dialogues des indices narratifs temporaires ou du texte d’enregistrement.

Régions courantes :

OCR Options

extraOptions.extra_inpaint_config permet d’ajuster le nettoyage de OCR :

Conservez extraOptions sous la forme d’une chaîne JSON compacte pour les charges utiles API publiques, sauf indication contraire dans le contrat de votre compte.

ASR Charge utile d’extraction de sous-titres

Utilisez ASR lorsque la vidéo contient des paroles et que vous avez besoin d’une transcription horodatée.

{
  "urls": ["https://example.com/video.mp4"],
  "needWanyin": 1,
  "sourceLang": "en",
  "lang": "en",
  "wyTaskType": "ONLY_ASR",
  "needWyEdit": 0,
  "wyNeedText": 0,
  "extraOptions": "{\"asr_speaker_detect_on\":true,\"extra_video_translate_config\":{\"remove_last_punct_on\":true}}",
  "callback": "https://your-domain.example/webhooks/weydub"
}

Remarques :

• wyTaskType doit être ONLY_ASR.
• wyNeedText: 0 signifie qu’il ne faut pas incruster les sous-titres dans une nouvelle vidéo.
• needWyEdit: 0 désactive la modification manuelle et le mode brouillon professionnel pour cette tâche d’extraction.
• sourceLang est la langue parlée. lang est la langue de sortie des sous-titres ; utilisez le même code lorsqu’aucune traduction n’est nécessaire.

ASR Options

Paramètres

Sorties

Les tâches d’extraction réussies peuvent renvoyer :

• srcSrtUrl
• tgtSrtUrl
• processStatus
• processProgress
• paidPoint
• métadonnées de la tâche dans l’élément de travail renvoyé

L’extraction de OCR et de ASR ne nécessite pas de générer une nouvelle vidéo. Interrogez l’API jusqu’à processStatus === 1 avant de lire srcSrtUrl ou tgtSrtUrl.

Les callbacks envoient directement la charge utile de l’élément de travail, sans l’enveloppe externe code / msg / body utilisée par les réponses aux interrogations.

Notes de l’agent

• Choisissez OCR pour le texte des sous-titres incrustés dans la vidéo ; choisissez ASR pour les dialogues parlés.
• Conservez videoInpaintMasks et extraOptions sous une forme compacte et sérialisée en chaîne avant de les signer.
• N’envoyez pas les tableaux de masques OCR en tant que tableaux natifs, sauf si le contrat de votre compte le prévoit.
• Utilisez la requête d’énumération (POST /v-w-c/enum/query2) pour récupérer la prise en charge actuelle de sourceLang et de Lang ; ce point de terminaison d’énumération ne nécessite pas de signature.
• Interrogez l’API jusqu’à ce que processStatus soit 1 avant de lire srcSrtUrl ou tgtSrtUrl.
• Stockez les fichiers de sous-titres avant le nettoyage lié à la durée de conservation.