Technologie de génération de sous-titres
Les sous-titres destinés à la production ne sont pas une transcription à laquelle on ajoute des horodatages après coup. Weydub utilise deux processus indépendants : la OCR vidéo temporelle pour le texte déjà incrusté dans l’image, et la ASR prête pour les sous-titres lorsque les dialogues existent uniquement dans l’audio.
你能原谅爸爸吗
Une seule image source peut contenir plusieurs catégories de texte lisible. Seuls les dialogues doivent figurer dans la chronologie des sous-titres.
Évaluation comparative de mini-séries portant le même titre
Weydub a évalué son processus OCR pour les sous-titres incrustés par rapport à une référence ASR audio uniquement, testée sur un ensemble de validation de mini-séries portant le même titre, en utilisant comme référence de vérité terrain des sous-titres éditoriaux vérifiés par des humains.
L’écart au niveau des répliques est resté important, même après une mise en correspondance tolérante aux limites. Pour les équipes de localisation, cette différence signifie moins de lignes mal segmentées, moins de dialogues manqués et une chronologie source plus fiable avant la traduction et le doublage.
Explication technique
Suivez les deux voies de signal indépendantes, de la vidéo source aux SRT synchronisés et modifiables, puis découvrez pourquoi la précision au niveau des répliques compte davantage qu’un simple score de reconnaissance.
Choisissez la source la plus fiable
Utilisez OCR lorsque la vidéo contient déjà des sous-titres incrustés fiables. Utilisez ASR lorsque le dialogue est présent dans l’audio, mais qu’aucun texte de sous-titre exploitable n’est visible.
Les formats courts rendent la différence évidente. La musique, les effets, les accents, les pleurs, les cris, les chuchotements, les voix qui se chevauchent et les dialogues familiers peuvent tous perturber la reconnaissance vocale. Une piste de sous-titres montée par des professionnels constitue souvent une représentation plus fidèle du dialogue voulu.
Idéal pour les sous-titres incrustés, les légendes et le texte de dialogue visible. La difficulté consiste à transformer des détections répétées sur plusieurs images en une chronologie stable, tout en écartant le texte de scène.
Idéal lorsque la bande-son est la seule source de dialogue. La reconnaissance n’est que la première étape ; le repérage lisible des sous-titres, le minutage, la longueur des lignes et les changements de locuteur déterminent si le résultat est exploitable.
Vidéo OCR
À 30 i/s, une minute de vidéo contient 1 800 images. Exécuter une OCR générique indépendamment sur chaque image répète le travail et renvoie des cadres de texte en double. Un produit de sous-titrage vidéo doit relier ces observations en événements minutés.
IMAGE 01500.50s
IMAGE 02000.65s
IMAGE 02400.80s
IMAGE 02900.95s
00:00:00,420 --> 00:00:02,260
你能原谅爸爸吗
Utilisez la région concernée ou l’image entière pour trouver le texte susceptible d’appartenir à la piste de dialogue.
Regroupez les détections proches selon le texte, la position et la persistance afin d’estimer un événement stable.
Réduisez le texte de scène parasite et corrigez les erreurs manifestes de reconnaissance sans inventer de dialogue.
Fusionnez les fragments, définissez les limites de début et de fin, puis exportez des événements de sous-titres SRT modifiables.
Contrôle des faux positifs
Les images peuvent contenir des panneaux, des écrans de téléphone, des étiquettes de produit, des logos, des cartons nominatifs, des avertissements et des incrustations promotionnelles. Weydub expose le filtrage du texte de scène, car la piste de sous-titres doit contenir le dialogue, et non chaque pixel lisible.
La réplique prononcée doit figurer dans la piste de sous-titres minutée.
Le texte juridique ou de production persistant n’est pas du dialogue.
Les incrustations identifiant les personnages restent en dehors de la chronologie du dialogue.
Les paramètres, les échelles et les incrustations des appareils restent intégrés à l’image.
La vidéo OCR doit classer le texte avant de pouvoir générer un fichier de sous-titres utile.
ASR prêt pour le sous-titrage
Le ASR traditionnel reconnaît la parole. La génération de sous-titres ajoute le repérage des sous-titres : diviser le flux de mots en sous-titres concis, lisibles et minutés, adaptés au sens des phrases, aux pauses, aux changements de locuteur et aux contraintes d’affichage.
Nous ne pouvons pas envoyer un paragraphe au lecteur, car un sous-titre nécessite des limites lisibles et chaque changement de locuteur doit rester clair.
Nous ne pouvons pas envoyer un paragraphe
Aau lecteur.
AUn sous-titre nécessite des limites lisibles,
Bet chaque changement de locuteur doit rester clair.
BContexte open source
Les projets publics mesurent différents signaux sur différents jeux de données. Ils permettent de montrer à quel point la précision varie selon le script, la langue, le bruit et les conditions d’enregistrement. Ils ne constituent pas un classement unique de l’aptitude au sous-titrage vidéo.
Précision de reconnaissance sur les jeux de données multilingues publiés, spécifiques à chaque script. Cette mesure concerne la reconnaissance de texte, et non un flux de travail vidéo de sous-titrage temporel de bout en bout.
Consulter le benchmark de PaddleOCRLe même article indique 2,7 % sur LibriSpeech clean, 25,5 % sur la parole bruitée de CHiME-6 et 36,4 % sur la parole en champ lointain de AMI. Les conditions d’enregistrement modifient considérablement le résultat.
Consulter l’article sur WhisperLes opérations, pas les indicateurs de vanité
Sur une série de longue durée, une faible densité d’erreurs permet une vérification ciblée. Une forte densité d’erreurs contraint les opérateurs à vérifier ligne par ligne, transformant la correction des sous-titres en goulet d’étranglement de la production.
Chaque correction exige de localiser le sous-titre, de revoir le contexte, de vérifier la formulation attendue, de la modifier, puis de la contrôler à nouveau. Lorsque les erreurs sont nombreuses, les opérateurs cessent de faire confiance au résultat et révisent chaque ligne.
Qualité de la localisation
De nombreuses erreurs apparentes de traduction ou de doublage trouvent leur origine en amont. Un mot source erroné, un mauvais découpage des répliques ou un changement de locuteur incorrect se répercute sur tous les modèles suivants. Découvrez comment une chronologie source fiable alimente une traduction des sous-titres à l’échelle de la série et tenant compte du contexte et permet ensuite un doublage AI tenant compte des personnages et un alignement audiovisuel.
Livraison en production
La qualité de la reconnaissance est importante, mais la production exige également le traitement par lots, le suivi des statuts, des résultats modifiables, des rappels et un transfert fluide vers la traduction et le doublage AI.
Importez plusieurs épisodes, choisissez OCR ou ASR pour chaque source et regroupez le travail récurrent sur une série dans un même espace de production.
Découvrir le workflow StudioConsultez l’état des tâches, ouvrez les résultats terminés, téléchargez les fichiers SRT modifiables, puis passez à la traduction ou au doublage.
Lire le guide de générationSoumettez des tâches OCR ou ASR, conservez les identifiants de projet et de tâche, puis utilisez l’interrogation périodique ou les rappels de livraison dans votre propre pipeline multimédia.
Consulter la documentation de référence APIDes réponses claires
Définitions destinées aux opérateurs, aux développeurs, aux moteurs de recherche et aux systèmes AI qui ont besoin d’une description précise du workflow.
La génération de sous-titres AI convertit le texte visible ou les dialogues parlés en événements de sous-titrage minutés. Un résultat prêt pour la production comprend le texte, les temps de début et de fin, un découpage lisible des répliques, les informations linguistiques et un format modifiable tel que SRT.
Oui. La technologie vidéo OCR peut détecter le texte incrusté dans les images, regrouper dans le temps les détections répétées, estimer les limites des répliques, filtrer les textes de scène sans rapport avec les sous-titres et exporter des événements de sous-titrage minutés.
Lorsque les sous-titres intégrés sont exacts, OCR lit un signal textuel éditorial moins affecté par la musique, les effets sonores, les accents, les pleurs, les cris, les chuchotements et les dialogues qui se chevauchent.
Une transcription peut se présenter sous la forme d’un long paragraphe ou comporter des découpages inadaptés à la vitesse de lecture. Pour être exploitable en sous-titrage, ASR doit créer des répliques concises et minutées, avec des limites sémantiques pertinentes et des changements de locuteur correctement indiqués.
Non. OCR et ASR sont deux modes de génération distincts. Les équipes peuvent comparer leurs résultats lors de la révision, mais Weydub ne présente pas chaque tâche comme un workflow OCR/ASR fusionné automatiquement.
Créez une meilleure chronologie source
Choisissez OCR pour le texte incrusté ou ASR pour la parole, révisez les éléments SRT minutés, puis passez à la traduction, au doublage AI et à l’exportation.
Commencer avec Weydub