VideoLingo est un outil tout-en-un de traduction et de doublage pour vidéos, visant à produire des sous-titres de qualité Netflix, à éliminer les traductions mécaniques rigides et les sous-titres sur plusieurs lignes, tout en ajoutant un doublage de haute qualité. Il permet de partager des connaissances au-delà des barrières linguistiques à travers le monde. Grâce à une interface web intuitive Streamlit, vous pouvez accomplir tout le processus, depuis le lien vidéo jusqu'à l'intégration de sous-titres bilingues de haute qualité et même le doublage, en quelques clics, créant facilement des vidéos localisées de qualité Netflix.
Caractéristiques principales et fonctionnalités : - 🎥 Utilise yt-dlp pour télécharger des vidéos depuis des liens YouTube
-
🎙️ Utilise WhisperX pour une reconnaissance des sous-titres au niveau des mots
-
📝 Utilise le NLP et GPT pour segmenter les sous-titres en fonction du sens des phrases
-
📚 GPT résume et extrait une base de connaissances terminologiques pour une traduction contextualisée
-
🔄 Traduction en trois étapes (directe, réflexion et paraphrase), rivalisant avec la qualité de traduction professionnelle
-
✅ Vérifie la longueur d'une seule ligne selon les normes Netflix, évitant strictement les sous-titres en double ligne
-
🗣️ Utilise des méthodes comme GPT-SoVITS pour un doublage aligné de haute qualité
-
🚀 Lancement d'un package intégré en un clic, production de vidéos en un clic via Streamlit
-
📝 Journalisation détaillée de chaque étape d'opération, avec support de reprise en cas d'interruption
-
🌐 Support multilingue complet, permettant une localisation vidéo dans plusieurs langues
ru_demo.mp4
sovits.mp4
fishttsdemo.mp4
OAITTS.mp4
Langues d'entrée actuellement supportées et exemples :
Langue d'entrée Niveau de support Démo de traduction Démo de doublage Anglais 🤩 Anglais vers chinois À venir Russe 😊 Russe vers chinois À venir Français 🤩 Français vers japonais À venir Allemand 🤩 Allemand vers chinois À venir Italien 🤩 Italien vers chinois À venir Espagnol 🤩 Espagnol vers chinois À venir Japonais 😐 Japonais vers chinois À venir Chinois* 🤩 Chinois vers anglais Talk-show du professeur Luo Xiang *Le chinois nécessite une configuration séparée du modèle whisperX, voir l'installation à partir du code source
Le support des langues de traduction couvre toutes les langues gérées par le grand modèle linguistique, tandis que le support des langues pour le doublage dépend de la méthode TTS choisie.
- Le package intégré utilise la version CPU de torch, d'une taille d'environ 2,6G.
- Lors de l'utilisation de UVR5 pour la séparation des voix dans l'étape de
-