Skip to content

Latest commit

 

History

History
173 lines (130 loc) · 11.4 KB

README.jpn.md

File metadata and controls

173 lines (130 loc) · 11.4 KB

Voice-Pro: The best gradio web-ui for transcription, translation and text-to-speech 🔊

🌍 한국어 ∙ English ∙ 中文简体 ∙ 中文繁體 ∙ 日本語

GitHub License GitHub Release

Voice-Proは、文字起こし、翻訳、テキスト読み上げのための最高のgradio web-uiです。 ワンクリックで簡単にインストールできます。Minicondaを使用して仮想環境を作成し、Windowsシステムとは完全に分離して実行します（完全にポータブル）。リアルタイムの文字起こしと翻訳、およびバッチモードをサポートしています。

  • YouTubeダウンローダー: YouTubeの動画をダウンロードし、音声を抽出できます（mp3、wav、flac）。
  • ボーカルリムーバー: UVR5でサポートされているMDX-NetとMetaが開発したDemucsエンジンを使用して音声分離を行います。
  • STT: Whisper、Faster-Whisper、whisper-timestampedを使用して音声からテキストへの変換をサポートします。
  • 翻訳: Google翻訳を使用します。
  • TTS: テキスト読み上げ。Edge TTSを使用します。
  • その他...

🚄 実行画面

voice-pro-demo-v1.5.7-hevc-720p.mp4

⭐ 主な機能

  • Studioタブ
    • YouTubeダウンローダ、ノイズ除去、字幕、翻訳、TTS統合環境で提供
    • ffmpegがサポートするすべてのビデオ/オーディオフォーマットが利用可能
    • 出力オーディオフォーマット（wav、flac、mp3）選択可能
    • 100言語の音声認識、字幕生成
    • PC性能に合わせた字幕生成オプションを選択可能(Whisper Model & Compute Type)
    • 100以上の言語への翻訳とTTSによる音声生成
    • オリジナル映像のBGMと効果音を多言語映像でもそのまま維持
    • TTS音声の速度、音量、ピッチ調整をサポート

  • Whisper字幕タブ

    • 字幕作成専用タブ。 90以上の言語をサポート
    • 映像とともに生成された字幕表示
    • World-Level Highlight機能を提供
    • Denoise機能を提供(1-Demucs、2-MDXNet)

  • 翻訳タブ

    • 翻訳専用タブ。 100以上の言語をサポート
    • 字幕ファイル（ass、ssa、srt、mpl2、tmp、vtt、microdvd、json）をサポート
    • テキスト直接入力も可能
    • アップロードしたファイルの言語を自動的に検出

  • TTSタブ

    • TTS専用タブ。 100以上の言語、400以上のボイスをサポート
    • 字幕ファイル（ass、ssa、srt、mpl2、tmp、vtt、microdvd、json）をサポート
    • テキスト直接入力も可能
    • アップロードしたファイルの言語を自動的に検出
    • ピッチ、音量、速度調整可能

  • Live Translationタブ

    • リアルタイム音声認識＆翻訳サポート
    • Mic、Speakerなどのオーディオ入力ソースを選択可能
    • キャプチャされたオーディオ、認識された字幕、翻訳された字幕保存機能を提供

  • Batchタブ

    • 大量のファイルのバッチ処理
    • 字幕、翻訳、TTS

💻 実行環境

  • OS: Windows 10/11（64ビット）※ LinuxとMac OSはサポートされていません。
  • GPU: CUDA 12.1をサポートするNVIDIAグラフィックカードを推奨。
  • VRAM: 4GB以上。8GB以上を推奨。
  • RAM: 4GB以上
  • HDD: インストール時に少なくとも20GBの空き容量が必要
  • インターネット接続が必要（インストールと翻訳作業）

📀 インストール

Voice-Proはワンクリックで簡単にインストールできます。🚀configure.batと🚀start.batを実行するだけです。

ステップ1. パッケージの準備

  • A. 有料版
    • USBに含まれる圧縮ファイル（voice-pro-x.zip）をコンピューターの適切な場所に解凍します。
    • または、すでに解凍されているフォルダ（voice-pro-x）をコンピューターの適切な場所にコピーします。
  • B. 無料版
    • GitHub Releaseから最新リリース（Source code (zip)）をクローンまたはダウンロードします。

ステップ2. プログラムのインストールと実行

  1. 🚀 configure.batを実行
    • Windows上にgit、ffmpeg、CUDA（NVIDIAのGPUを使用する場合）をインストールします。
    • 初回のみ実行する必要があります。
    • インターネット接続が必要で、システムによっては1時間以上かかる場合があります。
    • インストール中はWindows-Commandウィンドウを絶対に閉じないでください。
  2. 🚀 start.batを実行
    • Voice-Proを起動します。Web-UIが自動的に実行されます。
    • 初回実行時は、まずVoice-Proがインストールされます。
    • インターネット接続が必要で、システムによっては1時間以上かかる場合があります。
    • インストール中はWindows-Commandウィンドウを絶対に閉じないでください。
    • インストール中に問題が発生した場合は、installer_filesフォルダを削除し、start.batを再度実行してください。

ステップ3. プログラムのアンインストール

  • uninstall.batを実行:
    • installer_filesフォルダを削除します。
    • Windows上にインストールされたffmpeg、git、CUDAパッケージを削除します（選択した場合）。
  • Voice-Proは標準でポータブルインストールです。プログラムをアンインストールするには、インストールフォルダを削除するだけで十分です。

❓ヒントとコツ

ブラウザが自動的に起動しない場合

CUDA Out-Of-Memoryエラーが発生した場合

  • WindowsタスクマネージャーのパフォーマンスタブでGPUメモリの状態を確認してください。
  • ノイズ除去レベルを0または1に設定してください。ノイズ除去レベル2には少なくとも8GBのGPUメモリが必要です。
  • Compute Typeをintタイプに設定してください。floatタイプは品質が良いですが、より多くのGPUメモリを必要とします。

字幕の品質を向上させるには？

  • 字幕の品質は、より大きなWhisperモデルで向上する傾向がありますが、必ずしもそうではありません。large > medium > small > base > tiny
  • Compute Typeの中では、floatタイプのパフォーマンスが良いです。intタイプはモデル量子化によってGPU使用量を減らし、速度を上げるモデルです。一方で、パフォーマンスは低下します。
  • ノイズ除去レベルを上げると、より多くのバックグラウンドサウンドが除去され、残った音声のみが音声認識に使用されます。必ずしも良い結果を保証するものではありません。

📢 注意

Windows Defenderは信頼できないアプリケーションに関する警告を表示し、Voice-Proのさらなる実行を許可しない場合があります。 SmartScreenのセキュリティレベルが「警告」に設定されている場合は、「詳細情報」をクリックし、その後「続行」をクリックしてください。 SmartScreenが「ブロック」に設定されている場合、インストールを実行するボタンは表示されません。この場合、start.batファイルのプロパティを開き、「ブロック解除」をチェックし、変更を適用してからstart.batを再度実行してください。

Windows Defenderがバッチファイルを誤ってトロイの木馬と認識した場合、これは「誤検出」と呼ばれることがよくあります。この問題を解決するには、以下の手順を行うことができます：

  1. ファイルの例外処理：Windows Defenderで、特定のファイルやプロセスをセキュリティスキャンの対象から除外するように設定できます。そのためには、以下の手順に従ってください：
    • 「スタート」ボタンをクリックし、「設定」に進みます。
    • 「更新とセキュリティ」をクリックします。
    • 「Windowsセキュリティ」を選択し、「ウイルスと脅威の防止」に進みます。
    • 「ウイルスと脅威の防止の設定を管理する」をクリックします。
    • 「ウイルスと脅威の防止の設定」で「除外を追加または削除」を選択します。
    • 「ファイルまたはフォルダー」を選択し、問題のバッチファイルを見つけて例外として追加します。
  2. Windows Defenderを一時的に無効にする：これは一時的な解決策かもしれません。ただし、この方法を使用する場合は、コンピューターが他の脅威にさらされる可能性があるため、注意が必要です。
  3. 問題をアンチウイルスソフトウェアに報告する：ファイルがトロイの木馬でないことが確実な場合、誤検出としてMicrosoftに報告することができます。Microsoftはこれをレビューし、必要な対応を取ります。

📬 お問い合わせ

👍 YouTube

🙏 Credits

©️ 著作権

by ABUS