Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

マルチエンジンのドキュメントを追加してとりあえず対応エンジンを作成可能にする #657

Merged
merged 2 commits into from
Apr 9, 2023
Merged

マルチエンジンのドキュメントを追加してとりあえず対応エンジンを作成可能にする #657

Changes from all commits
Commits
Show all changes
2 commits
Select commit Hold shift + click to select a range
a0da6a5
マルチエンジンのドキュメントを追加してとりあえず作成可能にする
Hiroshiba Apr 8, 2023
388ffa0
クエリ
Hiroshiba Apr 8, 2023
File filter

Filter by extension

Filter by extension
Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
28 changes: 19 additions & 9 deletions README.md
View file
Open in desktop
Original file line number Diff line number Diff line change
Expand Up @@ -501,31 +501,41 @@ python -c "import pyopenjtalk; pyopenjtalk.create_user_dict('default.csv','user.
VOICEVOX エディターでは、複数のエンジンを同時に起動することができます。
この機能を利用することで、自作の音声合成エンジンや既存の音声合成エンジンを VOICEVOX エディター上で動かすことが可能です。

<img src="./docs/res/マルチエンジン概念図.svg" width="320">

<details>

### マルチエンジン機能の仕組み

VOICEVOX API に準拠した複数のエンジンを統一的に扱います。それぞれのエンジンは EngineID で管理されます。

<img src="./docs/res/マルチエンジン概念図.svg" width="320">
VOICEVOX API に準拠した複数のエンジンの Web API をポートを分けて起動し、統一的に扱うことでマルチエンジン機能を実現しています。
エディターがそれぞれのエンジンを実行バイナリ経由で起動し、EngineID と結びつけて設定や状態を個別管理します。

### マルチエンジン機能への対応方法

VOICEVOX API に準拠することで対応が可能です。
API のうちどのエンドポイントに対応すればよいかはまだ明確に定めていませんが、基本的にこの VOICEVOX ENGINE リポジトリを fork し、一部の機能を改造することでの開発をおすすめします。
VOICEVOX API 準拠エンジンを起動する実行バイナリを作ることで対応が可能です。
VOICEVOX ENGINE リポジトリを fork し、一部の機能を改造するのが簡単です。

改造すべき点はエンジン情報・キャラクター情報・音声合成の３点です。
Hiroshiba marked this conversation as resolved.
Show resolved Hide resolved

エンジンの情報はエンジンマニフェスト（`engine_manifest.json`）で管理されています。
マニフェストファイル内の情報を見て適宜変更してください。

音声合成エンジンによっては、例えばモーフィング機能など、VOICEVOX と同じ機能を持つことができない場合があります。
音声合成手法によっては、例えばモーフィング機能など、VOICEVOX と同じ機能を持つことができない場合があります。
その場合はマニフェストファイル内の`supported_features`内の情報を適宜変更してください。

キャラクター情報は`speaker_info`ディレクトリ内のファイルで管理されています。
ダミーのアイコンなどが用意されているので適宜変更してください。

音声合成は`voicevox_engine/synthesis_engine/synthesis_engine.py`で行われています。
VOICEVOX API での音声合成は、エンジン側で音声合成クエリ`AudioQuery`の初期値を作成してユーザーに返し、ユーザーが必要に応じてクエリを編集したあと、エンジンがクエリに従って音声合成することで実現しています。
クエリ作成は`/audio_query`エンドポイントで、音声合成は`/synthesis`エンドポイントで行っており、最低この２つに対応すれば VOICEVOX API に準拠したことになります。

### マルチエンジン機能対応エンジンの配布方法

VVPP ファイルとして配布するのがおすすめです。
VVPP は「VOICEVOX プラグインパッケージ」の略で、ビルドしたエンジンをディレクトリごと Zip 化して拡張子を`.vvpp`に変更したものです。
VVPP は「VOICEVOX プラグインパッケージ」の略で、中身はビルドしたエンジンなどを含んだディレクトリの Zip ファイルです。
拡張子を`.vvpp`にすると、ダブルクリックで VOICEVOX エディターにインストールできます。

VOICEVOX エディターは VVPP をローカルディスク上に展開したあと、ルートの直下にある`engine_manifest.json`に従ってファイルを探査します。
エディター側は受け取った VVPP ファイルをローカルディスク上に Zip 展開したあと、ルートの直下にある`engine_manifest.json`に従ってファイルを探査します。
VOICEVOX エディターにうまく読み込ませられないときは、エディターのエラーログを参照してください。

また、`xxx.vvpp`は分割して連番を付けた`xxx.0.vvppp`ファイルとして配布することも可能です。
Expand Down