複数エンジン対応: すべてのエンジンからキャラクター情報を取得する #883

Hiroshiba · 2022-08-03T16:22:46Z

内容

このPRでは、エディタ起動時にすべてのエンジンからキャラクター情報を取得するようにします。

その影響で変更される箇所の一覧です。

AudioCellのキャラクター一覧
- アイコン・キャラクター名の表示
- 音声合成
- 立ち絵・キャラクター名の表示
デフォルトスタイル
キャラクター並び替え・試聴
キャラクターライセンスの表示
プロジェクトファイルのマイグレーション

動作確認手順

COEIROINK 1.0.1のwindowsビルドをダウンロードした後、.envをこんな感じにして起動してください。

NODE_ENV=development
DEFAULT_ENGINE_INFOS=`[
    {
        "uuid": "074fc39e-678b-4c13-8916-ffca8d505d1d",
        "executionEnabled": true,
        "executionFilePath": "C:/path/to/voicevox_engine/run.exe",
        "host": "http://127.0.0.1:50021"
    },
    {
        "uuid": "d9212658-962f-4918-80b2-310b7de70c41",
        "executionEnabled": true,
        "executionFilePath": "C:/path/to/coeiroink_engine/run.exe",
        "host": "http://127.0.0.1:50031"
    }
]`
VUE_APP_GTM_CONTAINER_ID=GTM-DUMMY

スクリーンショット・動画など

その他

このPRは、こちらのPRの置き換えになります。
相当な修正範囲にもかかわらず良い感じに動いているのは、僕ではなく @aoirint さんの努力によるものです。本当にありがとうございます。

Segu-g

コードが大きいので全部見れているか不安ですが一応見てみました。
userOrderedCharacterInfosやdefaultStyleIDsなどにおけるキャラクター重複時の操作が怪しくなりそうに感じました。恐らくまだCharacterが複数のエンジンで重複した際のUIもないので、そうであれば別PRで作成するのも手だと思います。

src/store/audio.ts

src/components/AudioCell.vue

shirowanisan · 2022-08-21T02:52:18Z

仕様なら問題ないですが、過去プロジェクトファイルがEvery audioItem should have a "engineId" attribute.により、互換がなくなりそうです。
また、互換をなくすならば、これを機にプロジェクトファイルにキャラクターUUIDを含めた方が良いように思いました

{"appVersion":"999.999.999","audioKeys":["7aec337d-3e3d-4bc1-b816-c0bf7b36fac7"],"audioItems":{"7aec337d-3e3d-4bc1-b816-c0bf7b36fac7":{"text":"今日はいい天気ですね","engineId":"d9212658-962f-4918-80b2-310b7de70c41","styleId":30,"query":{"accentPhrases":[{"moras":[{"text":"キョ","consonant":"ky","consonantLength":0,"vowel":"o","vowelLength":0,"pitch":0},{"text":"オ","vowel":"o","vowelLength":0,"pitch":0},{"text":"ワ","consonant":"w","consonantLength":0,"vowel":"a","vowelLength":0,"pitch":0}],"accent":1,"isInterrogative":false},{"moras":[{"text":"イ","vowel":"i","vowelLength":0,"pitch":0},{"text":"イ","vowel":"i","vowelLength":0,"pitch":0}],"accent":1,"isInterrogative":false},{"moras":[{"text":"テ","consonant":"t","consonantLength":0,"vowel":"e","vowelLength":0,"pitch":0},{"text":"ン","vowel":"N","vowelLength":0,"pitch":0},{"text":"キ","consonant":"k","consonantLength":0,"vowel":"i","vowelLength":0,"pitch":0},{"text":"デ","consonant":"d","consonantLength":0,"vowel":"e","vowelLength":0,"pitch":0},{"text":"ス","consonant":"s","consonantLength":0,"vowel":"U","vowelLength":0,"pitch":0},{"text":"ネ","consonant":"n","consonantLength":0,"vowel":"e","vowelLength":0,"pitch":0}],"accent":1,"isInterrogative":false}],"speedScale":1,"pitchScale":0,"intonationScale":1,"volumeScale":1,"prePhonemeLength":0.1,"postPhonemeLength":0.1,"outputSamplingRate":44100,"outputStereo":false,"kana":""}}}}

shirowanisan · 2022-08-21T02:53:19Z

起動しての動作確認は、一通りの操作を行いましたが、問題なさそうでした。

コードは全体を見ましたが、type script初心者の自分には、ちゃんとしたレビューは難しそうでした。
すみませんが「ざっくり見た形では問題なさそう」という形のレビューとさせていただければ幸いです。

src/store/project.ts

Segu-g · 2022-08-21T03:17:02Z

仕様なら問題ないですが、過去プロジェクトファイルがEvery audioItem should have a "engineId" attribute.により、互換がなくなりそうです。また、互換をなくすならば、これを機にプロジェクトファイルにキャラクターUUIDを含めた方が良いように思いました

{"appVersion":"999.999.999","audioKeys":["7aec337d-3e3d-4bc1-b816-c0bf7b36fac7"],"audioItems":{"7aec337d-3e3d-4bc1-b816-c0bf7b36fac7":{"text":"今日はいい天気ですね","engineId":"d9212658-962f-4918-80b2-310b7de70c41","styleId":30,"query":{"accentPhrases":[{"moras":[{"text":"キョ","consonant":"ky","consonantLength":0,"vowel":"o","vowelLength":0,"pitch":0},{"text":"オ","vowel":"o","vowelLength":0,"pitch":0},{"text":"ワ","consonant":"w","consonantLength":0,"vowel":"a","vowelLength":0,"pitch":0}],"accent":1,"isInterrogative":false},{"moras":[{"text":"イ","vowel":"i","vowelLength":0,"pitch":0},{"text":"イ","vowel":"i","vowelLength":0,"pitch":0}],"accent":1,"isInterrogative":false},{"moras":[{"text":"テ","consonant":"t","consonantLength":0,"vowel":"e","vowelLength":0,"pitch":0},{"text":"ン","vowel":"N","vowelLength":0,"pitch":0},{"text":"キ","consonant":"k","consonantLength":0,"vowel":"i","vowelLength":0,"pitch":0},{"text":"デ","consonant":"d","consonantLength":0,"vowel":"e","vowelLength":0,"pitch":0},{"text":"ス","consonant":"s","consonantLength":0,"vowel":"U","vowelLength":0,"pitch":0},{"text":"ネ","consonant":"n","consonantLength":0,"vowel":"e","vowelLength":0,"pitch":0}],"accent":1,"isInterrogative":false}],"speedScale":1,"pitchScale":0,"intonationScale":1,"volumeScale":1,"prePhonemeLength":0.1,"postPhonemeLength":0.1,"outputSamplingRate":44100,"outputStereo":false,"kana":""}}}}

このプロジェクトファイルは開発版でappVersion: 999.999.999になっていますが実際の製品版のプロジェクトファイルではappVersionが0.14未満となるはずなので上のマイグレーション処理でエンジンがVOICEVOX版のものに変更されるはずです。

shirowanisan · 2022-08-21T05:21:54Z

実際の製品版のプロジェクトファイルではappVersionが0.14未満となるはずなので上のマイグレーション処理でエンジンがVOICEVOX版のものに変更されるはずです。

すみません、試してみたら確かにそうでした！ご指摘ありがとうございます...!!!

Hiroshiba · 2022-08-21T16:55:17Z

@shirowanisan

また、互換をなくすならば、これを機にプロジェクトファイルにキャラクターUUIDを含めた方が良いように思いました

なるほどです！！たしかに、speakerIdを保存しておくようにすると、将来的に良い気がしました。
いったんこのPRではFIXMEコメントを残すだけにしても良いでしょうか。
また、タスクリストにAudioItemにSpeakerIdを追加するを追加し、engineId, speakerId, styleIdで声を一意に定めようとする方針を追記しました！

いったんこんな感じでどうでしょうか 👀

Hiroshiba · 2022-08-21T16:57:39Z

レビューありがとうございます、とても助かります！！
指摘いただいた箇所を修正or FIXME コメントを追記してみました。
また見て頂けるととても心強いです 🙇‍♂️

shirowanisan · 2022-08-22T02:59:11Z

@Hiroshiba

なるほどです！！たしかに、speakerIdを保存しておくようにすると、将来的に良い気がしました。

設計方針確認しました。自分からはLGTMです…!!!

Segu-g

コードについてはLGTMです！

方針についてはstyleIdはその型がnumberである以上意図しない重複の可能性があるため、styleIdとは別にstyleごとに固有なUUIDのstyleUUIDを用いたいです。
プロジェクトファイルに保存するものは{ engineId, speakerUUID, styleUUID, styleVersion?} (生成される音声がcoreに依存するならengineIdはいらない)　にしておきたいです。
エンジンのspeaker_infoに入っているstyleInfoには現在styleUUIDは入っていないので変更する必要がありますが、その他の変更はUI側でCharacterのStoreを作ることで吸収できます。

Hiroshiba · 2022-08-22T19:14:24Z

@Segu-g
styleUuidが良い旨、おっしゃるとおりだと思います。
方針としては、Uuidがあるべき姿ということにして、そこを目指せると嬉しそうです。
（ということを設計方針.mdに追記しました！）

Hiroshiba · 2022-08-22T19:15:55Z

@aoirint さん
おふたりからLGTM頂いたのでマージしたいなと考えているのですが、今レビュー中だったりされますか･･･？
（いったんマージしても大丈夫でしょうか👀）

aoirint · 2022-08-22T23:07:51Z

コード量が多いのでレビューコメント保留のままレビュー中でしたが、

複数のエンジンに同一のspeakerUuidを持つキャラクターがいる場合の検索処理・assertionメッセージ内容と処理の不一致
- 複数エンジン対応: すべてのエンジンからキャラクター情報を取得する #883 (comment)
プロジェクトファイルマイグレーションのバージョンを0.14に変更
- 複数エンジン対応: すべてのエンジンからキャラクター情報を取得する #883 (comment)

の点についてはすでに指摘と方針が決まったようなのでよさそうです！

aoirint · 2022-08-22T23:07:59Z

engineId, speakerId, styleIdで声を一意に定めようとする方針

プロジェクトファイルが声を一意に定める上で、コアのバージョンによる音声の違いも考慮できるといいと思います。
#883 (review) の{ engineId, speakerUUID, styleUUID, styleVersion?}とstyleVersionを（オプショナルでも）保持しておく方法に同意です（styleVersionが現状のVOICEVOXにおいてコアのバージョンという意味であれば）。
古いコアのバージョンを持つプロジェクトファイルが新しいエディタで開かれたときにどうするか、古いコアを新しいエディタでも使えるように整備するのか、というような問題が発生して難しそうですが、少しずつ機能追加する形でも考慮できないかなと思いました！

aoirint · 2022-08-22T23:26:04Z

キャラクター並び替えUIについて、現状でも、設定ファイルを維持したままVOICEVOXをダウングレードした場合に、キャラクター並び替えUIにエラーが表示されるという現象があります。

（同じ原因かはわからないけれど）このようなエラーの見た目：https://twitter.com/k896951/status/1546175242111856641

並び替えリストに登録済みのキャラクターをエディタが認識していない場合にエラーになる点、処理を追加するタスクを設けておくとよさそうです！

エンジンのプラグイン化（複数のエンジンを同時に見れるようにする） voicevox_project#2 (comment)

あまり互換性面で想定していない操作のダウングレードより、カジュアルにキャラクターの増減が起き得るようになりそうなので、問題になることを予想しています。

ちょっと古いログなので行数がずれていそうですが、このようなエラー：

[01:14:09.781] [error] TypeError: Cannot read properties of undefined (reading 'metas')
    at http://localhost:8080/js/webpack:/src/components/CharacterOrderDialog.vue?5229:106:39
    at Proxy.find (<anonymous>)
    at http://localhost:8080/js/webpack:/src/components/CharacterOrderDialog.vue?5229:104:37
    at Proxy.filter (<anonymous>)
    at _callee$ (http://localhost:8080/js/webpack:/src/components/CharacterOrderDialog.vue?5229:102:66)
    at tryCatch (http://localhost:8080/js/webpack:/node_modules/regenerator-runtime/runtime.js:63:15)
    at Generator.invoke [as _invoke] (http://localhost:8080/js/webpack:/node_modules/regenerator-runtime/runtime.js:293:1)
    at Generator.next (http://localhost:8080/js/webpack:/node_modules/regenerator-runtime/runtime.js:118:1)
    at fulfilled (http://localhost:8080/js/webpack:/node_modules/tslib/tslib.es6.js:71:42)

aoirint

LGTM！！　PR引き継いでいただいてありがとうございます・・・！

src/store/audio.ts

src/views/Home.vue

Hiroshiba · 2022-08-23T16:36:50Z

styleVersion

僕もバージョンを持たせるのは賛成です！
複数エンジン対応時はマストじゃないなと思っていますが、せっかくなのでタスクリストに追加してみようと思います！

名称をどうすべきかちょっと悩みそうです。
ほしいのは音声バージョンであり、実装がstyleのバージョンになっている形で、「version」として持つのも良いのかなとか･･･。
（なんのバージョンかわかりづらいのが難しいですが･･･。）

Hiroshiba · 2022-08-23T16:45:06Z

並び替えリストに登録済みのキャラクターをエディタが認識していない場合にエラーになる

こちら、↓にissueを作成し、それをタスクリストからも参照する感じにしてみました！

知らないキャラクターを参照しているとキャラクター並び替えUIがエラーを出す #912

Hiroshiba · 2022-08-23T16:57:09Z

マージします！！　レビューありがとうございました！！！
そして複数エンジンの大量のタスクを解禁し、実装PRを大量に募集し始めたいと思います･･･！！！

aoirint added 30 commits March 9, 2022 04:25

add runEngineAll

a135eff

fix log

f81a774

fix log

22e0168

add killEngineAll

c5202dd

fix log

6e46ad9

fix log

31bfe9f

add restartEngineAll

eb919bd

call killEngineAll

39b81df

fix log unit

c8a7c22

npm run fmt

9778831

add START_WAITING_ENGINE_ALL, RESTART_ENGINE_ALL

7d7b41c

npm run fmt

e0198fe

DETECTED_ENGINE_ERROR engineKey

5f33a07

npm run fmt

e23e9fb

fix check all ready logic

9d593e0

fix engineState

4f0c2ee

fix test

c9a2272

type with undefined

23bdd06

fix allEngineState logic

8272997

fix test

63c5816

add comment

4754d9f

multiple engine: SET_CHARACTER_INFOS, USER_ORDERED_CHARACTER_INFOS

f3777c8

multiple engine: LOAD_CHARACTER_ALL

67591d6

fix buildFileName logic

a97a3c6

fix default style id

d0bad7b

fix characterInfos from vue

9b3defa

pass engineInfos to vue

579f08b

fix log

d963590

fix changeStyleId

b1c6fda

fix synthesis to use engineKey/Id

7333e5a

Segu-g requested changes Aug 20, 2022

View reviewed changes

src/store/audio.ts Show resolved Hide resolved

src/components/AudioCell.vue Show resolved Hide resolved

Segu-g reviewed Aug 21, 2022

View reviewed changes

src/store/project.ts Outdated Show resolved Hide resolved

Hiroshiba added 4 commits August 22, 2022 01:16

下のengineIdで上書き定義しないように

ef7d083

FIXMEコメント追加、0.14に変更

67e0448

AudioItemにSpeakerIdを追加したい旨を追記

d24a860

ですます調に

1ed710f

Segu-g approved these changes Aug 22, 2022

View reviewed changes

StyleId は現在整数値型になっていますが、将来的にはUuidにしたいと考えています。

0397be3

aoirint approved these changes Aug 22, 2022

View reviewed changes

src/store/audio.ts Outdated Show resolved Hide resolved

src/views/Home.vue Outdated Show resolved Hide resolved

.

763c676

Merge branch 'main' into patch-multiple-engine-api

1a92d93

Hiroshiba merged commit 5af6ed3 into VOICEVOX:main Aug 23, 2022

Hiroshiba deleted the patch-multiple-engine-api branch August 23, 2022 16:57

aoirint mentioned this pull request Aug 23, 2022

複数エンジン対応: すべてのエンジンからキャラクター情報を取得する #743

Closed

6 tasks

sevenc-nanashi mentioned this pull request Sep 9, 2022

複数エンジン対応：INITIALIZE_ENGINE_SPEAKERの修正漏れを修正 #928

Merged

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

複数エンジン対応: すべてのエンジンからキャラクター情報を取得する #883

複数エンジン対応: すべてのエンジンからキャラクター情報を取得する #883

Hiroshiba commented Aug 3, 2022

Segu-g left a comment •

edited

Loading

shirowanisan commented Aug 21, 2022

shirowanisan commented Aug 21, 2022 •

edited

Loading

Segu-g commented Aug 21, 2022

shirowanisan commented Aug 21, 2022 •

edited

Loading

Hiroshiba commented Aug 21, 2022 •

edited

Loading

Hiroshiba commented Aug 21, 2022

shirowanisan commented Aug 22, 2022

Segu-g left a comment

Hiroshiba commented Aug 22, 2022 •

edited

Loading

Hiroshiba commented Aug 22, 2022

aoirint commented Aug 22, 2022

aoirint commented Aug 22, 2022 •

edited

Loading

aoirint commented Aug 22, 2022

aoirint left a comment •

edited

Loading

Hiroshiba commented Aug 23, 2022

Hiroshiba commented Aug 23, 2022

Hiroshiba commented Aug 23, 2022

複数エンジン対応: すべてのエンジンからキャラクター情報を取得する #883

複数エンジン対応: すべてのエンジンからキャラクター情報を取得する #883

Conversation

Hiroshiba commented Aug 3, 2022

内容

動作確認手順

関連 Issue

スクリーンショット・動画など

その他

Segu-g left a comment • edited Loading

Choose a reason for hiding this comment

shirowanisan commented Aug 21, 2022

shirowanisan commented Aug 21, 2022 • edited Loading

Segu-g commented Aug 21, 2022

shirowanisan commented Aug 21, 2022 • edited Loading

Hiroshiba commented Aug 21, 2022 • edited Loading

Hiroshiba commented Aug 21, 2022

shirowanisan commented Aug 22, 2022

Segu-g left a comment

Choose a reason for hiding this comment

Hiroshiba commented Aug 22, 2022 • edited Loading

Hiroshiba commented Aug 22, 2022

aoirint commented Aug 22, 2022

aoirint commented Aug 22, 2022 • edited Loading

aoirint commented Aug 22, 2022

aoirint left a comment • edited Loading

Choose a reason for hiding this comment

Hiroshiba commented Aug 23, 2022

Hiroshiba commented Aug 23, 2022

Hiroshiba commented Aug 23, 2022

Segu-g left a comment •

edited

Loading

shirowanisan commented Aug 21, 2022 •

edited

Loading

shirowanisan commented Aug 21, 2022 •

edited

Loading

Hiroshiba commented Aug 21, 2022 •

edited

Loading

Hiroshiba commented Aug 22, 2022 •

edited

Loading

aoirint commented Aug 22, 2022 •

edited

Loading

aoirint left a comment •

edited

Loading