稼働環境 Ubuntu22.04/CUDA 12.3
第3部をお買いもとめ頂いた皆さまへ、インストールガイドをお渡しすることを忘れておりました。ここの「第3部 インストールガイド」pdf版です。 インストールの簡素化については色々と案がありますので、順次ご提案したいと思います。
webapp1は電子版 第3部 キャラを動かすアプリのソースコードです。 キャラクタは静止画でゆっくりと左右に動きます。 第2尾 のキャラを動かす編で動かしたScalebale-Talking-Head-Animeをマージしたコードは近日中に
webapp2
として公開予定です。更に外部のAIサーバを用いいて画像生成やLLaVa-Nextで画像の説明ができる全機能を 有効にしたバージョンは
webapp3
として、リリース予定（こちらは時期未定）です。
リポジトリをクローン git clone https://github.com/animede/AI-character-webapp1.git
ウエイトをHugginhFaceからダウンロードし所定のホルダに移動
https://huggingface.co/UZUKI/webapp1
isnetis.ckpt -> AI-character-webapp1/fastapi
ssd_best8.pth -> AI-character-webapp1/fastapi/weights
libcudart.so.11.0 はVOICEVOXでエラーのとき使用
python3.11とgitのインストール （必要なら）
ターミナルを開く
sudo apt install git
sudo apt install -y python3.11 python3.11-venv
python3.11 -m venv web
source web/bin/activate
cd AI-character-webapp1
pip install -r requirements.txt
ターミナルを開く
source web/bin/activate
cd AI-character-webapp1/fastapi
python app.py
新たにターミナルを開く
source web/bin/activate
cd AI-character-webapp1/streaming
python app.py
ターミナルを開く
python3.11 -m venv nuxt
source nuxt/bin/activate
node -v 18以上ならok、無い、または17以下だと再インストール
npm -v
sudo apt-get install -y nodejs
sudo apt install npm
sudo npm cache clean
sudo npm install -g n
sudo n stable
sudo apt purge --autoremove nodejs npm
sudo apt install nodejs npm
sudo npm install n -g
mpx nuxi@altest init webapp1
cd webapp1
npm i
npm i bootstrap-icons-vue bootstrap
npm i bootstrap-icons
npm run dev 確認
package.json
nuxt.config.ts
app.vue
static ホルダー
npm run dev
ターミナルを開く
source nuxt/bin/activate
cd webapp1
npm run dev
ー> FireFoxは起動してキャラは動くが問題もある
Chrome から http://localhost:3000 をアクセス
llama-cpp-python
mkdir -p ~/miniconda3
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh -O ~/miniconda3/miniconda.sh
bash ~/miniconda3/miniconda.sh -b -u -p ~/miniconda3
rm -rf ~/miniconda3/miniconda.sh
conda create -n llm
conda activate llm
pip install fastapi
CMAKE_ARGS="-DLLAMA_CUDA=on"
pip install llama-cpp-python --upgrade --force-reinstall --no-cache-dir
cd AI-charcter-webapp1/llm
python atb_ai_api_gguf.py
conda activate llm
cd AI-charcter-webapp1/llm
python atb_ai_api_gguf.py
python3 -m venv vb
source vb/bin/activate
cd vb
git clone https://github.com/VOICEVOX/voicevox_core.git
pip install -r requirements.txt
binary=download-linux-x64
curl -sSfL https://github.com/VOICEVOX/voicevox_core/releases/latest/download/${binary} -o download
sudo snap install curl ***上記でエラー、 必要ならば
chmod +x download
./download --device cuda
binary=download-linux-x64
curl -sSfL https://github.com/VOICEVOX/voicevox_core/releases/latest/download/${binary} -o download
chmod +x download
./download -o ./example/python
cd voicevox_core
python vox_api_server.py
-> error: libcudart.so.11.0: cannot open shared object file: No such file or directory
libcudart.so.11.0をHuggingFace UZUKI/webapp1 からvoicevox_coreへコピー
python vox_api_server.py
VRAMは16Gbyte以上をおすすめします。
音声入力を使う時に必要です。
ソースコード入手先
reriiasu/speech-to-text: Real-time transcription using faster-whisper (github.com)
git clone https://github.com/reriiasu/speech-to-text.git
こちらもREADMEに環境構築方法が記載されています。
python3 -m venv tts
source tts/bin/activate
cd tts
AI-charcter-webapp1/speach-to-textからrequirements.txt をコピー
pip install -r requirements.txt
git clone https://github.com/reriiasu/speech-to-text.git
cd speech-to-text
pip install .
python main.py
このソフトウエアは以下のソフトウエアが含まれています。
https://github.com/SkyTNT/anime-segmentation
LLMは以下を利用します
https://github.com/abetlen/llama-cpp-python
https://huggingface.co/stabilityai/japanese-stablelm-instruct-gamma-7b
https://huggingface.co/mmnga/japanese-stablelm-base-gamma-7b-gguf
https://huggingface.co/mmnga/ELYZA-japanese-Llama-2-13b-fast-instruct-gguf
VOICEVOXは以下を利用します
https://voicevox.hiroshiba.jp/
https://github.com/VOICEVOX/voicevox_core
licence
このソフトウエアは上記各ソフトウエアのライセンスを引き継ぎます。上記ソフトウエア以外の部分はMITライセンスに準じます。