insanely fast Whisper error

[xu2k]

자막\Whisper-WebUI-Portable-Windows\Whisper-WebUI\venv\Lib\site-packages\transformers\models\whisper\generation_whisper.py:573: FutureWarning: The input name inputs is deprecated. Please make sure to use input_features instead.
warnings.warn(
Transcribing... ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 0:00:01You have passed task=transcribe, but also have set forced_decoder_ids to [[1, None], [2, 50359]] which creates a conflict. forced_decoder_ids will be ignored in favor of task=transcribe.
Transcribing... ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 0:00:43Passing a tuple of past_key_values is deprecated and will be removed in Transformers v4.43.0. You should pass an instance of EncoderDecoderCache instead, e.g. past_key_values=EncoderDecoderCache.from_legacy_cache(past_key_values).
Transcribing... ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 0:00:49The attention mask is not set and cannot be inferred from input because pad token is same as eos token. As a consequence, you may observe unexpected behavior. Please pass your input's attention_mask to obtain reliable results.
Transcribing... ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 0:03:33From v4.47 onwards, when a model cache is to be returned, generate will return a Cache instance instead by default (as opposed to the legacy tuple of tuples format). If you want to keep returning the legacy format, please set return_legacy_cache=True

이런식으로 무한 로딩이 되는데 어떡하죠??

[jhj0517]

안녕하세요.

버그 재현을 위해 더 상세한 로그가 있으면 좋겠는데요, 올려주신게 터미널에 보이는 전부 인가요?

Transcribing... ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 0:03:33 From v4.47 onwards,

로그의 시간대로 짐작 가는 바로는 모델 로딩에 어려움을 겪고 있는 것 같아요. insanely_fast_whisper 의 경우 large-v2 모델을 사용했을 때 피크 VRAM 이 10.5GB 까지 오르는 것을 확인했습니다.

혹시 사용하시는 GPU의 VRAM 이 어떻게 되시나요?

[xu2k]

gtx 1660 ti에 6gb입니다

미디엄 사용하고 있고요

[xu2k]

방금 다시 한번 시도해보니

C:\Users\sgwli\OneDrive\바탕 화면\ai
자막\Whisper-WebUI-Portable-Windows\Whisper-WebUI\venv\Lib\site-packages\transformers\models\whisper\generation_whisper.
py:573: FutureWarning: The input name inputs is deprecated. Please make sure to use input_features instead.
warnings.warn(
Transcribing... ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 0:00:00You have passed task=transcribe, but also have set forced_decoder_ids to [[1, None], [2, 50359]] which creates a conflict. forced_decoder_ids will be ignored in favor of task=transcribe.
Transcribing... ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 0:00:43Passing a tuple of past_key_values is deprecated and will be removed in Transformers v4.43.0. You should pass an instance of EncoderDecoderCache instead, e.g. past_key_values=EncoderDecoderCache.from_legacy_cache(past_key_values).
Transcribing... ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 0:00:50The attention mask is not set and cannot be inferred from input because pad token is same as eos token. As a consequence, you may observe unexpected behavior. Please pass your input's attention_mask to obtain reliable results.
Transcribing... ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 0:03:58From v4.47 onwards, when a model cache is to be returned, generate will return a Cache instance instead by default (as opposed to the legacy tuple of tuples format). If you want to keep returning the legacy format, please set return_legacy_cache=True.
Transcribing... ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 0:05:49

이렇게 뜨고 무한으로 진행중입니다 ㅠ

[jhj0517]

insanely_fast_whisper 에서 미디엄 모델 사용 시 피크 VRAM 이 3.1 GB 인 것을 확인했지만, 코랩의 T4 GPU 런타임에서 실행한 것이라 정확한 버그 재현이 어렵네요..

문제가 없다면 faster-whisper 를 사용해보시겠어요? faster-whisper에 의하면 large-v2 모델을 사용해도 피크 VRAM 이 4.7GB 밖에 되지 않기 때문에, 아마도 6GB VRAM 의 환경에서도 문제 없이 돌아갈 것입니다.

[xu2k]

이미 기본값인 faster-whisper을 사용하고 있기는 한데.. 좀 느린 거 같아서요

그래서 insanely를 사용해보려고 했는데 어쩔 수 없네요

[jhj0517]

GPU 가 좀 느린 감이 있다면 코랩에서 무료버전 런타임을 사용하시는게 좋으실 수도 있어요.

• https://colab.research.google.com/github/jhj0517/Whisper-WebUI/blob/master/notebook/whisper-webui.ipynb

"T4 GPU" 런타임 (무료) 을 선택하신 후 셀을 순서대로 실행하시면 됩니다.

파일 용량이 커서 업로드에 시간이 걸린다면 구글 드라이브에 먼저 업로드 후 해당 폴더 경로를 "Input Folder Path" 에 입력하는 방식으로 사용할 수도 있어요.