2026/09/30_低トークンコスト版を作るのを試みたっぱ
00:00
ばんわっぱ かっぱだっぱ(o’Θ’o)ノ))フリフリ
やった事は、Python版でCloudflareのWhisperへ音声丸投げして翻訳して戻してくるのをつかうと3・4時間しか1日にトークンが持たないので⋯
音声丸投げの部分をパソコンで低負荷でやる方法を探して1日18時間位無料枠で翻訳字幕利用できるようにした話だっぱd(-Θ-。)ネッ
あ、例によって末尾にファイルが無料配布されてるから使いたい方はつかうといいと思うっぱよ?
(当然自己責任おいらは知らんっぱ!)
⋯
ここに行き着くまでにVibeASRや密造酒とかいろいろ寄り道をしたっぱ⋯
⋯
それらはCPU負荷が思ったより高いっぱ(´・Θ・)アラマァ
んで(VibeASRは悪くなかったけど雑音に弱いのと日本語が致命的にイマイチでの⋯CPU負荷も9%位)
昔からあるfaster-whisperは精度が良くてもそこそこ重たいとされていたっぱが⋯
3つを比較して8秒間に区切った音声ファイルに対して処理を行う形にすると既存のレポートよりはるかに低負荷で処理ができると気がついたっぱ(ノ*。Θ。)ノオォォ
んで音声認識faster-whisperで8秒で区切ってやってから翻訳をCloudflareのAI LLMで処理してやったっぱ
キタ──ヽ(‘Θ’)ノ──!! 意外といい感じっぱ♪
ただね、安いLLMをつかうと時々同じ単語で複数の意味があるような言い回しとかで躓く事があるので英語➔日本語や日本語➔英語に固定した時に限り、辞書機能でこれから翻訳するものがどういう系統(例えば特定のゲームやそのジャンル)かを入れておくと事前に辞書を作成してそれを読み込ませることで翻訳内容が乖離しないようにする機能を付与したっぱd(-Θ-。)ネッ
tinyモデルで十分っぱ⋯
(Baseモデルも選べるようにしておいたけどその場合少し負荷が上がるからの)
ファイル名にだけ色々試行錯誤した時の名残のトマソンが残ってるっぱがそのうちそういうのが組み込まれた版が出るかもしれないと思ってスルーしてくれっぱ((´Θ’))ケラケラ
正直今回のバージョン作って思ったっぱがK2版の日本語から英語に字幕にするバージョンの軽快感は半端ないからのぅ⋯
これはアレと比べると1段階速度は落ちるっぱが・・
英語音声を0.25秒ぐらいで切り分けて翻訳AIで処理して1秒から4秒でパソコンに字幕表示になってくれるので違和感無いリアルタイム字幕として使えるっぱ♪
言語指定しなければ理屈上は・・・
- 🇯🇵 日本語
- 🇺🇸 英語
- 🇪🇸 スペイン語
- 🇫🇷 フランス語
- 🇩🇪 ドイツ語
- 🇮🇹 イタリア語
- 🇵🇹 ポルトガル語
- 🇳🇱 オランダ語
- 🇷🇺 ロシア語
- 🇮🇳 ヒンディー語
この辺りの音を拾えば翻訳対象になるはずっぱ
ただ⋯一度に複数の言語を聞かせると聞いた言語にフォーカスして翻訳しつづける傾向があるので一度に同時に喋るような環境だとちょっと不得手な感じがするっぱねCPU負荷とメモリー負荷軽減を優先してPCで動作中に何も邪魔しないことを優先したのでそういう感じっぱ┐(´Θ’)┌ヤレヤレカパカパ
私的にゃ、ゲーム用に使う以外に・・
海外の字幕がない報道番組や配信を見るときにも便利に使えると思うっぱよ?
なんなら、TwitchやKickの海外配信者を見に行く時の補助でもいいかもしれないっぱが⋯
BGMにVoice入りのものが結構な音量で流れていると配信者よりそっちの声を拾って翻訳するという事象は何度も目撃しているっぱので┌┛┌┛ズコ!
パソコン内の音量調整で翻訳装置に拾ってほしい音の指定をうまく切り分けることをおすすめしておくっぱ
(人Θ’o)ネッ
あとは・・
説明書の最初の方にもかいたっぱが
説明下手くそのおいらが説明するよりも
ChatAIに説明書の内容を丸ごとコピペしたり
main_fasterwhisper.py の中身を丸ごとコピペして
使い方の補助を頼むといいっぱよ(人Θ’o)
昔から知ってる方だとおいらが雰囲気はアレでもやることは固めなのはご周知だっぱが
今どきは人類や妖怪や宇宙人よりもアレっぱ
ChatAI様が一番信用されているっぱので
そちらにご確認の上で自己責任でご活用くださいっぱ(人Θ〃)ネッ
ちゃんとREADME_fasterwhisper.mdがはいってるからそちらを読むっぱよ?
最近3月下旬位から六ヶ月位経過するっぱが 英語配信をするフレンドが2月以降に増えてからちょっと困っていたっぱよ 何を言ってるか短時間ならそこらのリアルタイム翻訳アプリでいいけど長時間だと翻訳されなくなるのでマジ困ったっぱねぇ・・と( ・Θ・).;’.、ブッ
必要にかられても都合よくパソコンに負荷をかけずに字幕がない配信に字幕をつける手頃な機能のものがなかったっぱ(´・Θ・)エー んじゃゲームする気分が薄いっぱし作るっぱか♪
という感じにこれができたっぱ♪
ちなみにおいらが真面目な作業を始めてから地球上で異常気象や天変地異が激増してるって噂があるっぱが・・
偶然っぱよね?
すっかり忘れていたっぱがいちおう元々の用途はOBSへ字幕を出すためのものなので
Project名は: OBS + faster-whisper + Cloudflare Workers AI 字幕翻訳スクリプト
となっているっぱがOBSのフォーラムへの登録手続きはもうちょっと綺麗にしてからやりたいと思う今日このごろっぱ
(´>Θ<)ゝ))エヘッ
どうせOBSに字幕つけるより海外ニュースや海外アニメに簡易字幕つけてみたいって人が多かろうから簡易ウィンドウ被せて使えるようにしてあるっぱからの
((´Θ’))<さくっと閉じるで消せるやつね⋯
急ぎの理由もないだろうっぱ?
のんびりやるっぱ
かっぱでしたっぱ♪
コメント