Speech AI と GPU Runtime:Kaldi・Whisper のデプロイと運用ノート
Speech AI と GPU runtime に対する私の考え方をまとめました。Kaldi と Whisper の特性とトレードオフ、NVIDIA driver / CUDA / container のレイヤー分け、デプロイと性能運用で確認する項目を扱います。
Speech AI と GPU runtime に対する私の考え方をまとめました。Kaldi と Whisper の特性とトレードオフ、NVIDIA driver / CUDA / container のレイヤー分け、デプロイと性能運用で確認する項目を扱います。
Backend、LLM / Speech AI、DevOps、Cloud、On-prem Infrastructure、Network Operations をひとつの delivery chain として扱う考え方。