LLM テキスト要約パイプラインの設計とトレードオフ:OpenAI API、Ollama、ローカルモデル
LLM テキスト要約パイプラインを設計・運用するときの原則とトレードオフをまとめています。前処理と分割、クラウド API とローカルモデルの選び方、batch processing、リトライ、コスト管理、出力の検証を扱います。
Backend、AI、CI/CD、Infrastructure を横断し、長く運用できるシステムを設計・提供・運用するための実践記録です。
LLM テキスト要約パイプラインを設計・運用するときの原則とトレードオフをまとめています。前処理と分割、クラウド API とローカルモデルの選び方、batch processing、リトライ、コスト管理、出力の検証を扱います。
Proxmox VE、Proxmox Backup Server、GPU server の設計・運用で意識していること。クラスタ、ストレージ、ネットワークの原則、バックアップ戦略、運用で実際に遭遇した問題をまとめます。
Self-hosted GitLab、GitLab Runner、Harbor registry を運用者の視点で整理。セルフホストを選ぶ理由、各コンポーネントのつながり、長期運用でのアップグレード、バックアップ、署名鍵、ログ上限について。
Speech AI と GPU runtime に対する私の考え方をまとめました。Kaldi と Whisper の特性とトレードオフ、NVIDIA driver / CUDA / container のレイヤー分け、デプロイと性能運用で確認する項目を扱います。
Backend、LLM / Speech AI、DevOps、Cloud、On-prem Infrastructure、Network Operations をひとつの delivery chain として扱う考え方。
GitLab Runner と config.toml、.gitlab-ci.yml の基本例、Harbor registry 連携、multi-environment deployment までの GitLab CI/CD 実務設定メモ。
高トラフィック Web hosting と多数サイトの運用経験。monitoring、updates、capacity planning、security maintenance を扱います。