プライベート大規模言語モデル・サービスのスタート・ガイド- パート1 (2026/08/12)
プライベート大規模言語モデル・サービスのスタート・ガイド- パート1 (2026/08/12) https://blogs.oracle.com/database/getting-started-private-llm-service-part1 投稿者： Doug Hood | Product Manager for Oracle AI Vector Search and Private AI Services Container この2部構成のブログでは、CPU駆動のOCI仮想マシン上で、Private AI Services Container 26.2.1のPrivate Large Language Model Serviceをデプロイして使用する方法を説明します。 パート1 では 、VMを作成し、大容量のAVX-512コンテナイメージをダウンロードし、デフォルトのLLMを使用してチャットを行います。 パート2 では 、Hugging FaceからオープンウェイトLLMをダウンロードし、llama.cppおよびvLLMランタイムで使用する方法を学びます。また、LLMの状態を確認する方法、Hugging FaceトークンとSSLを使用する方法についても学びます。 llama.cppおよびvLLMランタイムは、プライベート大規模言語モデルサービスの動作に使用されます。 同じサービスは、オンプレミス環境、エアギャップ環境、またはパブリッククラウドで実行できます。このチュートリアルでは、OCIにおけるCPUのデプロイに焦点を当てます。GPUのデプロイやその他のクラウド環境でのデプロイについては、今後のブログで取り上げます。 2. サイズは重要 大規模言語モデルは実行に多くのリソースを必要とします。パラメータ数が増えると一般的にモデルのリソース要件も増加しますが、モデルの機能とパフォーマンスは、アーキテクチャ、トレーニング、最適化、ワークロードなどの要因によって異なります。しかし、大規模なLLMは実行に多くのリソースを必要とし、結果として処理速度が低下する傾向があります。このため、さまざまなサイズと機能のトレードオフと最適化が行われてきました。 簡略化されたサイジングフレームワークとして、モデルはいくつかのパラメータ範囲に分類できます。適切なモ...