紹介: Llama 3.2モデルのファインチューニングと導入をOCI Data Scienceで実現 (2024/09/26)

https://blogs.oracle.com/ai-and-datascience/post/llama-3-2-models-oci-data-science

投稿者：Wendy Yip | Senior Product Manager, OCI Data Science

Sasya Kodali | Sr Principal Technical Program Manager

Mayoor Rao | Consulting Member of Technical Staff

Dipali Patidar | Senior Machine Learning Engineer

MetaのLlamaモデルは、オープンな大規模言語モデル(LLM)の標準となっています。Llamaモデルは、昨年の10倍のダウンロードで、オープン性、変更性、コスト効率に関する業界をリードし続け、お客様が独自の素晴らしいソリューションを開発できるようにします。Oracle Cloud Infrastructure(OCI)Data Scienceは、CPU上でもLlama 2、3、3.1モデルをすでにサポートしています。

OCI上のLlama 3.2

AIの開発と導入に向けた一歩として、OCI Data Scienceは、AI Quick ActionsとBring Your Own Container(BYOC)機能を通じてLlama 3.2をサポートするようになりました。Metaの強力な新しいLlama 3.2モデルには、以下のものがあります。

•    Llama 3.2 1B
•    Llama 3.2 3B
•    Llama 3.2 11B Vision
•    Llama 3.2 90B Vision

OCI Data Scienceでは、次のLlama 3.2の新しいファインチューニング・モデルもサポートされるようになりました。

•    Llama 3.2 1B Instruct
•    Llama 3.2 3B Instruct
•    Llama 3.2 11B Vision Instruct
•    Llama 3.2 90B Vision Instruct

Llama 3.2モデルは、幅広いモデルサイズとパラメータをサポートし、さまざまなAI要件に適応できるようにします。Llama 3.2 1Bおよび3Bモデルは軽量になるように設計されており、Llama 3.2 11 Bおよび90 Bのビジョン・モデルは、テキストおよびイメージのタスクを処理する高度な機能を備えています。モデルは、レイテンシの削減とパフォーマンスの向上によって効率化するように設計されています。

最先端のLlama 3.2モデルを見る

Llama 3.2の新しいモデルには、マルチモーダル・モデル(11Bおよび90B)と軽量なテキストのみのモデル(1Bおよび3B)が含まれ、次のAIタスクに合せて様々な機能が提供されます。

•    Llama 3.2 1B、Llama 3.2 1B Instruct、Llama 3.2 3BおよびLlama 3.2 3B Instruct (テキストのみ): エッジ・デバイスに収まる問合せおよびプロンプト・リライティング機能をサポートします。AIを活用したモバイル用パーソナル・アシスタントなど、高度にパーソナライズされたアプリケーションに最適です。

•    Llama 3.2 11B Vision、 Llama 3.2 11B Vision Instruct、 Llama 3.2 90B Vision and Llama 3.2 90B Vision Instruct (テキストおよびイメージ入力): イメージを解釈して視覚的な推論を実行するために構築されたこれらのモデルは、イメージ・キャプションの生成、イメージからのテキストの取得、視覚的なアース、ドキュメントベースの視覚的な質問の回答、分析推論などのタスクを処理できます。

OCI Data Science AI Quick ActionsでのLlama 3.2モデルの操作

AI Quick Actionsは、OCI Data Scienceの機能であり、お客様は基盤モデルをシームレスに管理、導入、微調整、評価するためのノーコード・ソリューションを提供します。AI Quick ActionsとHugging Faceの統合により、ユーザーはHugging FaceからLlama 3.2モデルを簡単に取り込み、広範な設定なしでAI Quick Actionsで使用できます。AIクイック・アクションの最新リリースを取得するには、機能へのアクセスに使用しているノートブック・セッションを非アクティブ化して再アクティブ化します。新しいノートブックを作成すると、最新バージョンのAIクイック・アクションが使用可能になります。

現在のバージョンのOCI Data Science AI Quick Actionsでは、Llama 3.2 1B、Llama 3.2 3B、Llama 3.21B InstructおよびLlama 3.23B Instructモデルをサポートしています。バックグラウンドで、データ・サイエンス・サービスは、これらの4つのバージョンのLlama 3.2モデルと互換性のあるvLLMコンテナを提供します。お客様は、モデルを登録することで、これらのモデルをHugging FaceからAI Quick Actionsに持ち込むことができます。Hugging FaceでのLlama 3.2モデルへのアクセスには、ユーザー契約に同意する必要があります。ユーザー契約に同意し、アクセス権が付与されたら、Hugging Faceからトークンを生成して、AIクイック・アクションで使用しているノートブックの端末でHugging Face CLIにログインし、アクセスを検証する必要があります。トークンを使用してログインするには、次のコマンドを使用します。

huggingface-cli login <your-hugging-face-token>

モデル登録プロセスを開始するには、図1に示すように、モデル・エクスプローラの「登録準備完了」タブに移動します。使用するモデルのカードを選択すると、登録プロセスが開始されます。または、図2に示すように、「モデル・エクスプローラ」ページの「マイ・モデル」で「新規モデルのインポート」カードを選択できます。「検証済みモデルの登録」を選択し、使用する Llama 3.2モデルのバージョンを選択します。モデルが登録されると、モデル・エクスプローラの「マイ・モデル」の下に独自のモデル・カードが表示されます。モデルをデプロイし、ファインチューニングして評価を実行できます。

図1: OCI Data Science AIクイック・アクションで使用するために、Llama 3.2 1Bおよび3BモデルをHugging Faceからインポートする準備ができました

図2: 「新しいモデルのインポート」カードを選択して、Llama 3.2モデルをAIクイック・アクションにインポートすることもできます

「Bring Your Own Container」アプローチによるLlama 3.2モデルの操作

OCI Data Scienceは、Bring Your Own Container (BYOC)アプローチによるデプロイメントのためのBring Your Own Modelをサポートしています。このアプローチを使用して、Llama 3.2 11B Vision、Llama 3.2 90B Vision、Llama3.2 11B Vision Instruct、Llama 3.2 90B Vision Instructモデルなど、Llama 3.2モデルのいずれかを操作できます。AIクイック・アクションでのこれら4つのマルチモーダル・モデルのサポートは、次のリリースで提供されます。

「Bring Your Own Container」アプローチでは、Llama WebサイトまたはHugging Faceを介してホスト・リポジトリからモデルをダウンロードし、データ・サイエンス・モデル・カタログ・エントリを作成する必要があります。次のステップでは、モデルと互換性のある推論コンテナをプルし、OCIレジストリにプッシュします。OCI Data Science Model Deploymentは、OCIレジストリに存在するコンテナ・イメージをサポートします。最後に、データ・サイエンス・モデル・デプロイメントを作成して、モデルおよび推論コンテナをデプロイします。モデルがデプロイされると、HTTPエンドポイントを使用してモデルを起動できます。このプロセスのサンプルについては、『BYOCおよびバッチ推論を使用したLLMモデルのデプロイ』ガイドを参照してください。

OCI Data ScienceとLlamaのモデルを今すぐ始めましょう。

OCI Data Scienceを使用すると、AI開発を最新の状態に保つことができます。Metaとのパートナーシップを通じて、OCI Data ScienceでのLlama 3.2モデルの可用性は、AIソリューションの構築、導入、改良を目指すすべての人にとって一歩前進であり、AI Quick Actionsを使用すると、これらのモデルのファインチューニングとデプロイがさらに簡単になります。

これらの新機能を探り、AIプロジェクトをどのように変革できるかをご覧ください。Oracle Cloud Infrastructure Data Scienceの詳細は、ドキュメンテーションおよびGitHubリポジトリにアクセスしてください。AIクイックアクションの詳細については、ドキュメントを参照してください。