OCI Data ScienceでのLlama 3.1 405Bの導入 (2024/08/01)
OCI Data ScienceでのLlama 3.1 405Bの導入 (2024/08/01) https://blogs.oracle.com/ai-and-datascience/post/deploy-llama-31-405b-in-oci-data-science 投稿者: Dipali Patidar | Senior Machine Learning Engineer Gaurav Kumar | Senior Member of Technical Staff Mayoor Rao | Consulting Member of Technical Staff Nipun Garg | Senior Member of Technical Staff Wendy Yip | Senior Product Manager, OCI Data Science 2024年7月にリリースされたMeta's Llama 3.1 405B は、カスタム商用ライセンスであるLlama 3.1 Community Licenseを持つ最先端のオープン・ソース・モデルです。最大128,000のコンテキスト・ウィンドウと、8つの言語(英語、ドイツ語、フランス語、イタリア語、ポルトガル語、ヒンディー語、スペイン語およびタイ語)にわたるサポートにより、一般的な知識、ステアビリティ、数学、ツールの使用および多言語翻訳において最先端の機能に関して、AIモデルが競合します。詳細は、 モデルの技術仕様 を参照してください。 お客様は、Oracle Cloud Infrastructure(OCI) Data Science にMetaのLlama 2および3モデルをすでに導入でき、Llama 3.1も導入できるようになりました。Llama 3.1 405Bのパワーを活用するために、OCI Data Science Model Deploymentをhttpエンドポイントとしてモデルをデプロイできます。OCI Data Scienceは、大型のLlama 3.1 405Bを導入できる業界をリードするGPUをサポートしています。 このブログ投稿では、 Bring Your Own Container (BYOC)アプローチを通じてOCI Data ScienceにL