より多くのスワップスペースメモリを確保 (2021/10/30)

https://blogs.oracle.com/ai-and-datascience/post/now-you-wont-run-out-of-swap-space

投稿者：Wendy Yip | Data Scientist

Notebookのセッションでメモリを大量に消費するデータサイエンスの作業をしていて、メモリに耐性のある環境が必要だと思いませんか？これを確実にするために、私たちは最近、Notebookのスワップスペースの量を更新しました。

スワップスペースとは何ですか？

スワップスペースは、ディスク上に割り当てられ、RAMがいっぱいになったときにメモリとして使用されます。システムが長時間稼働していると、RAMをより効率的に使用するために、非アクティブなプロセスのメモリのページがスワップスペースに移動します。そして、RAMがいっぱいになると、システムは「メモリ不足」のエラーを出すのではなく、積極的にページをスワップスペースに移動させます。

現在、Notebookセッションのスワップスペースは、1GBの固定値で割り当てられています。この変更に伴い、接続されたブロックストレージデバイスにもスワップスペース用の追加スペースが割り当てられます。この割り当ては、最小値となります。

1.     選択したコンピュートシェイプのメモリ構成、または
2.     ブロックボリュームの総容量の25%

例えば、選択されたCompute Shapeのメモリが16GBで、ブロックボリュームが100GBに設定されている場合、16GBはブロックボリューム全体の25GBの25％に満たないため、スワップスペースの割り当ては16GBとなります。 しかし、Compute Shapeのメモリが32GBで、ブロックボリュームが100GBの場合、割り当てられるスワップスペースは25GBとなります。

より多くのメモリ、より多くのアップタイム

スワップスペースを増やすことで、物理メモリが不足していてもコンピュートインスタンスの回復力を維持できるだけでなく、Notebookに保存されていないデータや進捗状況を保存することができます。つまり、予期せぬクラッシュを避けることができるのです。

しかし、この変更にはいくつかの注意点があります。

1.     スワップスペースは、Notebook作成時に設定されたブロックボリュームから割り当てられます。この点を考慮して、ブロックボリュームのサイズを設定してください。
2.     また、スワップスペースはRAMの代わりにはなりません。スワップスペースにデータが流出すると、すぐにパフォーマンスが大幅に低下します。Daskのようなツールを使って、メモリ使用量を適切に管理するようにコードを設計するのが最善です。
3.     Linuxのコマンドであるhtopを使って、消費されているメモリとスワップスペースの量を監視してください。物理メモリが一杯になり、スワップスペースにこぼれ落ちている場合は、コンピュートインスタンスのメモリ構成を増やすことを検討してください。

OCI Data Scienceを探る

Oracle Cloudを無料でお試しください。30日間のトライアルで、300米ドルの無料クレジットを利用して、OCI Data Scienceサービスにアクセスできます。

もっと知りたいですか？

 

•     以下のセットアップ手順でOCIテナンシーを設定し、OCI Data Scienceを使い始めましょう。
•     私たちの新しいGitHubレポをスターしてクローンしてください。Notebookのチュートリアルやコードサンプルを掲載しています。
•     サービスドキュメントをご覧ください。
•     YouTubeのプレイリストでチュートリアルをご覧ください。
•     Twitterフィードを購読する。
•     Oracle Accelerated Data Science Python SDKドキュメントをご覧ください。
•     LiveLabsをお試しください。「データ・サイエンス」で検索してください。