[OCI]Big Data Service：何が新しくなったのか 2020年10月更新 (2020/10/26)

 Big Data Service：何が新しくなったのか 2020年10月更新 (2020/10/26)

https://blogs.oracle.com/datawarehousing/big-data-service-whats-new-october-2020-update
投稿者：Alexey Filanovskiy | Product Manager

オラクルが最も革新的なクラウドプラットフォームの一つを持っていると言っても過言ではありません。
Big Data Service（BDS）は、そこで見かけるPaaSサービスの1つです。
これは、Oracle CloudにClouderaベースのHadoopクラスタを簡単にデプロイして管理する方法を提供します。
サービスには以下のような多くの機能が搭載されています。

  • クラスタ作成（完全に安全で可用性が高い）、ユーザーは完全に管理されたHadoopクラスタを数分で立ち上げることが可能
  • クラスタコンピュートを成長させ、ワークロードの増加に追いつくためにワーカーノードを追加
  • データ量が増え続けている場合のみストレージを増設し、処理は変わらない

今回のブログ記事では、ここ数ヶ月の間にOracle Big Data Serviceに追加したものを紹介したいと思います。

柔軟性がある


サービスを開始したとき、多くのお客様が喜んで使い始めてくれました。
クラスタの作成、新しいノードの追加、ブロックストレージの追加がとても簡単にできることを喜んでいましたが、
初日からの主な懸念事項の1つは、サービスが十分に柔軟ではないということでした。
言い換えれば、自分が使う分だけお金を払いたいということです。例えば、
日中は5つのワーカーノードをそれぞれ16コアでクラスタ化したい。
しかし、なぜ夜間や週末にこれにお金を払わなければならないのでしょうか？払ってはいけません。
シェイプ変更機能を使わなければなりません。これはここに文書化されていますので、私は文書を書き直すつもりはありません。

サービスコンソールに行って、シェイプ変更を選択してください。


次に、望ましいノードグループの新しいシェイプを選択する必要があります。


少し待ってください(クラスタはローリングリスタートを実行します)。

もう一つのユースケースは、「低コストで始めて、大きく成長する」というものです。
実際、これはクラウドには独自の利点があり、柔軟性/市場投入までの時間が鍵の一つである。
想像してみてください。テストや検証が必要なアイデアがあるとします。開発に大規模なクラスタが必要ですか？
まずは非常に基本的で安価なものから始めて、アイデアが証明できたら、ノードを増やしたり、形を変えたりする（増やす）ことができる。

Notebookへのアクセス


Hadoopはデータを保存して処理する技術です。
しかし、その上でコードを開発するには何らかのインターフェースが必要ですよね？
Oracleは最近、新しい機能を発表しました - Oracle Notebook
Oracle Notebookは、ユーザーに可能にします。

  • Jupiter NotebooksとApache Zeppelinから既存のノートブックをインポート
  • Spark、PySpark、Python、R、JDBC、Graph (PGX)などの異なるインタプリタを実行するための単一のインターフェイスとして環境を使用
  • ビッグデータ・クラスタのスケーラビリティとパフォーマンスを活用
  • データサイエンティスト、開発者、ビジネスユーザーとのコラボレーション、チーム間でノートPCを共有
  • Notebookに特定のタグを作成し、関連文書の検索を容易にする
  • Zeppelinではデフォルトでは利用できない多くのチャート・タイプを可能にする高度なビジュアライゼーション・エンジンを使用して、データを探索
  • Cloud SQLとOracle SQLを使用して、JDBCインタプリタを使用してデータを探ります。

どこからでもアクセスできる


セキュリティへの配慮から、FastConnect や VPN を使用してクラスタ UI (Notebook, Cloudera Manager, Hue など) にアクセスすることをお勧めしますが、
時にはエンドポイントをパブリックインターネット上に公開したい場合もあります (開発者の利便性のため)。
ここではOCIロードバランサーの使用をお勧めします。詳しいステップバイステップガイドはこちらにあります。

クイックスタート


すべてのセキュリティルールやネットワーク設定を設定するのは、
OCI の無料クレジットにサインアップしたばかりの新しいユーザーにとっては難しいことかもしれません。
良いニュースは、ここでは分でスタックをスピンアップするTerraformスクリプトであることです。

楽しんでプレイしてください

コメント

コメントを投稿

このブログの人気の投稿

Oracle RACによるメンテナンスのためのドレインとアプリケーション・コンティニュイティの仕組み (2023/11/01)

イメージ
Oracle RACによるメンテナンスのためのドレインとアプリケーション・コンティニュイティの仕組み (2023/11/01) https://database-heartbeat.com/2023/11/01/draining-ac-rac/ はじめに Oracle RACは、Oracle Databaseのスケーラビリティと高可用性を提供します。1つのサーバー(RACノード)に障害が発生した場合、またはメンテナンスのためにオフラインになった場合でも、追加のノードを介してデータベースにアクセスできます。ただし、メンテナンスの開始時に、データの読取りまたは変更に関係なく、一部の作業を実行しているクライアント・セッションはどうなりますか。この作業は中断され、ドレインを実装してアプリケーション・コンティニュイティまたは透過的アプリケーション・コンティニュイティを有効にしないかぎり、エンドユーザーまたはアプリケーションによって再度実行する必要があります。 環境 2ノードのOracle RACを例に挙げて、高速アプリケーション通知(FAN)、ドレインおよびアプリケーション・コンティニュイティによってメンテナンス・イベントがエンドユーザーに透過的になる方法を理解しましょう。アプリケーションは、30個のセッションを保持するように構成された接続プールを使用しています。 通常の操作 通常の操作中は、両方のRACノードが起動し、アプリケーションを実行しています。ロード・バランシング戦略によっては、セッションの数が両方のノード間で異なるか、均等に分散される場合があります。次の図をよりよく視覚化するために、ノード2のノード1および20のセッションに10のセッションがあるとします。 セッションは、アイドル状態(接続されているが何もしていない)またはアクティブ状態(リクエストの途中)にできます。リクエストは、データの読取り(SELECT)または操作(INSERT、DELETE、UPDATE)が可能です。 ドレインによるサービスの停止 ある時点で、システムのメンテナンスが必要になります。2ノードRACがあるため、メンテナンスはローリング方式で、1つのノードを順番に(ほとんどの場合)実行できます。メンテナンスは、たとえば、オペレーティング・システム、Grid Infrastructureまたはデ
続きを読む

Oracle Cloud Infrastructure Secure Desktopsを発表: デスクトップ仮想化のためのOracleのクラウドネイティブ・サービス (2023/06/28)

イメージ
Oracle Cloud Infrastructure Secure Desktopsを発表: デスクトップ仮想化のためのOracleのクラウドネイティブ・サービス (2023/06/28) https://blogs.oracle.com/cloud-infrastructure/post/secure-desktops-cloud-native-virtualization 投稿者： Joost Pronk Van Hoogeveen Jan Hendrik Mangold | Principal Product Manager Oracleは、Oracle Cloud Infrastructure(OCI)Secure Desktopsという新しいクラウド・ネイティブ・サービスをリリースしています。このエキサイティングな開発により、顧客はOCIテナンシから簡単にすばやく仮想デスクトップ・インフラストラクチャ(VDI)をデプロイできます。 OCIの使用状況は大幅に拡大しています。組織は、OCI内でデータを安全に保つことの価値を実現しています。ゼロトラストなセキュリティ優先アーキテクチャを実装することで、OCI Compute、Storage、およびNetworkingサービスは、グローバル・アクセスのためのエンタープライズ・アプリケーションを導入するための信頼できるプラットフォームを提供します。 データ・セキュリティとVDIがどのように役立つか 業界のアナリストによると 、ラップトップは53秒ごとに盗まれています。その事実と現実を結び付けると、会社のデータは、公共の場所を経由したり、従業員の自宅に座ったりするラップトップやデスクトップへと移行します。ローカル・ディスクの暗号化、データ・アクセス権限の強制、VPNアクセスの保護によってデータを保護するためにテクノロジが使用されていますが、いずれも許容可能なセキュリティ・レベルが適用されるため、リスクは依然として高くなる可能性があります。盗難または準拠していないいくつかのマシンでは、企業データ、さらには顧客データのデータ侵害が発生する可能性があります。 VDIテクノロジは長年にわたって存在してきましたが、従業員はローカル・マシンを使用して、会社のデータ・センター内の仮想マシンで実行されているデスクトップ・アプリケー
続きを読む

新しいOracle Container Engine for Kubernetesの機能強化により、大規模なKubernetesがさらに簡単になりました (2023/03/20)

イメージ
新しいOracle Container Engine for Kubernetesの機能強化により、大規模なKubernetesがさらに簡単になりました (2023/03/20) https://blogs.oracle.com/cloud-infrastructure/post/oracle-container-engine-kubernetes-enhancements 投稿者： Mickey Boxell | Product Management Linux以降、 Kubernetes はオープンソースソフトウェアの歴史上最も急速に成長しているプロジェクトです。10年も経たないうちに、 Kubernetesは主流 になり、特に過去2年間で導入がかつてないほど大きくなりました。 Oracle Cloud Infrastructure(OCI) は、この勢いも見ています。あらゆる業界の何千ものエンタープライズ顧客が、クラウドネイティブアプリケーション開発のメリットを経験しており、その導入を迅速化し、Kubernetesの使用を拡大しています。 Oracle Container Engine for Kubernetes (OKE)で実行されている抽出、変換、ロード(ETL)ジョブ、パイプライン、ハイパフォーマンスコンピューティング(HPC)ワークロード、さらにはデータベースなどにKubernetesを使用するために、顧客はKubernetesで標準化されており、コンテナ化されたアプリケーションを実行するのみでなく拡張されています。  「私たちは、Kubernetes インフラストラクチャと OKE、GPU、HPC、およびストリーミング、OpenSearch などの最新の開発者サービスを組み合わせて使用​​して、OCI で数十億の音声 AI クエリを実行しています。私たちは、次世代のトレーニングと配信に最適なクラウドとして OCI を選択しました。 AI アプリケーション – Mercedes Benz、Toast、VIZIO、Hyundai などのグローバル ブランドに最速かつ最も正確な音声エクスペリエンスを提供するのに役立ちます.OCI を使用することで、以前のクラウドと比較してパフォーマンスが 50 ～ 60% 向上しました。 2 倍のコスト削減 – 使用量
続きを読む