一般企業におけるHadoop利用を促進へ

EMCのクラスタNAS、IsilonがHadoopに対応、その意味は

2012/02/29

 EMCジャパンは2月29日、同社のスケールアウトNAS「EMC Isilon」で、Apache Hadoopへの対応を発表した。より具体的には、新ストレージOS「OneFS 6.5」で、HadoopのファイルシステムHDFSを動かせるようになった。

 HDFSは「ファイルシステム」といっても、一般的なファイルシステムではなく、Apache Hadoopにおいて処理対象となるデータの所在を管理するJavaアプリケーションプロセスだ。ネームスペース/メタデータ管理のName Nodeと、Name Nodeの指示を受けてデータの出入力を行うData Nodeで構成されている。Hadoopでは、汎用コンピュータの内蔵ディスクドライブを記憶媒体として用い、これを仮想的に共有する仕組みになっている。複数コンピュータ上のドライブに分散するデータ全体の所在管理をName Nodeが担い、各コンピュータ上ではData Nodeが実際のデータの出入力を行う。

 今回のHDFSサポートは、このName NodeとData Nodeを、Isilonのクラスタを構成する各ストレージノードで動かすことを意味する。クラスタ全体から見ると、物理的には複数のName Nodeが走っているのだが、メタデータ情報はこの間で常に同期しており、Isilonの負荷分散の仕組みにより複数のストレージノードが分散して応答する。障害などで応答できないノードがある場合は正常なノードが代わりに応答する。この分散アクセスとフェイルオーバはIsilonストレージクラスタの内部で行うため、Hadoopにとっては完全に透過的。HadoopのMapReduceプロセスからは、単一のName Nodeを使うことだけを考えればよい。

isilon01.jpg Hadoopのデータ管理部分をIsilonに移行・統合できる

 この場合、Hadoopで利用するデータは、Isilon NASストレージ上の通常のボリュームに置かれる。従って、Isilonがサポートするストレージアクセスプロトコル(NFS、CIFS、FTP、HTTP)で読み書きが可能だ。IsilonをApache Hadoopのストレージとして使う最大のメリットの1つは、EMCによればこの点にある。

 通常Hadoopでのデータ処理には、アプリケーションのストレージからいったんデータをHadoopに移動する作業が必要だ。また、処理の終わったデータを、アプリケーション側に戻す作業も必要となる。しかし、今回のIsilonによるHDFSサポートによって、アプリケーションのデータを移動することなくそのまま処理し、結果も同じボリュームに戻すことができる。移動の手間がないということは、処理時間を短縮できるということでもある。

 データ保護には、Isilonが備える最大N+4のパリティ機能を使えるため、データの信頼性も向上。通常のHDFSで行っているデータミラーリングによる保護が不要になる。ということは、ディスク利用の「無駄」を防ぐことができ、処理量に応じたHadoopシステムの拡張もやりやすくなる。もともとIsilonは単一ボリュームで広大なファイルストレージボリュームを作り出せることが特徴の製品。特に大きなサイズのデータや、急速に増大するデータを扱うには有利だ。

 上記のフェイルオーバの仕組みを活用することで、Apache Hadoopで問題とされてきたName Nodeが単一障害点になるという問題も、(Apache Hadoopに手を加えることなく)解決できる。さらに、Isilonストレージが提供するスナップショットやNDMPバックアップなどの機能も利用でき、データ保存も柔軟にできるようになるという。

 EMCでは、今後Hadoopの利用が一般の大企業に広がっていくと見ている。こうしたユーザーが、スーパーエンジニアに頼らずにHadoopを使えるようにしていくためには、上記のようなアプリケーションとの連動や信頼性管理が重要になってくるだろうという。

 これまでに述べたHDFS対応は、EMC Isilon製品のOSの新バージョンである「OneFS 6.5」で標準機能として提供される。サポート契約を結んでいるユーザーは、無償でこの新バージョンに移行できる。EMCジャパンでは今年秋にも、HDFSをサポートしたIsilonとGreenplum HDとの連携ソリューションを提供するとしている。Isilonをストレージとして使ったHadoop Applianceが登場することも、十分考えられる。

(@IT 三木泉)

情報をお寄せください:

Server & Storage フォーラム 新着記事
@ITメールマガジン 新着情報やスタッフのコラムがメールで届きます(無料)

キャリアアップ

- PR -

注目のテーマ

ソリューションFLASH

「ITmedia マーケティング」新着記事

最も利用率の高いショート動画サービスはTikTokではない?
ADKマーケティング・ソリューションズは、ショート動画に関する調査結果を発表しました。

古くて新しいMMM(マーケティングミックスモデリング)が今注目される理由
大手コスメブランドのEstee Lauder Companiesはブランドマーケティングとパフォーマンス...

Yahoo!広告 検索広告、生成AIがタイトルや説明文を提案してくれる機能を無料で提供
LINEヤフーは「Yahoo!広告 検索広告」において、ユーザーが誘導先サイトのURLを入力する...