Greenplum HD EEを国内販売開始

基幹バッチへのHadoop適用を進めるEMCの戦略

2012/01/26

 EMCジャパンが1月19日に国内販売を開始した「Greenplum HD Enterprise Edition(EE)」とは、Apache Hadoopの一部を書き直すことで信頼性と速度を向上したMapReduce製品だ。米ベンチャーのMap R Technologiesによる製品のOEMで、EMCは同社のGreenplum製品群の一部として取り込み、販売パートナーと協力してサポートを提供している。Webサービス、ビッグデータ解析に加え、企業の基幹系バッチ処理におけるMap Reduceの活用を意図している。

 この製品ではまず信頼性向上のための工夫が施されている。2011年9月に国内で同製品を説明した米MapRのチーフアプリケーションアーキテクト、テッド・ダニング(Ted Dunning)氏によると、「すべてのコンポーネントが冗長化され、いつでも再起動できる。スナップショットでどの時点からもリカバリすることができる」。Greenplum HDでは、ネームノード(ファイルシステムのメタ情報管理)がすべてのデータ処理ノードに分散配置される。また、MapReduceのマスタサーバであるJobTrackerも冗長化されている。スナップショットでは差分データをファイルシステム上で維持することにより、データコピーなどの必要なしに復旧が可能。

greenplum01.jpg 冗長化で信頼性、耐障害性を向上

 高速性に関しては、ファイルシステムをC/C++で書き直すことにより、Javaのオーバーヘッドと、ガベージコレクションの影響を排除したという。また、ファイルシステム自体が圧縮機能を備えているため、アプリケーションから意識することなくストレージ消費量を減らすことができると同時に、I/O性能を向上できる。また、ロック競合、アプリケーションスレッド競合を排除することで、並列処理性能を向上しているという。

greenplum02.jpg 処理速度向上のためのさまざまな工夫

 EMCでは、上記のような信頼性、高速性機能は、必要なサーバ機の台数を減らすことにも寄与、コスト低減効果があるとしている。

 さらに、Greenplum HD EEではファイルシステムをNFSで読み書きできる。このため、例えばWebサーバのログデータを直接NFSで書き込んでそのままHadoop処理するなど、使い勝手が増すという。

Asakusa Frameworkとのタッグで基幹バッチ処理対応へ

 前述のとおり、Greenplum HD EEの適用領域はWebサービス、ビックデータ解析、企業の基幹系バッチ処理の3つ。EMCジャパンは基幹バッチ処理への適用に関し、Hadoopを基幹バッチ処理に適用するためのオープンソース・フレームワーク「Asakusa Framework」の開発にかかわってきたノーチラス・テクノロジーズと協業、両社の製品を組み合わせた「Enterprise Hadoop」開発運用ソリューションを共同で提供していくと発表している。

 ノーチラスによると、従来のHadoopは基幹バッチの高速化に大きく貢献できるが、ハードルも高い。基幹バッチ処理ではデータの種類が多く、データフローが複雑というのがその理由。また、従来のHadoopでは基幹システムとの透過的な接続が行える仕組みがないのが欠点という。

greenplum03.jpg 基幹バッチには基盤、フレームワーク、サポートのすべてで強力なソリューションが必要とする

 Asakusa Frameworkでは、Hadoopそのものに詳しくなくとも開発が可能で、DSLにより基幹システムからのデータ取り込みを記述できる。これをGreenplum HD EEと組み合わせることにより、基幹バッチに求められる環境を、高度なサポートとともに提供できるとしている。

(@IT 三木泉)

情報をお寄せください:

Server & Storage フォーラム 新着記事
@ITメールマガジン 新着情報やスタッフのコラムがメールで届きます(無料)

キャリアアップ

- PR -

注目のテーマ

ソリューションFLASH

「ITmedia マーケティング」新着記事

ITツールの利用効果に対する実感に世代間ギャップ――Dropbox Japan調査
国内企業における創造性とITツール利用に関する実態調査です。

エードット×BIRDMAN デジタルクリエイティブ界の強力タッグが目指す「広告のいらない世界」
プロデュースカンパニーとして急成長中のエードットが総合クリエイティブプロダクション...

10代女子に聞いたお年玉の使い道、「貯金」「推し活」が上位に――バイドゥ調べ
イマドキの女子はもらったお年玉をどう使っているのでしょうか。