ニュース
» 2012年11月12日 17時25分 UPDATE

過去の負荷動向も検証可能:Hadoop/HBaseの内部動作を可視化するソフトウェア「halook」をOSSで公開

Hadoop内部の負荷状況などをグラフィカルに表示するOSSツールが登場。Javaプログラム解析ツールを流用し、HTML5などを駆使して内部の挙動を可視化する

[原田美穂,@IT]

 Acroquest Technologyは、2012年11月9日、Hadoop/HBaseの内部動作を可視化するソフトウェア「halook」をオープンソースソフトウェアとして公開した。CDH 3u4、3u5で動作確認済み。

 Hadoopは分散処理を行うため、多数のノードを連携して動作する。データの処理が多数のノード、多数のプロセスで実行されるため、処理中に問題が発生した際の調査が非常に困難とされる。halookは、Hadoopシステムにおける障害や稼働状況そのものの可視化を実現している。可視化の対象は、並列処理タスク、Region、データノード。

 HDFSのクラスタノード「DataNode」のデータの偏りを可視化する「HDFS DataDistributionView」は、現時点の状態だけでなく、過去の利用状況もさかのぼって確認できる。

mhdb_node.jpg HDFS DataDistributionView

 タスクの並列処理を担う「TaskTracker」の状態を可視化する「MapReduce TaskChartView」は、タスクの並列性や、TaskTracker間の負荷分散度合いを可視化する。

mhdb_task.jpg MapReduce TaskChartView

 「Base RegionDistributionView」はHBaseのRegionServer間のRegionの偏りを可視化する。Regionの偏りも過去にさかのぼって確認できるので、RegionServerの負荷分散状況やRegion分割の妥当性を確認できる。

mhdb_region.jpg Base RegionDistributionView

 可視化は、同社が開発したJavaの内部動作を可視化するソフトウェア「ENdoSnipe」をベースにしているという。ENdoSnipe自体は、Javaプログラムのパフォーマンスや品質問題の原因を検出することを目的としたソフトウェアだ。同製品の可視化技術をHadoopに適用した。Web UIにおける表現は同様に同社が開発したOSSのWeb UIプラットフォームであるWGPを採用している。

mhdb_endosnipe_arc.jpg halookの動作概念図

Copyright© 2017 ITmedia, Inc. All Rights Reserved.

@IT Special

- PR -

TechTargetジャパン

この記事に関連するホワイトペーパー

RSSについて

アイティメディアIDについて

メールマガジン登録

@ITのメールマガジンは、 もちろん、すべて無料です。ぜひメールマガジンをご購読ください。