連載
» 2017年03月14日 05時00分 UPDATE

きょうから試せる Hadoop“スモールスタート”ガイド(7):「ブートストラップアクション」でできること (1/3)

実際にHadoopで処理を実装していきながら「Hadoopは、誰にだって扱える」を体感しましょう。今回は「ブートストラップアクションの利用方法」を解説します。

[佐々木達也,著]

連載目次

Hadoopファーストガイド

書籍の中から有用な技術情報をピックアップして紹介する本シリーズ。今回は、秀和システム発行の書籍『Hadoopファーストガイド(2012年9月20日発行)』からの抜粋です。

ご注意:本稿は、著者及び出版社の許可を得て、そのまま転載したものです。このため用字用語の統一ルールなどは@ITのそれとは一致しません。あらかじめご了承ください。


Hadoopで処理を実装してみよう

 前回、EMR(Amazon Elastic MapReduce)上でHadoop処理を実行するのが手間が掛からず良いのではないかという話をしましたが、具体的にはどのように処理を実装したら良いのでしょうか。

 今回はブートストラップアクションや外部ファイルの読み込み、クラスタのノード数のリサイズなど、Hadoopで処理を実装する際に必要となることを紹介しつつ、実際にHadoop Streamingで処理を実装してみたいと思います。

ブートストラップアクション

 どのようにEMRを利用すればよいかは前回の説明である程度伝わったでしょうか。ここから、より詳細なEMRの利用方法や具体例、クラスタのリサイズ、Tips等について扱います。

 まず、EMRの起動時の流れを確認しておきましょう。EMRを起動するとまずインスタンスが起動し、それぞれのインスタンスでブートストラップアクションが実行され、最後にそれらのインスタンスからなるEMRクラスタが構成されます。ブートストラップアクションは最大で16個まで指定して実行することができます。

図4-1 EMRの起動フロー EMRの起動フロー

 ブートストラップアクションではどのようなことができるのでしょうか。ここではさまざまな処理が行えるのですが、これまでは簡単にしか触れてきませんでした。そこで今回はブートストラップアクションでどういったことが行えるのかを、具体例を挙げながら見ていきたいと思います。

 実際ブートストラップアクションが利用される例としては以下が挙げられると思います。

  • Hadoopの設定を上書きする
  • 利用したいライブラリのインストールやエイリアスの設定
  • タイムゾーンの変更など
  • Gangliaをインストールして利用する
       1|2|3 次のページへ

Copyright© 2017 ITmedia, Inc. All Rights Reserved.

@IT Special

- PR -

TechTargetジャパン

この記事に関連するホワイトペーパー

Focus

- PR -

RSSについて

アイティメディアIDについて

メールマガジン登録

@ITのメールマガジンは、 もちろん、すべて無料です。ぜひメールマガジンをご購読ください。