Tweet

Hadoop＋Hive検証環境を構築してみる

Hiveとは

　Hiveは、オープンソースの大規模分散計算フレームワークHadoop上で動作するデータウエアハウス（Data Warehouse：DWH）向けのプロダクトです。

　Hadoopは、グーグルが社内で利用しているGFSとMapReduceのオープンソース版です。詳細は次の記事を参照してください。

MapReduceのJava実装Apache Hadoopを使ってみた ― @IT via kwout

　HiveはHiveQLというSQL風の言語でHadoop上のデータを操作できます。Hadoop上のデータベースというとHBaseが有名ですが、HiveはHDFSに対してよりユーザーフレンドリなインターフェイスを提供するもので、HBaseとは根本的に存在意義が異なります。

　HiveはFacebookで開発され、2008年12月に正式にHadoopプロジェクトに寄贈（contribute）されました。

　最新バージョンが0.19.1と、まだバージョンも若く、機能もドキュメントも不足していますが、すでにFacebook社内では2000台のサーバ上で稼働しているようで、今後の進展にも期待が持てるプロダクトです。

　実際、2月20日にリリースされた0.19.1ではマイナーバージョンアップにもかかわらず、副問い合わせ（サブクエリ）をはじめ、文字列の連結concat( )や切り出しsubstr( )などの文字列関数、count( )やmin( )、max( )の集約関数など、多くの機能追加がありました。Hiveに関する基本的な情報源を下のコラムに示しますので、これらのドキュメントも参考にしてみてください。

　次ページからは、実際にHadoop環境を手元のマシン上に構築し、Hiveの基本的な操作を試していきます。

1/6

Index
Hive――RDB使いのためのHadoopガイド
前編　Hadoop＋Hive検証環境を構築してみる
	Page 1 ・Hiveとは コラム◆Hiveの基本情報
	Page 2 ・Hadoop＋Hiveのインストール 　ユーザ登録／Java SE 6（JDK 1.6）のインストール／環境変数の設定 　hadoop-0.19.1のインストール／データファイルのダウンロード
	Page 3 ・Hiveの基本的な使い方 ・テーブルの作成とデータの読み込み：CREATE TABLEとLOAD DATA
後編　SQLライクにHadoop Hiveを使い倒す!
	Page 4 パーティションを利用する／コラム◆MapReduce操作について
	Page 5 ・テーブルの検索：SELECT シンプルなSELECT文／パターンマッチング／テーブルの結合
	Page 6 ・データの保存：INSERT データを直接挿入する／HDFSのファイルとして保存する ユーザーが直接扱う（普通の）ファイルとして保存 ・まとめ：Hadoopを直接操作するよりも簡単！

＠ITメールマガジン　新着情報やスタッフのコラムがメールで届きます（無料）

RSSフィード