Hadoopで処理を実装してみる──Hadoop Streamingでの処理、script-runner.jarの使い方：きょうから試せる Hadoop“スモールスタート”ガイド（8）（3/4 ページ）

#!/usr/bin/ruby
$KCODE = 'u'
require 'date'
 
keyword_counter = Hash.new {|h,k| h[k] = 0 }
 
@output_dir, @file_name = ARGV
 
def result_file_name
  "#{@file_name}_#{Date.today.strftime('%Y%m%d')}"
end
 
def concat_result
  system 'rm -rf result_dir'
  system 'mkdir result_dir'
  system "s3cmd sync s3://sasata299/output/#{@output_dir}/ result_dir"
 
  # part-xxxxxファイルを連結する
  `find result_dir -maxdepth 1 -type f -size +0`.split(/\n/).each do |file|
    system "cat #{file} >> result_dir/result"
  end
end
 
def upload_result
  system "s3cmd put result_dir/#{result_file_name} s3://sasata299/result/#{result_file_name}"
end
 
concat_result
 
File.open('result_dir/result') {|f|
  f.each_line do |line|
    line.chomp!
    keyword, count = line.split(/\t/)
    keyword_counter[keyword] = count
  end
}
 
sorted_keyword_counter = keyword_counter.sort {|a,b| b[1] <=> a[1] }
 
File.open("result_dir/#{result_file_name}", 'w') {|f|
  sorted_keyword_counter.each do |keyword, counter|
    next if keyword == '__TOTAL__'
 
    # キーワード、回数、表示された割合(%)
    f.puts "#{keyword},#{counter},#{counter.to_i * 100 / keyword_counter['__TOTAL__'].to_f}"
  end
}
 
upload_result

system "s3cmd sync s3://sasata299/output/#{@output_dir}/ result_dir"

`find result_dir -maxdepth 1 -type f -size +0`.split(/\n/).each do |file|
  system "cat #{file} >> result_dir/result"
end

sorted_keyword_counter = keyword_counter.sort {|a,b| b[1] <=> a[1] }

File.open("result_dir/#{result_file_name}", 'w') {|f|
  sorted_keyword_counter.each do |keyword, counter|
    next if keyword == '__TOTAL__'
 
    # キーワード、回数、表示された割合(%)
    f.puts "#{keyword},#{counter},#{counter.to_i * 100 / keyword_counter['__TOTAL__'].to_f}"
  end
}

system "s3cmd put result_dir/#{result_file_name} s3://sasata299/result/#{result_file_name}"

トマト,4,12.5
お弁当,3,9.375
カレー,2,6.25
ナス,2,6.25
キャベツ,2,6.25
きゅうり,2,6.25
豚肉,2,6.25
からあげ,1,3.125
サラダ,1,3.125
なす,1,3.125
じゃがいも,1,3.125
ハンバーグ,1,3.125
卵,1,3.125
たいやき,1,3.125
パスタ,1,3.125
にんじん,1,3.125
ピーマン,1,3.125
スープ,1,3.125
ズッキーニ,1,3.125
ウインナー,1,3.125
おかず,1,3.125
たまねぎ,1,3.125

1038733
547291
191938
90123
193032
402918

豚肉,2,18.1818181818182
キャベツ,1,9.09090909090909
ハンバーグ,1,9.09090909090909
じゃがいも,1,9.09090909090909
スープ,1,9.09090909090909
卵,1,9.09090909090909
たいやき,1,9.09090909090909
カレー,1,9.09090909090909
ナス,1,9.09090909090909
たまねぎ,1,9.09090909090909

next unless user_id_list.include?(user_id)