hadoop お試し

（何か操作を失敗したのか内容が消えてしまっていたので、記憶の限り簡単にメモしなおし）
最近話題の「ビッグデータ」のさわりを簡単に試してみたくなりました。

１．VMwareのイメージで試す
これが一番お手軽です。Yahoo! Cloud Virtual Machine Applianceここにubuntu8上に設定したhadoop-0.20があり、VMplayerを用意すれば簡単に試せます。ただシングルマシンの環境なのにセキュリティがばっちり入っていて、毎回kinitしないといけないのがめんどくさいですが。

２．Cloudera社のHP上からパッケージを落とす
Ubuntuなんか使ってる方だと簡単に環境を構築できます。リポジトリリストにCloudera社のものが入ってしまうので、通常の更新確認で若干遅くなったり、たまに反応がこなくなったりするのが玉にきずですが。（自分は結局外してしまいました）

どちらも同じサンプルプログラムが入っていて、MapReduceを実体験できます。（どうみても同じものにしか見えんｗ　YahooでHadoop作った人が独立してCloudera立ち上げたせいなのかもしれません）当然、複数nodeの動作状態をモニタする機能もあります。（ブラウザで見ることができます）

（１）HDFSの状況を確認
HDFS上にできているファイルの確認用画面です。http://localhost:50070で見れます。（もちろんほかのマシンからでもOKです）

（２）MapReduceの動作状況の確認

今度はサンプルのPIを計算しているときの動作状況をモニタしてみます。http://localhost:50030で見れます。

最下段にRunしているジョブが表示されています。そこをクリックするとより詳細なMapReduceの状態がモニタできます。

これは見ていて非常に面白いです。ブラウザの表示を更新すると計算状況の進捗状態が直接わかります。