[yes]Hadoo and HBase環境架設

由於比賽單位提供的hadoop 版本為0.18.3所以我們就安裝0.18.1的Hbase

安裝過程中有遇到一些問題所以紀錄一下

[環境]

由於事利用比賽單位給的vm複製成三台所以需要修改一下host name
切換機器名：
#由於要更改系統設定首先切換到root
$ su
#更改host的名稱 hadoop -> hadoop1
$ vim /etc/sysconfig/network
#為了對應的host修改 host檔案下ip host對應 hadoop 改成hadoop1
$ vim /etc/hosts #這一步沒做害我們卡很久還去po討論區超丟臉

設定ssh連線(多台hadoop需要)：

$ ssh-keygen -t rsa -P '' -f ~/.ssh/ida_rsa
$ cat ~/.ssh/ida_rsa.pub >> ~/.ssh/authorized_keys
$ chmod 600 ~/.ssh/authorized_keys
$ scp -r ~/.ssh hadoop2:~/
$ scp -r ~/.ssh hadoop3:~/
...
$ ssh hadoop2
$ ssh hadoop3
...

機器ip:
hadoop1:192.168.42.139
hadoop2:192.168.42.141
hadoop3:192.168.42.140

OS =>ubuntu 8.10 and CentOS 5.0
JAVA => 1.6.14

[Hadoop]

版本:
Hadoop => 0.18.3

安裝步驟:

每台機器照以下步驟安裝
#切換到加目錄
cd ~
#取得hadoop
$ wget http://apache.ntu.edu.tw/hadoop/core/hadoop-0.20.0/hadoop-0.18.3.tar.gz
#解壓縮
$ tar zxvf hadoop-0.18.3.tar.gz
#移動到opt目錄下
$ sudo mv hadoop-0.18.3 /opt/
#更改使用權限給hadoop
$ sudo chown -R hadoop:hadoop /opt/hadoop-0.18.3
#製作hadoop連結之後才不用打這麼多
$ sudo ln -sf /opt/hadoop-0.18.3 /opt/hadoop
#修改hadoop-site.xml裡的設定
$ vim hadoop-site.xml

<configuration>
  <property>
    <name>fs.default.name</name>
    <value>hdfs://140.123.42.139:9000</value>
  </property>
  <property>
    <name>mapred.job.tracker</name>
    <value>140.123.42.139:9001</value>
  </property>
</configuration>
 
移除conf目錄下masters檔中的localhost
將所有hostname或ip address加入conf目錄下slaves檔，在此我們將hadoop1, hadoop2, and hadoop3三台主機加入。
192.168.42.139
192.168.42.141
192.168.42.140 
完成後，將conf目錄下所有檔案copy到其他機器上。

確定所有的主機在/etc/hosts上都有正確的ip及hostname的對應，以及它們JRE/JDK的版本及路徑是相同的。
#執行bin/start-all.sh啟動Hadoop

$ bin/start-all.sh

啟動完成
[Hbase]

版本:
Hbase => 0.18.1


懶了∼∼改天打


[Reference]

Hbase Tutorial for beginners
http://ole-martin.net/hbase-tutorial-for-beginners/

Hadoop CN
http://www.hadoop.org.cn/tag/hbase/

Hadoop With Mapredue(多虧這篇 不然我跑不了Hbase)
http://wiki.apache.org/hadoop/Hbase/MapReduce

hbase　疑難雜症
http://austintodo.pixnet.net/blog/post/28055905
好像很不錯 先記錄一下