跳到主要內容

Hadoop、Zookeeper、Hbase安裝配置說明


原本使用Hbase所內建的Zookeeper來啟動HMaster、HRegionServer,但是不知道是什麼原因,
HQuorumPeer(Zookeeper)總是啟動一下就停用了,已經啟動的HMaster、HRegionServer,
也都因為找不到HQuorumPeer而停用。跟著Google找到的文件,修改好幾次的設定,情況依舊。
自己也仔細看了Zookeeper log,可是它都只有啟動的訊息,沒有停止或錯誤的訊息。
只好先刪除以rpm安裝的Hadoop,再以tar的方式安裝,無效;

再把Hbase的版本從0.94改為0.92.1,也是沒用。
最後試著設定獨立的Zookeeper,結果很穩定,真是感動。

一、環境:

  Hadoop:1.0.3
  Zookeeper:3.3.6
  Hbase:0.92.1
  作業系統:Oracle Linux 6.2 x64
  Master:192.168.56.201(oel62n1)
  Slave:192.168.56.202(oel62n2)

二、設定Hadoop

  自己新增一個user(每個Node都要)
  [root@oel62n1 ~]# useradd -m hduser

  下載後解壓縮
  [root@oel62n1 ~]# tar -zxvf hadoop-1.0.3.tar.gz

  我將原始資料夾移動到/usr/local,並且改變權限
  [root@oel62n1 ~]# mv hadoop-1.0.3 /usr/local
  [root@oel62n1 ~]# chown -R hduser:hduser /usr/loca/hadoop-1.0.3

  修改設定檔,內容與之前用rmp安裝的設定一樣,可參考之前文章
  [root@oel62n1 ~]# su - hduser
  [ hduser@oel62n1 ~]$ cd /usr/local/hadoop-1.0.3/conf
  [ hduser@oel62n1 conf]$ vi hadoop-env.sh
  [ hduser@oel62n1 conf]$ vi core-site.xml
  [ hduser@oel62n1 conf]$ vi hdfs-site.xml
  [ hduser@oel62n1 conf]$ vi mapred-site.xml
  [ hduser@oel62n1 conf]$ vi master
  [ hduser@oel62n1 conf]$ vi slavers
  設定免密碼登入SSH,這次改以rsa加密製作key
  [ hduser@oel62n1 ~]$ ssh-keygen -t rsa 
  [ hduser@oel62n1 ~]$ ssh-copy-id -i ~/.ssh/id_rsa.pub hduser@oel62n2
  [ hduser@oel62n1 ~]$ ssh-copy-id -i ~/.ssh/id_rsa.pub hduser@oel62n1

  複製hadoop-1.0.3到其他Node(oel62n2),並且修改權限
  [root@oel62n1 ~]# scp -r /usr/local/hadoop-1.0.3 hduser@oel62n2:/usr/local  
  [root@oel62n2 ~]# chown -R hduser:hduser /usr/local/hadoop-1.0.3

  啟動服務
   [ hduser@oel62n1 ~]$ cd /usr/local/hadoop-1.0.3/bin
   [ hduser@oel62n1 ~]$ ./start-all.sh

三、設定Zookeeper

  下載後解壓縮
  [hduser@oel62n1 ~]$ tar -zxvf zookeeper-3.3.6.tar.gz
  [hduser@oel62n1 ~]$ mv zookeeper-3.3.6 /usr/local 

  設定zookeeper的參數,將sample複製過來使用
  [hduser@oel62n1 ~]$ cd /usr/local/zookeeper-3.3.6/conf
  [hduser@oel62n1 ~]$ cp zoo_sample.cfg zoo.cfg

  編輯zoo.cfg
  [hduser@oel62n1 ~]$ vi zoo.cfg

  參數說明可參考:

  修改zoo.cfg的參數,預設在/tmp,重開機內容就不見了,所以自己改在:
  dataDir=/usr/local/zookeeper-3.3.6/dataDir

  叢集模式下,需要在zoo.cfg的最後面加入Node的IP、Port
  格式為server.ID=HOST_IP:PORT1:PORT2
  ID是一個數字表示第幾號的Node;PORT1是這台Node與Master Node之間通訊的PORT;
  PORT2是當Master Node故障時,各Node之間必需選擇一個新的Master,
  而這個PORT就是各Node在選擇時所使用的PORT。
  
  server.1=192.168.56.201:3688:3689
  server.2=192.168.56.202: 3688:3689

  與Hadoop一樣,將整個資料夾複製到其他的Node上
  [root@oel62n1 ~]# scp -r /usr/local/zookeeper-3.3.6 hduser@oel62n2:/usr/local  
  [root@oel62n2 ~]# chown -R hduser:hduser /usr/local/zookeeper-3.3.6

  在每台Node上設定myid,先參照zoo.cfg的dataDir的位置,在dataDir內增加文字檔myid
  [hduser@oel62n1 ~]$ vi /usr/local/zookeeper-3.3.6/dataDir/myid
  
  依據各zoo.cfg內server.ID中ID的數字填入myid文字檔,例如:
  oel62n1的myid就是1;oel62n2的myid就是2  

  分別啟動各Node的Zookeeper
  [hduser@oel62n1 ~]$ cd /usr/local/zookeeper-3.3.6/bin
  [hduser@oel62n1 bin]$ ./zkServer.sh start
  [hduser@oel62n2 ~]$ cd /usr/local/zookeeper-3.3.6/bin
  [hduser@oel62n2 bin]$ ./zkServer.sh start  

  用Client端的程式去測試:
  [hduser@oel62n1 bin]$ zkCli.sh -server 127.0.0.1:2181
  [zk: 127.0.0.1:2181(CONNECTED) 1] create /test01 abcd  --建立測試
  再到oel62n2測試找不找的到資料:
  [hduser@oel62n2 bin]$ zkCli.sh -server 127.0.0.1:2181
  [zk: 127.0.0.1:2181(CONNECTED) 1] ls /
  [test01, zookeeper]  --這是Master Node的資料,表示成功。
  [zk: 127.0.0.1:2181(CONNECTED) 1] delete /test01  --刪除
  [zk: 127.0.0.1:2181(CONNECTED) 2] ls /
  [zookeeper]  --不見了   

四、設定Hbase
  依上列方法下載並解壓縮到/usr/local/hbase-1.0.3,並改變擁有者為hduser

修改hbase-site.xml
填入正確的JAVA路徑
export JAVA_HOME=/usr/java/jdk1.7.0_05
這裡要注意輸入Hadoop的設定檔路徑,不是Hbase。
export HBASE_CLASSPATH=/usr/local/hadoop-1.0.3/conf
預設的heap會使用1GB的記憶體,但是我只有1G的記憶體,所以把它改小
export HBASE_HEAPSIZE=256
是否啟用內建的Zookeeper,所以是false,不使用內建。
export HBASE_MANAGES_ZK=false


修改hbase-site.xml,內容大致如下:


  hbase.rootdir
  hdfs://oel62n1.ccc.com.tw:54310/hbase
    The directory shared by RegionServers.
   



    hbase.cluster.distributed
    true
    The mode the cluster will be in. Possible values are
      false: standalone and pseudo-distributed setups with managed Zookeeper
      true: fully-distributed with unmanaged Zookeeper Quorum (see hbase-env.sh)
   

 

 
         hbase.zookeeper.property.clientPort
         2181
         Property from ZooKeeper's config zoo.cfg.
         The port at which the clients will connect.
        

      

    
    
hbase.rootdir是參考Hadoop的core-site.xml檔內的參數:
fs.default.name 加上卻存放的資料夾。

hbase.cluster.distributed表示是否要啟用hbase的叢集

hbase.zookeeper.property.clientPort指的是獨立Zookeeper Port


接著編輯/usr/local/hbase-0.92.1/conf/regionservers
[hduser@oel62n1 conf]
增加Node的Host:
oel62n1
oel62n2

參考上面scp的步驟,把整個hbase-0.92.1複製到oel62n2上

在Master上啟用Hbase叢集
[hduser@oel62 bin]$ cd /usr/local/hbase-0.92.1/bin
[hduser@oel62 bin]$ ./start-hbase.sh 


留言

這個網誌中的熱門文章

Shell Script簡易教學

一、概論
在許多的情況之下,我們都需要固定一組可以重覆或判斷資訊的指令,
而把這些指令存被在文字檔中,再交由Shell執行,就是Script。
一般會將Shell Script的副檔名命名為.sh,雖然副檔名在Linux中並非必要,
但是有副檔名可以讓我們更容易管理這些檔案。

假設有一個名為test.sh 的 Shell Script,首先用文字編輯器來撰寫內容如下:
#!/bin/bash
echo Hello World

第一行是必需的,它是用來定義你要使用的 shell。Linux中有許多的Shell可以使用,
如:ksh、bash,但是彼此之間語法有所差異,所以我們首先需要定義使用哪一個Shell。
而第二行的 echo 代表列出一個字串,預設會把後面的字串「Hello World」顯示在螢幕上。
將test.sh存檔後,可以用下列其中一種方式執行它:
1、直接輸入 sh test.sh
2、改變test.sh的權限,加上可以執行的權限,
   chmod a+x test.sh
   接著直接執行它:
   ./test.sh

在Shell Script中,「#」表示註解,在#後面將視為註解並且被程式忽略。
例如:
#pwd
ls -l
Shell只會執行ls -l,而不會執行ls -l

而「;」 則代表指令的分隔,例如:
pwd;ls -l

pwd
ls -l
都是一樣執行pwd及ls -l。

二、變數的使用
在Shell Script中,所有的變數都視為字串,因此不需要在定義變數類型。
在Shell中定義和使用變數時並不一樣。
例如,定義一個變數id並且設定值為2013001,接著還要將印出變數的值:
id=2013001 -> 定義變數時前面不加「$」符號
echo $id   -> 使用變數時前面要加「$」符號
注意,在等號的二邊不可以有空白,否則將出現錯誤。

再介紹一個範例:
dir=/home/oracle
ls $dir

這裡我們定義了變數dir的值為/home/oracle,接著用ls指令來印出變數dir,
此時指令會變為ls /home/oracle,所以就把目錄中所有檔案都列出來。


我們再來看一個例子,說明如何使用變數來定義變數:
$ tmppath=/tmp$ tmpfile=$tmppath/abc.txt$ ec…

用Excel 2010製作免費甘特圖

用Excel 2010製作免費甘特圖,以下是完成圖,其實是用圖表的功能加上修改圖表的選項來仿製甘特圖,
並非真正的甘特圖,如果要用免費的甘特圖軟體,可以下載GanttProject,有支援中文。
官方網址:http://www.ganttproject.biz/

首先將任務、開始日期、天數、完成日期填入工作表中,完成計劃後將資料全選,並在工具列上找到橫條圖。
一定要將資料全選起來,不然Excel有可能會判斷錯誤,畫出不符我們需求的圖表
(日期我算錯了,不過不影響製作,可以事後再修改)

圖表出現之後,修改資料的範圍(藍色框的部份),將資料由D6拉到C6。
「完成日期」只是為了讓Excel一開始不要判斷錯誤而產生錯誤的圖表。

在「藍色線條」上按滑鼠右鍵,選擇「資料數列格式」

依下圖點選「無填滿」,把藍色的線條變成透明,讓圖表看起來像是甘特圖。

接著我們要修改欄、列的參數,在下面日期的部份點選滑鼠右鍵,選「座標軸格式」

下方列是日期,所以選「日期」,並選擇一個類型

再來到「座標軸選項」中設定最小、最大值,讓圖表看起來更像甘特圖,其中最小值、最大值的數字,
是由1900/1/1到指定日期的總天數,例如:2014/4/9-1900/1/1=41737天(可用Excel直接相減得出數值)
「主要刻度間距」改為1,也就是間距為1天

接著回到圖表上,在左方任務列上按滑鼠右鍵,選擇「座標軸格式」

這次只選「類別次序反轉」,會把任務上下翻轉。

最後再將圖表的寬度、長度做一個調整就完成了。

補充說明: 如果遇到下列的情形,圖表的內容相反的話,可以按下「切換列/欄」來改變

Excel可以自訂公式(函數)來補足內建公式(函數)無法處理的情形

Excel有許多實用的公式,善用這些公式可以達成大部份的功能,但是萬一公式無法滿足需求時,可以自訂公式來解決。

          自訂公式其實就是自訂函數,先開啟Visual Basic(VBA)


                     新增一個「模組」


在開啟的模組視窗內撰寫VBA的函數程式,例如:

Function TEST01(A, B)
    TEST01 = A * 10 + B * 20
End Function

                    函數TEST01需要兩個參數A、B,並且將計算的結果回傳。



完成上述的設計之後,就可以在插入函數中選擇使用者定義,再選擇TEST01。
(或直接在儲存格輸入函數名稱TEST01)
反正使用的方法就跟一般的Excle的公式一樣就對了。