跳到主要內容

Hadoop Cluster 增加節點(Node)

繼上次安裝安裝兩台Hadoop來組成Cluster,現在要試著再增加一台。

原來的Cluster架構:

  1、Virual Machine A(Mater):192.168.56.201(oel62n1)
  2、Virual Machine B(Slave):192.168.56.202(oel62n2)

預計增加一台:

  Virual Machine C(Slave):192.168.56.203(oel62n3)

因為我是以VirualBox來測試,所以就直接clone oel62n2,並且重設網路相關設定。

一、編輯/etc/hosts,增加下列一行:

  192.168.56.203  oel62n3  oel62n3

二、設定SSH免密碼登入oel62n3

  [root@oel62n1 ~]# ssh-copy-id -i ~/.ssh/id_dsa.pub root@oel62n3
  (不要再執行ssh-keygen -d,因為key改變後會導致無法直接登入oel62n2)

三、設定Master(oel62n1)的/etc/hadoop/slaves,增加下列一行:

  oel62n3

四、將Master的設定檔複製到oel62n3

  [root@oel62n1 ~]# scp /etc/hadoop/* root@oel62n3:/etc/hadoop/

五、設定Script執行權限

  [root@oel62n3 ~]# chmod 744 /usr/sbin/hadoop-daemon.sh

六、在增加的節點(oel62n3)上啟用Datanode、Tasktracker,不必將整個Cluster重新啟動

  [root@oel62n3 ~]# hadoop-daemon.sh --config ./conf start datanode
  [root@oel62n3 ~]# hadoop-daemon.sh --config ./conf start tasktracker

  平均各節點的資料
  [root@oel62n3 ~]# hadoop balancer

七、修正錯誤

  原則上只要到上個步驟就成功了,但是我的情況卻出現了錯誤,我一啟動oel62n3的datanode
  ,oel62n2的datanode就shutdown,相反啟動oel62n2,shutdown的就是oel62n3。
  所以只好先查看oel62n3的log:

  [root@oel62n3 ~]# less /var/log/hadoop/root/hadoop-root-datanode-oel62n3.ccc.com.tw.log

  內容一段比較奇怪的地方:
  2012-08-03 14:48:02,076 WARN org.apache.hadoop.hdfs.server.datanode.
  DataNode: DataNode is shutting down: org.apache.hadoop.ipc.RemoteException:
  org.apache.hadoop.hdfs.protocol.UnregisteredDatanodeException:
  Data node 192.168.56.203:50010 is attempting to report
  storage ID DS-483675970-192.168.56.202-50010-1343799430568.
  Node 192.168.56.202:50010 is expected to serve this storage.

  上述訊息storage ID的值感覺好像不太對,再查看oel62n2的log:

  [root@oel62n2 ~]# less /var/log/hadoop/root/hadoop-root-datanode-oel62n2.ccc.com.tw.log

  storage id的值和oel62n3是一樣的:
  2012-08-03 14:50:02,076 WARN org.apache.hadoop.hdfs.server.datanode.
  DataNode: DataNode is shutting down: org.apache.hadoop.ipc.RemoteException:
  org.apache.hadoop.hdfs.protocol.UnregisteredDatanodeException:
  Data node 192.168.56.203:50010 is attempting to report
  storage ID DS-483675970-192.168.56.202-50010-1343799430568.
  Node 192.168.56.202:50010 is expected to serve this storage.

  猜想原因是出在這裡,因為我是用VirualBox直接Clone新的機器,
  所以導致兩台的storage Id重複,再查oel62n1的log,果然ID值就不一樣。
  所以就試著修改看看:

  [root@oel62n3 ~]# vi /tmp/hadoop-root/dfs/data/current/VERSION

  將storageID的值
  storageID=DS-483675970-192.168.56.202-50010-1343799430568
  改為:
  storageID=DS-483675970-192.168.56.203-50010-1343799430568

  重新啟用datanote,結果如下圖,這次就成功了。


 

http://192.168.56.201:50070/
  

http://192.168.56.201:50030/



留言

這個網誌中的熱門文章

Line如何換行

在電腦版的Line輸入文字時,遇到需要換行的情形時,我都是用記事本先寫好再複製上去,這樣就可以有換行的效果,可是這樣的做法好像失去Line的便利性。 於是查了一下,原來有一個設定可以指定Enter換行,而不是發訊息出去。 完成設定之後,要發送訊息就改用Alt+Enter,而Enter就可以換行了。

在Windows下,利用tasklist與taskkill來刪除Process

Windows7 / Windows8 kill process Linux下要刪除某個程序通常會使用 ps 配合 kill 來刪除程序。 例如:ps -ef |grep [PROCESS NAME]       kill -9 [PID] 在Windows下,通常是開啟工作管理員來強制結束應用程式,但是如果要寫成Script,就必須改為命令式。 TASKLIST [/S system [/U username [/P [password]]]]          [/M [module] | /SVC | /V] [/FI filter] [/FO format] [/NH]           TASKKILL [/S system [/U username [/P [password]]]]          { [/FI filter] [/PID processid | /IM imagename] } [/T] [/F]           (Tasklist:查詢Process ; Taskkill:刪除Process)           例如要刪除已開啟的記事本(notepad): 1、查詢記事本的Process訊息     C:\> tasklist |find /i "notepad.exe"     notepad.exe      6092 Console     1     5,832 K 2、由上得知記事本的PID為6092     C:\> taskkill /f /PID 6092     成功:處理程序 PID 6092 已經終止了。     taskkill使用的參數     /f:指定此參數可強制終止處理程序     /PID:指定要終止之處理程序的 PID      3、也可以直接以程式名稱刪除     C:\ taskkill /f /im notepad.exe     成功:處理程序 "notepad.exe" <PID 6092> 已經終止了      下面是我自己測試的Script,可以刪除多個相同的程式,例如同時開啟了三個記事本: @echo off for /f &quo

Shell Script簡易教學

一、概論 在許多的情況之下,我們都需要固定一組可以重覆或判斷資訊的指令, 而把這些指令存被在文字檔中,再交由Shell執行,就是Script。 一般會將Shell Script的副檔名命名為.sh,雖然副檔名在Linux中並非必要, 但是有副檔名可以讓我們更容易管理這些檔案。 假設有一個名為test.sh 的 Shell Script,首先用文字編輯器來撰寫內容如下: #!/bin/bash echo Hello World 第一行是必需的,它是用來定義你要使用的 shell。Linux中有許多的Shell可以使用, 如:ksh、bash,但是彼此之間語法有所差異,所以我們首先需要定義使用哪一個Shell。 而第二行的 echo 代表列出一個字串,預設會把後面的字串「Hello World」顯示在螢幕上。 將test.sh存檔後,可以用下列其中一種方式執行它: 1、直接輸入 sh test.sh 2、改變test.sh的權限,加上可以執行的權限,    chmod a+x test.sh    接著直接執行它:    ./test.sh 在Shell Script中,「#」表示註解,在#後面將視為註解並且被程式忽略。 例如: #pwd ls -l Shell只會執行ls -l,而不會執行ls -l 而「;」 則代表指令的分隔,例如: pwd;ls -l 和 pwd ls -l 都是一樣執行pwd及ls -l。 二、變數的使用 在Shell Script中,所有的變數都視為字串,因此不需要在定義變數類型。 在Shell中定義和使用變數時並不一樣。 例如,定義一個變數id並且設定值為2013001,接著還要將印出變數的值: id=2013001 -> 定義變數時前面不加「$」符號 echo $id   -> 使用變數時前面要加「$」符號 注意,在等號的二邊不可以有空白,否則將出現錯誤。 再介紹一個範例: dir=/home/oracle ls $dir 這裡我們定義了變數dir的值為/home/oracle,接著用ls指令來印出變數dir, 此時指令會變為ls /home/oracle,所以就把目錄中所有檔案都列出來。 我們再來看一個例子,說明如何使用變數來定義