在Oracle Enterprise Linux 6.2上安裝Hadoop 1.0.3(Single-Node)
Step 1. Download and install Oracle JDK 1.6 from Oracle Java SE site. I used jdk-6u30-linux-x64-rpm.bin. I do the following commands in my Linux box.
Setp 1. 下載JAVA(JDK)並安裝
我下載的版本:jdk-7u5-linux-x64.rpm
# rpm -ivh jdk-7u5-linux-x64.rpm
Step 2. 下載Hadoop 1.0.3並安裝
我下載的版本:hadoop-1.0.3-1.x86_64.rpm
# rpm -ivh hadoop-1.0.3-1.x86_64.rpm
Step 3. 執行Script來設定single node
# hadoop-setup-single-node.sh
全部都回答「yes」,完成後會自動啟動including hadoop-namenode、
hadoop-datanode、hadoop-jobtracker、hadoop-tasktracker。
Step 4. Fix a minor bug.
一開始安裝完測試卻失敗,查詢log(/var/log/hadoop/mapred/)之後,發現有錯誤的訊息。
訊息是說權限不足,無法新建/mapred/mapredsystem
WARN org.apache.hadoop.mapred.JobTracker: Failed to operate on mapred.system.dir
(hdfs://localhost:8020/mapred/mapredsystem) because of permissions.
檢查:
# hadoop fs -ls /
出現的結果只有/tmp、/user,果然沒有/mapred,最後在網路上找到解決的方法
# sudo -u hdfs hadoop fs -mkdir /mapred
# sudo -u hdfs hadoop fs -chown mapred /mapred
重新啟動JobTracker.
# service hadoop-jobtracker restart
Step 4. Test Hadoop
# hadoop-validate-setup.sh --user=hdfs
會出現一些執行的過程及結果,如果沒有看見Java的執行錯誤,就表示成功了。
-
在電腦版的Line輸入文字時,遇到需要換行的情形時,我都是用記事本先寫好再複製上去,這樣就可以有換行的效果,可是這樣的做法好像失去Line的便利性。 於是查了一下,原來有一個設定可以指定Enter換行,而不是發訊息出去。 完成設定之後,要發送訊息就改用Al...
-
Windows7 / Windows8 kill process Linux下要刪除某個程序通常會使用 ps 配合 kill 來刪除程序。 例如:ps -ef |grep [PROCESS NAME] kill -9 [PID] 在Windows下,通常是...
-
在7月份的時候,利用Google地圖查詢官田區的路線,偶然發現「官田新訓中心(度假村)」,地點卻是我以前當兵時的新訓中心,難道當年的官田新訓中心已經被裁撤,改為飯店還是觀光景點嗎? 將Google地圖轉為街景模式,看見的還是新訓中心的門口,幾乎與我腦中的印象一樣,沒有什...