首先安裝hadoop要安裝好java的開發(fā)環(huán)境，配置好jdk

讓客戶滿意是我們工作的目標，不斷超越客戶的期望值來自于我們對這個行業(yè)的熱愛。我們立志把好的技術通過有效、簡單的方式提供給客戶，將通過不懈努力成為客戶在信息化領域值得信任、有價值的長期合作伙伴，公司提供的服務項目有：主機域名、虛擬空間、營銷軟件、網站建設、寶豐網站維護、網站推廣。

其實創(chuàng)建一個hadoop的用戶

cd到這個用戶的目錄下

創(chuàng)建一個apps的目錄。以后所有的東西都解壓進入apps

解壓后的目錄中的文件如下

這里lib是本地的庫！

bin是自己的操作命令，

sbin是啟動命令！

etc是配置文件

include是本地庫的頭文件！

我們的jar包在share文件中！

下圖是share包中的目錄

剩下就在前面的etc/hadoop/目錄下的配置文件進行配置對紅線標注的配置文件進行修改

這里我們先配置hadoop-env.sh

我們將JAVA_HOME的值設置在此處如下圖，因為你要使用ssh遠程連接，所以使用原有的${JAVA_HOME}行不通

第二部在core-site.xml文件中進行配置

上圖中的配置第一個指定hadoop的文件系統(tǒng)，第二個指定集群每個主機的進程工作在哪個數(shù)據目錄

第三修改hdfs.site.xml

把數(shù)據保存兩份，做個備份！

然后修改mapred-site.xml.template

這里指定mapreduce運行的平臺為yarn,否則他默認是local.

別忘了執(zhí)行這個命令

第四接下來配置yarn-site.xml

裝好之后，設置hadoop的環(huán)境變量！

主要就是這兩個！

然后使用scp命令將apps目錄整個復制到其他主機上

也將/etc/profile傳過去

然后使用

這兩個命令，一個是啟動namenode節(jié)點，另一個是查看java的進程，這里用了看看namenode進行是否啟動！

這里就表示已經啟動了。

然后我們可以在使用ip地址進行可視化查看這個文件系統(tǒng)的各種情況！

http://192.168.150.129:50070/dfshealth.html#tab-overview

這里192.168.150.129是我mini1這個臺虛擬機的ip。又來做namenode節(jié)點的主機！

然后我們可能看到使用的空間為0

這是因為我們沒有啟動datanode .所以這里我們隨便啟動一個主機的datanode

注意一定su hadoop這個用戶下運行

使用命令 hadoop-daemon.sh start datanode

然后使用jps命令查看是否啟動datanode的進程

如果在jps命令中沒有DataNode那么你就查看，上述的/home/..../hadoop-hadoop-datanode-mini2.log

注意這里唯一與上圖中的不同，在于它是log，而上圖是out

如果想要關閉這個datanode,可以使用

這個命令。

講用腳本啟動所有的datanode,和namenode

這里需要修改slaves的配置文件，

將其修改

可以將腳本話啟動mini2和mini3作為datanode,mini1啟動為namenode,(這里腳本就在mini1中運行)

但是要不斷的輸入密碼。所以可以使用免密登錄！?。?！

情形是：我想在mini1中登錄mini2，mini3然后可以免密碼登錄！

我們可以在mini1中使用命令ssh-keygen產生秘鑰

然后依次拷貝到其他主機上

然后就可以正常使用了

這里我們看出來完全不用輸入密碼就可以直接啟動?。?！

配置完全后我們可以直接啟動腳本！將slaves里面配置的全部啟動??！

我們可以看出來，并沒有輸入任何密碼

當然我們也可以使用命令直接將全部的都停止掉stop-dfs.sh

網頁標題：安裝hadoop和配置hadoop，啟動namenode和設置免密登錄的詳細解析！
文章分享：http://www.ekvhdxd.cn/article12/iecpgc.html

成都網站建設公司_創(chuàng)新互聯(lián)，為您提供網站設計、商城網站、定制網站、網站收錄、品牌網站制作、網站導航

廣告

聲明：本網站發(fā)布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創(chuàng)新互聯(lián)