本文主要介紹了關(guān)于ubantu 16.4 Hadoop完全分布式搭建的相關(guān)內(nèi)容，分享出來供大家參考學(xué)習(xí)，下面話不多說了，來一起看看詳細(xì)的介紹吧

一個虛擬機(jī)

1.以 NAT網(wǎng)卡模式 裝載虛擬機(jī)

2.最好將幾個用到的虛擬機(jī)修改主機(jī)名，靜態(tài)IP /etc/network/interface，這里 是 s101 s102 s103 三臺主機(jī) ubantu，改/etc/hostname文件

3.安裝ssh

　在第一臺主機(jī)那里s101 創(chuàng)建公私密匙

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

>cd .ssh

>cp id_rsa.pub >authorized_keys 　創(chuàng)建密匙庫

將id_rsa.pub傳到其他主機(jī)上，到.ssh目錄下

通過 服務(wù)端 nc -l 8888 >~/.ssh/authorized_keys

客戶端 nc s102 8888 <id_rsa.pub

開始安裝Hadoop/jdk

1、安裝VM-tools 方便從win 10 拖拉文件到ubantu

2、創(chuàng)建目錄 /soft

3、改變組 chown ubantu:ubantu /soft 方便傳輸文件有權(quán)限

4、將文件放入到/soft （可以從桌面cp/mv src dst）

tar -zxvf jdk或hadoop 自動創(chuàng)建解壓目錄

配置安裝環(huán)境 （/etc/environment）

1.添加　　JAVA_HOME=/soft/jdk-...jdk目錄

2.添加 　　HADOOP_HOME=/soft/hadoop（Hadoop目錄）

3.在path里面加/soft/jdk-...jdk/bin:/soft/hadoop/bin/:/soft/hadoop/sbin

4.通過 java -version 查看有版本號 成功

5.hadoop version 有版本號 成功

開始配置HDFS四大文件 core-site.xml hdfs-site.xml mapred-site.xml yarn-site.xml

core-site.xml

<configuration>
 <property>
 <name>fs.defaultFS</name>
 <value>hdfs://s101:9000</value>
 </property>
</configuration>

2.hdfs-site.xml

<configuration>
<!-- Configurations for NameNode: -->
<property>
 <name>dfs.replication</name>
 <value>2</value>
</property>
<property>
 <name>dfs.namenode.name.dir</name>
 <value>file:/data/hdfs/name</value>
</property>
<property>
 <name>dfs.datanode.data.dir</name>
 <value>file:/data/hdfs/data</value>
</property>
<property>
 <name>dfs.namenode.secondary.http-address</name>
 <value>s101:50090</value>
</property>
<property>
 <name>dfs.namenode.http-address</name>
 <value>s101:50070</value>
 <description>
 The address and the base port where the dfs namenode web ui will listen on.
 If the port is 0 then the server will start on a free port.
 </description>
</property> 
<property>
 <name>dfs.namenode.checkpoint.dir</name>
 <value>file:/data/hdfs/checkpoint</value>
</property>
<property>
 <name>dfs.namenode.checkpoint.edits.dir</name>
 <value>file:/data/hdfs/edits</value>
</property>
</configuration>

3. mapred-site.xml

<configuration>
 <property>
 <name>mapreduce.framework.name</name>
 <value>yarn</value>
 </property>
</configuration>

4.yarn-site.xml

<configuration>
<!-- Site specific YARN configuration properties -->
 <property>
 <name>yarn.nodemanager.aux-services</name>
 <value>mapreduce_shuffle</value>
 </property>
 <property>
 <name>yarn.resourcemanager.hostname</name>
 <value>s101</value>
 </property>
</configuration>

到此成功一半。。。。。。。。。。。。。。

創(chuàng)建文件夾

mkdir /data/hdfs/tmp
mkdir /data/hdfs/var
mkdir /data/hdfs/logs
mkdir /data/hdfs/dfs
mkdir /data/hdfs/data
mkdir /data/hdfs/name
mkdir /data/hdfs/checkpoint
mkdir /data/hdfs/edits

記得將目錄權(quán)限修改

• sudo chown ubantu:ubantu /data

接下來傳輸 /soft文件夾到其他主機(jī)

創(chuàng)建 xsync可執(zhí)行文件

sudo touch xsync

sudo chmod 777 xsync 權(quán)限變成可執(zhí)行文件

sudo nano xsync

#!/bin/bash
pcount=$#
if((pcount<1));then
 echo no args;
 exit;
fi
p1=$1;
fname=`basename $p1`
pdir=`cd -P $(dirname $p1);pwd`
cuser=`whoami`
for((host=102 ; host<105 ;host=host+1));do
 echo --------s$host--------
 rsync -rvl $pdir/$fname $cuser@s$host:$pdir
done

xsync /soft-------->就會傳文件夾到其他主機(jī)

xsync /data

創(chuàng)建 xcall 向其他主機(jī)傳命令

#!/bin/bash
pcount=$#
if((pcount<1));then
 echo no args;
 exit;
fi
echo --------localhost--------
$@
for ((host=102;host<105;host=host+1));do
 echo --------$shost--------
 ssh s$host $@
done

別著急 快結(jié)束了 哈

還得配置 workers問價

• 將需要配置成數(shù)據(jù)節(jié)點(diǎn)（DataNode）的主機(jī)名放入其中，一行一個

注意重點(diǎn)來了

先格式化 hadoop -namenode -format

再 啟動 start-all.sh

查看進(jìn)程 xcall jps

進(jìn)入網(wǎng)頁

是不是很想牛淚，成功了耶?。?！

中間出現(xiàn)了很多問題

1， rsync 權(quán)限不夠 ：刪除文件夾 更改文件夾權(quán)限chown

2.學(xué)會看日志 log

總結(jié)

以上就是這篇文章的全部內(nèi)容了，希望本文的內(nèi)容對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，如果有疑問大家可以留言交流，謝謝大家對本站的支持。

版權(quán)聲明：本站文章來源標(biāo)注為YINGSOO的內(nèi)容版權(quán)均為本站所有，歡迎引用、轉(zhuǎn)載，請保持原文完整并注明來源及原文鏈接。禁止復(fù)制或仿造本網(wǎng)站，禁止在非maisonbaluchon.cn所屬的服務(wù)器上建立鏡像，否則將依法追究法律責(zé)任。本站部分內(nèi)容來源于網(wǎng)友推薦、互聯(lián)網(wǎng)收集整理而來，僅供學(xué)習(xí)參考，不代表本站立場，如有內(nèi)容涉嫌侵權(quán)，請聯(lián)系alex-e#qq.com處理。