站長(zhǎng)資訊網(wǎng)
最全最豐富的資訊網(wǎng)站

Ubuntu單機(jī)安裝配置Hadoop

前言

因?yàn)槭钦n程要求,所以在自己電腦上安裝了Hadoop,由于沒(méi)有使用虛擬機(jī),所以使用單機(jī)模擬Hadoop的使用,可以上傳文件,下載文件。

1.安裝配置JDK

Ubuntu 18.04是自帶Java1.8的,你可以在命令行輸入java -version查看,如果你想重新配置的話請(qǐng)查看以下的教程。

1.下載JDK

單擊下載地址進(jìn)行下載

Ubuntu單機(jī)安裝配置Hadoop

下載之前點(diǎn)擊 Accept License Agreement, 然后下載 jdk-12_linux-64_bin.tar.gz

2.解壓JDK

進(jìn)行下載目錄,打開(kāi)terminal,輸入
tar zxvf jdk-12_linux-64_bin.tar.gz

將解壓后的文件夾移動(dòng)到 /usr/local 文件夾中,在命令行中輸入如下命令
sudo mv jdk-12_linux-64_bin /usr/local

jdk-12_linux-64_bin 為你解壓后得到的文件夾,如果和你的不一樣,清按實(shí)際情況進(jìn)行修改。

3.配置Java環(huán)境

在terminal中輸入如下命令
sudo gedit ~/.bashrc

在文件末尾寫(xiě)入如下內(nèi)容
export JAVA_HOME=/usr/local/jdk-12_linux-64_bin
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

然后在terminal中輸入如下命令
source ~/.bashrc

4.測(cè)試Java安裝是否成功

在terminal中輸入如下命令
java -version

如果配置成功的話會(huì)顯示出java 的版本,再繼續(xù)輸入如下命令
javac

配置成功的話會(huì)顯示出可以使用的命令

2.下載hadoop

請(qǐng)單擊下載地址進(jìn)行下載

下載 hadoop-2.7.6.tar.gz 這個(gè)版本,有需要可以下載其他版本

3.解壓到 /opt 目錄(如果有需要可以改為其他目錄,后面的操作也要陸續(xù)修改)

打開(kāi)terminal進(jìn)入下載目錄,執(zhí)行命令
tar -zxvf hadoop-2.7.6.tar.gz  -C /opt/

4.配置hadoop環(huán)境變量

打開(kāi)命令行,輸入如下命令
sudo gedit /etc/profile

在文件中添加如下代碼
export HADOOP_HOME=/opt/hadoop-2.7.6
export PATH=$PATH:$HADOOP_HOME/bin 

在命令行中執(zhí)行如下命令
source /etc/profile

5.配置hadoop

5.1配置hadoop-env.sh

在命令行中執(zhí)行如下命令
sudo gedit /opt/hadoop-2.7.6/etc/hadoop/hadoop-env.sh

找到# The java implementation to use.將其下面的一行改為:
export JAVA_HOME=/usr/local/jdk-12_linux-64_bin

如果你沒(méi)有按照我上面的步驟安裝java,清填寫(xiě)你自己的java路徑

5.2 配置core-site.xml (5.2和5.3中配置文件里的文件路徑和端口隨自己習(xí)慣配置)

其中的IP:192.168.44.128為虛擬機(jī)ip,不能設(shè)置為localhost,如果用localhost,后面windows上用saprk連接服務(wù)器(虛擬機(jī))上的hive會(huì)報(bào)異常

在命令行輸入 ifconfig查看自己的ip地址,在下面的代碼中將 192.168.44.128 改為你自己的ip就可以了

在命令行中輸入如下命令
sudo gedit /opt/hadoop-2.7.6/etc/hadoop/core-site.xml

在打開(kāi)的文件中添加如下內(nèi)容
<configuration>
<property>
        <name>hadoop.tmp.dir</name>
        <value>file:///opt/hadoop-2.7.6</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://192.168.44.128:8888</value>
    </property>
</configuration>

保存并關(guān)閉文件,然后在命令行中輸入以下命令
sudo gedit /opt/hadoop-2.7.6/etc/hadoop/hdfs-site.xml

在打開(kāi)的文件中修改如下內(nèi)容
<configuration>
        <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:///opt/hadoop-2.7.6/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:///opt/hadoop-2.7.6/tmp/dfs/data</value>
    </property>
</configuration>

6.SSH免密登陸

在命令行中輸入如下內(nèi)容
sudo apt-get install openssh-server
cd ~/.ssh/
ssh localhost ssh-keygen -t rsa
/* 這個(gè)過(guò)程中持續(xù)按回車就可以了 */
cat id_rsa.pub >> authorized_keys

7.啟動(dòng)與停止

第一次啟動(dòng)hdfs需要格式化,在命令行中輸入如下命令(出現(xiàn)詢問(wèn)輸入Y or N,全部輸Y即可)
cd /opt/hadoop-2.7.6
./bin/hdfs namenode -format 

啟動(dòng)
./sbin/start-dfs.sh

停止
./sbin/stop-dfs.sh

驗(yàn)證,瀏覽器輸入:http://192.168.44.128:50070

Ubuntu單機(jī)安裝配置Hadoop

簡(jiǎn)單的驗(yàn)證hadoop命令:
hadoop fs -mkdir /test

在瀏覽器查看,出現(xiàn)如下圖所示,即為成功

Ubuntu單機(jī)安裝配置Hadoop

你也可以輸入以下命令上傳文件到hadoop
hadoop fs -put  /test 1.txt  /test

8.配置yarn

8.1 配置mapred-site.xml

命令行中輸入如下命令:
cd /opt/hadoop-2.7.6/etc/hadoop/
cp mapred-site.xml.template mapred-site.xml
sudo gedit mapred-site.xml

在文件中添加內(nèi)容
<configuration>
    <!– 通知框架MR使用YARN –>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

8.2 配置yarn-site.xml

命令行中輸入如下命令:
sudo gedit yarn-site.xml

在文件中添加內(nèi)容
<configuration>
    <!– reducer取數(shù)據(jù)的方式是mapreduce_shuffle –>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

8.3 yarn啟動(dòng)與停止

啟動(dòng)
cd /opt/hadoop-2.7.5
./sbin/start-yarn.sh 

停止
./sbin/stop-yarn.sh

瀏覽器查看:http://192.168.44.128:8088

Ubuntu單機(jī)安裝配置Hadoop

jps查看進(jìn)程

Ubuntu單機(jī)安裝配置Hadoop

輸出如下所示,則表示hadoop單機(jī)模式配置成功

贊(0)
分享到: 更多 (0)
網(wǎng)站地圖   滬ICP備18035694號(hào)-2    滬公網(wǎng)安備31011702889846號(hào)
国产成人精品久久亚洲高清不卡| 久久精品国产亚洲AV无码麻豆| 国产日韩一区二区三区在线播放| 国产精品无码一区二区在线观| 国产精品免费观看| 久久久国产精品亚洲一区| 久久国产精品久久久久久 | 久久精品道一区二区三区| 成人区精品一区二区不卡 | 久久精品国产成人| 亚洲中文久久精品无码| 久久久久亚洲精品无码网址| caoporn国产精品免费| 精品视频一区二区观看| 日韩专区在线观看| 久久精品国产一区二区三区日韩| 国产精品林美惠子在线播放| 国产精品久久久久久亚洲影视| 曰产无码久久久久久精品| 久久99热这里只有精品66| 国产精品久久久久久久久免费 | 国产在线麻豆精品观看| 国产精品资源一区二区| 午夜精品不卡电影在线观看| 7777精品伊人久久久大香线蕉| 亚洲国产精品ⅴa在线观看| 最新亚洲精品国偷自产在线 | 国产精品99亚发布| 久久亚洲精品无码av| 精品久久久久久无码中文野结衣| 亚洲日韩精品无码专区| 亚洲精品天堂成人片AV在线播放| 久久中文字幕精品 | 精品久久人人妻人人做精品| 国产精品偷窥熟女精品视频| 精品久久久无码中文字幕天天| 久久免费99精品国产自在现线| 久久亚洲国产成人精品无码区| 国产午夜福利精品久久| 国产午夜亚洲精品午夜鲁丝片 | 精品露脸国产偷人在视频|