站長資訊網

最全最豐富的資訊網站
		
				
						
			



	


	

	

				

			
使用Docker部署Hadoop集群
                         

			
                          

				2018-11-12
												分類：服務器技術
				閱讀(1130)				評論(0)
				
			

		

				

						
一、主機規劃


3臺主機：1個master、2個slaver/worker


ip地址使用docker默認的分配地址：


master：


主機名： Hadoop2、ip地址： 172.17.0.2


slaver1：


主機名： hadoop3、ip地址： 172.17.0.3


主機名： hadoop4、ip地址： 172.17.0.4


二、軟件安裝


1、在docker中安裝CentOS鏡像，并啟動centos容器，安裝ssh。–詳見”docker上安裝centos鏡像”一文。


2、通過ssh連接到centos容器，安裝jdk1.8、hadoop3.0


可以按照傳統linux安裝軟件的方法，通過將jdk和hadoop的tar包上傳到主機進行安裝。


獲取centos7鏡像


$ docker pull centos


大概是70多M，使用阿里云等Docker加速器的話很快就能下載完，之后在鏡像列表中就可以看到


查看鏡像列表的命令：


$ docker images


安裝SSH


以centos7鏡像為基礎，構建一個帶有SSH功能的centos


$ vi Dockerfile


內容：


FROM centos
MAINTAINER linuxidc@linuxidc.com


RUN yum install -y openssh-server sudo
RUN sed -i ‘s/UsePAM yes/UsePAM no/g’ /etc/ssh/sshd_config
RUN yum  install -y openssh-clients


RUN echo “root:abc123” | chpasswd
RUN echo “root  ALL=(ALL)      ALL” >> /etc/sudoers
RUN ssh-keygen -t dsa -f /etc/ssh/ssh_host_dsa_key
RUN ssh-keygen -t rsa -f /etc/ssh/ssh_host_rsa_key


RUN mkdir /var/run/sshd
EXPOSE 22
CMD [“/usr/sbin/sshd”, “-D”]


這段內容的大意是：以 centos 鏡像為基礎，安裝SSH的相關包，設置了root用戶的密碼為 abc123，并啟動SSH服務


執行構建鏡像的命令，新鏡像命名為 centos7-ssh


$ docker build -t=”centos7-ssh” .


執行完成后，可以在鏡像列表中看到


$ docker images


構建Hadoop鏡像


上面是運行了3個centos容器，需要在每個容器中單獨安裝Hadoop環境，我們可以像構建SSH鏡像一樣，構建一個Hadoop鏡像，然后運行3個Hadoop容器，這樣就更簡單了


$ vi Dockerfile


內容：


FROM centos7-ssh
ADD jdk-8u151-linux-x64.tar.gz /usr/local/
RUN mv /usr/local/jdk1.8.0_151 /usr/local/jdk1.8
ENV JAVA_HOME /usr/local/jdk1.8
ENV PATH $JAVA_HOME/bin:$PATH


ADD hadoop-3.1.0.tar.gz /usr/local
RUN mv /usr/local/hadoop-3.1.0 /usr/local/hadoop
ENV HADOOP_HOME /usr/local/hadoop
ENV PATH $HADOOP_HOME/bin:$PATH


RUN yum install -y which sudo


這里是基于 centos7-ssh 這個鏡像，把 JAVA 和 Hadoop 的環境都配置好了


前提：在Dockerfile所在目錄下準備好 jdk-8u101-linux-x64.tar.gz 與 hadoop-2.7.3.tar.gz


執行構建命令，新鏡像命名為 hadoop


$ docker build -t=”hadoop” .


在/etc/hosts文件中添加3臺主機的主機名和ip地址對應信息


172.17.0.2      hadoop2
172.17.0.3      hadoop3
172.17.0.4      hadoop4


在docker中直接修改/etc/hosts文件，在重啟容器后會被重置、覆蓋。因此需要通過容器啟動腳本docker run的–add-host參數將主機和ip地址的對應關系傳入，容器在啟動后會寫入hosts文件中。如：


docker run –name hadoop2–add-host hadoop2:172.17.0.2 –add-host hadoop3:172.17.0.3 –add-host hadoop4:172.17.0.4 hadoop


docker exec -it hadoop2 bash


$ ssh-keygen -t rsa -P ” -f ~/.ssh/id_rsa
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
$ chmod 0600 ~/.ssh/authorized_keys


hadoop部署


1.在workers文件中定義工作節點


在hadoop根目錄下的etc/hadoop目錄下新建workers文件，并添加工作節點主機信息。


按照步驟一中的主機規劃，工作節點主機為hadoop3和hadoop4兩臺主機。如：


[root@9e4ede92e7db ~]# cat /usr/local/hadoop/etc/hadoop/workers
hadoop3
hadoop4


2、修改配置文件信息


a、在hadoop-env.sh中，添加JAVA_HOME信息


[root@9e4ede92e7db ~]# cat /usr/local/hadoop/etc/hadoop/hadoop-env.sh |grep JAVA_HOME
#  JAVA_HOME=/usr/java/testing hdfs dfs -ls
# Technically, the only required environment variable is JAVA_HOME.
# export JAVA_HOME=
JAVA_HOME=/usr/local/jdk1.8


b、core-site.xml


configuration><property>
<name>fs.default.name</name>
<value>hdfs://hadoop2:9000</value>
</property>
<property>
<name>io.file.buffer.size</name>
<value>131072</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
</configuration>


c、hdfs-site.xml


<configuration>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>hadoop2:9001</value>
<description># 通過web界面來查看HDFS狀態 </description>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/home/hadoop/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/home/hadoop/dfs/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
<description># 每個Block有2個備份</description>
</property>
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
</configuration>


d、yarn-site.xml


<configuration>
<!– Site specific YARN configuration properties –>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>hadoop2:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>hadoop2:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>hadoop2:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>hadoop2:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>hadoop2:8088</value>
</property>
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>1024</value>
</property>
<property>
<name>yarn.nodemanager.resource.cpu-vcores</name>
<value>1</value>
</property>
</configuration>


e、mapred-site.xml


<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>hadoop2:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>hadoop2:19888</value>
</property>
</configuration>


f、為防止進坑提前做好準備


vi start-dfs.sh  vi stop-dfs.sh


HDFS_DATANODE_USER=root
#HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs


vi start-yarn.sh  vi stop-yarn.sh


YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root


注意：


以上步驟完成以后停止當前容器，并使用docker命令保持到一個新的鏡像。使用新的鏡像重新啟動集群，這樣集群每臺機器都有相同的賬戶、配置和軟件，無需再重新配置。如：


a、停止容器


docker stop hadoop2


b、保存鏡像


docker commit hadoop2 hadoop_me:v1.0


測試


1、端口映射


集群啟動后，需要通過web界面觀察集群的運行情況，因此需要將容器的端口映射到宿主主機的端口上，可以通過docker run命令的-p選項完成。比如：


將yarn任務調度端口映射到宿主主機8088端口上：


docker run -it -p 8088:8088 hadoop_me:v1.0


2、從新鏡像啟動3個容器


docker run –name hadoop2 –add-host hadoop2:172.17.0.2 –add-host hadoop3:172.17.0.3 –add-host hadoop4:172.17.0.4 -d -p 5002:22 -p 9870:9870 -p 8088:8088 -p 19888:19888 
hadoop_me:v1.0


docker run –name hadoop3 –add-host hadoop2:172.17.0.2 –add-host hadoop3:172.17.0.3 –add-host hadoop4:172.17.0.4 -d -p 5003:22 hadoop_me:v1.0


docker run –name hadoop4 –add-host hadoop2:172.17.0.2 –add-host hadoop3:172.17.0.3 –add-host hadoop4:172.17.0.4 -d -p 5004:22 hadoop_me:v1.0


3.格式化 
進入到/usr/local/hadoop目錄下 
執行格式化命令


bin/hdfs namenode -format


修改hadoop2中hadoop的一個配置文件etc/hadoop/slaves 
刪除原來的所有內容，修改為如下


hadoop3
hadoop4


在hadoop2中執行命令


 scp  -rq /usr/local/hadoop  hadoop3:/usr/local
 scp  -rq /usr/local/hadoop  hadoop4:/usr/local


4.在master主機上執行start-all.sh腳本啟動集群


5.通過web頁面訪問


使用Docker部署Hadoop集群


使用Docker部署Hadoop集群


 


 


 


使用Docker部署Hadoop集群


Hadoop2.3-HA高可用集群環境搭建  http://www.hospitaldelafe.com/Linux/2017-03/142155.htm
Hadoop項目之基于CentOS7的Cloudera 5.10.1（CDH）的安裝部署  http://www.hospitaldelafe.com/Linux/2017-04/143095.htm
CentOS 7.4下Hadoop 2.7.6安裝部署 http://www.hospitaldelafe.com/Linux/2018-08/153353.htm
Hadoop2.7.2集群搭建詳解（高可用）  http://www.hospitaldelafe.com/Linux/2017-03/142052.htm
使用Ambari來部署Hadoop集群（搭建內網HDP源）  http://www.hospitaldelafe.com/Linux/2017-03/142136.htm
Ubuntu 14.04下Hadoop集群安裝  http://www.hospitaldelafe.com/Linux/2017-02/140783.htm
CentOS 6.7安裝Hadoop 2.7.2  http://www.hospitaldelafe.com/Linux/2017-08/146232.htm
Ubuntu 16.04上構建分布式Hadoop-2.7.3集群  http://www.hospitaldelafe.com/Linux/2017-07/145503.htm
CentOS 7 下 Hadoop 2.6.4 分布式集群環境搭建  http://www.hospitaldelafe.com/Linux/2017-06/144932.htm
Hadoop2.7.3+Spark2.1.0完全分布式集群搭建過程  http://www.hospitaldelafe.com/Linux/2017-06/144926.htm
CentOS 7.4下編譯安裝Hadoop 2.7.6 及所需文件  http://www.hospitaldelafe.com/Linux/2018-06/152786.htm
Ubuntu 16.04.3 下安裝配置 Hadoop http://www.hospitaldelafe.com/Linux/2018-04/151993.htm

		

								            

            	贊(0)            	            	            

        				
					

分享到：








更多 (0)




		
		
標簽：

		
		
		            
        
									

	

	




	網站地圖  
  
    滬ICP備18035694號-2
    
	滬公網安備31011702889846號




日本精品视频在线观看|
国产麻豆剧传媒精品国产免费|
亚洲热线99精品视频|
日本精品久久久久影院日本|
免费久久精品国产片香蕉|
人妻少妇偷人精品视频|
国产99re在线观看只有精品|
精品一区二区三区免费毛片爱|
亚洲韩国精品无码一区二区三区|
国产精品无码无卡无需播放器
|
老司机在线精品视频|
777亚洲精品乱码久久久久久|
久久丫精品久久丫|
久久精品国产一区二区三区肥胖|
国精品午夜福利视频不卡|
99re国产精品视频首页|
久久精品国产精品亚洲人人|
国产vA免费精品高清在线观看
|
久久久久99精品成人片直播|
久久66热这里只会有精品|
亚洲国产精品特色大片观看完整版|
国产成人无码精品久久久性色|
91精品在线播放|
窝窝午夜色视频国产精品东北|
国内精品国语自产拍在线观看|
精品久久久久久久中文字幕|
国产手机在线精品|
精品亚洲视频在线观看|
国产午夜亚洲精品理论片不卡|
久久99精品久久久久久野外|
波霸在线精品视频免费观看|
精品少妇一区二区三区在线|
精品久久久久中文字|
三级精品视频在线播放|
中文成人无码精品久久久不卡|
97久久精品午夜一区二区|
在线精品亚洲一区二区三区|
99久久国产宗和精品1上映
|
国产精品自在在线午夜蜜芽tv在线|
四虎永久在线精品波多野结衣|
中文字幕精品一区二区2021年
|