站長資訊網
最全最豐富的資訊網站

Cloudera Manager 安裝集群遇到的問題及解決

多次安裝集群,但每次都不能順利,都會遇到很多很多的坑,今天就過去踩過的坑簡單的總結一下,希望已經踩了的和正在踩的童鞋能夠借鑒一下,希望對你們能有所幫助。

一、MySQL的配置

1、卸載原有的mysql

查看目前安裝的mysql

rpm -qa |grep mysql

Cloudera Manager 安裝集群遇到的問題及解決

卸載自帶的mysql

yum -y remove mysql-libs-5.1.73-7.el6.x86_64

2、安裝mysql

mysql的安裝有三種方式:

  • rpm包安裝(本次就采用rmp包的安裝方式進行演示)
  • 源碼安裝(提供了源碼安裝的腳本)
  • yum安裝(雖然安裝方便,但是不建議使用)

rpm包的方式安裝mysql

#加壓tar文件

tar -xvf mysql-5.6.26-1.linux_glibc2.5.x86_64.rpm-bundle.tar -C /files/mysql-rpm/

#安裝rpm包

rpm -ivh /files/mysql-rpm/*.rpm

cp /usr/share/mysql/my-default.cnf /etc/my.cnf

#安裝數據庫

/usr/bin/mysql_install_db

#啟動服務

service mysql start

#設置開機自啟

chkconfig mysql on

#設置數據庫密碼

/usr/bin/mysqladmin -u root password ‘123456’

3、初始化數據庫

mysql安裝完了之后就是初始化數據庫的過程,進去mysql庫中

mysql -u root -p123456

執行一下的語句進行初始化建庫

create database hive default charset utf8 collate utf8_general_ci;
create database hue default charset utf8 collate utf8_general_ci;
create database scm default charset utf8 collate utf8_general_ci;
create database amon default charset utf8 collate utf8_general_ci;
create database sentry default charset utf8 collate utf8_general_ci;
create database oozie default charset utf8 collate utf8_general_ci;
create database reports default charset utf8 collate utf8_general_ci;
grant all privileges on *.* to ‘root’@’locolhost’;
grant all on *.* to ‘root’@’%’ identified by ‘123456’ with grant option;
grant all on *.* to ‘root’@’Hadoop’ identified by ‘123456’ with grant option;
flush privileges;

然后重啟數據庫就ok了

service mysql restart

重點說明一下:mysql的安裝是前期準備工作的重要一步,不建議使用yum安裝,我就是因為圖省事,直接用yum安裝了mysql,導致在創建cmf數據的時候總是報連不上mysql服務的錯誤(即執行/opt/cm-5.11.1/share/cmf/schema/scmpreparedatabase.sh mysql cmf -hhadoop -uroot -p123456 –scm-host hadoop scm scm scm 命令),最后只得卸載了yum安裝的mysql重新用rmp包安裝的。

二、啟動cloudera-scm-server

在啟動cloudera-scm-server的時候報如下的錯誤(啟來30秒左右自動關閉,查看日志文件:/opt/cm-5.11.1/log/cloudera-scm-server/cloudera-scm-server.log)

Caused by: javax.persistence.PersistenceException: org.hibernate.exception.GenericJDBCException: Could not open connection

錯誤原因:
1.缺少mysql的驅動包,檢查/opt/cm-5.11.1/share/cmf/lib目錄下是否有mysql的驅動;
2.檢查mysql是否啟動;
3.mysql本身的問題,只能卸載mysql重新安裝(我就是這種方案解決的);

三、啟動cloudera-scm-agent

在啟動cloudera-scm-server的時候報如下的錯誤(啟來30秒左右自動關閉,查看日志文件:/opt/cm-5.11.1/log/cloudera-scm-agent/cloudera-scm-agent.log)

ERROR Failed to connect to newly launched supervisor. Agent will exit

這種錯誤是因為主節點的uuid和從節點的一樣,所以造成代理紊亂

錯誤原因:在主節點啟動了agent后,再scp到其他節點,這樣會把已經生成好的uuid帶過去。所以必須等所有的agent節點都準備好之后,再啟動agent

那遇到這種error如何處理:
1.刪除/opt/cm-5.11.1/lib/cloudera-scm-agent目錄下的所有文件(首先要保證server和agent服務都是關閉的)
2.刪除mysql中cmf數據庫
3.刪除從節點中/opt/cm-5.11.1目錄

4.重新復制到從節點

scp -r /opt/cm-5.11.1 root@hadoop001:/opt

5.創建cmf數據庫,執行一下代碼

/opt/cm-5.11.1/share/cmf/schema/scm_prepare_database.sh mysql cmf -hhadoop -uroot -p123456 –scm-host hadoop scm scm scm

6.重新啟動server和agent就ok了

四、啟動集群時報錯

錯誤提示:

Cloudera Manager 安裝集群遇到的問題及解決

看服務的狀態:

service cloudera-scm-agent status

以上錯誤的意思是:agent服務死了,但是pid文件換是存在

解決方法:進入到/opt/cm-5.11.1/run/cloudera-scm-agent目錄下刪除pid文件

Cloudera Manager 安裝集群遇到的問題及解決

五、hive分析運算時報錯

錯誤提示:org.apache.hadoop.security.AccessControlException: Permission denied: user=root, access=WRITE, inode=”/user”:hdfs:supergroup:drwxr-xr-x

Cloudera Manager 安裝集群遇到的問題及解決

錯誤原因:我當前所在的用戶的是root,root沒有操作hdfs文件中/user的權限

當前文件的權限:

Cloudera Manager 安裝集群遇到的問題及解決

執行以下賦權限語句

sudo -u hdfs hadoop fs -chmod -R 777 /user

sudo -u hdfs 說明需要指定hdfs用戶來執行賦權限的操作

以上內容僅是個人學習過程中的總結和見解,僅供參考,如果發現有錯誤也請批評指正!謝謝你的查閱。

贊(0)
分享到: 更多 (0)
網站地圖   滬ICP備18035694號-2    滬公網安備31011702889846號
久久精品国产99国产精2020丨| 6一12呦女精品| 六月婷婷国产精品综合| 亚洲国产精品人久久| 国产成人精品午夜二三区波多野 | 青娱分类视频精品免费2| 91精品国产高清| 亚洲精品国产成人99久久| 久久精品道一区二区三区| 97久久国产露脸精品国产| 久久91精品综合国产首页| 亚洲欧洲精品成人久久曰影片 | 精品人妻av区乱码| 97精品人人妻人人| 91精品导航在线网址免费| 蜜臀久久99精品久久久久久小说 | 久久99精品国产麻豆| 无码人妻精品一区二区三18禁| 久草视频这里只有精品| 久久久国产精品福利免费| 精品亚洲综合久久中文字幕| 国产综合精品一区二区三区| 自拍偷在线精品自拍偷无码专区 | 中文字幕精品一区二区日本| 青青青国产精品一区二区| 亚洲国产精品婷婷久久| 久久精品水蜜桃av综合天堂| 精品无码一区二区三区爱欲| 91精品综合久久久久久五月天| 91精品国产成人网在线观看 | 亚洲国产精品一区二区第四页| 完整观看高清秒播国内外精品资源| 一级做a爰黑人又硬又粗免费看51社区国产精品视| 无码日韩人妻精品久久| 亚洲人成国产精品无码| 久久精品亚洲男人的天堂| 国产成人A∨麻豆精品| 国产国产精品人在线视| 久久久精品国产sm调教网站| 四虎永久在线观看视频精品| 亚洲精品日韩一区二区小说|