喵星之旅-调皮的大象-CDH安装

调皮的大象

环境准备

准备3台机器，都进行类似操作，也可以更多台。暂时每台机器16g，也可以先设置成8g。系统centos7。

基础工具、服务器名称

1
sudo yum install -y vim wget ntp net-tools

编辑ip和hostname，看自己习惯的方式设置，我是都图形化设置的。

编辑hosts文件，内容如下

1
2
3
172.16.120.41 cdh01
172.16.120.42 cdh02
172.16.120.43 cdh03

账号权限

账号要求有sudo权限，并且不需要输入密码，如果没有也可以使用root。正常是将账号加入wheel组,则可以sudo。要无密码操作，需要

1
sudo visudo

然后根据注释决定如何操作，我这里是将下面一行启用

1
%wheel  ALL=(ALL)       NOPASSWD: ALL

ssh免密

1
ssh-keygen -t rsa

然后直接多次回车。

1
2
3
ssh-copy-id cdh01
ssh-copy-id cdh02
ssh-copy-id cdh03

验证 ssh
使用 ssh 命令检查免密是否配置成功

防火墙

关闭防火墙

1
2
sudo systemctl stop firewalld.service
sudo systemctl disable firewalld.service

关闭 selinux

1
sudo vi /etc/selinux/config

将 SELINUX=enforcing 改为 SELINUX=disabled
设置后需要重启才能生效

时间同步

1
2
sudo yum -y install ntp
sudo systemctl stop chronyd && sudo systemctl disable chronyd
1
sudo vim /etc/ntp.conf

将时钟服务器更改为如下 4 

1
2
3
4
server 0.cn.pool.ntp.org
server 1.cn.pool.ntp.org
server 2.cn.pool.ntp.org
server 3.cn.pool.ntp.org

启动时间同步服务

1
sudo systemctl start ntpd &&sudo systemctl enable ntpd &&sudo ntpdate -u 0.cn.pool.ntp.org &&sudo hwclock --systohc && date

CDH安装

登陆cdh01。上传安装资料到/home/weblogic/cloudera。

搭建yum源

1
2
3
4
5
6
sudo mkdir -p /var/www/html/
sudo yum -y install httpd createrepo &&sudo systemctl start httpd &&sudo systemctl enable httpd

cd /home/weblogic/cloudera/cloudera-manager/ 
sudo createrepo . 
sudo mv /home/weblogic/cloudera/cloudera-manager/ /var/www/html/

访问验证 cdh01/cloudera-manager/

安装 jdk

1
2
cd /var/www/html/cloudera-manager/
sudo rpm -ivh oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm

安装 mysql

自己任何方式安装都可以。

安装

1
2
3
4
5
6
7
8
9
10
sudo yum -y remove mariadb-libs
cd ~/cloudera/mysql
tar -xvf mysql-5.7.29-1.el7.x86_64.rpm-bundle.tar
sudo yum install -y libaio 
sudo rpm -ivh mysql-community-common-5.7.29-1.el7.x86_64.rpm 
sudo rpm -ivh mysql-community-libs-5.7.29-1.el7.x86_64.rpm 
sudo rpm -ivh mysql-community-client-5.7.29-1.el7.x86_64.rpm 
sudo rpm -ivh mysql-community-server-5.7.29-1.el7.x86_64.rpm 
sudo rpm -ivh mysql-community-libs-compat-5.7.29-1.el7.x86_64.rpm
echo character-set-server=utf8 >> /etc/my.cnf

启动

1
2
3
sudo systemctl enable mysqld 
sudo systemctl start mysqld

登陆 mysql，执行 init.sql 脚本

1
2
mysql -uroot -p
source /home/weblogic/cloudera/mysql/init.sql

配置 mysql 驱动

1
2
3
4
sudo mkdir -p /usr/share/java/
cd /home/weblogic/cloudera/mysql-jdbc/
tar -zxvf mysql-connector-java-5.1.48.tar.gz
sudo cp /home/weblogic/cloudera/mysql-jdbc/mysql-connector-java-5.1.48/mysql-connector-java-5.1.48-bin.jar /usr/share/java/mysql-connector-java.jar

安装 Cloudera Manager

配置本地 yum 源,新建文件

1
/etc/yum.repos.d/cloudera-manager.repo

内容如下

1
2
3
4
5
[cloudera-manager]
name=Cloudera Manager 6.3.1
baseurl=http://cdh01/cloudera-manager/
gpgcheck=0
enabled=1

使其生效

1
2
sudo yum clean all 
sudo yum makecache

安装

1
sudo yum install -y cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server

配置本地 Parcel 存储库

1
2
3
4
sudo mv /home/weblogic/cloudera/parcel/* /opt/cloudera/parcel-repo
cd /opt/cloudera/parcel-repo/
sudo sha1sum CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel | awk '{ print $1 }' > CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha
sudo chown -R cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo/*

初始化 scm 库

1
sudo /opt/cloudera/cm/schema/scm_prepare_database.sh mysql scm scm 123456Aa.

上传 jar 包

在其他 2 台服务器上创建目录并上传 jar 包到该目录
/usr/share/java/mysql-connector-java.jar

启动 CM

1
2
sudo systemctl start cloudera-scm-server
sudo tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log | grep "INFO WebServerImpl:com.cloudera.server.cmf.WebServerImpl: Started Jetty server"

出现 INFO WebServerImpl:com.cloudera.server.cmf.WebServerImpl: Started Jetty server 则启动成功

访问 http://cdh01:7180/
账号密码为 admin/admin

CM初始化

http://cdh01:7180/
账号密码为 admin/admin

然后各种统一、下一步、继续等选项。选择版本时选择使用60天的。

集群安装

随意起名

输入主机名称搜索，可以搜索到3个主机。

选择存储库
http://cdh01/cloudera-manager/

jdk选项
两个全都勾选

输入可以无须密码直接sudo的账号，没有的话就用root。

集群安装最后一步，勾选最后一个选项。

集群设置

选择自定义服务，勾选最下面“包括 Cloudera Navigator”。
选择服务：hbase\hdfs\hive\hue\spark\yarn\zk

角色分配：

hbase：
01；03；03；所有主机。

hdfs：
3；1；1；3；3；所有主机。

hive：
所有主机；1；1；所有主机。

hue：
3；3.

spark：
1；所有主机。

yarn：
1；1；所有主机。

zk：
所有主机。

Cloudera Management Service：
全选1

数据库配置

metastore hive 123456Aa.
amon amon 123456Aa.
rman rman 123456Aa.
nav nav 123456Aa.
navms navms 123456Aa.
hue hue 123456Aa.

后面直接下一步最终完成。也可以自己设置存储目录。

文章目录
  1. 环境准备
    1. 基础工具、服务器名称
    2. 账号权限
    3. ssh免密
    4. 防火墙
    5. 时间同步
  2. CDH安装
    1. 搭建yum源
    2. 安装 jdk
    3. 安装 mysql
    4. 安装 Cloudera Manager
    5. 配置本地 Parcel 存储库
    6. 初始化 scm 库
    7. 上传 jar 包
    8. 启动 CM
  3. CM初始化
    1. 集群安装
    2. 集群设置
      1. 角色分配：
      2. 数据库配置
|