cdh版本6.3.1
cdh本身端口号
涉及3个端口:7180、7182、7183。存储元数据的 MySQL 数据库端口3306。
mysql端口修改
查询的结果,6.3.1版本未生效
取决于mysql部署方式,根据不同方式进行不同修改。直接部署的修改配置文件,docker部署的重新打包容器,重新创建。
然后修改cloudera-scm-server。
1 | /etc/cloudera-scm-server/db.properties |
CDH 6.3.1 运行在 CentOS7/RHEL7 上时,SELinux 默认只允许 3306:
1 | sudo semanage port -l | grep mysqld |
如果只有 3306,添加 新端口:
1 | sudo semanage port -a -t mysqld_port_t -p tcp 新端口 |
重启cloudera-scm-server。
进入web端配置相关组件,并重启组件。
| 组件 | 配置路径(Cloudera Manager 界面) | 需修改的配置项 |
|---|---|---|
| Hive | 进入 Hive 服务 → “配置” → 搜索 “元存储数据库” | 元存储数据库端口(hive_metastore_database_port) |
| Oozie | 进入 Oozie 服务 → “配置” → 搜索 “数据库连接” | 数据库端口(oozie_database_port) |
| Hue | 进入 Hue 服务 → “配置” → 搜索 “数据库” | 数据库端口(hue_database_port) |
| Sentry | 若启用 Sentry,进入 Sentry 服务 → “配置” → 搜索 “数据库” | 数据库端口(sentry_database_port) |
| Navigator | 若启用 Navigator,进入 Navigator 服务 → “配置” → 搜索 “数据库连接”(仅部分版本支持 MySQL) | 数据库端口(navigator_database_port) |
防火墙限制权限
6.3.1版本中cm经测试验证,无法修改3306端口。采用防火墙限制,只有cdh内部可以访问。原有机器防火墙处于关闭状态。改为启用,但是放行所有端口,然后针对特殊端口单独配置.由于111和2049端口也存在类似问题,一并调整。
1 | # 启动 firewalld |
如果有docker或者podman,需要单独处理。docker从守护进程开始重启,podman直接重启容器。
服务端
可在管理界面的设置中进行配置。管理》设置》端口和地址。
然后重启相关服务
1 | systemctl restart cloudera-scm-server |
Agent修改7180端口
1 | sudo vi /etc/cloudera-scm-agent/config.ini |
里面包含服务端的地址和端口号,修改为和服务端一致。也有监听端口9000的一行注释内容,也需要一并修改。还有 19001的使用。
其中9000配置会启用2个端口9000、9001,修改为29000,则会启动29000、29001。原有19001改为39001。
重启Agent
1 | systemctl restart cloudera-scm-agent |
airflow及相关端口号
均来自配置文件,
内部组件端口号
进入web管理端,选择相关组件,进入配置,选择端口相关。修改后重启组件。
例如:
查询端口10000的使用情况:
1 | # 如果不提权,可能无法查看到具体的进程号 |
从最终结果可以初步确认来源于hive服务。进入cdh的web管理端。找到hive服务,查询配置信息,会有相关端口使用。
个别端口可能是计算出来的,配置信息不一定有。例如agent的9000配置后,计算+1的结果9001也会启动。像nacos8848端口也会进行计算相应端口,如9848等。只需要修改一个配置端口,其他的会根据偏移量自动计算出来。