大数据集群搭建【前言】（一）

发表于2024-06-10|更新于2025-02-10|大数据集群

|浏览量:

前言

此文档是用于大数据集群环境搭建教程【自用】，包括项目

安装前介绍

总计7台设备，3台计算服务层，4台存储服务层，因IP敏感此处IP使用ip1~ip7指代

硬件设备

序号	服务	ip	CPU	内存（G）	磁盘（T）	操作系统	应用部署
4	数据仓库计算服务	ip1	32C64线程	64	2	redhat7.6	1、hadoop【DataNode、nodemanager】 2、dolphinscheduler【master、api、works】 3、spark【master】
5	数据仓库计算服务	ip2	32C64线程	64	2	redhat7.6	1、hadoop【DataNode、nodemanager】 2、dolphinscheduler【works】 3、spark【slaver】
6	数据仓库计算服务	ip3	32C64线程	64	2	redhat7.6	1、hadoop【DataNode、nodemanager】 2、dolphinscheduler【works、alert】 3、spark【slaver】
7	数据仓库存储服务	ip4	32C64线程	64	66	redhat7.6	1、hadoop【DFSZKFailover、JournalNode、NameNode、DataNode、NodeManager、ResourceManager】 2、hive【metastore、server2】 3、hbase【HMaster、HRegionServer】
8	数据仓库存储服务	ip5	32C64线程	64	66	redhat7.6	1、hadoop【DFSZKFailover、JournalNode、NameNode、DataNode、NodeManager、ResourceManager】 2、hive【metastore、server2】 3、hbase【HRegionServer】
9	数据仓库存储服务	ip6	32C64线程	64	66	redhat7.6	1、hadoop【DFSZKFailover、JournalNode、NameNode、DataNode、NodeManager、ResourceManager】 2、hive【metastore、server2】 3、hbase【HRegionServer】 4、ProgreSql【主】
10	数据仓库存储服务	ip7	32C64线程	64	66	redhat7.6	1、hadoop【DataNode、nodemanager】 2、hive【metastore、server2】 3、hbase【HRegionServer】 4、ProgreSql【从】

软件版本

组件名称	当前版本	审批版本
ZooKeeper	3.8.4	3.8.0(存在漏洞)
hadoop	3.3.0	3.3.0
Hbase	2.5.6	2.5.6
Spark	3.3.1	3.3.1
Hive	3.1.2	3.1.2
PostgreSQL	16.0	16.0
dolphinscheduler	3.1.4	3.1.4
Scala	2.12.17	2.12.17
nacos	2.0.3	2.0.3
xxl-job	2.3.0	2.3.0

文章作者: Biliar

文章链接: http://bilie.fun/blog/2024/06/10/7ebf5ba444d366ae90d579d5d6279f16/

版权声明: 本博客所有文章除特别声明外，均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 Biliar！

大数据 zookeeper hadoop hive hbase

相关推荐

大数据集群搭建【Zookeeper】（二）

zookeeper （3.8.4） IP4 zookeeper 2181：客户端连接ZooKeeper集群的默认端口 2888：Follower节点通过这个端口从Leader节点同步数据，以保持集群数据的一致性。3888：ZooKeeper集群中的节点通过这个端口进行Leader选举。当集群中的Leader节点发生故障时，其他节点会通过这个端口进行选举，产生新的Leader IP5 zookeeper 2181：客户端连接ZooKeeper集群的默认端口 2888：Follower节点通过这个端口从Leader节点同步数据，以保持集群数据的一致性。3888：ZooKeeper集群中的节点通过这个端口进行Leader选举。当集群中的Leader节点发生故障时，其他节点会通过这个端口进行选举，产生新的Leader IP6 zookeeper 2181：客户端连接ZooKeeper集群的默认端口...

大数据集群搭建【Dolphinscheduler】（八）

dolphinscheduler（3.1.4） IP1 master 5678：接收来自 Worker 节点的请求，并管理任务调度和工作流执行。 5679 worker 1234：主要用于Worker节点向Master节点汇报心跳、接收任务分配等 1235：Worker节点上运行的自定义插件与外部系统进行通信 api-server 12345：Web UI 端口，用于展示 Master 节点的状态和管理界面 IP2 worker 1234：主要用于Worker节点向Master节点汇报心跳、接收任务分配等 1235：Worker节点上运行的自定义插件与外部系统进行通信 IP3 worker 1234：主要用于Worker节点向Master节点汇报心跳、接收任务分配等...

大数据集群搭建【Hadoop】（三）

前言此文档为hadoop对应服务部署组件说明，已经部署操作步骤服务器对应部署服务说明 ip 主机部署服务服务端口 ip1 DataNode 9864：DataNode的Web UI端口，用于查看DataNode的状态和统计信息。 9866：DataNode的HTTP/HTTPS端口，用于提供DataNode的REST API服务。 9867：DataNode IPC服务，集群组件间通信 NodeManager 8040：用于Hadoop的ResourceManager通信。 8042：NodeManager的Web UI端口，用于查看NodeManager的状态和统计信息。 ip2 DataNode 9864：DataNode的Web UI端口，用于查看DataNode的状态和统计信息。 9866：DataNode的HTTP/HTTPS端口，用于提供DataNode的REST API服务。...

大数据集群搭建【Hbase】（六）

大数据集群搭建【Hive】（五）

Hive集群配置 Hive解压【storageServer1主机执行】 1234cd /data/upload_dirtar -zxvf apache-hive-3.1.2-bin.tar.gz -C ../mv apache-hive-3.1.2-bin/ hive-3.1.2 配置Hive【storageServer1主机执行】 123456789101112# 切换root用户vim /etc/profile#HIVE_HOMEexport HIVE_HOME=/data/hive-3.1.2export PATH=$PATH:$HIVE_HOME/binsource /etc/profile# 上传pgsql JDBC驱动到/data/hive-3.1.2/libchown -R app:app /data/hive-3.1.2/lib 1mv $HIVE_HOME/lib/log4j-slf4j-impl-2.18.0.jar...

大数据集群搭建【Spark + scala】（七）

scala（2.12.17） + spark（3.3.1） IP1 spark master 7077：接收来自 Worker 节点和应用程序的 RPC 请求，调度任务到 Worker 节点上执行。 8080：Master UI，查看 Master 节点的状态 spark worker 8081：Worker UI，查看 Worker 节点的状态 IP2 spark worker 8081：Worker UI，查看 Worker 节点的状态 IP3 spark worker 8081：Worker UI，查看 Worker 节点的状态 spark集群是基于hadoop集群来进行部署的，前置条件，记得设置服务器hostname 1hostnamectl set-hostname hostname 解压安装scala，并将scala设置入环境变量【所有执行】1tar -zxvf scala-2.12.17.tgz 编辑环境变量 123#scala语言版本export...