一、调试并启动项目

（1）在(https://github.com/skykip/kafka_rgzn_Training）下载项目

（2）调试项目，设置项目结构

一、Kafka Eagle部署

（1）在/export/server路径下，上传并解压kafka-eagle-bin-2.1..gz

1 2 3

cd /export/server/ rz tar -zxvf kafka-eagle-bin-2.1..gz

（2）当解压完kafka-eagle-bin-2.1..gz之后，ls查看，出现kafka-eagle-bin-2.1.0意味着解压成功

三、*生产者API*

一个正常的生产逻辑需要具备以下几个步骤

(1)配置生产者客户端参数及创建相应的生产者实例

(2)构建待发送的消息

(3)发送消息

二、*Kafka命令行操作*

Kafka中提供了许多命令行工具(位于$KAFKA HOME/bin 目录下)用于管理集群的变更。

2022-06-05

Source

Edit

History

Kafka环境配置

一、*Kafka环境配置*

1、上传安装包到/export/server/路径并解压

cd /export/server

rz

查看更多

2022-05-17

Source

Edit

History

Spark HA & Yarn配置

*七、Spark-Standalone-HA模式*

注：此处因为先前配置时的zookeeper版本和spark版本不太兼容，导致此模式有故障，需要重新下载配置新的版本的zookeeper。配置之前需要删除三台主机的旧版zookeeper以及对应的软连接。

在node1节点上重新进行前面配置的zookerper操作

\1. 上传apache-zookeeper-3.7.0-bin.tar.gz到/export/server/目录下并解压文件

1 2 3

cd /export/server/ tar -zxvf apache-zookeeper-3.7.0-bin.tar.gz

*五、Spark-local模式*

\1. 上传并安装Anaconda3-2021.05-Linux-x86_64.sh文件

1 2 3

cd /export/server/ sh Anaconda3-2021.05-Linux-x86_64.sh

\2. 过程显示：

*一、配置基础环境*

#主机名

1	cat /etc/hostname

# hosts映射