Linux 下 kafka 集群部署

目录

1. kafka下载

2.环境准备

3.kafka部署

3.1 修改系统配置文件

3.2 开放端口

3.3 安装 kafka

3.4 验证

4. 设置服务开机自启动

---

本文将以三台服务器为例，介绍在 linux 系统下kafka的部署方式。

1. kafka下载

下载地址：Apache Kafka

选择需要的介质下载，这里以 kafka_2.11-1.1.1.tgz 为例

2.环境准备

   部署kafka需要先部署JDK 以及zookeeper ，JDK部署可以参考Linux下JDK 安装-CSDN博客 

zookeeper 部署可以参考 Linux 下 zookeeper 集群部署-CSDN博客。

3.kafka部署

注：以下操作三台机器均需要修改

3.1 修改系统配置文件

（1）编辑 hosts 文件

         vi /etc/hosts

        添加如下内容

         ip(第一台机器)   kafka1

         ip(第二台机器)   kafka2

         ip(第三台机器)   kafka3

（2）编辑ulimit

         vi /etc/security/limits.d/20-nproc.conf

        添加如下内容

       * soft nofile 655350

       * hard nofile 655350

（3）编辑系统参数

        vi /etc/sysctl.conf

        添加如下内容

        vm.max_map_count=655350

       保存后执行命令生效

        sysctl -p

3.2 开放端口

kafka 默认需要开通节点 9092 端口

（1）查看防火墙状态

        systemctl status firewalld

（2）开放端口

       firewall-cmd --zone=public --add-port=9092/tcp --permanent  

（3）防火墙重新加载配置

       firewall-cmd --reload  

（4） 查看防火墙所有开放的端口

       firewall-cmd --zone=public --list-ports

3.3 安装 ka