Apache Kafka是一款开源的事件流处理应用程序。我们可以用它作为分布式的公共订阅消息系统,用于将业务逻辑从数据处理中解耦出来。其他业务场景包括高并发网站的行为跟踪,服务器日志聚集、事件溯源以及提交日志等。Apache Kafka采用分布式设计,扩展性高、吞吐量大,在生产环境中可以实现零宕机扩容,适合于部署在容错性高的系统架构中。这篇文章介绍在CentOS 8云服务器上安装Apache Kafka的操作方法。
安装Java运行环境
首先更新系统到最新状态。
$ sudo yum update -y
Apache Kafka采用Java编写,因此需要安装Java的运行环境OpenJDK。
$ sudo yum install -y java-1.8.0-openjdk
验证安装是否成功。
$ java -version
openjdk version "1.8.0_292"
OpenJDK Runtime Environment (build 1.8.0_292-b10)
OpenJDK 64-Bit Server VM (build 25.292-b10, mixed mode)
编辑配置文件,设置Java环境变量。
$ sudo vi /etc/profile
在这个文件尾部增加两行代码。
export JAVA_HOME=/usr/lib/jvm/jre-1.8.0-openjdk
export JRE_HOME=/usr/lib/jvm/jre
然后重载该文件。
$ source /etc/profile
安装Apache Kafka
我们先访问Apache Kafka的官方网站,找到最新版本的下载链接。本文以2.8.0版本为例。
$ cd ~
$ wget https://downloads.apache.org/kafka/2.8.0/kafka_2.12-2.8.0.tgz
$ tar -xvf kafka_2.12-2.8.0.tgz
$ sudo mv kafka_2.12-2.8.0 /opt
$ cd /opt/kafka_2.12-2.8.0
编辑Apache Kafka的一些参数。
$ sudo vi bin/kafka-server-start.sh
找到下面这行,把1G改成128M。
#export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
export KAFKA_HEAP_OPTS="-Xmx1G -Xms128M"
至此,Apache Kafka和Zookeeper已安装完毕,下一步我们运行他们。
启动服务
启动Zookeeper服务。
$ cd /opt/kafka_2.12-2.8.0
$ bin/zookeeper-server-start.sh -daemon config/zookeeper.properties
启动Apache Kafka服务。
$ bin/kafka-server-start.sh config/server.properties
这篇文章介绍了在CentOS 8云服务器上安装Apache Kafka的方法。要了解更多关于Apache Kafka的使用方法,请参考官方网站的帮助手册。