分类 kafka研究 下的文章


撰写于    浏览:787 次  分类: kafka研究
server.properties是Kafka的主要配置文件,下面简单介绍其中的相关配置项的含义。必须修改的配置项就是log.dirs,其他配置可以根据需求自行修改。# 每一个Broker在集群中的唯标识。即使Broker的IP地址发生了变化,broker.id只要没变,则不会影响consumers的消息情况 broker.id=0 # 是否允许T[...]

撰写于    浏览:679 次  分类: kafka研究
kafka-server-start脚本通过kafka-run-class脚本调用Kafka类来启动Broker,在调用kafka-run-class脚本之前会进行检测命令行参数、设置log4j配置文件、设置JVM内存参数等操作。#!/bin/bash if [$# -lt 1]; #检查参数个数 then #打印命令用法 echo &quo[...]

撰写于    浏览:647 次  分类: kafka研究
为了方便管理和使用,Kafka提供了很多管理脚本,Linux版本的管理脚本存放在$KAFKA_ HOME/bin目录下(在$KAFKA_ HOME/bin/windows 目录下可以找到对应的Windows脚本)。下面先来介绍常用脚本的功能。kafka-server-start脚本:启动Kafka Server。kafka-server-stop脚[...]

撰写于    浏览:610 次  分类: kafka研究
只有旧版本的消费者客户端才支持删除群组的操作。删除群组操作将从Zookeeper上移除整个群组,包括所有已保存的偏移量。在执行该操作之前,必须关闭所有的消费者。如果不先执行这一步,可能会导致消费者出现不可预测的行为,因为群组的元数据已经从Zookeeper上移除了。示例:删除消费者群组testgroupkafka-consumer-groups.s[...]

撰写于    浏览:628 次  分类: kafka研究
在Kafka里,有两个地方保存着消费者群组的信息。对于旧版本的消费者来说,它们的信息保存在Zookeeper上,对于新版本的消费者来说,它们的信息保存在broker上。kafka-consumer-groups.sh工具可以用于列出上述两种消费者群组。它也可以用于删除消费者群组和偏移量信息,不过这个功能仅限于旧版本的消费者群组(信息保存在Zooke[...]