撰写于    浏览:1073 次  分类: kafka研究
Kafka的消息通过主题进行分类。主题就好比数据库的表,或者文件系统里的文件夹。主题可以被分为若干个分区,一个分区就是一个提交日志。消息以追加的方式写入分区,然后以先入先出的顺序读取。要注意,由于一个主题一般包含几个分区,因此无法在整个主题范围内保证消息的顺序,但可以保证消息在单个分区内的顺序。图1所示的主题有4个分区,消息被追加写入每个分区的尾部[...]

撰写于    浏览:874 次  分类: kafka研究
对于Kafka来说,消息不过是晦涩难懂的字节数组,所以有人建议用一些额外的结构来定义消息内容,让它们更易于理解。根据应用程序的需求,消息模式(schema)有许多可用的选项。像JSON 和XML这些简单的系统,不仅易用,而且可读性好。不过,它们缺乏强类型处理能力,不同版本之间的兼容性也不是很好。Kafka的许多开发者喜欢使用Apache Avro,[...]

撰写于    浏览:1076 次  分类: kafka研究
Kafka的数据单元被称为消息。如果你在使用Kafka之前已经有数据库使用经验,那么可以把消息看成是数据库里的一个“数据行”或一条“记录”。消息由字节数组组成,所以对于Kafka 来说,消息里的数据没有特别的格式或含义。消息可以有一个可选的元数据,也就是键。键也是一个字节数组,与消息一样,对于Kafka 来说也没有特殊的含义。当消息以一种可控的方式[...]

撰写于    浏览:1864 次  分类: kafka研究
这是一个激动人心的时刻,成千上万的企业在使用Kafka , 三分之一多的世界500 强公司也在其中。Kafka 是成长最快的开源项目之一,它的生态系统也在蓬勃发展。Kafka 正在成为管理和处理流式数据的利器。Kafka 从何而来?我们为什么要开发Kafka?Kafka 到底是什么?Kafka 最初是Linkedln的一个内部基础设施系统。我们发现[...]

撰写于    浏览:1670 次  分类: kafka研究
1 活动跟踪Kafka最初的使用场景是跟踪用户的活动。网站用户与前端应用程序发生交互,前端应用程序生成用户活动相关的悄息。这些消息可以是一些静态的信息,比如页面访问次数和点击量,也可以是一些复杂的操作,比如添加用户资料。这些悄息被发布到一个或多个主题上,由后端应用程序负责读取。这样,我们就可以生成报告,为机器学习系统提供数据,更新搜索结果,或者实现[...]