撰写于    浏览:782 次  分类: kafka研究
对于Kafka来说,消息不过是晦涩难懂的字节数组,所以有人建议用一些额外的结构来定义消息内容,让它们更易于理解。根据应用程序的需求,消息模式(schema)有许多可用的选项。像JSON 和XML这些简单的系统,不仅易用,而且可读性好。不过,它们缺乏强类型处理能力,不同版本之间的兼容性也不是很好。Kafka的许多开发者喜欢使用Apache Avro,[...]

撰写于    浏览:969 次  分类: kafka研究
Kafka的数据单元被称为消息。如果你在使用Kafka之前已经有数据库使用经验,那么可以把消息看成是数据库里的一个“数据行”或一条“记录”。消息由字节数组组成,所以对于Kafka 来说,消息里的数据没有特别的格式或含义。消息可以有一个可选的元数据,也就是键。键也是一个字节数组,与消息一样,对于Kafka 来说也没有特殊的含义。当消息以一种可控的方式[...]

撰写于    浏览:1666 次  分类: kafka研究
这是一个激动人心的时刻,成千上万的企业在使用Kafka , 三分之一多的世界500 强公司也在其中。Kafka 是成长最快的开源项目之一,它的生态系统也在蓬勃发展。Kafka 正在成为管理和处理流式数据的利器。Kafka 从何而来?我们为什么要开发Kafka?Kafka 到底是什么?Kafka 最初是Linkedln的一个内部基础设施系统。我们发现[...]

撰写于    浏览:1473 次  分类: kafka研究
1 活动跟踪Kafka最初的使用场景是跟踪用户的活动。网站用户与前端应用程序发生交互,前端应用程序生成用户活动相关的悄息。这些消息可以是一些静态的信息,比如页面访问次数和点击量,也可以是一些复杂的操作,比如添加用户资料。这些悄息被发布到一个或多个主题上,由后端应用程序负责读取。这样,我们就可以生成报告,为机器学习系统提供数据,更新搜索结果,或者实现[...]

撰写于    浏览:1637 次  分类: kafka研究
基于发布与订阅的消息系统那么多,为什么Kafka会是一个更好的选择呢?1 多个生产者Kafka可以无缝地支持多个生产者,不管客户端在使用单个主题还是多个主题。所以它很适合用来从多个前端系统收集数据,并以统一的格式对外提供数据。例如, 一个包含了多个微服务的网站,可以为页面视图创建一个单独的主题,所有服务都以相同的消息格式向该主题写入数据。消费者应用[...]