撰写于    浏览:975 次  分类: kafka研究
2018年9月10日,当天最大的收获就是对kafka有了很深刻的认识。时光匆匆,转眼之间,一年已经过去了,今天又是教师节,几多感慨。在kafka这个领域,整整一年过去了,期间收获了很多的知识点,但是从没有获得大的思想突破。对此情况,内心深处一片平静,一份从容,一份自信。人不可能一直在突破,因为任何突破都是依靠长期积累,是量变到质变的过程。相比去年的[...]

撰写于    浏览:1837 次  分类: kafka研究
仅仅读,写和存储是不够的,kafka的目标是实时的流处理。在kafka中,流处理持续获取输入topic的数据,进行处理加工,然后写入输出topic。例如,一个零售APP,接收销售和出货的输入流,统计数量或调整价格后输出。可以直接使用producer和consumer API进行简单的处理。对于复杂的转换,Kafka提供了更强大的Streams AP[...]

撰写于    浏览:2030 次  分类: 趣谈kafka
我们知道,内存分为两部分,一部分被用户占用,一部分被操作系统占用,这个道理学过计算机的人都知道。但是内存这个概念太土了,科学家们聚到一起开会的时候,总不能你一句内存,我一句内存的讨论问题吧,这不是成了电脑维修了。为了显示清高,科学家们随后就想了一个更高大上的字眼:空间。人类的世界就是由空间和时间构成的,而在计算机世界里面,也有了“空间”之说,立马是[...]

撰写于    浏览:1501 次  分类: 趣谈kafka
初学者最大的迷惑是:kafka能保证一条消息不被重复消费吗? 如果能,它是通过什么机制实现的?重复是设计和开发的大敌,所以在数据库里面有自增主键,人们对避免重复已经根深蒂固观念:觉得任何系统应该必备避免重复的功能。但是这种重复的观念,是从存储端的角度来看的,kafka也是实现了,每个消息都有自己的id,可以说是不重复的。但是如果从消费端的角度来看,[...]

撰写于    浏览:1271 次  分类: 趣谈kafka
数据副本是个很常见的概念和术语,我们经常遇到,但是也最容易让人产生迷惑。副有以下几种含义:1.第二位的,辅助的,区别于“正”、“主”:例如:~职。~手。~官。~使。2.附带的,次要的:例如:~业。~品。~食。~刊。~歌。~产品。~作用。3.相配,相称(chèn):例如:名实相~。其实难~。4.量词(a.一组或一套,例如“一~手套”,“全~武装”;b[...]