分类 kafka研究 下的文章


撰写于    浏览:346483 次  分类: kafka研究
我今年三十多岁了,仍然在技术之路上狂奔。除了技术,其他的事情感觉也做不来。在北京有沉重的房贷,一家子老小都要承担起来,虽然之前积累了点积蓄,但是依然不能松懈。在技术成长过程中踩了很多坑,学习kafka就感觉花费的时间比较长,感觉挺去曲折的,没有一下子参透它。接触kafka有几年了,前期花费几个月时间去学习,后期中断了半年,后来又拾起来了。很多概念,[...]

撰写于    浏览:1244 次  分类: kafka研究
http://dwz.cn/HEZcIu3I

撰写于    浏览:1823 次  分类: kafka研究
如果有个定时为350ms的任务该如何处理?直接扩充wheelSize的大小么?Kafka中不乏几万甚至几十万毫秒的定时任务,这个wheelSize的扩充没有底线,就算将所有的定时任务的到期时间都设定一个上限,比如100万毫秒,那么这个wheelSize为100万毫秒的时间轮不仅占用很大的内存空间,而且效率也会拉低。Kafka为此引入了层级时间轮的概[...]

撰写于    浏览:6158 次  分类: kafka研究
Kafka中存在大量的延迟操作,比如延迟生产、延迟拉取以及延迟删除等。Kafka并没有使用JDK自带的Timer或者DelayQueue来实现延迟的功能,而是基于时间轮自定义了一个用于实现延迟功能的定时器(SystemTimer)。JDK的Timer和DelayQueue插入和删除操作的平均时间复杂度为O(nlog(n)),并不能满足Kafka的高[...]

撰写于    浏览:2157 次  分类: kafka研究
上面一篇文章,我说了一点自己的学习经验,其中第(4)点,我提到了Linux的io复用,主要是epoll,我突然感觉可以把这个给大家讲一讲,当做一次公开课内容,因为大家都是搞java的,很少有人即精通c/c++,又精通java的。在我看来:不懂c/c++的人,绝对是不能称之为java大牛的,如果不懂epoll,那就是压根不懂并发。虽然这个观点有点绝对[...]