消息队列和流式计算
作者:管理员    发布于:2014-12-15 10:00:37    文字:【】【】【
摘要:消息队列,流式计算,karfka,activemq,rabbitmq,北京速德贝斯科技有限公司

消息队列加流式处理引擎是系统架构常采纳的流式数据处理方式,通常我们推荐在流式处理中使用消息队列。当然,使用消息队列也有一些注意的地方。 

有种说法,当流处理引擎挂掉的时候,用可持久化消息队列可以防止数据丢失。这种说法并不全面,要一定要注意保证消息队列服务器的稳定,如果消息队列服务器不稳定,则可能会事倍功半。因为数据是串联通过消息队列服务器到流式处理引擎的,大家都知道串联系统的可靠性公式R=R1*R2*R3*...*RnRi表示子系统的可靠性,如果消息队列服务器可靠性为90%,流式处理引擎的可靠性<=100%,整体系统的可靠性<=90% 

另外一种情况是data burst发生的时候,采用可持久化消息队列也不一定解决问题。也就是流处理引擎处理不过来的时候,貌似持久化消息队列可以对数据进行缓存。但实际情况是这种情况只有在CEP engine接收消息队列是blocking processing才成立。流式处理引擎本身有自己的消息队列,为了提高可靠性都是有自身的缓存机制,接收消息队列的数据一般不是blocking模式的。 

因此最好的解决方法还是做好系统规划,合理使用消息队列,预留出data burst中流式处理引擎自身所需的内存缓存和硬盘缓存。另外,采用并联冗余方式提高整体系统的可靠性。

SODBASE公司提供Storm/jStorm+SQL方案,申请免费商业版


 
版权所有 Copyright(C)2009-2018 速德贝斯科技有限公司  
keywords:CEP CEP