炼数成金 门户 大数据 分布式系统 查看内容

技术专家:为什么我们最终选择Apache Pulsar替代Kafka?

2019-8-26 17:37| 发布者: 炼数成金_小数| 查看: 14383| 评论: 0|原作者: Karthikeyan Palanivelu|来自: msup

摘要: 在传统消息系统中,存在一些问题。一方面,消息的存储和服务一般是紧耦合的,节点的扩容和运维不便,特别是在需要多备份来保证高可用性的场景。另一方面,消息的消费模式被固定,在企业内部需要维护多套系统来保证不 ...

模型 存储 Hadoop 架构 集群

在传统消息系统中,存在一些问题。一方面,消息的存储和服务一般是紧耦合的,节点的扩容和运维不便,特别是在需要多备份来保证高可用性的场景。另一方面,消息的消费模式被固定,在企业内部需要维护多套系统来保证不同的消息消费场景。另外消息系统中,多租户,多机房互备等企业级的特性和功能也不太丰富。

Apache Pulsar采用了分层的架构,解决了存储计算的耦合,同时提供了很好的扩展性和可维护性。Pulsar也通过订阅层的抽象,提供了统一的消息消费模型。特别是在Pulsar的设计之初,就注重对多租户,多机房互备等方面的需求,提供了众多完备的企业级的特性。

Apache Pulsar从2015年初在Yahoo全球近十个机房内部大规模部署,稳定服务了Yahoo内部邮箱,金融,Flickr,广告,NoSQL等众多的应用场景,一共创建了80多个租户,230多万个topic。 智联招聘在18年用Pulsar替换了线上原有的RabbitMQ,作为内部的消息总线,服务内部的20多个应用,每天会产生6亿多条消息和3TB的数据。在减轻硬件,运维和部署成本的同时,为系统提供了更好的服务质量和扩展性。

Apache Pulsar,是一个使用Apache Bookkeeper提供持久化的pub/sub消息平台,它可以提供如下特性:
持久化:采用 BookKeeper 作为存储层,灵活性强。
Ordering:每个消息有全局的 ID,消息重发简单。
Delivery Guarantees:At least once, at most once 和 effectively once。
高吞吐:单个分区高达 1.8 M 消息/秒。
低延迟:99% 的生产延迟小于 5 ms。
统一消息模型:同时支持两种消费模型,流和队列。
多租户:单个群集可支持多租户和用例。
跨地域复制:原生可用。
高可用、高扩展性、易运维

架构概述


Pulsar使用分层结构,将存储机制与broker隔离开来。此体系结构为Pulsar提供以下好处:

1、独立扩展broker,负责处理Producer发来的消息并分发给消费者。通过一个全局的ZK集群来处理多种协作式任务,例如说基于地理位置的复制。并将消息存储到BookKeeper中,同时单个集群内也需要有一套ZK集群,来存储一些元数据。
2、独立扩展存储(Bookies)
3、更容易容器化Zookeeper, Broker and Bookies
4、ZooKeeper提供集群的配置和状态存储


亮点如下:
1、负载均衡器:Pulsar内置负载均衡器,可在内部将负载分配给所有broker
2、服务发现:Pulsar具有内置的服务发现功能,可以识别在何处以及如何连接到broker。
3、全局复制器:可以在为同一个命名空间配置的N个borker之间复制数据。
4、全局ZK:全局ZK用于实现跨地域复制

跨地域复制
跨地域复制是Pulsar提供的解决方案。全局集群可以在名称空间级别进行配置,以便在任意数量的集群(n-wayMesh解决方案)中进行复制。从下面的示例中,数据中心C没有消费者,但数据中心A或B中仍会根据订阅模型消费消息。


多租户
多租户特性通过对数据存储的隔离,帮助为企业建立Pulsar集群。这一内置功能将大大降低组织的基础设施建设和运营成本。

零Rebalancing时间
Pulsar的分层架构和代理的无状态性质有助于实现零Rebalancing时间。如果一个新的broker被添加到集群中,它将立即可用;无需在集群中rebalancing数据。

从Bookies的角度来看:当一个新的Bookie添加到集群中时,由于其底层的分布式日志架构(读/写隔离),该节点立刻可以写入数据。基于段复制配置的数据rebalance在后台进行,不会对集群产生任何影响。

统一的队列和流模型
Pulsar使用同一个模型支持流和队列语义。这个特性可以通过订阅模型实现。消费者使用订阅模型中的任何一个订阅主题:
1、Exclusive - 支持流语义
2、Failover - 支持流语义
3、Shared - 支持队列语义


函数
函数是能够在Pulsar内部或外部存在的本地监听器。从用途本身来看,函数可用于基于内容的路由,这将帮助企业应用程序路由预期的消息。

Proxy
当broker部署在云或Kubernetes中时,需要使用proxy将broker暴露于外部世界。Proxy本身可以提供身份验证和授权。Proxy内置将授权令牌传递给broker以进行命名空间权限验证的功能。

结论
Apache Pulsar使用基于分层体系结构的pub/sub模型,它具有跨地域复制、多租户、零Rebalancing时间等功能。

原文地址:https://medium.com/@pckeyan/apache-pulsar-gentle-introduction-465ca6da0e18

声明:本文版权归原作者所有,文章收集于网络,为传播信息而发,如有侵权,请联系小编及时处理,谢谢!

欢迎加入本站公开兴趣群
软件开发技术群
兴趣范围包括:Java,C/C++,Python,PHP,Ruby,shell等各种语言开发经验交流,各种框架使用,外包项目机会,学习、培训、跳槽等交流
QQ群:26931708

Hadoop源代码研究群
兴趣范围包括:Hadoop源代码解读,改进,优化,分布式系统场景定制,与Hadoop有关的各种开源项目,总之就是玩转Hadoop
QQ群:288410967 

鲜花

握手

雷人

路过

鸡蛋

相关阅读

最新评论

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

 

GMT+8, 2019-9-17 20:14 , Processed in 0.138248 second(s), 25 queries .