炼数成金 大数据分布式系统
订阅

分布式系统

消息队列和 RocketMQ 入门总结
消息队列和 RocketMQ 入门总结
消息队列顾名思义就是存放消息的队列,队列我就不解释了,别告诉我你连队列都不知道似啥吧?所以问题并不是消息队列是什么,而是消息队列为什么会出现?消息队列能用来干什么?用它来干这些事会带来什么好处?消息队 ...
RabbitMQ和Kafka的比较
RabbitMQ和Kafka的比较
异步消息可以作为解耦消息的生产和处理的一种解决方案。提到消息系统,我们通常会想到两种主要的消息模式——消息队列和发布/订阅模式。利用消息队列可以解耦生产者和消费者。多个生产者可以向同一个消息队列发送消 ...
Kafka为什么这么快?
Kafka为什么这么快?
在过去的几年里,软件架构领域发生了巨大的变化。人们不再认为所有的系统都应该共享一个数据库。微服务、事件驱动架构和CQRS(命令查询的责任分离 Command Query Responsibility Segregation)是构建当代业务应用程 ...
LogDevice:一种用于日志的分布式数据存储系统
LogDevice:一种用于日志的分布式数据存储系统
说到日志,它就是一个将有序序列的不可变记录记下来,并将此记录可靠地保存下来的最简单的方法。如果想要构建一套数据密集型分布式服务,你可能需要一两套日志。在Facebook,我们构建了许多用来存储和处理数据的大型 ...
什么?搞不定Kafka重复消费?
什么?搞不定Kafka重复消费?
给每个消息都设置一个独一无二的 key,消费的时候把 key 记录下来,然后每次消费新的消息的时候都查询一下,看当前消息的这个 key 是否消费过,如果没有消费过才进行消费。(这种方式好想,但是其实实现起来一点也不 ...
9种分布式ID生成方式
9种分布式ID生成方式
在说分布式ID的具体实现之前,我们来简单分析一下为什么用分布式ID?分布式ID应该满足哪些特征?什么是分布式ID?拿MySQL数据库举个例子:在我们业务数据量不大的时候,单库单表完全可以支撑现有业务,数据再大一点 ...
两万字深度介绍分布式系统原理,一文入魂
两万字深度介绍分布式系统原理,一文入魂
在具体的工程项目中,一个节点往往是一个操作系统上的进程。在本文的模型中,认为节点是一个完整的、不可分的整体,如果某个程序进程实际上由若干相对独立部分构成,则在模型中可以将一个进程划分为多个节点。
Kafka是如何保证高性能和高吞吐量的?
Kafka是如何保证高性能和高吞吐量的?
Kafka是一款分布式消息发布和订阅系统,它的特点是高性能、高吞吐量。最早设计的目的是作为LinkedIn的活动流和运营数据的处理管道。这些数据主要是用来对用户做用户画像分析以及服务器性能数据的一些监控。所以kafka ...
Kafka 孕育开源 KarelDB
Kafka 孕育开源 KarelDB
Apache Kafka及其配套的键值存储系统如今用于为越来越多的关系数据库提供持久性存储。大多数数据库使用键值存储系统作为基础。最近冒出来的KarelDB是一种关系数据库,它几乎完全建立在开源组件的基础上,包括用于SQL ...
比拼Kafka,大数据分析新秀Pulsar到底好在哪
比拼Kafka,大数据分析新秀Pulsar到底好在哪
在实时流式架构中,消息传递可以分为两类:队列(Queue)和流(Stream)。队列模型主要是采用无序或者共享的方式来消费消息。通过队列模型,用户可以创建多个消费者从单个管道中接收消息;当一条消息从队列发送出来 ...
技术专家:为什么我们最终选择Apache Pulsar替代Kafka?
技术专家:为什么我们最终选择Apache Pulsar替代Kafka?
在传统消息系统中,存在一些问题。一方面,消息的存储和服务一般是紧耦合的,节点的扩容和运维不便,特别是在需要多备份来保证高可用性的场景。另一方面,消息的消费模式被固定,在企业内部需要维护多套系统来保证不 ...
图解Gossip-可能是最有趣的一致性协议
图解Gossip-可能是最有趣的一致性协议
Gossip协议是一个通信协议,一种传播消息的方式,灵感来自于:瘟疫、社交网络等。使用Gossip协议的有:Redis Cluster、Consul、Apache Cassandra等。说到社交网络,就不得不提著名的六度分隔理论。1967年,哈佛大学 ...
分布式模式将给企业的岗位职责带来哪些变化?
分布式模式将给企业的岗位职责带来哪些变化?
什么是分布式?一个企业两套系统是否可以看作一个分布式部署?一套系统两个数据库、计算和存储分离、一个数据库部署在多个物理机是否可视为分布式部署?这里我们不纠结于场景或者实现形式的差异 , 从本质上看问题。
图文了解 Kafka 的副本复制机制
图文了解 Kafka 的副本复制机制
让分布式系统的操作变得简单,在某种程度上是一种艺术,通常这种实现都是从大量的实践中总结得到的。Apache Kafka 的受欢迎程度在很大程度上归功于其设计和操作简单性。随着社区添加更多功能,开发者们会回过头来重 ...
分布式架构中数据一致性常见的几个问题
分布式架构中数据一致性常见的几个问题
针对分布式架构下的数据一致性,大家也许会问这样的问题:跨系统间分布式事务如何解决?系统内多个服务的分布式事务如何解决?一个服务内多个数据源/数据库的分布式事务如何解决?……这些问题大家是很容易理解的, ...

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

热门文章

    社区热帖

       

      GMT+8, 2021-9-18 05:52 , Processed in 0.123648 second(s), 16 queries .