炼数成金 › 大数据›分布式系统

分布式系统

比拼Kafka，大数据分析新秀Pulsar到底好在哪: 在实时流式架构中，消息传递可以分为两类：队列（Queue）和流（Stream）。队列模型主要是采用无序或者共享的方式来消费消息。通过队列模型，用户可以创建多个消费者从单个管道中接收消息；当一条消息从队列发送出来 ...

技术专家：为什么我们最终选择Apache Pulsar替代Kafka？: 在传统消息系统中，存在一些问题。一方面，消息的存储和服务一般是紧耦合的，节点的扩容和运维不便，特别是在需要多备份来保证高可用性的场景。另一方面，消息的消费模式被固定，在企业内部需要维护多套系统来保证不 ...

图解Gossip-可能是最有趣的一致性协议: Gossip协议是一个通信协议，一种传播消息的方式，灵感来自于：瘟疫、社交网络等。使用Gossip协议的有：Redis Cluster、Consul、Apache Cassandra等。说到社交网络，就不得不提著名的六度分隔理论。1967年，哈佛大学 ...

分布式模式将给企业的岗位职责带来哪些变化？: 什么是分布式？一个企业两套系统是否可以看作一个分布式部署？一套系统两个数据库、计算和存储分离、一个数据库部署在多个物理机是否可视为分布式部署？这里我们不纠结于场景或者实现形式的差异 , 从本质上看问题。

图文了解 Kafka 的副本复制机制: 让分布式系统的操作变得简单，在某种程度上是一种艺术，通常这种实现都是从大量的实践中总结得到的。Apache Kafka 的受欢迎程度在很大程度上归功于其设计和操作简单性。随着社区添加更多功能，开发者们会回过头来重 ...

分布式架构中数据一致性常见的几个问题: 针对分布式架构下的数据一致性，大家也许会问这样的问题：跨系统间分布式事务如何解决？系统内多个服务的分布式事务如何解决？一个服务内多个数据源/数据库的分布式事务如何解决？……这些问题大家是很容易理解的， ...

让Elasticsearch飞起来！百亿级实时查询优化实战: 最近的一个项目是风控过程数据实时统计分析和聚合的一个 OLAP 分析监控平台，日流量峰值在 10 到 12 亿上下，每年数据约 4000 亿条，占用空间大概 200T。面对这样一个数据量级的需求，我们的数据如何存储和实现实时 ...

为什么说流处理即未来？: 最广为人知的 Flink 使用场景是流分析、连续处理（或者说渐进式处理），这些场景中 Flink 实时或者近实时的处理数据，或者采集之前提到的历史数据并且连续的对这些事件进行计算。晓伟在之前的演讲中提到一个非常好的 ...

Spark比拼Flink：下一代大数据计算引擎之争，谁主沉浮？: 自从数据处理需求超过了传统数据库能有效处理的数据量之后，Hadoop 等各种基于 MapReduce 的海量数据处理系统应运而生。从 2004 年 Google 发表 MapReduce 论文开始，经过近 10 年的发展，基于 Hadoop 开源生态或者 ...

Flink 原理与实现：架构和拓扑概览: 当 Flink 集群启动后，首先会启动一个 JobManger 和一个或多个的 TaskManager。由 Client 提交任务给 JobManager，JobManager 再调度任务到各个 TaskManager 去执行，然后 TaskManager 将心跳和统计信息汇报给 JobMa ...

一致性哈希算法的理解与实践: 一致哈希是一种特殊的哈希算法。在使用一致哈希算法后，哈希表槽位数（大小）的改变平均只需要对 K/n个关键字重新映射，其中K是关键字的数量， n是槽位数量。然而在传统的哈希表中，添加或删除一个槽位的几乎需要对 ...

HBase Rowkey 设计指南: 我们常说看一张 HBase 表设计的好不好，就看它的 RowKey 设计的好不好。可见 RowKey 在 HBase 中的地位。那么 RowKey 到底是什么？RowKey 的特点如下：类似于 MySQL、Oracle中的主键，用于标示唯一的行；完全是由用 ...

分布式快照算法: Chandy-Lamport 算法: Spark 的 Structured Streaming 的 Continuous Processing Mode 的容错处理使用了分布式快照（Distributed Snapshot）算法 Chandy-Lamport 算法，那么分布式快照算法可以用来解决什么问题呢？简单来说就是用来在缺乏 ...

HBase 协处理器入门及实战: HBase 和 MapReduce 有很高的集成，我们可以使用 MR 对存储在 HBase 中的数据进行分布式计算。但是在很多情况下，例如简单的加法计算或者聚合操作（求和、计数等），如果能够将这些计算推送到 RegionServer，这将大 ...

这可能是搭建Zookeeper集群介绍最全的文章: 怎么搭建单机无安全校验的就不说了，百度一搜一大堆。这里我就说说怎么搭建一个生产环境可用的Zookeeper集群。Docker方式不太建议，要考虑的东西比较多，如果要用Docker方式还是比较建议自建镜像，假如是Docker专家 ...

12 3 4 5 6 7 8 9 10 ... 15 / 15 页下一页

热门频道

大数据
商业智能

量化投资
科学探索
创业

即将开课

热门文章

社区热帖

GMT+8, 2019-9-19 05:53 , Processed in 0.128053 second(s), 16 queries .