炼数成金 › 大数据›分布式系统

分布式系统

分布式锁？架构师的这篇文章带你玩转!: 大多数互联网系统都是分布式部署的，分布式部署确实能带来性能和效率上的提升，但为此，我们就需要多解决一个分布式环境下，数据一致性的问题。当某个资源在多系统之间，具有共享性的时候，为了保证大家访问这个资源 ...

Kafka实践：到底该不该把不同类型的消息放在同一个主题中？: 如果你使用了像 Kafka 这样的流式处理平台，就要搞清楚一件事情：你需要用到哪些主题？特别是如果你要将一堆不同的事件作为消息发布到 Kafka，是将它们放在同一个主题中，还是将它们拆分到不同的主题中？Kafka 主题 ...

Apache Flink 1.6.0 正式发布，涵盖多项重要更新: Flink 的状态支持是使 Flink 在实现各种用例方面如此通用和强大的关键特性之一。为了使其更加容易使用，社区为其添加了 TTL 的原生支持(FLINK-9510, FLINK-9938)，此功能允许在状态过期之后能够清理状态。在 Flink 1 ...

RocketMQ 4.3正式发布，支持分布式事务: 在微服务架构中，随着服务的逐步拆分，数据库私有已经成为共识，这也导致所面临的分布式事务问题成为微服务落地过程中一个非常难以逾越的障碍，但是目前尚没有一个完整通用的解决方案。其实不仅仅是在微服务架构中， ...

Facebook「配置大规模服务器」的兵刃：位置感知分发（LAD）: Facebook的基础设施包括许多地域分散的数据中心，它们托管运行数百万台服务器。这些服务器运行众多系统，从前端Web服务器、新闻源（News Feed）聚合系统到消息传递和实时视频应用，不一而足。除了常规的代码推送外， ...

手把手教你学习 etcd: etcd 是一个分布式的、一致性的键值存储系统，主要用于配置共享和服务发现，etcd 基于 Go 语言实现；Google 的容器集群管理系统 Kubernetes、开源 PaaS 平台 Cloud Foundry 和 CoreOS 的 Fleet 都广泛使用了 etcd。 ...

阿里巴巴为什么不用 ZooKeeper 做服务发现？: 站在未来的路口，回望历史的迷途，常常会很有意思，因为我们会不经意地兴起疯狂的念头，例如如果当年某事提前发生了，而另外一件事又没有发生会怎样？一如当年的奥匈帝国皇位继承人斐迪南大公夫妇如果没有被塞尔维亚 ...

大妈也能看懂的大数据分布式计算图解: 首先，什么是分布式计算？简单点理解就是将大量的数据分割成多个小块，由多台计算机分工计算，然后将结果汇总。这些执行分布式计算的计算机叫做集群，我们仍然延续前文中人和计算机的类比，那么集群就是一个团队，单 ...

Flume + kafka + HDFS构建日志采集系统: Flume是一个非常优秀日志采集组件，类似于logstash，我们通常将Flume作为agent部署在application server上，用于收集本地的日志文件，并将日志转存到HDFS、kafka等数据平台中；关于Flume的原理和特性，我们稍后详解 ...

分布式之消息队列复习精讲: 系统间耦合性太强，如上图所示，系统A在代码中直接调用系统B和系统C的代码，如果将来D系统接入，系统A还需要修改代码，过于麻烦！将消息写入消息队列，需要消息的系统自己从消息队列中订阅，从而系统A不需要做任何修 ...

Apache Pulsar：实时数据处理中消息、计算和存储的统一: 实时数据处理在各个行业和领域中已经变得越来越关键。但是在实时数据栈中，Messaging，Computing和Storage三个部分的分离，给方案的实现带来了高复杂性，低可维护性，低效率等问题。Apache Pulsar 在2016年开源，是S ...

ZooKeeper真不是最终一致性的，而是顺序一致性: 2017 饿了么做异地多活，我的团队承担 ZooKeeper 的异地多活改造。在此期间我听到 2 种不同的关于一致性的说法。一种说法是 ZooKeeper 是最终一致性，因为由于多副本、以及保证大多数成功的 Zab 协议，当一个客户端 ...

Kafka分区分配策略(Partition Assignment Strategy): 用过 Kafka 的同学用过都知道，每个 Topic 一般会有很多个 partitions。为了使得我们能够及时消费消息，我们也可能会启动多个 Consumer 去消费，而每个 Consumer 又会启动一个或多个streams去分别消费 Topic 里面的 ...

Kafka 客户端是如何找到 leader 分区的: 在正常情况下，Kafka中的每个Topic都会有很多个分区，每个分区又会存在多个副本。在这些副本中，存在一个leader分区，而剩下的分区叫做 follower，所有对分区的读写操作都是对leader分区进行的。所以当我们向Kafka写 ...

SLA 99.99%以上！饿了么实时计算平台3年演进历程: 饿了么BDI-大数据平台研发团队目前共有20人左右，主要负责离线&实时 Infra 和平台工具开发，其中包括20+组件的开发和维护、2K+ Servers 运维及数据平台周边衍生工具研发&维护。离线 Infra 和平台工具这一块对外 ...

12 3 4 5 6 7 8 9 10 ... 13 / 13 页下一页

热门频道

大数据
商业智能

量化投资
科学探索
创业

即将开课

热门文章

社区热帖

GMT+8, 2018-9-26 02:54 , Processed in 0.081039 second(s), 16 queries .