炼数成金 › 大数据›分布式系统

分布式系统

这可能是搭建Zookeeper集群介绍最全的文章: 怎么搭建单机无安全校验的就不说了，百度一搜一大堆。这里我就说说怎么搭建一个生产环境可用的Zookeeper集群。Docker方式不太建议，要考虑的东西比较多，如果要用Docker方式还是比较建议自建镜像，假如是Docker专家 ...

大数据开发者应该知道的分布式系统 CAP 理论: 无论你是一个系统架构师，还是一个普通开发，当你开发或者设计一个分布式系统的时候，CAP理论是无论如何也绕不过去的。本文就来介绍一下到底什么是CAP理论，如何证明CAP理论，以及CAP的权衡问题。CAP理论概述CAP理论 ...

深入理解Flink核心技术: Flink的核心是一个流式的数据流执行引擎，其针对数据流的分布式计算提供了数据分布，数据通信以及容错机制等功能。基于流执行引擎，Flink提供了诸多更高抽象层的API以方便用户编写分布式任务：1. DataSet API, 对静 ...

Kafka 的七年之痒: Kafka 是 2010 年左右在 LinkedIn 研发的一套流数据处理平台。当时 LinkedIn 也和很多大的互联网公司一样，分很多的组，有很多的产品，每天收集非常多的数据。这些数据都是实时生成的，比如用户活跃度、日志，我们有 ...

分布式基础—RPC: 在传统的开发模式中，我们通常将系统的各个服务部署在单台机器，随着服务的扩展，这种方式已经完全无法满足系统大规模的扩展需要，分布式系统由此诞生，在分布式系统中，最重要就是各个服务之间的 RPC 调用。RPC 全 ...

分布式机器学习平台比较：Spark / PMLS / TensorFlow: 机器学习，特别是深度学习（DL），最近已经在语音识别、图像识别、自然语言处理、推荐/搜索引擎等领域获得了成功。这些技术在自主驾驶汽车、数字卫生系统、CRM、广告、物联网等方面都存在着非常有前景的应用。当然， ...

Spark Streaming 技术点汇总: Spark Streaming 支持实时数据流的可扩展（scalable）、高吞吐（high-throughput）、容错（fault-tolerant）的流处理（stream processing）。 Spark 在接收到实时输入数据流后，将数据划分成批次（divides the data ...

分布式流处理新贵Kafka Stream: 本文介绍了Kafka Stream的背景，如Kafka Stream是什么，什么是流式计算，以及为什么要有Kafka Stream。接着介绍了Kafka Stream的整体架构，并行模型，状态存储，以及主要的两种数据集KStream和KTable。并且分析了Kaf ...

分布式锁？架构师的这篇文章带你玩转!: 大多数互联网系统都是分布式部署的，分布式部署确实能带来性能和效率上的提升，但为此，我们就需要多解决一个分布式环境下，数据一致性的问题。当某个资源在多系统之间，具有共享性的时候，为了保证大家访问这个资源 ...

Kafka实践：到底该不该把不同类型的消息放在同一个主题中？: 如果你使用了像 Kafka 这样的流式处理平台，就要搞清楚一件事情：你需要用到哪些主题？特别是如果你要将一堆不同的事件作为消息发布到 Kafka，是将它们放在同一个主题中，还是将它们拆分到不同的主题中？Kafka 主题 ...

Apache Flink 1.6.0 正式发布，涵盖多项重要更新: Flink 的状态支持是使 Flink 在实现各种用例方面如此通用和强大的关键特性之一。为了使其更加容易使用，社区为其添加了 TTL 的原生支持(FLINK-9510, FLINK-9938)，此功能允许在状态过期之后能够清理状态。在 Flink 1 ...

RocketMQ 4.3正式发布，支持分布式事务: 在微服务架构中，随着服务的逐步拆分，数据库私有已经成为共识，这也导致所面临的分布式事务问题成为微服务落地过程中一个非常难以逾越的障碍，但是目前尚没有一个完整通用的解决方案。其实不仅仅是在微服务架构中， ...

Facebook「配置大规模服务器」的兵刃：位置感知分发（LAD）: Facebook的基础设施包括许多地域分散的数据中心，它们托管运行数百万台服务器。这些服务器运行众多系统，从前端Web服务器、新闻源（News Feed）聚合系统到消息传递和实时视频应用，不一而足。除了常规的代码推送外， ...

手把手教你学习 etcd: etcd 是一个分布式的、一致性的键值存储系统，主要用于配置共享和服务发现，etcd 基于 Go 语言实现；Google 的容器集群管理系统 Kubernetes、开源 PaaS 平台 Cloud Foundry 和 CoreOS 的 Fleet 都广泛使用了 etcd。 ...

阿里巴巴为什么不用 ZooKeeper 做服务发现？: 站在未来的路口，回望历史的迷途，常常会很有意思，因为我们会不经意地兴起疯狂的念头，例如如果当年某事提前发生了，而另外一件事又没有发生会怎样？一如当年的奥匈帝国皇位继承人斐迪南大公夫妇如果没有被塞尔维亚 ...

12 3 4 5 6 7 8 9 10 ... 14 / 14 页下一页

热门频道

大数据
商业智能

量化投资
科学探索
创业

即将开课

热门文章

社区热帖

GMT+8, 2019-1-20 06:41 , Processed in 0.118476 second(s), 16 queries .