炼数成金 大数据分布式系统
订阅

分布式系统

3分钟了解稳定性利器Hystrix——让你的服务更稳一点
3分钟了解稳定性利器Hystrix——让你的服务更稳一点
1、为什么要用Hystrix在分布式服务环境下,服务之间的调用关系变得错综复杂,你是否担心依赖的服务延迟导致自己的服务也被拖跨呢?是否在苦苦思考如何优雅的对依赖服务进行异步调用呢?是否希望当流量高峰时自动进行 ...
纽约时报Kafka架构实战
纽约时报Kafka架构实战
我们把这个系统叫做发布管道(Publishing Pipeline)。这篇文章主要关注后端的系统,我们会介绍如何使用 Kafka 保存纽约时报的文章,以及如何使用 Kafka 和 Steams API 将发布的内容实时推送给各种应用。下面是总体 ...
KSQL:Apache Kafka的开源流式SQL
KSQL:Apache Kafka的开源流式SQL
KSQL是一个用于Apache katkatm的流式SQL引擎。KSQL降低了进入流处理的门槛,提供了一个简单的、完全交互式的SQL接口,用于处理Kafka的数据。你不再需要用Java或Python这样的编程语言编写代码了!KSQL是开源的(Apache ...
走近KSQL:面向Apache Kafka的开源数据流SQL引擎
走近KSQL:面向Apache Kafka的开源数据流SQL引擎
我非常高兴地宣布KSQL,这是面向Apache Kafka的一种数据流SQL引擎。KSQL降低了数据流处理这个领域的准入门槛,为使用Kafka处理数据提供了一种简单的、完全交互的SQL界面。你不再需要用Java或Python之类的编程语言编 ...
LinkedIn开源Kafka Cruise Control,使Kafka实现大规模运维自动化
LinkedIn开源Kafka Cruise Control,使Kafka实现大规模运维自动化
在过去这几年,Apache Kafka的人气急剧上升。实际上,LinkedIn部署的系统最近每天处理的消息超过2万亿个,有 1800多台Kafka服务器(即代理,broker)。虽然事实证明Kafka很稳定,但是在规模如此庞大的环境下运行Kafk ...
从分布式计算到分布式训练
从分布式计算到分布式训练
随着科技的发展,“数据存储”领域有了质和量的双向发展,除了稳定性、安全性的提升外,容量也呈指数级增长。因此可以在单机上直接构建整套服务,类似LAMP类似的这种一键搭建服务器的套装软件有了更多的应用场景。然 ...
流式计算新贵Kafka Stream设计详解
流式计算新贵Kafka Stream设计详解
Kafka Stream 是 Apache Kafka 从 0.10 版本引入的一个新 Feature。它提供了对存储于 Kafka 内的数据进行流式处理和分析的功能。一般流式计算会与批量计算相比较。在流式计算模型中,输入是持续的,可以认为在时间上 ...
号称史上最晦涩的算法Paxos,如何变得平易近人?
号称史上最晦涩的算法Paxos,如何变得平易近人?
Paxos(分布式一致性算法)作为分布式系统的基石,一直都是计算机系统工程领域的热门话题。Paxos号称是最难理解的算法,其实真的这么困难么?“X-Paxos”是阿里巴巴数据库团队面向高性能、全球部署以及阿里业务特征 ...
你的所有数据流统统属于Kafka
你的所有数据流统统属于Kafka
由于业界的注意力从笨拙的Hadoop和数据湖转向实时数据流,Apache Kafka继续一路崛起。Apache Kafka在高歌猛进。正如行业分析公司Redmonk的芬坦·瑞安(Fintan Ryan)特别指出,去年Kafka在开发人员当中的人气指数飙 ...
带着问题学习分布式系统之数据分片
带着问题学习分布式系统之数据分片
分布式要解决什么问题呢?解决持久化数据太大,单个节点的硬盘无法存储的问题;解决运算量太大,单个节点的内存、CPU无法处理的问题。解决这些问题,有两种思路:scale up,scale out。前者就是提升单个节点的能力, ...
如何使用火焰图来降低服务器负载
如何使用火焰图来降低服务器负载
在 Lucid,我们使用面向服务的架构来建设我们的系统。其中字体服务(font service)就是其中之一,它负责根据字体族名称和 unicode 编码范围来提供相应的字体服务,同时也对用户上传的字体进行校验和检查。在生产环 ...
分布式锁方案—redlock算法
分布式锁方案—redlock算法
实现分布式锁有很多方案,例如基于数据库实现,基于zookeeper实现,如果吞吐量还是不能满足,比较广泛的做法是用分布式缓存来实现。当key不存在时返回1,当key存在时返回0。因为我们都知道redis是单线程的,所以在re ...
RabbitMQ高级指南:从配置、使用到高可用集群搭建
RabbitMQ高级指南:从配置、使用到高可用集群搭建
RabbitMQ是一个由erlang开发的基于AMQP(Advanced Message Queue )协议的开源实现。用于在分布式系统中存储转发消息,在易用性、扩展性、高可用性等方面都非常的优秀。是当前最主流的消息中间件之一。AMQP是应用层 ...
详解微信异步队列 MQ 2.0 的功能优化及拓展思路
详解微信异步队列 MQ 2.0 的功能优化及拓展思路
IOS消息通知功能,是MQ组件的一个典型应用场景。微信的后台具有多IDC分布的特点,不同IDC与苹果推送服务(APNs)之间的网络质量参差不齐,部分链路故障频发。由于MQ 1.0 的任务只能本机消费,网络质量的下降将直接导 ...
聊聊分布式定时任务中间件架构及其实现
聊聊分布式定时任务中间件架构及其实现
在互联网应用中,各式各样的定时任务存于系统各个角落。我们希望由一个平台统一将这些作业管理起来。通过这个系统,作业的宕机、崩溃等状态就可收入运维同学掌控,直接对接报警系统,将发现的挂掉作业再启动就好。但 ...

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

社区热帖

     

    GMT+8, 2019-3-24 17:32 , Processed in 0.078453 second(s), 16 queries .