炼数成金 大数据分布式系统
订阅

分布式系统

LinkedIn开源Kafka Cruise Control,使Kafka实现大规模运维自动化
LinkedIn开源Kafka Cruise Control,使Kafka实现大规模运维自动化
在过去这几年,Apache Kafka的人气急剧上升。实际上,LinkedIn部署的系统最近每天处理的消息超过2万亿个,有 1800多台Kafka服务器(即代理,broker)。虽然事实证明Kafka很稳定,但是在规模如此庞大的环境下运行Kafk ...
从分布式计算到分布式训练
从分布式计算到分布式训练
随着科技的发展,“数据存储”领域有了质和量的双向发展,除了稳定性、安全性的提升外,容量也呈指数级增长。因此可以在单机上直接构建整套服务,类似LAMP类似的这种一键搭建服务器的套装软件有了更多的应用场景。然 ...
流式计算新贵Kafka Stream设计详解
流式计算新贵Kafka Stream设计详解
Kafka Stream 是 Apache Kafka 从 0.10 版本引入的一个新 Feature。它提供了对存储于 Kafka 内的数据进行流式处理和分析的功能。一般流式计算会与批量计算相比较。在流式计算模型中,输入是持续的,可以认为在时间上 ...
号称史上最晦涩的算法Paxos,如何变得平易近人?
号称史上最晦涩的算法Paxos,如何变得平易近人?
Paxos(分布式一致性算法)作为分布式系统的基石,一直都是计算机系统工程领域的热门话题。Paxos号称是最难理解的算法,其实真的这么困难么?“X-Paxos”是阿里巴巴数据库团队面向高性能、全球部署以及阿里业务特征 ...
你的所有数据流统统属于Kafka
你的所有数据流统统属于Kafka
由于业界的注意力从笨拙的Hadoop和数据湖转向实时数据流,Apache Kafka继续一路崛起。Apache Kafka在高歌猛进。正如行业分析公司Redmonk的芬坦·瑞安(Fintan Ryan)特别指出,去年Kafka在开发人员当中的人气指数飙 ...
带着问题学习分布式系统之数据分片
带着问题学习分布式系统之数据分片
分布式要解决什么问题呢?解决持久化数据太大,单个节点的硬盘无法存储的问题;解决运算量太大,单个节点的内存、CPU无法处理的问题。解决这些问题,有两种思路:scale up,scale out。前者就是提升单个节点的能力, ...
如何使用火焰图来降低服务器负载
如何使用火焰图来降低服务器负载
在 Lucid,我们使用面向服务的架构来建设我们的系统。其中字体服务(font service)就是其中之一,它负责根据字体族名称和 unicode 编码范围来提供相应的字体服务,同时也对用户上传的字体进行校验和检查。在生产环 ...
分布式锁方案—redlock算法
分布式锁方案—redlock算法
实现分布式锁有很多方案,例如基于数据库实现,基于zookeeper实现,如果吞吐量还是不能满足,比较广泛的做法是用分布式缓存来实现。当key不存在时返回1,当key存在时返回0。因为我们都知道redis是单线程的,所以在re ...
RabbitMQ高级指南:从配置、使用到高可用集群搭建
RabbitMQ高级指南:从配置、使用到高可用集群搭建
RabbitMQ是一个由erlang开发的基于AMQP(Advanced Message Queue )协议的开源实现。用于在分布式系统中存储转发消息,在易用性、扩展性、高可用性等方面都非常的优秀。是当前最主流的消息中间件之一。AMQP是应用层 ...
详解微信异步队列 MQ 2.0 的功能优化及拓展思路
详解微信异步队列 MQ 2.0 的功能优化及拓展思路
IOS消息通知功能,是MQ组件的一个典型应用场景。微信的后台具有多IDC分布的特点,不同IDC与苹果推送服务(APNs)之间的网络质量参差不齐,部分链路故障频发。由于MQ 1.0 的任务只能本机消费,网络质量的下降将直接导 ...
聊聊分布式定时任务中间件架构及其实现
聊聊分布式定时任务中间件架构及其实现
在互联网应用中,各式各样的定时任务存于系统各个角落。我们希望由一个平台统一将这些作业管理起来。通过这个系统,作业的宕机、崩溃等状态就可收入运维同学掌控,直接对接报警系统,将发现的挂掉作业再启动就好。但 ...
微信分布式数据存储协议对比——Paxos和Quorum
微信分布式数据存储协议对比——Paxos和Quorum
分布式系统是网络化的计算机系统,海量数据的互联网应用只能通过分布式系统协调大量计算机来支撑。微信后台存储大量使用了分布式数据存储方式的NoSQL集群,比如核心业务:账号、支付单据、关系链、朋友圈等。存储设 ...
Kafka日志设置和清除策略
Kafka日志设置和清除策略
config/log4j.properties中日志的级别设置的是TRACE,在长时间运行过程中产生的日志大小吓人,所以如果没有特殊需求,强烈建议将其更改成INFO级别。具体修改方法如下所示,将config/log4j.properties文件中最后的几 ...
Elasticsearch前沿:ES 5.x改进详解与ES6展望
Elasticsearch前沿:ES 5.x改进详解与ES6展望
首先是索引这块的改进,大家知道 ES 的数据支持增删改查,比如修改文档的时候其实是需要通过 ID 找到 Lucene 文件里对应的文档先删除然后再插入一个新的,所有写操作需要进行相应的版本检查来确保没有冲突。如果你的 ...
微信高可用分布式数据库PhxSQL设计与实现
微信高可用分布式数据库PhxSQL设计与实现
本文详细描述了PhxSQL的设计与实现。从MySQL的容灾缺陷开始讲起,接着阐述实现高可用强一致的思路,然后具体分析每个实现环节要注意的要点和解决方案,最后展示了PhxSQL在容灾和性能上的成果。”互联网应用中账号和 ...

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

社区热帖

     

    GMT+8, 2018-12-10 19:42 , Processed in 0.120997 second(s), 16 queries .