炼数成金 大数据分布式系统
订阅

分布式系统

带着问题学习分布式系统之数据分片
带着问题学习分布式系统之数据分片
分布式要解决什么问题呢?解决持久化数据太大,单个节点的硬盘无法存储的问题;解决运算量太大,单个节点的内存、CPU无法处理的问题。解决这些问题,有两种思路:scale up,scale out。前者就是提升单个节点的能力, ...
如何使用火焰图来降低服务器负载
如何使用火焰图来降低服务器负载
在 Lucid,我们使用面向服务的架构来建设我们的系统。其中字体服务(font service)就是其中之一,它负责根据字体族名称和 unicode 编码范围来提供相应的字体服务,同时也对用户上传的字体进行校验和检查。在生产环 ...
分布式锁方案—redlock算法
分布式锁方案—redlock算法
实现分布式锁有很多方案,例如基于数据库实现,基于zookeeper实现,如果吞吐量还是不能满足,比较广泛的做法是用分布式缓存来实现。当key不存在时返回1,当key存在时返回0。因为我们都知道redis是单线程的,所以在re ...
RabbitMQ高级指南:从配置、使用到高可用集群搭建
RabbitMQ高级指南:从配置、使用到高可用集群搭建
RabbitMQ是一个由erlang开发的基于AMQP(Advanced Message Queue )协议的开源实现。用于在分布式系统中存储转发消息,在易用性、扩展性、高可用性等方面都非常的优秀。是当前最主流的消息中间件之一。AMQP是应用层 ...
详解微信异步队列 MQ 2.0 的功能优化及拓展思路
详解微信异步队列 MQ 2.0 的功能优化及拓展思路
IOS消息通知功能,是MQ组件的一个典型应用场景。微信的后台具有多IDC分布的特点,不同IDC与苹果推送服务(APNs)之间的网络质量参差不齐,部分链路故障频发。由于MQ 1.0 的任务只能本机消费,网络质量的下降将直接导 ...
聊聊分布式定时任务中间件架构及其实现
聊聊分布式定时任务中间件架构及其实现
在互联网应用中,各式各样的定时任务存于系统各个角落。我们希望由一个平台统一将这些作业管理起来。通过这个系统,作业的宕机、崩溃等状态就可收入运维同学掌控,直接对接报警系统,将发现的挂掉作业再启动就好。但 ...
微信分布式数据存储协议对比——Paxos和Quorum
微信分布式数据存储协议对比——Paxos和Quorum
分布式系统是网络化的计算机系统,海量数据的互联网应用只能通过分布式系统协调大量计算机来支撑。微信后台存储大量使用了分布式数据存储方式的NoSQL集群,比如核心业务:账号、支付单据、关系链、朋友圈等。存储设 ...
Kafka日志设置和清除策略
Kafka日志设置和清除策略
config/log4j.properties中日志的级别设置的是TRACE,在长时间运行过程中产生的日志大小吓人,所以如果没有特殊需求,强烈建议将其更改成INFO级别。具体修改方法如下所示,将config/log4j.properties文件中最后的几 ...
Elasticsearch前沿:ES 5.x改进详解与ES6展望
Elasticsearch前沿:ES 5.x改进详解与ES6展望
首先是索引这块的改进,大家知道 ES 的数据支持增删改查,比如修改文档的时候其实是需要通过 ID 找到 Lucene 文件里对应的文档先删除然后再插入一个新的,所有写操作需要进行相应的版本检查来确保没有冲突。如果你的 ...
微信高可用分布式数据库PhxSQL设计与实现
微信高可用分布式数据库PhxSQL设计与实现
本文详细描述了PhxSQL的设计与实现。从MySQL的容灾缺陷开始讲起,接着阐述实现高可用强一致的思路,然后具体分析每个实现环节要注意的要点和解决方案,最后展示了PhxSQL在容灾和性能上的成果。”互联网应用中账号和 ...
如何设计一款多场景分布式发号器?
如何设计一款多场景分布式发号器?
在互联网的世界里,产生唯一流水号的服务系统俗称发号器。Twitter 的 Snowflake 是一个流行的开源的发号器的实现。Slowfake 是由 Scala 语言实现的,并且文档简单、发布模式单一、缺少支持和维护,很难在现实的项目 ...
新浪微博百万用户分布式压测实践手记
新浪微博百万用户分布式压测实践手记
新项目构建之初,自然要关注总体处理性能目标的。但从软件生命周期角度考虑,还应该考虑到系统后续维护和迭代。所谓工欲善其事,必先利其器,因此我们需要提供一个完善的开箱即用、支持海量用户的性能压测基础工具套 ...
Mesos 1.2.0 Release
Mesos 1.2.0 Release
Mesos刚刚发布了最新的1.2.0版本, 新版本解决了社区之前呼声比较多的几个问题,看得出Mesos开发组的推进进度还是非常快速而平稳的。这也是Mesos社区一贯的作风, 核心Feature稳定优先,周边功能积极支持。根据1.2.0 ...
Elasticsearch 5.0和ELK/Elastic Stack指南
Elasticsearch 5.0和ELK/Elastic Stack指南
Elasticsearch是一个Java应用,所以你需要安装最新版的JDK(Oracle的或是Ubuntu 16.04上的OpenJDK)。在Ubuntu 16.04版里,你可以用下面的命令安装OpenJDK 8。在启动Elasticsearch(命令是sudo service elasticsearc ...
分布式系统监控中的数据聚合
分布式系统监控中的数据聚合
硬件方面,整个系统部署在全球十几二十个数据中心(书上叫 cluster),每个大洲(亚欧美)都有4个以上的数据中心,在每个数据中心占用几百上千台机器,系统的总“占地面积/footprint”有上万台机器。软件方面,每个 ...

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

社区热帖

     

    GMT+8, 2018-10-22 10:15 , Processed in 0.111945 second(s), 16 queries .