炼数成金 大数据分布式系统
订阅

分布式系统

微信分布式数据存储协议对比——Paxos和Quorum
微信分布式数据存储协议对比——Paxos和Quorum
分布式系统是网络化的计算机系统,海量数据的互联网应用只能通过分布式系统协调大量计算机来支撑。微信后台存储大量使用了分布式数据存储方式的NoSQL集群,比如核心业务:账号、支付单据、关系链、朋友圈等。存储设 ...
Kafka日志设置和清除策略
Kafka日志设置和清除策略
config/log4j.properties中日志的级别设置的是TRACE,在长时间运行过程中产生的日志大小吓人,所以如果没有特殊需求,强烈建议将其更改成INFO级别。具体修改方法如下所示,将config/log4j.properties文件中最后的几 ...
Elasticsearch前沿:ES 5.x改进详解与ES6展望
Elasticsearch前沿:ES 5.x改进详解与ES6展望
首先是索引这块的改进,大家知道 ES 的数据支持增删改查,比如修改文档的时候其实是需要通过 ID 找到 Lucene 文件里对应的文档先删除然后再插入一个新的,所有写操作需要进行相应的版本检查来确保没有冲突。如果你的 ...
微信高可用分布式数据库PhxSQL设计与实现
微信高可用分布式数据库PhxSQL设计与实现
本文详细描述了PhxSQL的设计与实现。从MySQL的容灾缺陷开始讲起,接着阐述实现高可用强一致的思路,然后具体分析每个实现环节要注意的要点和解决方案,最后展示了PhxSQL在容灾和性能上的成果。”互联网应用中账号和 ...
如何设计一款多场景分布式发号器?
如何设计一款多场景分布式发号器?
在互联网的世界里,产生唯一流水号的服务系统俗称发号器。Twitter 的 Snowflake 是一个流行的开源的发号器的实现。Slowfake 是由 Scala 语言实现的,并且文档简单、发布模式单一、缺少支持和维护,很难在现实的项目 ...
新浪微博百万用户分布式压测实践手记
新浪微博百万用户分布式压测实践手记
新项目构建之初,自然要关注总体处理性能目标的。但从软件生命周期角度考虑,还应该考虑到系统后续维护和迭代。所谓工欲善其事,必先利其器,因此我们需要提供一个完善的开箱即用、支持海量用户的性能压测基础工具套 ...
Mesos 1.2.0 Release
Mesos 1.2.0 Release
Mesos刚刚发布了最新的1.2.0版本, 新版本解决了社区之前呼声比较多的几个问题,看得出Mesos开发组的推进进度还是非常快速而平稳的。这也是Mesos社区一贯的作风, 核心Feature稳定优先,周边功能积极支持。根据1.2.0 ...
Elasticsearch 5.0和ELK/Elastic Stack指南
Elasticsearch 5.0和ELK/Elastic Stack指南
Elasticsearch是一个Java应用,所以你需要安装最新版的JDK(Oracle的或是Ubuntu 16.04上的OpenJDK)。在Ubuntu 16.04版里,你可以用下面的命令安装OpenJDK 8。在启动Elasticsearch(命令是sudo service elasticsearc ...
分布式系统监控中的数据聚合
分布式系统监控中的数据聚合
硬件方面,整个系统部署在全球十几二十个数据中心(书上叫 cluster),每个大洲(亚欧美)都有4个以上的数据中心,在每个数据中心占用几百上千台机器,系统的总“占地面积/footprint”有上万台机器。软件方面,每个 ...
大数据管理平台Apache Geode 分布式系统内部结构剖析
大数据管理平台Apache Geode 分布式系统内部结构剖析
Apache Geode于去年11月从Apache孵化器毕业成为顶级项目,是一个相当成熟、强健的的数据管理平台,提供实时的、一致的、贯穿整个云架构地访问数据关键型应用。Geode自身功能比较多,首先它是一个基于JVM的NoSQL分布 ...
京东分布式数据库系统演进之路
京东分布式数据库系统演进之路
关于数据库的使用,在京东有几个趋势,早期在京东主要用SqlServer及Oracle也有少量采用MySQL,随着业务发展技术积累及使用成本等因素,很多业务都开始使用MySQL,包括早期使用SqlServer及Oracle的很多核心业务也都渐 ...
使用开源工具构建分布式跟踪体系:Pinterest架构解密
使用开源工具构建分布式跟踪体系:Pinterest架构解密
Pinterest,是一个网络与手机的应用程序,可以让用户利用其平台作为个人创意及项目工作所需的视觉探索工具,同时也有人把它视为一个图片分享类的社交网站,用户可以按主题分类添加和管理自己的图片收藏,并与好友分 ...
京东如何由“调用链”实现多维度的分布式跟踪?
京东如何由“调用链”实现多维度的分布式跟踪?
随着京东业务的高速增长,京东研发体系陆续实施了SOA化和微服务战略,以应对日益复杂的业务和急剧增加的应用种类。这些分布式应用彼此依赖,共同协作来完成所有京东的业务场景,其动态变化的复杂性和数量已超出想象 ...
高并发服务端分布式系统设计概要
高并发服务端分布式系统设计概要
写这篇文章的目的,主要是把今年以来学习的一些东西积淀下来,同时作为之前文章《高性能分布式计算与存储系统设计概要》的补充与提升,然而本人水平非常有限,回头看之前写的文章也有许多不足,甚至是错误,希望同学 ...
Apache Hive走向内存计算,性能提升26倍
Apache Hive走向内存计算,性能提升26倍
Apache Hive 2.1已于几个月前发布,它引入了内存计算,这使得Hive计算性能得到极大提升,这将会影响SQL On Hadoop目前的竞争局面。据测试,其性能提高约26倍。Apache Hive 2.1新引入了6大性能,包括:(1)LLAP。Apa ...

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

社区热帖

     

    GMT+8, 2019-3-24 16:48 , Processed in 0.097784 second(s), 16 queries .