炼数成金 大数据分布式系统
订阅

分布式系统

如何设计一款多场景分布式发号器?
如何设计一款多场景分布式发号器?
在互联网的世界里,产生唯一流水号的服务系统俗称发号器。Twitter 的 Snowflake 是一个流行的开源的发号器的实现。Slowfake 是由 Scala 语言实现的,并且文档简单、发布模式单一、缺少支持和维护,很难在现实的项目 ...
新浪微博百万用户分布式压测实践手记
新浪微博百万用户分布式压测实践手记
新项目构建之初,自然要关注总体处理性能目标的。但从软件生命周期角度考虑,还应该考虑到系统后续维护和迭代。所谓工欲善其事,必先利其器,因此我们需要提供一个完善的开箱即用、支持海量用户的性能压测基础工具套 ...
Mesos 1.2.0 Release
Mesos 1.2.0 Release
Mesos刚刚发布了最新的1.2.0版本, 新版本解决了社区之前呼声比较多的几个问题,看得出Mesos开发组的推进进度还是非常快速而平稳的。这也是Mesos社区一贯的作风, 核心Feature稳定优先,周边功能积极支持。根据1.2.0 ...
Elasticsearch 5.0和ELK/Elastic Stack指南
Elasticsearch 5.0和ELK/Elastic Stack指南
Elasticsearch是一个Java应用,所以你需要安装最新版的JDK(Oracle的或是Ubuntu 16.04上的OpenJDK)。在Ubuntu 16.04版里,你可以用下面的命令安装OpenJDK 8。在启动Elasticsearch(命令是sudo service elasticsearc ...
分布式系统监控中的数据聚合
分布式系统监控中的数据聚合
硬件方面,整个系统部署在全球十几二十个数据中心(书上叫 cluster),每个大洲(亚欧美)都有4个以上的数据中心,在每个数据中心占用几百上千台机器,系统的总“占地面积/footprint”有上万台机器。软件方面,每个 ...
大数据管理平台Apache Geode 分布式系统内部结构剖析
大数据管理平台Apache Geode 分布式系统内部结构剖析
Apache Geode于去年11月从Apache孵化器毕业成为顶级项目,是一个相当成熟、强健的的数据管理平台,提供实时的、一致的、贯穿整个云架构地访问数据关键型应用。Geode自身功能比较多,首先它是一个基于JVM的NoSQL分布 ...
京东分布式数据库系统演进之路
京东分布式数据库系统演进之路
关于数据库的使用,在京东有几个趋势,早期在京东主要用SqlServer及Oracle也有少量采用MySQL,随着业务发展技术积累及使用成本等因素,很多业务都开始使用MySQL,包括早期使用SqlServer及Oracle的很多核心业务也都渐 ...
使用开源工具构建分布式跟踪体系:Pinterest架构解密
使用开源工具构建分布式跟踪体系:Pinterest架构解密
Pinterest,是一个网络与手机的应用程序,可以让用户利用其平台作为个人创意及项目工作所需的视觉探索工具,同时也有人把它视为一个图片分享类的社交网站,用户可以按主题分类添加和管理自己的图片收藏,并与好友分 ...
京东如何由“调用链”实现多维度的分布式跟踪?
京东如何由“调用链”实现多维度的分布式跟踪?
随着京东业务的高速增长,京东研发体系陆续实施了SOA化和微服务战略,以应对日益复杂的业务和急剧增加的应用种类。这些分布式应用彼此依赖,共同协作来完成所有京东的业务场景,其动态变化的复杂性和数量已超出想象 ...
高并发服务端分布式系统设计概要
高并发服务端分布式系统设计概要
写这篇文章的目的,主要是把今年以来学习的一些东西积淀下来,同时作为之前文章《高性能分布式计算与存储系统设计概要》的补充与提升,然而本人水平非常有限,回头看之前写的文章也有许多不足,甚至是错误,希望同学 ...
Apache Hive走向内存计算,性能提升26倍
Apache Hive走向内存计算,性能提升26倍
Apache Hive 2.1已于几个月前发布,它引入了内存计算,这使得Hive计算性能得到极大提升,这将会影响SQL On Hadoop目前的竞争局面。据测试,其性能提高约26倍。Apache Hive 2.1新引入了6大性能,包括:(1)LLAP。Apa ...
Kubernetes是解药还是毒药?
Kubernetes是解药还是毒药?
三年前Docker的诞生,给IT行业带来了巨大的革新,云计算模式有了新的尝试方式,应用交付变得异常便捷。也是借助这样的优势,不论在开发者市场、还是在运维人员心中,Docker均占据了一个无法撼动的位置。除了Docker, ...
使用RabbitMQ的事件驱动微服务
使用RabbitMQ的事件驱动微服务
在微服务之间使用正确的模式进行通信有助于应用程序的伸缩以及解决大多数分布式系统的问题。我们一开始是采用直接的HTTP调用来通信的,但后来决定迁移到事件驱动系统上了。该系统改变了我们对于服务之间交互的思维方 ...
饿了么分布式服务治理及优化经验
饿了么分布式服务治理及优化经验
为什么讲比较痛苦的事情?昨天和一位专家聊天受益很大,他说人在什么时候能够自我驱动?就是痛苦的时候。只有感到痛苦,才会有改变。当然改变有两种结果,一种是彻底放弃沉沦,另外就是一想办法自动化、智能化,把自 ...
Kubernetes和Mesos集成实战部署
Kubernetes和Mesos集成实战部署
Kubernetes是一个跨多个计算节点的管理容器化应用的系统,它提供了一系列基本的功能,如应用的自动化部署,维护和扩展等。Mesos是Apache下的开源分布式资源管理框架,它被称为是分布式系统的内核。把Kubernetes运行 ...

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

社区热帖

     

    GMT+8, 2018-12-10 18:47 , Processed in 0.101363 second(s), 16 queries .