炼数成金 大数据分布式系统
订阅

分布式系统

大数据管理平台Apache Geode 分布式系统内部结构剖析
大数据管理平台Apache Geode 分布式系统内部结构剖析
Apache Geode于去年11月从Apache孵化器毕业成为顶级项目,是一个相当成熟、强健的的数据管理平台,提供实时的、一致的、贯穿整个云架构地访问数据关键型应用。Geode自身功能比较多,首先它是一个基于JVM的NoSQL分布 ...
京东分布式数据库系统演进之路
京东分布式数据库系统演进之路
关于数据库的使用,在京东有几个趋势,早期在京东主要用SqlServer及Oracle也有少量采用MySQL,随着业务发展技术积累及使用成本等因素,很多业务都开始使用MySQL,包括早期使用SqlServer及Oracle的很多核心业务也都渐 ...
使用开源工具构建分布式跟踪体系:Pinterest架构解密
使用开源工具构建分布式跟踪体系:Pinterest架构解密
Pinterest,是一个网络与手机的应用程序,可以让用户利用其平台作为个人创意及项目工作所需的视觉探索工具,同时也有人把它视为一个图片分享类的社交网站,用户可以按主题分类添加和管理自己的图片收藏,并与好友分 ...
京东如何由“调用链”实现多维度的分布式跟踪?
京东如何由“调用链”实现多维度的分布式跟踪?
随着京东业务的高速增长,京东研发体系陆续实施了SOA化和微服务战略,以应对日益复杂的业务和急剧增加的应用种类。这些分布式应用彼此依赖,共同协作来完成所有京东的业务场景,其动态变化的复杂性和数量已超出想象 ...
高并发服务端分布式系统设计概要
高并发服务端分布式系统设计概要
写这篇文章的目的,主要是把今年以来学习的一些东西积淀下来,同时作为之前文章《高性能分布式计算与存储系统设计概要》的补充与提升,然而本人水平非常有限,回头看之前写的文章也有许多不足,甚至是错误,希望同学 ...
Apache Hive走向内存计算,性能提升26倍
Apache Hive走向内存计算,性能提升26倍
Apache Hive 2.1已于几个月前发布,它引入了内存计算,这使得Hive计算性能得到极大提升,这将会影响SQL On Hadoop目前的竞争局面。据测试,其性能提高约26倍。Apache Hive 2.1新引入了6大性能,包括:(1)LLAP。Apa ...
Kubernetes是解药还是毒药?
Kubernetes是解药还是毒药?
三年前Docker的诞生,给IT行业带来了巨大的革新,云计算模式有了新的尝试方式,应用交付变得异常便捷。也是借助这样的优势,不论在开发者市场、还是在运维人员心中,Docker均占据了一个无法撼动的位置。除了Docker, ...
使用RabbitMQ的事件驱动微服务
使用RabbitMQ的事件驱动微服务
在微服务之间使用正确的模式进行通信有助于应用程序的伸缩以及解决大多数分布式系统的问题。我们一开始是采用直接的HTTP调用来通信的,但后来决定迁移到事件驱动系统上了。该系统改变了我们对于服务之间交互的思维方 ...
饿了么分布式服务治理及优化经验
饿了么分布式服务治理及优化经验
为什么讲比较痛苦的事情?昨天和一位专家聊天受益很大,他说人在什么时候能够自我驱动?就是痛苦的时候。只有感到痛苦,才会有改变。当然改变有两种结果,一种是彻底放弃沉沦,另外就是一想办法自动化、智能化,把自 ...
Kubernetes和Mesos集成实战部署
Kubernetes和Mesos集成实战部署
Kubernetes是一个跨多个计算节点的管理容器化应用的系统,它提供了一系列基本的功能,如应用的自动化部署,维护和扩展等。Mesos是Apache下的开源分布式资源管理框架,它被称为是分布式系统的内核。把Kubernetes运行 ...
分布式桥梁ZooKeeper开发体验
分布式桥梁ZooKeeper开发体验
从传统Java Web转入分布式系统应用,再到接触分布式协调框架ZooKeeper,通过痛苦的思维逻辑和理念转变,历经一个月时间,小伙伴们终于把ZooKeeper嵌入到了BoCloud博云的BeyondContainer中,并在其上进行相应功能的开 ...
Parameter Server 详解
Parameter Server 详解
在机器学习和深度学习领域,分布式的优化已经成了一种先决条件。因为单机已经解决不了目前快速增长的数据和参数了。 现实中,训练数据的数量可能达到1TB到1PB之间,而训练过程中的参数可能会达到 109 到 1012 。而往 ...
实时流处理Storm、Spark Streaming、Samza、Flink孰优孰劣?
实时流处理Storm、Spark Streaming、Samza、Flink孰优孰劣?
分布式流处理需求日益增加,包括支付交易、社交网络、物联网(IOT)、系统监控等。业界对流处理已经有几种适用的框架来解决,下面我们来比较各流处理框架的相同点以及区别。分布式流处理是对无边界数据集进行连续不 ...
分布式集群内存数据技术引领12306技术革命
分布式集群内存数据技术引领12306技术革命
中国铁路客户服务中心网站(www.12306.cn)是世界规模最大的实时交易系统之一,媲美Amazon.com,节假日尤其是春节的访问高峰,网站压力巨大。据统计,在2012年初的春运高峰期间,每天有2000万人访问该网站,日点击量最 ...
Nginx是如何做到高性能和高可扩展的?
Nginx是如何做到高性能和高可扩展的?
NGINX在web性能上的表现尤为出众,这完全得益于其设计方式,许多web和应用服务器都是基于线程或进程这种简单的架构,NGINX用了一种精妙的事件驱动架构,在现代的硬件上,它可以处理成千上万的并发连接。Inside NGINX ...

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

社区热帖

     

    GMT+8, 2018-10-22 09:17 , Processed in 0.099689 second(s), 16 queries .