炼数成金 大数据分布式系统
订阅

分布式系统

Mesos实践完全手册:去哪儿网的运用
Mesos实践完全手册:去哪儿网的运用
Docker与Mesos的组合如面包果酱般完美。今天的老司机是去哪儿网的运维开发工程师徐磊,他介绍了用Mesos来编排容器集群的方法,带你提炼项目核心需求,直击Mesos技术细节。预热期,实践背景1、业务线开发环境的困扰去 ...
奇虎360大规模集群上的业务线环境部署
奇虎360大规模集群上的业务线环境部署
运维的场景和挑战我干过运维和开发。所以很懂得运维,这个流程肯定都是运维所经历的。一般开发的同事都会给运维提需求,要求安装一个OPS,并给一份写好的配置文件,然后给运维部署。运维就去装软件,配置文件,服务 ...
Dapper,大规模分布式系统的跟踪系统(下)
Dapper,大规模分布式系统的跟踪系统(下)
5. 通用的Dapper工具几年前,当Dapper还只是个原型的时候,它只能在Dapper开发者耐心的支持下使用。从那时起,我们逐渐迭代的建立了收集组件,编程接口,和基于Web的交互式用户界面,帮助Dapper的用户独立解决自己的 ...
Dapper,大规模分布式系统的跟踪系统(上)
Dapper,大规模分布式系统的跟踪系统(上)
概述当代的互联网的服务,通常都是用复杂的、大规模分布式集群来实现的。互联网应用构建在不同的软件模块集上,这些软件模块,有可能是由不同的团队开发、可能使用不同的编程语言来实现、有可能布在了几千台服务器, ...
Apache SINGA-分布式深度学习平台
Apache SINGA-分布式深度学习平台
Apache SINGA 是 Apache 在 2015 年 3 月 17 日接纳的一个孵化项目,是个分布式深度学习平台。SINGA 是基于大型数据集训练大型深度学习模块的常规分布式学习平台。SINGA 支持各种流行的深度学习模块,其中的 feed-fo ...
Tachyon—以内存为核心的开源分布式存储系统
Tachyon—以内存为核心的开源分布式存储系统
Tachyon是一个以内存为核心的开源分布式存储系统,也是目前发展最迅速的开源大数据项目之一。Tachyon为不同的大数据计算框架(如Apache Spark,Hadoop MapReduce, Apache Flink等)提供可靠的内存级的数据共享服务。 ...
Apache HBase 2015年发展回顾与未来展望
Apache HBase 2015年发展回顾与未来展望
旧的 HBase 接口逻辑与传统 JDBC 方式很不相同,新的接口与传统 JDBC 的逻辑更加相像,具有更加清晰的 Connection 管理方式。同时,在旧的接口中,客户端何时将 Put 写到服务端也需要设置,一个 Put 马上写到服务端 ...
Mesos和YARN的区别以及它们如何协同工作
Mesos和YARN的区别以及它们如何协同工作
Hadoop 2.0之后把对集群资源的管理从MapReduce v1的JobTracker中提取出来,在YARN中进行了实现。虽然YARN支持了多种不同的计算框架,但依旧没有很好的解决集群资源的弹性伸缩问题。本文介绍了一个新的项目- Myriad, ...
Apache Ignite 初探
Apache Ignite 初探
Apache Ignite 内存数组组织框架是一个高性能、集成和分布式的内存计算和事务平台,用于大规模的数据集处理,比传统的基于磁盘或闪存的技术具有更高的性能,同时他还为应用和不同的数据源之间提供高性能、分布式内存 ...
Shopify构建分布式可扩展应用的最佳实践
Shopify构建分布式可扩展应用的最佳实践
本文介绍了 Shopify 构建弹性平台的方法。这篇文章不仅读起来有意思,而且你可以把它运用到实践中,构建自有的弹性平台。Shopify面临的扩展挑战电商解决方案提供商 Shopify 每个月的独立访问用户大约有 3 亿。注意, ...
新一代分布式任务调度框架:当当elastic-job开源项目的10项特性
新一代分布式任务调度框架:当当elastic-job开源项目的10项特性
作者简介:张亮,当当网架构师、当当技术委员会成员、消息中间件组负责人。对架构设计、分布式、优雅代码等领域兴趣浓厚。目前主导当当应用框架ddframe研发,并负责推广及撰写技术白皮书。一、为什么需要作业(定时 ...
zookeeper 运营经验分享
zookeeper 运营经验分享
Zookeeper作为TDBank系统的一个重要模块,我们运营它已经两年多。在使用过程中,我们也遇到了一些问题及走过很多弯路,本文主要对zookeeper运营经验进分享。Zookeeper在TDBank中的使用场景TDBank主要利用zookeeper实 ...
Google使用Borg进行大规模集群的管理
Google使用Borg进行大规模集群的管理
摘要谷歌的Borg系统群集管理器运行几十万个以上的jobs,来自几千个不同的应用,跨多个集群,每个集群有上万个机器。它通过管理控制、高效的任务包装、超售、和进程级别性能隔离实现了高利用率。它支持高可用性应用程 ...
HTTP的分布式网络真的被它替代了么?
HTTP的分布式网络真的被它替代了么?
IPFS是一个面向全球的、点对点的分布式版本文件系统。IPFS用基于内容的地址替代了基于域名的地址,试图将所有具有相同文件系统的计算设备连接在一起。IPFS表示,IPFS未来将替代HTTP,这一想法听起来有些疯狂,可是却 ...
Storm简介
Storm简介
伴随着信息科技日新月异的发展,信息呈现出爆发式的膨胀,人们获取信息的途径也更加多样、更加便捷,同时对于信息的时效性要求也越来越高。举个搜索场景中的例子,当一个卖家发布了一条宝贝信息时,他希望的当然是这 ...

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

社区热帖

     

    GMT+8, 2018-10-22 09:30 , Processed in 0.068310 second(s), 16 queries .