炼数成金 大数据分布式系统
订阅

分布式系统

基于Locust、Tsung的百万并发秒杀压测案例
基于Locust、Tsung的百万并发秒杀压测案例
不久前,数人云联合清华大学交叉信息研究院 OCP 实验室通过 10 台 OCP 服务器成功承载了百万并发 HTTP 请求。此次实验设立的目标是在物理资源最小值的情况下完成 100 万并发处理,通过此次实验,最大化验证了基于 Me ...
Kafka在大数据生态系统中的价值
Kafka在大数据生态系统中的价值
近几年, Apache Kafka的应用有了显著的增长。Kafka最新的客户包括Uber, Twitter, Netflix, LinkedIn, Yahoo, Cisco, Goldman Sachs 等。Kafka是个高可扩展的生产消费者系统。利用Kafka系统,用户可以发布大量的消息 ...
MemCache 超详细解读
MemCache 超详细解读
MemCache是一个自由、源码开放、高性能、分布式的分布式内存对象缓存系统,用于动态Web应用以减轻数据库的负载。它通过在内存中缓存数据和对象来减少读取数据库的次数,从而提高了网站访问的速度。MemCaChe是一个存 ...
关于分布式数据库,你该了解的几件事
关于分布式数据库,你该了解的几件事
随着业务对大数据技术需求的不断演变,分布式数据库在整个生态圈中的地位愈加重要,已可预见必将成为未来大数据技术发展的又一个核心,而其中OLAP(联机分析处理)显得尤其重要。基本理论数据库的基本理论ACID原子性 ...
50PB海量数据排序,谷歌是这么做的
50PB海量数据排序,谷歌是这么做的
用于大规模数据集并行运算的MapReduce诞生之后,谷歌工程师对其进行了大规模随机数据的排序测试。最近,他们向外界披露了过去几年的测试数据和经验总结,特别是50PB海量数据的排序,对于关注数据处理的技术人员来说 ...
Mesos实践完全手册:去哪儿网的运用
Mesos实践完全手册:去哪儿网的运用
Docker与Mesos的组合如面包果酱般完美。今天的老司机是去哪儿网的运维开发工程师徐磊,他介绍了用Mesos来编排容器集群的方法,带你提炼项目核心需求,直击Mesos技术细节。预热期,实践背景1、业务线开发环境的困扰去 ...
奇虎360大规模集群上的业务线环境部署
奇虎360大规模集群上的业务线环境部署
运维的场景和挑战我干过运维和开发。所以很懂得运维,这个流程肯定都是运维所经历的。一般开发的同事都会给运维提需求,要求安装一个OPS,并给一份写好的配置文件,然后给运维部署。运维就去装软件,配置文件,服务 ...
Dapper,大规模分布式系统的跟踪系统(下)
Dapper,大规模分布式系统的跟踪系统(下)
5. 通用的Dapper工具几年前,当Dapper还只是个原型的时候,它只能在Dapper开发者耐心的支持下使用。从那时起,我们逐渐迭代的建立了收集组件,编程接口,和基于Web的交互式用户界面,帮助Dapper的用户独立解决自己的 ...
Dapper,大规模分布式系统的跟踪系统(上)
Dapper,大规模分布式系统的跟踪系统(上)
概述当代的互联网的服务,通常都是用复杂的、大规模分布式集群来实现的。互联网应用构建在不同的软件模块集上,这些软件模块,有可能是由不同的团队开发、可能使用不同的编程语言来实现、有可能布在了几千台服务器, ...
Apache SINGA-分布式深度学习平台
Apache SINGA-分布式深度学习平台
Apache SINGA 是 Apache 在 2015 年 3 月 17 日接纳的一个孵化项目,是个分布式深度学习平台。SINGA 是基于大型数据集训练大型深度学习模块的常规分布式学习平台。SINGA 支持各种流行的深度学习模块,其中的 feed-fo ...
Tachyon—以内存为核心的开源分布式存储系统
Tachyon—以内存为核心的开源分布式存储系统
Tachyon是一个以内存为核心的开源分布式存储系统,也是目前发展最迅速的开源大数据项目之一。Tachyon为不同的大数据计算框架(如Apache Spark,Hadoop MapReduce, Apache Flink等)提供可靠的内存级的数据共享服务。 ...
Apache HBase 2015年发展回顾与未来展望
Apache HBase 2015年发展回顾与未来展望
旧的 HBase 接口逻辑与传统 JDBC 方式很不相同,新的接口与传统 JDBC 的逻辑更加相像,具有更加清晰的 Connection 管理方式。同时,在旧的接口中,客户端何时将 Put 写到服务端也需要设置,一个 Put 马上写到服务端 ...
Mesos和YARN的区别以及它们如何协同工作
Mesos和YARN的区别以及它们如何协同工作
Hadoop 2.0之后把对集群资源的管理从MapReduce v1的JobTracker中提取出来,在YARN中进行了实现。虽然YARN支持了多种不同的计算框架,但依旧没有很好的解决集群资源的弹性伸缩问题。本文介绍了一个新的项目- Myriad, ...
Apache Ignite 初探
Apache Ignite 初探
Apache Ignite 内存数组组织框架是一个高性能、集成和分布式的内存计算和事务平台,用于大规模的数据集处理,比传统的基于磁盘或闪存的技术具有更高的性能,同时他还为应用和不同的数据源之间提供高性能、分布式内存 ...
Shopify构建分布式可扩展应用的最佳实践
Shopify构建分布式可扩展应用的最佳实践
本文介绍了 Shopify 构建弹性平台的方法。这篇文章不仅读起来有意思,而且你可以把它运用到实践中,构建自有的弹性平台。Shopify面临的扩展挑战电商解决方案提供商 Shopify 每个月的独立访问用户大约有 3 亿。注意, ...

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

社区热帖

     

    GMT+8, 2018-12-10 18:59 , Processed in 0.104232 second(s), 16 queries .