炼数成金 大数据分布式系统
订阅

分布式系统

保证分布式系统数据一致性的6种方案
保证分布式系统数据一致性的6种方案
在电商等业务中,系统一般由多个独立的服务组成,如何解决分布式调用时候数据的一致性?具体业务场景如下,比如一个业务操作,如果同时调用服务 A、B、C,需要满足要么同时成功;要么同时失败。A、B、C 可 ...
百度地图的工程师都是如何利用Apache Kylin处理数据的
百度地图的工程师都是如何利用Apache Kylin处理数据的
百度地图开放平台业务部数据智能组主要负责百度地图内部相关业务的大数据计算分析,处理日常百亿级规模数据,为不同业务提供单条SQL毫秒级响应的OLAP多维分析查询服务。对于Apache Kylin在实际生产环境中的应用,在 ...
Mesos 全方位“烹饪”指南
Mesos 全方位“烹饪”指南
如今与Mesos相关的文章可谓层出不穷,不过展示能够直接用于生产的完整基础设施的资料却相当少见。在今天的文章中,我将介绍各组件的配置与使用方式,旨在帮助大家利用Mesos构建起持续交付且拥有容错能力的运行时平台 ...
在 Apache Hive 中轻松生存的12个技巧
在 Apache Hive 中轻松生存的12个技巧
Hive并不是关系型数据库(RDBMS),但是它大多数时候都表现得像是一个关系型数据库一样,它有表、可以运行 SQL、也支持 JDBC 和 ODBC。这种表现既有好的一面,也有不好的一面:Hive 并不像关系型数据库那样执行 SQL ...
基于Locust、Tsung的百万并发秒杀压测案例
基于Locust、Tsung的百万并发秒杀压测案例
不久前,数人云联合清华大学交叉信息研究院 OCP 实验室通过 10 台 OCP 服务器成功承载了百万并发 HTTP 请求。此次实验设立的目标是在物理资源最小值的情况下完成 100 万并发处理,通过此次实验,最大化验证了基于 Me ...
Kafka在大数据生态系统中的价值
Kafka在大数据生态系统中的价值
近几年, Apache Kafka的应用有了显著的增长。Kafka最新的客户包括Uber, Twitter, Netflix, LinkedIn, Yahoo, Cisco, Goldman Sachs 等。Kafka是个高可扩展的生产消费者系统。利用Kafka系统,用户可以发布大量的消息 ...
MemCache 超详细解读
MemCache 超详细解读
MemCache是一个自由、源码开放、高性能、分布式的分布式内存对象缓存系统,用于动态Web应用以减轻数据库的负载。它通过在内存中缓存数据和对象来减少读取数据库的次数,从而提高了网站访问的速度。MemCaChe是一个存 ...
关于分布式数据库,你该了解的几件事
关于分布式数据库,你该了解的几件事
随着业务对大数据技术需求的不断演变,分布式数据库在整个生态圈中的地位愈加重要,已可预见必将成为未来大数据技术发展的又一个核心,而其中OLAP(联机分析处理)显得尤其重要。基本理论数据库的基本理论ACID原子性 ...
50PB海量数据排序,谷歌是这么做的
50PB海量数据排序,谷歌是这么做的
用于大规模数据集并行运算的MapReduce诞生之后,谷歌工程师对其进行了大规模随机数据的排序测试。最近,他们向外界披露了过去几年的测试数据和经验总结,特别是50PB海量数据的排序,对于关注数据处理的技术人员来说 ...
Mesos实践完全手册:去哪儿网的运用
Mesos实践完全手册:去哪儿网的运用
Docker与Mesos的组合如面包果酱般完美。今天的老司机是去哪儿网的运维开发工程师徐磊,他介绍了用Mesos来编排容器集群的方法,带你提炼项目核心需求,直击Mesos技术细节。预热期,实践背景1、业务线开发环境的困扰去 ...
奇虎360大规模集群上的业务线环境部署
奇虎360大规模集群上的业务线环境部署
运维的场景和挑战我干过运维和开发。所以很懂得运维,这个流程肯定都是运维所经历的。一般开发的同事都会给运维提需求,要求安装一个OPS,并给一份写好的配置文件,然后给运维部署。运维就去装软件,配置文件,服务 ...
Dapper,大规模分布式系统的跟踪系统(下)
Dapper,大规模分布式系统的跟踪系统(下)
5. 通用的Dapper工具几年前,当Dapper还只是个原型的时候,它只能在Dapper开发者耐心的支持下使用。从那时起,我们逐渐迭代的建立了收集组件,编程接口,和基于Web的交互式用户界面,帮助Dapper的用户独立解决自己的 ...
Dapper,大规模分布式系统的跟踪系统(上)
Dapper,大规模分布式系统的跟踪系统(上)
概述当代的互联网的服务,通常都是用复杂的、大规模分布式集群来实现的。互联网应用构建在不同的软件模块集上,这些软件模块,有可能是由不同的团队开发、可能使用不同的编程语言来实现、有可能布在了几千台服务器, ...
Apache SINGA-分布式深度学习平台
Apache SINGA-分布式深度学习平台
Apache SINGA 是 Apache 在 2015 年 3 月 17 日接纳的一个孵化项目,是个分布式深度学习平台。SINGA 是基于大型数据集训练大型深度学习模块的常规分布式学习平台。SINGA 支持各种流行的深度学习模块,其中的 feed-fo ...
Tachyon—以内存为核心的开源分布式存储系统
Tachyon—以内存为核心的开源分布式存储系统
Tachyon是一个以内存为核心的开源分布式存储系统,也是目前发展最迅速的开源大数据项目之一。Tachyon为不同的大数据计算框架(如Apache Spark,Hadoop MapReduce, Apache Flink等)提供可靠的内存级的数据共享服务。 ...

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

社区热帖

     

    GMT+8, 2019-3-24 16:58 , Processed in 0.113743 second(s), 16 queries .