炼数成金 大数据分布式系统
订阅

分布式系统

新一代分布式任务调度框架:当当elastic-job开源项目的10项特性
新一代分布式任务调度框架:当当elastic-job开源项目的10项特性
作者简介:张亮,当当网架构师、当当技术委员会成员、消息中间件组负责人。对架构设计、分布式、优雅代码等领域兴趣浓厚。目前主导当当应用框架ddframe研发,并负责推广及撰写技术白皮书。一、为什么需要作业(定时 ...
zookeeper 运营经验分享
zookeeper 运营经验分享
Zookeeper作为TDBank系统的一个重要模块,我们运营它已经两年多。在使用过程中,我们也遇到了一些问题及走过很多弯路,本文主要对zookeeper运营经验进分享。Zookeeper在TDBank中的使用场景TDBank主要利用zookeeper实 ...
Google使用Borg进行大规模集群的管理
Google使用Borg进行大规模集群的管理
摘要谷歌的Borg系统群集管理器运行几十万个以上的jobs,来自几千个不同的应用,跨多个集群,每个集群有上万个机器。它通过管理控制、高效的任务包装、超售、和进程级别性能隔离实现了高利用率。它支持高可用性应用程 ...
HTTP的分布式网络真的被它替代了么?
HTTP的分布式网络真的被它替代了么?
IPFS是一个面向全球的、点对点的分布式版本文件系统。IPFS用基于内容的地址替代了基于域名的地址,试图将所有具有相同文件系统的计算设备连接在一起。IPFS表示,IPFS未来将替代HTTP,这一想法听起来有些疯狂,可是却 ...
Storm简介
Storm简介
伴随着信息科技日新月异的发展,信息呈现出爆发式的膨胀,人们获取信息的途径也更加多样、更加便捷,同时对于信息的时效性要求也越来越高。举个搜索场景中的例子,当一个卖家发布了一条宝贝信息时,他希望的当然是这 ...
分布式框架是必须的吗?
分布式框架是必须的吗?
当有人问起该如何处理大数据问题时,他们总是被指引到现存的产品中,例如Hadoop或者Storm。虽然这些产品非常棒,但也引发了一些问题。首先,就我个人的经验来看,为了获得最佳的处理结果,你必须使用这些框架首选的 ...
亿级Web系统搭建:单机到分布式集群
亿级Web系统搭建:单机到分布式集群
当一个Web系统从日访问量10万逐步增长到1000万,甚至超过1亿的过程中,Web系统承受的压力会越来越大,在这个过程中,我们会遇到很多的问题。为了解决这些性能压力带来问题,我们需要在Web系统架构层面搭建多个层次的 ...
微博到底有多重视分布式缓存(下)
微博到底有多重视分布式缓存(下)
分布式缓存2.1 分布式? 考虑之前在缓存引入小节中所描述的,我们在原有的单层db结构中引入了缓存memcached: 在这种单实例缓存架构下,随着业务规模的不断增长,我们发现存在如下几个问题: 1、容量问题 单一服务节 ...
微博到底有多重视分布式缓存(上)
微博到底有多重视分布式缓存(上)
前言微博作为目前最大的中文社交媒体平台,拥有着上亿的日活用户。我们每天都会面临各种非常具有挑战性的业界技术难题。其中最具挑战性的几类问题是:1、海量数据存储。微博总量已经超过千亿数据。海量数据的存取是 ...
Salt与Ansible全方位比较
Salt与Ansible全方位比较
之前某些时候我需要评估配置管理系统。结合从他人得到的意见,我认为Puppet及Chef在配置和运行方面过于复杂。由于我是Python粉,所以我时常关注Ansible及Salt。Ruby目前不是我感冒的语言,当然我也不想在这里引起语 ...
得此笔记,皆得分布式(下篇)
得此笔记,皆得分布式(下篇)
2.5 Log和ETL、数据仓库的关系2.5.1 数据仓库1) 一个装有干净的、结构化的、集成的数据repository,用于分析。2) 虽然想法很美好,但是获取数据的方式有点过时了:周期性地从数据库获取数据,将其转换为某种可读性更 ...
得此笔记,皆得分布式(上篇)
得此笔记,皆得分布式(上篇)
【笔记】1、Log的价值1) Log是如下系统的核心:分布式图数据库分布式搜索引擎Hadoop第一代和第二代K-V数据库2) Log可能跟计算机的历史一样长,并且是分布式数据系统和实时计算系统的核心。3) Log的名字很多:Commit ...
如何在裸机中自动安装部署CoreOS和Kubernetes
如何在裸机中自动安装部署CoreOS和Kubernetes
先介绍一下背景随着光音业务规模的上升,线上业务产品的数量及服务器的采购量也越来越大。当达到一定数量级后,就不能使用常规的维护方法来解决这些问题。以前,一旦业务量上去,我们就不得不停下手头的开发工作,部 ...
最新版本 Mesos 发布,解密 6 大新特性
最新版本 Mesos 发布,解密 6 大新特性
最新的Mesos版本0.23.0,现在可以下载了。这次版本包含了以下特点和变动:1、容器的网络隔离Mesos 0.23 提供支持在容器部署前定义网络的监控和隔离规则。网络隔离避免了单个容器占用太多的端口、太多的带宽,以及造 ...
Eagle - 来自eBay的分布式实时监控及预警框架
Eagle - 来自eBay的分布式实时监控及预警框架
Eagle 是来自eBay的面向大型分布式系统比如Hadoop, Spark 以及Cloud等设计的通用实时监控与与预警框架。Eagle主要由基础的核心框架以及针对不同应用领域的诸多app组成,专注于解决大数据时代大型分布式系统自身监控这 ...

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

社区热帖

     

    GMT+8, 2018-12-10 18:26 , Processed in 0.112437 second(s), 16 queries .