炼数成金 大数据分布式系统
订阅

分布式系统

微博到底有多重视分布式缓存(下)
微博到底有多重视分布式缓存(下)
分布式缓存2.1 分布式? 考虑之前在缓存引入小节中所描述的,我们在原有的单层db结构中引入了缓存memcached: 在这种单实例缓存架构下,随着业务规模的不断增长,我们发现存在如下几个问题: 1、容量问题 单一服务节 ...
微博到底有多重视分布式缓存(上)
微博到底有多重视分布式缓存(上)
前言微博作为目前最大的中文社交媒体平台,拥有着上亿的日活用户。我们每天都会面临各种非常具有挑战性的业界技术难题。其中最具挑战性的几类问题是:1、海量数据存储。微博总量已经超过千亿数据。海量数据的存取是 ...
Salt与Ansible全方位比较
Salt与Ansible全方位比较
之前某些时候我需要评估配置管理系统。结合从他人得到的意见,我认为Puppet及Chef在配置和运行方面过于复杂。由于我是Python粉,所以我时常关注Ansible及Salt。Ruby目前不是我感冒的语言,当然我也不想在这里引起语 ...
得此笔记,皆得分布式(下篇)
得此笔记,皆得分布式(下篇)
2.5 Log和ETL、数据仓库的关系2.5.1 数据仓库1) 一个装有干净的、结构化的、集成的数据repository,用于分析。2) 虽然想法很美好,但是获取数据的方式有点过时了:周期性地从数据库获取数据,将其转换为某种可读性更 ...
得此笔记,皆得分布式(上篇)
得此笔记,皆得分布式(上篇)
【笔记】1、Log的价值1) Log是如下系统的核心:分布式图数据库分布式搜索引擎Hadoop第一代和第二代K-V数据库2) Log可能跟计算机的历史一样长,并且是分布式数据系统和实时计算系统的核心。3) Log的名字很多:Commit ...
如何在裸机中自动安装部署CoreOS和Kubernetes
如何在裸机中自动安装部署CoreOS和Kubernetes
先介绍一下背景随着光音业务规模的上升,线上业务产品的数量及服务器的采购量也越来越大。当达到一定数量级后,就不能使用常规的维护方法来解决这些问题。以前,一旦业务量上去,我们就不得不停下手头的开发工作,部 ...
最新版本 Mesos 发布,解密 6 大新特性
最新版本 Mesos 发布,解密 6 大新特性
最新的Mesos版本0.23.0,现在可以下载了。这次版本包含了以下特点和变动:1、容器的网络隔离Mesos 0.23 提供支持在容器部署前定义网络的监控和隔离规则。网络隔离避免了单个容器占用太多的端口、太多的带宽,以及造 ...
Eagle - 来自eBay的分布式实时监控及预警框架
Eagle - 来自eBay的分布式实时监控及预警框架
Eagle 是来自eBay的面向大型分布式系统比如Hadoop, Spark 以及Cloud等设计的通用实时监控与与预警框架。Eagle主要由基础的核心框架以及针对不同应用领域的诸多app组成,专注于解决大数据时代大型分布式系统自身监控这 ...
如何在 Fedora 22 上面配置 Apache 的 Docker 容器
如何在 Fedora 22 上面配置 Apache 的 Docker 容器
在这篇文章中,我们将会学习关于Docker的一些知识,如何使用Docker部署Apache httpd服务,并且共享到Docker Hub上面去。首先,我们学习怎样拉取和使用Docker Hub里面的镜像,然后在一个Fedora 22的镜像上交互式地安 ...
RebornDB:下一代分布式Key-Value数据库
RebornDB:下一代分布式Key-Value数据库
RebornDB是一个基于代理的分布式Redis集群解决方案,有点像twemproxy。它有一个杀手锏:动态的切分数据集,即透明的重新切分数据而不影响目前正在运行的服务。现实世界有许多的Key-Value数据库,它们都被广泛应用于 ...
全方位对比Mesos、Omega、Borg
全方位对比Mesos、Omega、Borg
在大数据领域,集群主要受存储限制,因此运维不断地增加新的机架,更新规格来扩展群集容量。这意味着节点可以有不同的CPU、内存容量、磁盘数量等。这样的节点还可以配入指定的附加设备,如固态硬盘、图形处理器、重 ...
构建分布式系统的技术考量
构建分布式系统的技术考量
下面来聊聊测试吧。对于小型应用来说,我会使用JUnit和Mock对象,通过工具来模拟邮件服务器。不过在分布式系统下,出现非确定性行为的概率会大很多。在大规模分布式系统中,负载很高并且出错概率很大的情况下该如何 ...
分布式系统的特点以及设计理念
分布式系统的特点以及设计理念
正是这些分布式系统,使得Google可以处理高并发请求响应以及海量数据处理等。Apache旗下的Hadoop、Spark、Mesos等分布式系统,把大数据处理相关技术变得非常亲民,让更多企业客户体会到了分布式系统的便利。
基于Mesos和Docker的分布式计算平台
基于Mesos和Docker的分布式计算平台
针对“互联网+”时代的业务增长、变化速度及大规模计算的需求,廉价的、高可扩展的分布式x86集群已成为标准解决方案,如Google已经在几千万台服务器上部署分布式系统。Docker及其相关技术的出现和发展,又给大规模集 ...
ZStack深度试用:部署、架构与网络及其与OpenStack的对比
ZStack深度试用:部署、架构与网络及其与OpenStack的对比
文是ZStack的深度试用报告,分别从部署、架构和网络三个层面介绍作者的试用体验,并与OpenStack进行简单对比,文章最后也对ZStack的改进方向提出了思考。以下为全文内容:“这是最好的时代,也是最坏的时代”。这句 ...

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

热门文章

    社区热帖

       

      GMT+8, 2021-9-18 06:46 , Processed in 0.120004 second(s), 16 queries .