炼数成金 大数据分布式系统
订阅

分布式系统

如何在 Fedora 22 上面配置 Apache 的 Docker 容器
如何在 Fedora 22 上面配置 Apache 的 Docker 容器
在这篇文章中,我们将会学习关于Docker的一些知识,如何使用Docker部署Apache httpd服务,并且共享到Docker Hub上面去。首先,我们学习怎样拉取和使用Docker Hub里面的镜像,然后在一个Fedora 22的镜像上交互式地安 ...
RebornDB:下一代分布式Key-Value数据库
RebornDB:下一代分布式Key-Value数据库
RebornDB是一个基于代理的分布式Redis集群解决方案,有点像twemproxy。它有一个杀手锏:动态的切分数据集,即透明的重新切分数据而不影响目前正在运行的服务。现实世界有许多的Key-Value数据库,它们都被广泛应用于 ...
全方位对比Mesos、Omega、Borg
全方位对比Mesos、Omega、Borg
在大数据领域,集群主要受存储限制,因此运维不断地增加新的机架,更新规格来扩展群集容量。这意味着节点可以有不同的CPU、内存容量、磁盘数量等。这样的节点还可以配入指定的附加设备,如固态硬盘、图形处理器、重 ...
构建分布式系统的技术考量
构建分布式系统的技术考量
下面来聊聊测试吧。对于小型应用来说,我会使用JUnit和Mock对象,通过工具来模拟邮件服务器。不过在分布式系统下,出现非确定性行为的概率会大很多。在大规模分布式系统中,负载很高并且出错概率很大的情况下该如何 ...
分布式系统的特点以及设计理念
分布式系统的特点以及设计理念
正是这些分布式系统,使得Google可以处理高并发请求响应以及海量数据处理等。Apache旗下的Hadoop、Spark、Mesos等分布式系统,把大数据处理相关技术变得非常亲民,让更多企业客户体会到了分布式系统的便利。
基于Mesos和Docker的分布式计算平台
基于Mesos和Docker的分布式计算平台
针对“互联网+”时代的业务增长、变化速度及大规模计算的需求,廉价的、高可扩展的分布式x86集群已成为标准解决方案,如Google已经在几千万台服务器上部署分布式系统。Docker及其相关技术的出现和发展,又给大规模集 ...
ZStack深度试用:部署、架构与网络及其与OpenStack的对比
ZStack深度试用:部署、架构与网络及其与OpenStack的对比
文是ZStack的深度试用报告,分别从部署、架构和网络三个层面介绍作者的试用体验,并与OpenStack进行简单对比,文章最后也对ZStack的改进方向提出了思考。以下为全文内容:“这是最好的时代,也是最坏的时代”。这句 ...
关于Ceph现状与未来的一些思考
关于Ceph现状与未来的一些思考
Ceph从2004年提交了第一行代码,至今为止已经10年了。这个起源于Sage博士论文,最早致力于开发下一代高性能分布式文件系统的项目,现在也成为了开源社区众人皆知的明星项目。特别是随着云计算的发展,Ceph乘上了Open ...
Apache Drill 1.0发布
Apache Drill 1.0发布
虽然大数据往往将关系型数据库当作靶子,但事实上真正生产环境的Hadoop和Spark等大数据平台,每天大部分工作仍然是为SQL查询提供服务,所以,SQL on Hadoop就成了竞争最激烈的技术领域。5月19日,Apache基金会宣布针 ...
微软发布分布式大规模图数据处理引擎 Graph Engine 1.0 预览版
微软发布分布式大规模图数据处理引擎 Graph Engine 1.0 预览版
由 Microsoft Research 开发的 Graph Engine 1.0 预览版正式发布。Graph Engine 是一个基于内存的分布式大规模图数据处理引擎。在此之前,它在学术界更广为人之的名称是Trinity。大规模图处理在很多领域扮演着重要的 ...
Druid:一个用于大数据实时处理的开源分布式系统
Druid:一个用于大数据实时处理的开源分布式系统
Druid是一个用于大数据实时查询和分析的高容错、高性能开源分布式系统,旨在快速处理大规模的数据,并能够实现快速查询和分析。尤其是当发生代码部署、机器故障以及其他产品系统遇到宕机等情况时,Druid仍能够保持10 ...
深入浅出Mesos(二):Mesos的体系结构和工作流
深入浅出Mesos(二):Mesos的体系结构和工作流
Mesos是Apache下的开源分布式资源管理框架,它被称为是分布式系统的内核。Mesos最初是由加州大学伯克利分校的AMPLab开发的,后在Twitter得到广泛使用。InfoQ接下来将会策划系列文章来为读者剖析Mesos。本文是整个系 ...
Disque:Redis之父新开源的分布式内存作业队列
Disque:Redis之父新开源的分布式内存作业队列
Disque是Redis之父Salvatore Sanfilippo新开源的一个分布式内存消息代理。它适应于“Redis作为作业队列”的场景,但采用了一种专用、独立、可扩展且具有容错功能的设计,兼具Redis的简洁和高性能,并且用C语言实现为 ...
Kafka设计解析:Kafka High Availability
Kafka设计解析:Kafka High Availability
Kafka在0.8以前的版本中,并不提供High Availablity机制,一旦一个或多个Broker宕机,则宕机期间其上所有Partition都无法继续提供服务。若该Broker永远不能再恢复,亦或磁盘故障,则其上数据将丢失。而Kafka的设计目 ...
Google发布论文,披露大规模集群管理工具Borg的细节
Google发布论文,披露大规模集群管理工具Borg的细节
Google最近发布了一篇名为“Google使用Borg进行大规模集群的管理”的论文,披露了这个在过去极少提及的技术的细节。Borg是一个集群管理器,它负责对来自于几千个应用程序所提交的job进行接收、调试、启动、停止、重 ...

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

社区热帖

     

    GMT+8, 2018-12-10 19:12 , Processed in 0.106143 second(s), 16 queries .