炼数成金 大数据分布式系统
订阅

分布式系统

谷歌点燃OSDI 世界级分布数据库Spanner终面世
谷歌点燃OSDI 世界级分布数据库Spanner终面世
2009年10月25日,Google提出名为Spanner的远景计划。该规划的心中为一旦流量激增、硬件超负荷,数据就会在百万级的数据中心中自动转移。Spanner:“扳手”,又有“桥梁的交叉支撑”。寓意为:“横跨数据中心,自动移 ...
mongodb分布式集群架构
mongodb分布式集群架构
一、关于mongodb MongoDB是一个基于分布式文件存储的数据库。由C++语言编写。旨在为WEB应用提供可扩展的高性能数据存储解决方案。 MongoDB是一个介于关系数据库和非关系数据库之间的产品,是非关系数据库当中功能 ...
为什么Hadoop一定是分布式计算的未来?
为什么Hadoop一定是分布式计算的未来?
很久没有写博客了,之前主要是换工作,耽误了很多的时间,让人也变得懒散,不想花大时间来写东西。另外就是也确实没有什么自己都觉得有意思的东西拿来写写,对一般的知识什么的,我比较倾向于往evernote上面记笔记。 ...
案例分析:基于消息的分布式架构
案例分析:基于消息的分布式架构
美国计算机科学家,LaTex的作者Leslie Lamport说:“分布式系统就是这样一个系统,系统中一个你甚至都不知道的计算机出了故障,却可能导致你自己的计算机不可用。”一语道破了开发分布式系统的玄机,那就是它的复杂与 ...
CloudStack和OpenStack竞争还是联盟?
CloudStack和OpenStack竞争还是联盟?
围绕于Citrix公司决定将其CloudStack基础设施即服务(IaaS)产品源代码与Apache Foundation合作的媒体炒作,已使业内纷纷有了该公司已放弃OpenStack的猜测,OpenStack是一个由Rackspace公司和NASA共同支持的IaaS产品。 ...
OpenStack详细解读:定义,好处与使用实例
OpenStack详细解读:定义,好处与使用实例
OpenStack是一个旨在为公共及私有云的建设与管理提供软件的开源项目。本文希望通过提供必要的指导信息,帮助大家利用OpenStack前端来设置及管理自己的公共云或私有云。尝试探索OpenStack Compute最为合适的起点莫过于 ...
IDC:Hadoop、MapReduce相关收入预计将暴涨
IDC:Hadoop、MapReduce相关收入预计将暴涨
根据IDC周一发布的最新报告,用于大数据分析的Hadoop和MapReduce编程框架相关的软件市场将会从2011年的7700万美元暴涨至2016年的8.128亿美元,年复合增长率为60.2%。
Cassandra 1.1的缓存策略
Cassandra 1.1的缓存策略
从0.5和0.6版本开始,Cassandra就提供了主键缓存和行缓存。在1.1 版本中,Cassandra的核心开发团队重新对缓存策略进行了设计和实现,以提供配置更简单但同时又更高效的缓存效果。 为什么要将缓存集成到数据库内部? ...
淘宝Fourinone和Hadoop的完整对比
淘宝Fourinone和Hadoop的完整对比
Fourinone可以充分利用单机并行能力,4核计算机可以4个并行实例计算,hadoop目前只能N*1;另外,可以由上图看出,如果要完成20g的数据,实际上fourinone只需要使用5台机器用60秒完成,比使用19台机器完成19g的hadoop ...
FreeBSD下安装配置Hadoop集群(性能调优)
FreeBSD下安装配置Hadoop集群(性能调优)
hadoop的性能调优是个比较艰难的事情,由于这个系统的整个环境比较复杂,对于接触时间不长的人来说,配置都很难,更别说找出性能优化的点了。性能优化涉及的方面很广,操作系统,网络配置,配置文件,调度器等等,抓 ...
Oracle大数据机和连接器支持与Hadoop和Cloudera Manager集成
Oracle大数据机和连接器支持与Hadoop和Cloudera Manager集成
  Oracle 大数据机和大数据连接器软件支持与 Hadoop、Cloudera Manager 以及 Oracle NoSQL 数据库的集成。上月 Oracle宣布携手 Cloudera 进军大数据机和连接器软件领域。   大数据机融合了 Cloudera 公司的Apach ...
hadoop+hbase+zookeeper集群安装方法
hadoop+hbase+zookeeper集群安装方法
由于刚开始的时候我用虚拟机安装,安装版本是hadoop0.20.2+hbase0.90.3+zookeeper3.3.3版本,在测试hbase集群的时候hmaster不能正常启动或者是启动后进程自杀(在网上找到的答案应该是虚拟机的内存小,不支持0.90.x以 ...
一步步构建基于DRBD的数据共享
一步步构建基于DRBD的数据共享
DRBD(Distributed Replocated Blocak Device)分布式的复制块设备在内核为2.6.33之后的版本中,DRBD就被编译进内核了,所以DRBD是在内核中工作的下面我们就看看DRBD的工作流程图: 当启用drbd功能,并将drbd设备挂 ...
mrcc:基于MapReduce的分布式C语言编译器
mrcc:基于MapReduce的分布式C语言编译器
这年头什么都讲分布式了,分布式存储,分布式计算。下面要介绍的是一个分布式C语言编译器:mrcc,它基于MapReduce 原理进行并行化编译。听起来实在太疯狂了,但是,它确实是这么干的。 下面就是其工作流程图,它由一 ...
开源软件PK:Hadoop和Apache谁与争锋
开源软件PK:Hadoop和Apache谁与争锋
随着数据时代的来临,开源软件越来越被重视,尤其在Web应用服务器、应用程序架构和大数据处理方面更是应用广泛,其中Hadoop、Apache 、MYSQL等开源软件更是家喻户晓,在企业大型网络应用中承担重要作用。免费、运行速 ...

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

社区热帖

     

    GMT+8, 2019-3-24 17:50 , Processed in 0.115163 second(s), 16 queries .