炼数成金 大数据分布式系统
订阅

分布式系统

CloudStack和OpenStack竞争还是联盟?
CloudStack和OpenStack竞争还是联盟?
围绕于Citrix公司决定将其CloudStack基础设施即服务(IaaS)产品源代码与Apache Foundation合作的媒体炒作,已使业内纷纷有了该公司已放弃OpenStack的猜测,OpenStack是一个由Rackspace公司和NASA共同支持的IaaS产品。 ...
OpenStack详细解读:定义,好处与使用实例
OpenStack详细解读:定义,好处与使用实例
OpenStack是一个旨在为公共及私有云的建设与管理提供软件的开源项目。本文希望通过提供必要的指导信息,帮助大家利用OpenStack前端来设置及管理自己的公共云或私有云。尝试探索OpenStack Compute最为合适的起点莫过于 ...
IDC:Hadoop、MapReduce相关收入预计将暴涨
IDC:Hadoop、MapReduce相关收入预计将暴涨
根据IDC周一发布的最新报告,用于大数据分析的Hadoop和MapReduce编程框架相关的软件市场将会从2011年的7700万美元暴涨至2016年的8.128亿美元,年复合增长率为60.2%。
Cassandra 1.1的缓存策略
Cassandra 1.1的缓存策略
从0.5和0.6版本开始,Cassandra就提供了主键缓存和行缓存。在1.1 版本中,Cassandra的核心开发团队重新对缓存策略进行了设计和实现,以提供配置更简单但同时又更高效的缓存效果。 为什么要将缓存集成到数据库内部? ...
淘宝Fourinone和Hadoop的完整对比
淘宝Fourinone和Hadoop的完整对比
Fourinone可以充分利用单机并行能力,4核计算机可以4个并行实例计算,hadoop目前只能N*1;另外,可以由上图看出,如果要完成20g的数据,实际上fourinone只需要使用5台机器用60秒完成,比使用19台机器完成19g的hadoop ...
FreeBSD下安装配置Hadoop集群(性能调优)
FreeBSD下安装配置Hadoop集群(性能调优)
hadoop的性能调优是个比较艰难的事情,由于这个系统的整个环境比较复杂,对于接触时间不长的人来说,配置都很难,更别说找出性能优化的点了。性能优化涉及的方面很广,操作系统,网络配置,配置文件,调度器等等,抓 ...
Oracle大数据机和连接器支持与Hadoop和Cloudera Manager集成
Oracle大数据机和连接器支持与Hadoop和Cloudera Manager集成
  Oracle 大数据机和大数据连接器软件支持与 Hadoop、Cloudera Manager 以及 Oracle NoSQL 数据库的集成。上月 Oracle宣布携手 Cloudera 进军大数据机和连接器软件领域。   大数据机融合了 Cloudera 公司的Apach ...
hadoop+hbase+zookeeper集群安装方法
hadoop+hbase+zookeeper集群安装方法
由于刚开始的时候我用虚拟机安装,安装版本是hadoop0.20.2+hbase0.90.3+zookeeper3.3.3版本,在测试hbase集群的时候hmaster不能正常启动或者是启动后进程自杀(在网上找到的答案应该是虚拟机的内存小,不支持0.90.x以 ...
一步步构建基于DRBD的数据共享
一步步构建基于DRBD的数据共享
DRBD(Distributed Replocated Blocak Device)分布式的复制块设备在内核为2.6.33之后的版本中,DRBD就被编译进内核了,所以DRBD是在内核中工作的下面我们就看看DRBD的工作流程图: 当启用drbd功能,并将drbd设备挂 ...
mrcc:基于MapReduce的分布式C语言编译器
mrcc:基于MapReduce的分布式C语言编译器
这年头什么都讲分布式了,分布式存储,分布式计算。下面要介绍的是一个分布式C语言编译器:mrcc,它基于MapReduce 原理进行并行化编译。听起来实在太疯狂了,但是,它确实是这么干的。 下面就是其工作流程图,它由一 ...
开源软件PK:Hadoop和Apache谁与争锋
开源软件PK:Hadoop和Apache谁与争锋
随着数据时代的来临,开源软件越来越被重视,尤其在Web应用服务器、应用程序架构和大数据处理方面更是应用广泛,其中Hadoop、Apache 、MYSQL等开源软件更是家喻户晓,在企业大型网络应用中承担重要作用。免费、运行速 ...
白话MongoDB
白话MongoDB
按照官方的说法,MongoDB是一种可扩展的高性能的开源的面向文档(document-oriented )的数据库,采用C++开发。注意mongo不是mango(芒果),这个词是从humongous中截取出来的,其野心不言而明,直指海量数据存储。
MongoDB分布式存储的MapReduce并行查询
MongoDB分布式存储的MapReduce并行查询
如何基于Mongodb进行关系型数据的分布式存储?有了存储就会牵扯到查询,虽然用普通的方式也可以进行查询,但今天要介绍的是如何使用MONGODB中提供的MapReduce功能进行查询。
提高cassandra读存储性能的四大技巧
提高cassandra读存储性能的四大技巧
cassandra作为一个分布式的存储性能,其特点是写快读慢。最近看了cassandra 1.0的文档,发现1.0在读性能上做了一些提高。用户可以根据系统的要求,合理配置,从而提高读的性能。总结一下,有下面4个方面可以提高读性 ...
搭建Hive平台
搭建Hive平台
Hive是一个基于Hadoop的数据仓库平台。通过hive,我们可以方便地进行ETL的工作。hive定义了一个类似于SQL的查询语言:HQL,能够将用户编写的QL转化为相应的Mapreduce程序基于Hadoop执行。

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

社区热帖

     

    GMT+8, 2018-12-10 20:01 , Processed in 0.097184 second(s), 16 queries .