炼数成金 大数据分布式系统
订阅

分布式系统

FreeBSD下安装配置Hadoop集群(性能调优)
FreeBSD下安装配置Hadoop集群(性能调优)
hadoop的性能调优是个比较艰难的事情,由于这个系统的整个环境比较复杂,对于接触时间不长的人来说,配置都很难,更别说找出性能优化的点了。性能优化涉及的方面很广,操作系统,网络配置,配置文件,调度器等等,抓 ...
Oracle大数据机和连接器支持与Hadoop和Cloudera Manager集成
Oracle大数据机和连接器支持与Hadoop和Cloudera Manager集成
  Oracle 大数据机和大数据连接器软件支持与 Hadoop、Cloudera Manager 以及 Oracle NoSQL 数据库的集成。上月 Oracle宣布携手 Cloudera 进军大数据机和连接器软件领域。   大数据机融合了 Cloudera 公司的Apach ...
hadoop+hbase+zookeeper集群安装方法
hadoop+hbase+zookeeper集群安装方法
由于刚开始的时候我用虚拟机安装,安装版本是hadoop0.20.2+hbase0.90.3+zookeeper3.3.3版本,在测试hbase集群的时候hmaster不能正常启动或者是启动后进程自杀(在网上找到的答案应该是虚拟机的内存小,不支持0.90.x以 ...
一步步构建基于DRBD的数据共享
一步步构建基于DRBD的数据共享
DRBD(Distributed Replocated Blocak Device)分布式的复制块设备在内核为2.6.33之后的版本中,DRBD就被编译进内核了,所以DRBD是在内核中工作的下面我们就看看DRBD的工作流程图: 当启用drbd功能,并将drbd设备挂 ...
mrcc:基于MapReduce的分布式C语言编译器
mrcc:基于MapReduce的分布式C语言编译器
这年头什么都讲分布式了,分布式存储,分布式计算。下面要介绍的是一个分布式C语言编译器:mrcc,它基于MapReduce 原理进行并行化编译。听起来实在太疯狂了,但是,它确实是这么干的。 下面就是其工作流程图,它由一 ...
开源软件PK:Hadoop和Apache谁与争锋
开源软件PK:Hadoop和Apache谁与争锋
随着数据时代的来临,开源软件越来越被重视,尤其在Web应用服务器、应用程序架构和大数据处理方面更是应用广泛,其中Hadoop、Apache 、MYSQL等开源软件更是家喻户晓,在企业大型网络应用中承担重要作用。免费、运行速 ...
白话MongoDB
白话MongoDB
按照官方的说法,MongoDB是一种可扩展的高性能的开源的面向文档(document-oriented )的数据库,采用C++开发。注意mongo不是mango(芒果),这个词是从humongous中截取出来的,其野心不言而明,直指海量数据存储。
MongoDB分布式存储的MapReduce并行查询
MongoDB分布式存储的MapReduce并行查询
如何基于Mongodb进行关系型数据的分布式存储?有了存储就会牵扯到查询,虽然用普通的方式也可以进行查询,但今天要介绍的是如何使用MONGODB中提供的MapReduce功能进行查询。
提高cassandra读存储性能的四大技巧
提高cassandra读存储性能的四大技巧
cassandra作为一个分布式的存储性能,其特点是写快读慢。最近看了cassandra 1.0的文档,发现1.0在读性能上做了一些提高。用户可以根据系统的要求,合理配置,从而提高读的性能。总结一下,有下面4个方面可以提高读性 ...
搭建Hive平台
搭建Hive平台
Hive是一个基于Hadoop的数据仓库平台。通过hive,我们可以方便地进行ETL的工作。hive定义了一个类似于SQL的查询语言:HQL,能够将用户编写的QL转化为相应的Mapreduce程序基于Hadoop执行。
Hive和Hbase的整合
Hive和Hbase的整合
Hive与HBase的整合功能的实现是利用两者本身对外的API接口互相进行通信,相互通信主要是依靠hive_hbase-handler.jar工具类 (Hive Storage Handlers )
阿里云ODPS:大规模离线数据分析处理
阿里云ODPS:大规模离线数据分析处理
为什么我们使用搜索引擎时,不同的用户搜索同样的关键词看到的广告却不同?为什么我们到电子商务网站购物时,每次浏览同样的商品时都可以得到不同的商品推荐?作为网站服务的开发者,你有没有想过,你所拥有的数据蕴含 ...
分布式文件系统测试方法与测试工具
分布式文件系统测试方法与测试工具
如何对分布式文件系统进行测试评估并选择最适合数据应用的产品系统呢?这里从功能测试和非功能测试两个方面,简要地介绍分布式文件系统的测试方法,并对主要测试工具进行简要说明,为产品选型或产品研发提供依据。

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

社区热帖

     

    GMT+8, 2018-10-22 10:35 , Processed in 0.070802 second(s), 16 queries .