炼数成金 大数据分布式系统
订阅

分布式系统

深入浅出Mesos(二):Mesos的体系结构和工作流
深入浅出Mesos(二):Mesos的体系结构和工作流
Mesos是Apache下的开源分布式资源管理框架,它被称为是分布式系统的内核。Mesos最初是由加州大学伯克利分校的AMPLab开发的,后在Twitter得到广泛使用。InfoQ接下来将会策划系列文章来为读者剖析Mesos。本文是整个系 ...
Disque:Redis之父新开源的分布式内存作业队列
Disque:Redis之父新开源的分布式内存作业队列
Disque是Redis之父Salvatore Sanfilippo新开源的一个分布式内存消息代理。它适应于“Redis作为作业队列”的场景,但采用了一种专用、独立、可扩展且具有容错功能的设计,兼具Redis的简洁和高性能,并且用C语言实现为 ...
Kafka设计解析:Kafka High Availability
Kafka设计解析:Kafka High Availability
Kafka在0.8以前的版本中,并不提供High Availablity机制,一旦一个或多个Broker宕机,则宕机期间其上所有Partition都无法继续提供服务。若该Broker永远不能再恢复,亦或磁盘故障,则其上数据将丢失。而Kafka的设计目 ...
Google发布论文,披露大规模集群管理工具Borg的细节
Google发布论文,披露大规模集群管理工具Borg的细节
Google最近发布了一篇名为“Google使用Borg进行大规模集群的管理”的论文,披露了这个在过去极少提及的技术的细节。Borg是一个集群管理器,它负责对来自于几千个应用程序所提交的job进行接收、调试、启动、停止、重 ...
Kafka背景及架构介绍
Kafka背景及架构介绍
Kafka是由LinkedIn开发的一个分布式的消息系统,使用Scala编写,它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark都支持与Kafka集成。背景介绍Kafka创建背 ...
《程序员》杂志精选:优化无极限:盘古Master优化实践
《程序员》杂志精选:优化无极限:盘古Master优化实践
盘古是一个分布式文件系统,在整个阿里巴巴云计算平台——“飞天”中,它是最早被开发出的服务,因此用中国古代神话中开天辟地的盘古为其命名,希冀能创建出一个全新的“云世界”。在“飞天”平台中,它是负责数据存 ...
storm入门书getting-started-with-storm(的中文翻译)
storm入门书getting-started-with-storm(的中文翻译)
本书的译文仅限于学习和研究之用,没有原作者和译者的授权不能用于商业用途。译者序Storm入门终于翻译完了。首先感谢并发编程网同意本人在网站上首发本书译文,同时还要感谢并发编程网的各位大牛们的耐心帮助。这是本 ...
Apache的文档
Apache的文档
Storm is a distributed realtime computation system. Similar to how Hadoop provides a set of general primitives for doing batch processing, Storm provides a set of general primitives for doing realtime ...
滑动窗口在storm中的实现
滑动窗口在storm中的实现
问题导读:1.滑动的触发由谁来完成?2.你认为滑动窗口与storm该如何结合?3.滑动窗口与storm结合是如何实现的?这里需要对storm有所了解,可以参考总体认识storm包括概念,场景,组成,明白storm之后,我们继续下面内 ...
Storm 实战及实例讲解一
Storm 实战及实例讲解一
——应用场景分析,drpc服务器配置先给大家打打气,看看效果。这是taobao对外公布的storm使用情况,请大家欣赏,这是一个系列文章希望自己能够完成。给自己加油,写出来有利于日后查询同时也惠及他人。该storm入门教 ...
使用Storm实现实时大数据分析
使用Storm实现实时大数据分析
简单和明了,Storm让大数据分析变得轻松加愉快。当今世界,公司的日常运营经常会生成TB级别的数据。数据来源囊括了互联网装置可以捕获的任何类型数据,网站、社交媒体、交易型商业数据以及其它商业环境中创建的数据。 ...
Storm On YARN的介绍
Storm On YARN的介绍
1. 背景知识(1)Storm:一个实时计算框架,与MapReduce离线计算框架互补,分别用于解决不同场景下的问题,Storm的官方网站是:http://storm-project.net/,如果想快速了解,推荐阅读淘宝的这篇文章:Storm简介。(2 ...
Storm On YARN安装
Storm On YARN安装
问题导读: 我们知道了storm on yarn的架构和意义,那么如何一步一步安装storm on yarn呢?storm on yarn下载地址:https://github.com/yahoo/storm-yarn下载好的storm-yarn-master.zip 得放到linux进行解压,在win ...
Storm高级原语(五) — State in Trident
Storm高级原语(五) — State in Trident
问题导读1、一个opaque transactional spout有哪些特性?2、有哪几种不同类可以容错spout?3、OpaqueMap’s会用什么来调用multiPut方法?Trident在读写有状态的数据源方面是有着一流的抽象封装的。状态既可以保留在t ...
Storm高级原语(三) — Trident topology
Storm高级原语(三) — Trident topology
问题导读1、Trident是什么?2、如何使用Trident的API来完成大吞吐量的流式计算?3、如何使用stream作为输入并计算每个单词的个数?Trident是在storm基础上,一个以实时计算为目标的高度抽象。 它在提供处理大吞吐量数 ...

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

社区热帖

     

    GMT+8, 2019-3-24 16:41 , Processed in 0.102589 second(s), 16 queries .