炼数成金 大数据分布式系统
订阅

分布式系统

Storm 实战及实例讲解一
Storm 实战及实例讲解一
——应用场景分析,drpc服务器配置先给大家打打气,看看效果。这是taobao对外公布的storm使用情况,请大家欣赏,这是一个系列文章希望自己能够完成。给自己加油,写出来有利于日后查询同时也惠及他人。该storm入门教 ...
使用Storm实现实时大数据分析
使用Storm实现实时大数据分析
简单和明了,Storm让大数据分析变得轻松加愉快。当今世界,公司的日常运营经常会生成TB级别的数据。数据来源囊括了互联网装置可以捕获的任何类型数据,网站、社交媒体、交易型商业数据以及其它商业环境中创建的数据。 ...
Storm On YARN的介绍
Storm On YARN的介绍
1. 背景知识(1)Storm:一个实时计算框架,与MapReduce离线计算框架互补,分别用于解决不同场景下的问题,Storm的官方网站是:http://storm-project.net/,如果想快速了解,推荐阅读淘宝的这篇文章:Storm简介。(2 ...
Storm On YARN安装
Storm On YARN安装
问题导读: 我们知道了storm on yarn的架构和意义,那么如何一步一步安装storm on yarn呢?storm on yarn下载地址:https://github.com/yahoo/storm-yarn下载好的storm-yarn-master.zip 得放到linux进行解压,在win ...
Storm高级原语(五) — State in Trident
Storm高级原语(五) — State in Trident
问题导读1、一个opaque transactional spout有哪些特性?2、有哪几种不同类可以容错spout?3、OpaqueMap’s会用什么来调用multiPut方法?Trident在读写有状态的数据源方面是有着一流的抽象封装的。状态既可以保留在t ...
Storm高级原语(三) — Trident topology
Storm高级原语(三) — Trident topology
问题导读1、Trident是什么?2、如何使用Trident的API来完成大吞吐量的流式计算?3、如何使用stream作为输入并计算每个单词的个数?Trident是在storm基础上,一个以实时计算为目标的高度抽象。 它在提供处理大吞吐量数 ...
Storm Transaction 原理+实战
Storm Transaction 原理+实战
Storm guarantees data processing by providing an at least once processing guarantee. The most common question asked about Storm is "Given that tuples can be replayed, how do you do things like count ...
Storm Transaction 介绍
Storm Transaction 介绍
问题导读1、怎么在storm上面做统计个数之类的事情?2、如何实现Transactional Topologies?3、与每次只处理一个tuple的简单方案相比, 一个更好的方案是什么?Transactional topology是一个0.9版本中被弃用的原语,取 ...
Storm高级原语(二) — DRPC
Storm高级原语(二) — DRPC
问题导读1、什么是Distributed RPC?2、函数与函数之间靠什么来区分?3、LinearDRPCTopologyBuilder的工作原理是什么?Storm里面引入DRPC主要是利用storm的实时计算能力来并行化CPU密集型(CPU intensive)的计算任务 ...
Twitter Storm: DRPC学习
Twitter Storm: DRPC学习
问题导读:1.Storm为什么引入DRP?2.是否能根据实例新建DRPC实例?Storm里面引入DRPC主要是利用storm的实时计算能力来并行化CPU intensive的计算。DRPC的storm topology以函数的参数流作为输入,而把这些函数调用的返 ...
Storm DRPC 介绍(2)
Storm DRPC 介绍(2)
问题导读1.LinearDRPCTopologyBuilder的作用是什么?2.远程模式DRPC与本地DRPC有什么不同之处?3.例子topology分几步执行?LinearDRPCTopologyBuilderStorm自带了一个称作LinearDRPCTopologyBuilder的topology build ...
Storm DRPC 介绍(1)
Storm DRPC 介绍(1)
问题导读:1.DRPC的作用是什么?2.DRPC工作流是怎样的?3.DRPC分为几部分?4.服务端有几部分组成?1. DRPC介绍1.Storm是一个分布式实时处理框架,它支持以DRPC方式调用.可以理解为Storm是一个集群,DRPC提供了集群中处 ...
Storm DRPC实战
Storm DRPC实战
DRPC ,Distributed Remote Procedure Call RPC本身是个成熟和古老的概念, Storm里面引入DRPC主要是利用storm的实时计算能力来并行化CPU intensive的计算 DRPC, 只是storm应用的一个场景, 并且storm提供相应的编程框架 ...
流分组策略(Stream grouping)
流分组策略(Stream grouping)
问题导读:1.hadoop有master与slave,Storm与之对应的节点是什么?2.Storm控制节点上面运行一个后台程序被称之为什么?3.Supervisor的作用是什么?4.Topology与Worker之间的关系是什么?5.Nimbus和Supervisor之间的所 ...
Storm Topology的并发度
Storm Topology的并发度
概念 一个Topology可以包含一个或多个worker(并行的跑在不同的machine上), 所以worker process就是执行一个topology的子集, 并且worker只能对应于一个topology 一个worker可用包含一个或多个executor, 每个component ...

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

社区热帖

     

    GMT+8, 2018-10-22 08:57 , Processed in 0.102644 second(s), 16 queries .