炼数成金 大数据分布式系统
订阅

分布式系统

Storm Transaction 原理+实战
Storm Transaction 原理+实战
Storm guarantees data processing by providing an at least once processing guarantee. The most common question asked about Storm is "Given that tuples can be replayed, how do you do things like count ...
Storm Transaction 介绍
Storm Transaction 介绍
问题导读1、怎么在storm上面做统计个数之类的事情?2、如何实现Transactional Topologies?3、与每次只处理一个tuple的简单方案相比, 一个更好的方案是什么?Transactional topology是一个0.9版本中被弃用的原语,取 ...
Storm高级原语(二) — DRPC
Storm高级原语(二) — DRPC
问题导读1、什么是Distributed RPC?2、函数与函数之间靠什么来区分?3、LinearDRPCTopologyBuilder的工作原理是什么?Storm里面引入DRPC主要是利用storm的实时计算能力来并行化CPU密集型(CPU intensive)的计算任务 ...
Twitter Storm: DRPC学习
Twitter Storm: DRPC学习
问题导读:1.Storm为什么引入DRP?2.是否能根据实例新建DRPC实例?Storm里面引入DRPC主要是利用storm的实时计算能力来并行化CPU intensive的计算。DRPC的storm topology以函数的参数流作为输入,而把这些函数调用的返 ...
Storm DRPC 介绍(2)
Storm DRPC 介绍(2)
问题导读1.LinearDRPCTopologyBuilder的作用是什么?2.远程模式DRPC与本地DRPC有什么不同之处?3.例子topology分几步执行?LinearDRPCTopologyBuilderStorm自带了一个称作LinearDRPCTopologyBuilder的topology build ...
Storm DRPC 介绍(1)
Storm DRPC 介绍(1)
问题导读:1.DRPC的作用是什么?2.DRPC工作流是怎样的?3.DRPC分为几部分?4.服务端有几部分组成?1. DRPC介绍1.Storm是一个分布式实时处理框架,它支持以DRPC方式调用.可以理解为Storm是一个集群,DRPC提供了集群中处 ...
Storm DRPC实战
Storm DRPC实战
DRPC ,Distributed Remote Procedure Call RPC本身是个成熟和古老的概念, Storm里面引入DRPC主要是利用storm的实时计算能力来并行化CPU intensive的计算 DRPC, 只是storm应用的一个场景, 并且storm提供相应的编程框架 ...
流分组策略(Stream grouping)
流分组策略(Stream grouping)
问题导读:1.hadoop有master与slave,Storm与之对应的节点是什么?2.Storm控制节点上面运行一个后台程序被称之为什么?3.Supervisor的作用是什么?4.Topology与Worker之间的关系是什么?5.Nimbus和Supervisor之间的所 ...
Storm Topology的并发度
Storm Topology的并发度
概念 一个Topology可以包含一个或多个worker(并行的跑在不同的machine上), 所以worker process就是执行一个topology的子集, 并且worker只能对应于一个topology 一个worker可用包含一个或多个executor, 每个component ...
Storm入门教程:一致性事务
Storm入门教程:一致性事务
Storm是一个分布式的流处理系统,利用anchor和ack机制保证所有tuple都被成功处理。如果tuple出错,则可以被重传,但是如何保证出错的tuple只被处理一次呢?Storm提供了一套事务性组件Transaction Topology,用来解决 ...
Storm入门教程:消息的可靠处理
Storm入门教程:消息的可靠处理
一、简介storm可以确保spout发送出来的每个消息都会被完整的处理。本章将会描述storm体系是如何达到这个目标的,并将会详述开发者应该如何使用storm的这些机制来实现数据的可靠处理。二、理解消息被完整处理一个消息 ...
Storm 的搭建
Storm 的搭建
Storm是什么? Storm是Twitter开源的一个分布式的实时计算系统 使用场景: 数据的实时分析,持续计算,分布式RPC等等. Storm特点:(Storm类似手扶电梯,不出故障就会一直运行. hadoop类似升降电梯,到达一定程度会停止 ...
Twitter Storm: 搭建Storm集群
Twitter Storm: 搭建Storm集群
本文翻译自:https://github.com/nathanmarz/storm/wiki/Setting-up-a-Storm-cluster。这篇文章介绍搭建storm集群并运行的步骤。如果你使用AWS, 那么你可以看一下storm-deploy项目,storm-deploy项目使得在Amazon EC ...
Storm集群安装配置过程
Storm集群安装配置过程
这几天在其他同事的帮助下,调研了twitter的开源流式计算框架storm的使用,下面分享一下storm集群的安装配置过程。以作备忘之用。我的实验机器为:195和196如果转载请注明出处:comaple的博客首先:安装依赖包1,Zer ...
storm的安装部署
storm的安装部署
本文以Twitter Storm官方Wiki为基础,详细描述如何快速搭建一个Storm集群,其中,项目实践中遇到的问题及经验总结,在相应章节以“注意事项”的形式给出。1. Storm集群组件Storm集群中包含两类节点:主控节点(Maste ...

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

社区热帖

     

    GMT+8, 2019-3-24 17:17 , Processed in 0.106784 second(s), 16 queries .