炼数成金 大数据分布式系统
订阅

分布式系统

Kafka背景及架构介绍
Kafka背景及架构介绍
Kafka是由LinkedIn开发的一个分布式的消息系统,使用Scala编写,它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark都支持与Kafka集成。背景介绍Kafka创建背 ...
《程序员》杂志精选:优化无极限:盘古Master优化实践
《程序员》杂志精选:优化无极限:盘古Master优化实践
盘古是一个分布式文件系统,在整个阿里巴巴云计算平台——“飞天”中,它是最早被开发出的服务,因此用中国古代神话中开天辟地的盘古为其命名,希冀能创建出一个全新的“云世界”。在“飞天”平台中,它是负责数据存 ...
storm入门书getting-started-with-storm(的中文翻译)
storm入门书getting-started-with-storm(的中文翻译)
本书的译文仅限于学习和研究之用,没有原作者和译者的授权不能用于商业用途。译者序Storm入门终于翻译完了。首先感谢并发编程网同意本人在网站上首发本书译文,同时还要感谢并发编程网的各位大牛们的耐心帮助。这是本 ...
Apache的文档
Apache的文档
Storm is a distributed realtime computation system. Similar to how Hadoop provides a set of general primitives for doing batch processing, Storm provides a set of general primitives for doing realtime ...
滑动窗口在storm中的实现
滑动窗口在storm中的实现
问题导读:1.滑动的触发由谁来完成?2.你认为滑动窗口与storm该如何结合?3.滑动窗口与storm结合是如何实现的?这里需要对storm有所了解,可以参考总体认识storm包括概念,场景,组成,明白storm之后,我们继续下面内 ...
Storm 实战及实例讲解一
Storm 实战及实例讲解一
——应用场景分析,drpc服务器配置先给大家打打气,看看效果。这是taobao对外公布的storm使用情况,请大家欣赏,这是一个系列文章希望自己能够完成。给自己加油,写出来有利于日后查询同时也惠及他人。该storm入门教 ...
使用Storm实现实时大数据分析
使用Storm实现实时大数据分析
简单和明了,Storm让大数据分析变得轻松加愉快。当今世界,公司的日常运营经常会生成TB级别的数据。数据来源囊括了互联网装置可以捕获的任何类型数据,网站、社交媒体、交易型商业数据以及其它商业环境中创建的数据。 ...
Storm On YARN的介绍
Storm On YARN的介绍
1. 背景知识(1)Storm:一个实时计算框架,与MapReduce离线计算框架互补,分别用于解决不同场景下的问题,Storm的官方网站是:http://storm-project.net/,如果想快速了解,推荐阅读淘宝的这篇文章:Storm简介。(2 ...
Storm On YARN安装
Storm On YARN安装
问题导读: 我们知道了storm on yarn的架构和意义,那么如何一步一步安装storm on yarn呢?storm on yarn下载地址:https://github.com/yahoo/storm-yarn下载好的storm-yarn-master.zip 得放到linux进行解压,在win ...
Storm高级原语(五) — State in Trident
Storm高级原语(五) — State in Trident
问题导读1、一个opaque transactional spout有哪些特性?2、有哪几种不同类可以容错spout?3、OpaqueMap’s会用什么来调用multiPut方法?Trident在读写有状态的数据源方面是有着一流的抽象封装的。状态既可以保留在t ...
Storm高级原语(三) — Trident topology
Storm高级原语(三) — Trident topology
问题导读1、Trident是什么?2、如何使用Trident的API来完成大吞吐量的流式计算?3、如何使用stream作为输入并计算每个单词的个数?Trident是在storm基础上,一个以实时计算为目标的高度抽象。 它在提供处理大吞吐量数 ...
Storm Transaction 原理+实战
Storm Transaction 原理+实战
Storm guarantees data processing by providing an at least once processing guarantee. The most common question asked about Storm is "Given that tuples can be replayed, how do you do things like count ...
Storm Transaction 介绍
Storm Transaction 介绍
问题导读1、怎么在storm上面做统计个数之类的事情?2、如何实现Transactional Topologies?3、与每次只处理一个tuple的简单方案相比, 一个更好的方案是什么?Transactional topology是一个0.9版本中被弃用的原语,取 ...
Storm高级原语(二) — DRPC
Storm高级原语(二) — DRPC
问题导读1、什么是Distributed RPC?2、函数与函数之间靠什么来区分?3、LinearDRPCTopologyBuilder的工作原理是什么?Storm里面引入DRPC主要是利用storm的实时计算能力来并行化CPU密集型(CPU intensive)的计算任务 ...
Twitter Storm: DRPC学习
Twitter Storm: DRPC学习
问题导读:1.Storm为什么引入DRP?2.是否能根据实例新建DRPC实例?Storm里面引入DRPC主要是利用storm的实时计算能力来并行化CPU intensive的计算。DRPC的storm topology以函数的参数流作为输入,而把这些函数调用的返 ...

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

社区热帖

     

    GMT+8, 2018-12-10 18:26 , Processed in 0.111101 second(s), 16 queries .