炼数成金 大数据分布式系统
订阅

分布式系统

分布式桥梁ZooKeeper开发体验
分布式桥梁ZooKeeper开发体验
从传统Java Web转入分布式系统应用,再到接触分布式协调框架ZooKeeper,通过痛苦的思维逻辑和理念转变,历经一个月时间,小伙伴们终于把ZooKeeper嵌入到了BoCloud博云的BeyondContainer中,并在其上进行相应功能的开 ...
Parameter Server 详解
Parameter Server 详解
在机器学习和深度学习领域,分布式的优化已经成了一种先决条件。因为单机已经解决不了目前快速增长的数据和参数了。 现实中,训练数据的数量可能达到1TB到1PB之间,而训练过程中的参数可能会达到 109 到 1012 。而往 ...
实时流处理Storm、Spark Streaming、Samza、Flink孰优孰劣?
实时流处理Storm、Spark Streaming、Samza、Flink孰优孰劣?
分布式流处理需求日益增加,包括支付交易、社交网络、物联网(IOT)、系统监控等。业界对流处理已经有几种适用的框架来解决,下面我们来比较各流处理框架的相同点以及区别。分布式流处理是对无边界数据集进行连续不 ...
分布式集群内存数据技术引领12306技术革命
分布式集群内存数据技术引领12306技术革命
中国铁路客户服务中心网站(www.12306.cn)是世界规模最大的实时交易系统之一,媲美Amazon.com,节假日尤其是春节的访问高峰,网站压力巨大。据统计,在2012年初的春运高峰期间,每天有2000万人访问该网站,日点击量最 ...
Nginx是如何做到高性能和高可扩展的?
Nginx是如何做到高性能和高可扩展的?
NGINX在web性能上的表现尤为出众,这完全得益于其设计方式,许多web和应用服务器都是基于线程或进程这种简单的架构,NGINX用了一种精妙的事件驱动架构,在现代的硬件上,它可以处理成千上万的并发连接。Inside NGINX ...
HBase基准性能测试报告分享与讨论
HBase基准性能测试报告分享与讨论
很多人对HBase的印象可能都是写性能很好、读性能很差,但实际上HBase的读性能远远超过大家的预期。集群吞吐量最大可以达到26000+,单台吞吐量可以达到8000+左右,延迟在几毫秒~20毫秒左右。IO和CPU是主要瓶颈。Rang ...
tomcat的配置和优化
tomcat的配置和优化
tomcat的内存使用配置,最大连接数配置。如何修改配置呢,在/tomcat的/bin/下面有个脚本文件catailna.sh。 如果 windows 是bat设置tomcat的使用内存,其实就是设置jvm的使用参数。Tomcat内存优化主要是对 tomcat 启 ...
问世40年,它仍是编写分布式应用使用率最高的编程模型
问世40年,它仍是编写分布式应用使用率最高的编程模型
远程过程调用(RPC)范式的出现可以追溯到40年之前。时至今日,它仍是在编写分布式应用时使用率最高的一种编程模型。只是近些年来,人们对于RPC技术的质疑与批评声逐渐多了起来。Steve Vinoski在2008年曾尖锐地指出 ...
走进RPC发展史,如何面对越来越多的质疑与批评?
走进RPC发展史,如何面对越来越多的质疑与批评?
简单来说,一台机器上的程序对另一台机器上的子程序的调用就是一次RPC调用。在调用过程中,主程序不需要操心与远程执行相关的任何代码,与本地调用相比,其唯一区别就在于需要提供远程节点的标识。最早为人所知并接 ...
数据流和批量大数据分析技术Apache Apex提升为Apache顶级项目
数据流和批量大数据分析技术Apache Apex提升为Apache顶级项目
数据流和批量大数据分析技术Apache Apex近日被Apache软件基金会提升为顶级项目。这项技术已被包括第一资本(Capital One)和通用电气(GE)在内的企业组织使用,可以帮助开发人员更快速地创建充分利用实时数据的应用 ...
Storm上的实时统计利器-easycount
Storm上的实时统计利器-easycount
Storm是TRC(腾讯实时计算)平台的核心组件。与Hadoop不同,storm之上没有像hive,pig之类的解放应用开发人员效率的工具。开发原生的storm应用必须掌握storm的api,开发门槛高,调试困难,效率低下。EasyCount(SQL on ...
保证分布式系统数据一致性的6种方案
保证分布式系统数据一致性的6种方案
在电商等业务中,系统一般由多个独立的服务组成,如何解决分布式调用时候数据的一致性?具体业务场景如下,比如一个业务操作,如果同时调用服务 A、B、C,需要满足要么同时成功;要么同时失败。A、B、C 可 ...
百度地图的工程师都是如何利用Apache Kylin处理数据的
百度地图的工程师都是如何利用Apache Kylin处理数据的
百度地图开放平台业务部数据智能组主要负责百度地图内部相关业务的大数据计算分析,处理日常百亿级规模数据,为不同业务提供单条SQL毫秒级响应的OLAP多维分析查询服务。对于Apache Kylin在实际生产环境中的应用,在 ...
Mesos 全方位“烹饪”指南
Mesos 全方位“烹饪”指南
如今与Mesos相关的文章可谓层出不穷,不过展示能够直接用于生产的完整基础设施的资料却相当少见。在今天的文章中,我将介绍各组件的配置与使用方式,旨在帮助大家利用Mesos构建起持续交付且拥有容错能力的运行时平台 ...
在 Apache Hive 中轻松生存的12个技巧
在 Apache Hive 中轻松生存的12个技巧
Hive并不是关系型数据库(RDBMS),但是它大多数时候都表现得像是一个关系型数据库一样,它有表、可以运行 SQL、也支持 JDBC 和 ODBC。这种表现既有好的一面,也有不好的一面:Hive 并不像关系型数据库那样执行 SQL ...

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

社区热帖

     

    GMT+8, 2018-12-10 19:55 , Processed in 0.082506 second(s), 18 queries .