炼数成金 大数据分布式系统
订阅

分布式系统

Kubernetes是解药还是毒药?
Kubernetes是解药还是毒药?
三年前Docker的诞生,给IT行业带来了巨大的革新,云计算模式有了新的尝试方式,应用交付变得异常便捷。也是借助这样的优势,不论在开发者市场、还是在运维人员心中,Docker均占据了一个无法撼动的位置。除了Docker, ...
使用RabbitMQ的事件驱动微服务
使用RabbitMQ的事件驱动微服务
在微服务之间使用正确的模式进行通信有助于应用程序的伸缩以及解决大多数分布式系统的问题。我们一开始是采用直接的HTTP调用来通信的,但后来决定迁移到事件驱动系统上了。该系统改变了我们对于服务之间交互的思维方 ...
饿了么分布式服务治理及优化经验
饿了么分布式服务治理及优化经验
为什么讲比较痛苦的事情?昨天和一位专家聊天受益很大,他说人在什么时候能够自我驱动?就是痛苦的时候。只有感到痛苦,才会有改变。当然改变有两种结果,一种是彻底放弃沉沦,另外就是一想办法自动化、智能化,把自 ...
Kubernetes和Mesos集成实战部署
Kubernetes和Mesos集成实战部署
Kubernetes是一个跨多个计算节点的管理容器化应用的系统,它提供了一系列基本的功能,如应用的自动化部署,维护和扩展等。Mesos是Apache下的开源分布式资源管理框架,它被称为是分布式系统的内核。把Kubernetes运行 ...
分布式桥梁ZooKeeper开发体验
分布式桥梁ZooKeeper开发体验
从传统Java Web转入分布式系统应用,再到接触分布式协调框架ZooKeeper,通过痛苦的思维逻辑和理念转变,历经一个月时间,小伙伴们终于把ZooKeeper嵌入到了BoCloud博云的BeyondContainer中,并在其上进行相应功能的开 ...
Parameter Server 详解
Parameter Server 详解
在机器学习和深度学习领域,分布式的优化已经成了一种先决条件。因为单机已经解决不了目前快速增长的数据和参数了。 现实中,训练数据的数量可能达到1TB到1PB之间,而训练过程中的参数可能会达到 109 到 1012 。而往 ...
实时流处理Storm、Spark Streaming、Samza、Flink孰优孰劣?
实时流处理Storm、Spark Streaming、Samza、Flink孰优孰劣?
分布式流处理需求日益增加,包括支付交易、社交网络、物联网(IOT)、系统监控等。业界对流处理已经有几种适用的框架来解决,下面我们来比较各流处理框架的相同点以及区别。分布式流处理是对无边界数据集进行连续不 ...
分布式集群内存数据技术引领12306技术革命
分布式集群内存数据技术引领12306技术革命
中国铁路客户服务中心网站(www.12306.cn)是世界规模最大的实时交易系统之一,媲美Amazon.com,节假日尤其是春节的访问高峰,网站压力巨大。据统计,在2012年初的春运高峰期间,每天有2000万人访问该网站,日点击量最 ...
Nginx是如何做到高性能和高可扩展的?
Nginx是如何做到高性能和高可扩展的?
NGINX在web性能上的表现尤为出众,这完全得益于其设计方式,许多web和应用服务器都是基于线程或进程这种简单的架构,NGINX用了一种精妙的事件驱动架构,在现代的硬件上,它可以处理成千上万的并发连接。Inside NGINX ...
HBase基准性能测试报告分享与讨论
HBase基准性能测试报告分享与讨论
很多人对HBase的印象可能都是写性能很好、读性能很差,但实际上HBase的读性能远远超过大家的预期。集群吞吐量最大可以达到26000+,单台吞吐量可以达到8000+左右,延迟在几毫秒~20毫秒左右。IO和CPU是主要瓶颈。Rang ...
tomcat的配置和优化
tomcat的配置和优化
tomcat的内存使用配置,最大连接数配置。如何修改配置呢,在/tomcat的/bin/下面有个脚本文件catailna.sh。 如果 windows 是bat设置tomcat的使用内存,其实就是设置jvm的使用参数。Tomcat内存优化主要是对 tomcat 启 ...
问世40年,它仍是编写分布式应用使用率最高的编程模型
问世40年,它仍是编写分布式应用使用率最高的编程模型
远程过程调用(RPC)范式的出现可以追溯到40年之前。时至今日,它仍是在编写分布式应用时使用率最高的一种编程模型。只是近些年来,人们对于RPC技术的质疑与批评声逐渐多了起来。Steve Vinoski在2008年曾尖锐地指出 ...
走进RPC发展史,如何面对越来越多的质疑与批评?
走进RPC发展史,如何面对越来越多的质疑与批评?
简单来说,一台机器上的程序对另一台机器上的子程序的调用就是一次RPC调用。在调用过程中,主程序不需要操心与远程执行相关的任何代码,与本地调用相比,其唯一区别就在于需要提供远程节点的标识。最早为人所知并接 ...
数据流和批量大数据分析技术Apache Apex提升为Apache顶级项目
数据流和批量大数据分析技术Apache Apex提升为Apache顶级项目
数据流和批量大数据分析技术Apache Apex近日被Apache软件基金会提升为顶级项目。这项技术已被包括第一资本(Capital One)和通用电气(GE)在内的企业组织使用,可以帮助开发人员更快速地创建充分利用实时数据的应用 ...
Storm上的实时统计利器-easycount
Storm上的实时统计利器-easycount
Storm是TRC(腾讯实时计算)平台的核心组件。与Hadoop不同,storm之上没有像hive,pig之类的解放应用开发人员效率的工具。开发原生的storm应用必须掌握storm的api,开发门槛高,调试困难,效率低下。EasyCount(SQL on ...

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

社区热帖

     

    GMT+8, 2019-3-24 17:43 , Processed in 0.111362 second(s), 16 queries .