流计算

【Storm一】Storm概念入门

什么是StormStorm的基本术语Storm组件协作图Storm消息机制 什么是StormStorm用于流式计算和实时计算,简称实时流计算。
bit1129·2014-12-26 14:00

storm简介

Storm能处理高频数据和大规模数据的实时流计算解决方案将被应用于实时搜索，高频交易和社交网络上。
chengjianxiaoxue·2014-12-26 12:00

Storm之trident序列化问题

在使用Storm的trident做流计算开发时，遇到一个诡异的问题：我继承IPartitionedTridentSpout或者IOpaquePartitionedTridentSpout接口做事务型实时计算的开发
wzhg0508·2014-12-13 01:00

牛顿-拉夫逊法进行潮流计算matlab源程序

%本程序的功能是用牛顿-拉夫逊法进行潮流计算n=input('请输入节点数:n=');nl=input('请输入支路数:nl=');isb=input('请输入平衡母线节电号:isb=');pr=input
wenyusuran·2014-12-04 16:00

storm入门 第一章 前言

1.1  实时流计算互联网从诞生的第一时间起，对世界的最大的改变就是让信息能够实时交互，从而大大加速了各个环节的效率。
坏坏一笑·2014-12-03 11:00

Storm 入门与安装

一、Storm简介具体不说了，反正Storm是个实时的、分布式以及具备高容错的计算系统，Hadoop流计算版本。我们拿他来做大数据实时计算的。
顾晓艳·2014-11-26 21:20

【转】使用Storm处理事务型实时计算需求时的几处难点

http://blog.sina.com.cn/s/blog_6ff05a2c0101ficp.html接触流计算领域不长时间，对这个领域可以说还是个门外汉。
linc09·2014-11-20 23:00

【转】使用Storm处理事务型实时计算需求时的几处难点

http://blog.sina.com.cn/s/blog_6ff05a2c0101ficp.html 接触流计算领域不长时间，对这个领域可以说还是个门外汉。
linc09·2014-11-20 23:00

【转】使用Storm处理事务型实时计算需求时的几处难点

http://blog.sina.com.cn/s/blog_6ff05a2c0101ficp.html接触流计算领域不长时间，对这个领域可以说还是个门外汉。
linc09·2014-11-20 15:00

Storm Trident API 实践

一、概要   1.1Storm(简介)   Storm是一个实时的可靠地分布式流计算框架。   
suifeng3051·2014-11-14 14:00

非对称加密算法-RSA算法

目前各种主流计算机语言都支持RSA算法的实现  2、java6支持RSA算法  3、RSA算法可以用于数据加密和数字签名  4、RSA算法相对于DES/AES等对称加密算法
liuguofeng·2014-11-04 10:00

simple_flow一个简单的流式计算框架

simple_flow simple realtime flow computation 简介 simple_flow 是一个简单的实时流计算框架,由两部分组成,一个是agent,一个是flow_server
finallygo·2014-10-29 11:00

Storm 安装速记

大数据数据处理最常用的是两类模式：批处理和流计算。在opensource领域，批处理最有名的组件自然是大名鼎鼎的HadoopMapReduce，而流计算则是Storm。
samhacker·2014-09-14 22:00

Storm视频教程-Storm流计算之项目实战篇

Storm流计算之项目实战篇(Storm+Kafka+HBase+Highcharts+JQuery，含3个完整实际项目)课程分类：大数据适合人群：初级课时数量：40课时更新程度：70%用到技术：stormKafka
xiarilove·2014-09-10 12:00

Storm源码浅析之topology的提交

最近一直在读twitter开源的这个分布式流计算框架——storm的源码，还是有必要记录下一些比较有意思的地方。我按照storm的主要概念进行组织，并且只分析我关
myrainblues·2014-09-04 21:00

基于Storm-0.91的分布式流计算集群详细配置

==========================================================================================一、服务器分布==========================================================================================1、相关说明IP地址主机名
workming·2014-07-26 13:32

基于Storm-0.91的分布式流计算集群详细配置

==========================================================================================一、服务器分布==========================================================================================1、相关说明IP地址主机名
workming·2014-07-26 13:32

spark初始：spark腾讯雅虎优酷成功应用解析

在迭代计算，交互式查询计算以及批量流计算方面都有相关的子项目，如Shark、SparkStreaming、MLbase、GraphX、SparkR等。从13年起Spa
程序员成长史·2014-07-22 14:47

spark初始：spark腾讯雅虎优酷成功应用解析

在迭代计算，交互式查询计算以及批量流计算方面都有相关的子项目，如Shark、SparkStreaming、MLbase、GraphX、SparkR等。从13年起Spa
lifuxiangcaohui·2014-07-22 14:00

jstorm集群配置部署过程全纪录

Jstorm是阿里在storm的基础上开发的一个流计算系统，提供比storm更多的功能和更好的稳定性。
debug_myself·2014-07-11 15:56

如何把云计算大数据处理速度提高 100 倍以上？Spark 给出了答案。

做的一切事情，同时速度比Hadoop快了100倍以上,Spark是基于内存，是云计算领域的继Hadoop之后的下一代的最热门的通用的并行计算框架开源项目，尤其出色的支持InteractiveQuery、流计算
Rocky2014·2014-06-14 20:00

Storm之trident序列化问题

转载自：http://blog.sina.com.cn/s/blog_6ff05a2c0101lajp.html在使用Storm的trident做流计算开发时，遇到一个诡异的问题：我继承IPartitionedTridentSpout
myrainblues·2014-06-11 10:00

Beyond MapReduce：谈2011年风靡的数据流计算系统

2011年度的HadoopChina大会刚刚落下帷幕，这次会议的一个热点议题就是数据流计算，在MapReduce计算模型风靡全球之后，StreamProcessing将会是下一个研究热点，无论是在工业界还是学术界
chenlmcto·2014-05-28 09:16

Beyond MapReduce：谈2011年风靡的数据流计算系统

2011年度的HadoopChina大会刚刚落下帷幕，这次会议的一个热点议题就是数据流计算，在MapReduce计算模型风靡全球之后，StreamProcessing将会是下一个研究热点，无论是在工业界还是学术界
chenlmcto·2014-05-28 09:16

hbase是否能取代mysql

代志远早年就职网易研究院从事MapReduce与DFS系统的自主研发，后加入支付宝数据平台负责Hadoop与HBase体系的架构设计与二次研发，支付宝流计算与分布式搜索系统的设计和研发，后成为支付宝海量计算体系架构师兼支付宝三代架构成员
yakcy·2014-05-20 14:00

zookeeper学习记录

背景  前段时间看了S4流计算引擎，里面使用到了zookeeper进行集群管理，所以也就花了点时间研究了下zookeeper，不求看懂所有源码，但求了解其实现机制和原理，清楚其基本使用。
wenyusuran·2014-05-15 16:00

zookeeper学习记录

zookeeper学习记录 背景  前段时间看了S4流计算引擎，里面使用到了zookeeper进行集群管理，所以也就花了点时间研究了下zookeeper，不求看懂所有源码，但求了解其实现机制和原理，清楚其基本使用
zzjjiandan·2014-04-14 18:00

基于storm的实时框架

核心的实时架构和基于storm的实时架构的设计.一、实时的框架简介背景数据流计算来自于一个信念：数据的价值随着时间的流逝而降低，所以事件出现后必须尽快地对它们进行处理，最好数据出现时便立刻对其进行处理，
guoqiangma·2014-04-11 18:00

Storm之trident序列化问题

在使用Storm的trident做流计算开发时，遇到一个诡异的问题：我继承IPartitionedTridentSpout或者IOpaquePartitionedTridentSpout接口做事务型实时计算的开发
qiaochao911·2014-04-09 22:00

spark--spark9.0安装【1】

spark：Spark是下一代InMemoryMR计算框架，性能上有数量级提升，同时支持InteractiveQuery、流计算、图计算等。
xqj198404·2014-04-01 10:00

zookeeper@alibaba学习记录(一)

背景 前段时间看了S4流计算引擎，里面使用到了zookeeper进行集群管理，所以也就花了点时间研究了下zookeeper，不求看懂所有源码，但求了解其实现机制和原理，清楚其基本使用。
DavideyLee·2014-03-26 10:39

【转】storm分布式流计算引擎

场景伴随着信息科技日新月异的发展，信息呈现出爆发式的膨胀，人们获取信息的途径也更加多样、更加便捷，同时对于信息的时效性要求也越来越高。举个搜索场景中的例子，当一个卖家发布了一条宝贝信息时，他希望的当然是这个宝贝马上就可以被卖家搜索出来、点击、购买啦，相反，如果这个宝贝要等到第二天或者更久才可以被搜出来，估计这个大哥就要骂娘了。再举一个推荐的例子，如果用户昨天在淘宝上买了一双袜子，今天想买一副泳镜去
淘宝帝痕·2014-03-19 14:23

Storm – 流计算

wget http://download.zeromq.org/zeromq-2.1.7.tar.gz tar -xzvf zeromq-2.1.7.tar.gz cd zeromq-2.1.7 sudo apt-get install gcc sudo apt-get install g++ sudo apt-get install libuuid-dev ./config
wbj0110·2014-03-10 09:00

Storm – 流计算

wget http://download.zeromq.org/zeromq-2.1.7.tar.gz tar -xzvf zeromq-2.1.7.tar.gz cd zeromq-2.1.7 sudo apt-get install gcc sudo apt-get install g++ sudo apt-get install libuuid-dev ./config
wbj0110·2014-03-10 09:00

Storm – 流计算

wget http://download.zeromq.org/zeromq-2.1.7.tar.gz tar -xzvf zeromq-2.1.7.tar.gz cd zeromq-2.1.7 sudo apt-get install gcc sudo apt-get install g++ sudo apt-get install libuuid-dev ./config
wbj0110·2014-03-10 09:00

"推荐系统的工程挑战"分享

概述： 此分享是百度推荐引擎相关介绍   汇总点： 1.搜索是主动查找，推荐是被动推送 2.数据规模遭遇时效性 3.实时计算系统(包括业务计算的横向扩展，百度的流计算系统和实时索引系统
小网客·2014-02-27 15:00

"推荐系统的工程挑战"分享

概述： 此分享是百度推荐引擎相关介绍   汇总点： 1.搜索是主动查找，推荐是被动推送 2.数据规模遭遇时效性 3.实时计算系统(包括业务计算的横向扩展，百度的流计算系统和实时索引系统
小网客·2014-02-27 15:00

唯品会日志平台建设

所以说，日志数据的收集，传输，计算（batch或者实时流计算）是数据时代数据落地需要关注的问题。日志集中处理不只是拥有大数据的大公司才需要，对于数据的需求，都
姚仁捷·2014-02-24 00:00

[C#] 计算大文件的MD5的两种方式(直接调用方法计算，流计算-适用于大文件)

通过.NET中的默认类实现，但是采用不同类，针对不同的情况：具体如下：类：/// ///文件MD5操作类 /// publicclassMD5Checker { /// ///通过MD5CryptoServiceProvider类中的ComputeHash方法直接传入一个FileStream类实现计算MD5 ///操作简单，代码少，调用即可 /// ///文件地址 ///MD5Hash publi
qiujuer·2014-02-17 17:00

hadoop小程序---写入hdfs

写一个测试类，很简单，就是用FileSystem类来实现，和hadoop的shell类似注意：hadoop采用流计算，都是数据都是以字节流的形式传递的。
smile0198·2014-02-07 17:00

超越Hadoop的大数据技术：用Spark 软件栈进行实时大数据分析

其又是怎么将批处理，交互查询和流计算有机统一在一个平台上的？目前ApacheSpark社区的基本
夏俊鸾·2014-02-02 00:00

zookeeper学习记录

背景  前段时间看了S4流计算引擎，里面使用到了zookeeper进行集群管理，所以也就花了点时间研究了下zookeeper，不求看懂所有源码，但求了解其实现机制和原理，清楚其基本使用。
dong_007_007·2014-01-18 17:00

AAM Alignment 算法扩展

    AAMAlignment算法是从Lucas-Kanade方法派生出来的，该方法在光流计算和AAM模型中都大获成功，不同的是由于AAM模型中存在PCA降维、形变Warp操作和纹理匹配，使得该方法有了多种多样的变形和匹配算法
kklots·2014-01-13 15:00

storm分布式流计算引擎

场景伴随着信息科技日新月异的发展，信息呈现出爆发式的膨胀，人们获取信息的途径也更加多样、更加便捷，同时对于信息的时效性要求也越来越高。举个搜索场景中的例子，当一个卖家发布了一条宝贝信息时，他希望的当然是这个宝贝马上就可以被卖家搜索出来、点击、购买啦，相反，如果这个宝贝要等到第二天或者更久才可以被搜出来，估计这个大哥就要骂娘了。再举一个推荐的例子，如果用户昨天在淘宝上买了一双袜子，今天想买一副泳镜去
it_man·2013-12-15 16:00

S4分布式流计算引擎

背景  最近花了点时间研究了下分布式计算这一块的内容。领导给的第一个任务，就是学习下S4和GridGain。花了几天的时间把s4的源码看了下，把自己的理解和学习的内容做一个记录。下一篇会是GridGain的分享学习s4的论文： S4:DistributedStreamComputingPlatforms4的官网： http://s4.io/s4是什么？1. s4的全称： SimpleScalabl
it_man·2013-12-15 16:00

使用Python的yield实现流计算模式

首先先提一下上一篇《如何猜出Ycombinator》中用的方法太复杂了。其实在Lambda演算中实现递归的思想很简单，就是函数把自己作为第一个参数传入函数，然后后面就是简单的Lambda变换提取出Ycombinator了。好，接下来是本篇的正文：-----------------------------------------------------------------------------
古霜卡比·2013-12-01 11:00

ZooKeeper学习

转自：http://agapple.iteye.com/blog/1111377背景  前段时间看了S4流计算引擎，里面使用到了zookeeper进行集群管理，所以也就花了点时间研究了下zookeeper
li385805776·2013-11-27 21:00

大数据流过滤技术及应用

大数据流过滤技术介绍中包括多关键词过滤技术，正则表达式匹配技术，基于硬件的数据流过滤设备，基于大数据流计算的网络内容安全平台。
谭建龙·2013-11-26 00:00

基于storm做爬虫的可能性

    OK，您的好奇心是对的，这里我想说，基于storm这个实时流计算框架去做爬虫，简直太完美了！大概就长这个样子了，当然这是一个大框。    
book·2013-11-13 18:00

大数据系列7：Storm – 流计算

wget http://download.zeromq.org/zeromq-2.1.7.tar.gz tar -xzvf zeromq-2.1.7.tar.gz cd zeromq-2.1.7 sudo apt-get install gcc sudo apt-get install g++ sudo apt-get install libuuid-dev ./configure
yangshangchuan·2013-10-02 23:00
上一页 28 29 30 31 32 33 34 35 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他