E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
nebula流计算
Spark Structrued Streaming源码分析--(三)Aggreation聚合状态存储与更新
一、持续更新的无限表二、创建StatefulAggregationStrategy
流计算
聚合策略1、先简单介绍下sparksql对应的QueryExecution2、IncrementalExecution
ls_ice
·
2018-09-01 14:48
spark
structured
streaming源码
Spark Structrued Streaming源码分析--(一)创建Source、Sink及自定义输入、输出端
一、
流计算
示例example二、通过DataStreamReader.load()方法,查找Source并创建DataFrame1、DataStreamReader参数设置:2、DataStreamReader.load
ls_ice
·
2018-09-01 14:29
spark
structured
streaming源码
大学如何学习编程
在这儿提问题:StackOverflow-WhereDevelopersLearn,Share,&BuildCareers软件行业的简单介绍计算机语言主
流计算
机语言:C\C++,Java,Jav
Ken Coding
·
2018-09-01 12:46
编程
CAS自定义登录页面
/css/下复制cas.css,并重命名为
nebula
.css.文件内容不变,将#container改成如下:#container{position:fixed;top:50%;left:50%;width
luckystar2008
·
2018-08-31 10:27
网易大数据平台架构实践分享!
本次演讲主要分享网易如何围绕和改造开源技术,以产品化思维打造网易自己的大数据平台,也会分享一下网易在大数据平台构建和支撑互联网业务过程中面临的技术挑战,以及我们在调度、安全、元数据管理、spark多租户、SQL
流计算
郭首志
·
2018-08-28 11:00
[spark streaming] 架构和运行机制
运行机制3.解密SparkStreamingJob架构和运行机制4.解密SparkStreaming容错架构和运行机制Spark大数据分析框架的核心部件:sparkCore、sparkStreaming
流计算
风一样的男人_
·
2018-08-28 11:19
spark
玩转spark
Nebula
Group开源投资和保荐原则
为了方便普世传播,我们提炼了一个精要版:无公链,不归零;无生态,无价值。有应用,不空气;有经济,有社群。这四句是因果关系,前因后果。无中生有,其实是以虚化实的过程。以下为完整版:l项目适合通证经济改造并围绕通证构建广泛普世的共识基础l项目对区块链技术基础设施提升或区块链应用落地实践有极大潜力和积极意义l项目团队成熟,有顺应时代生产关系变革的远大格局与愿景,并有远超常人的执行力和对细分行业的整合能力
剑辰_铸剑池记
·
2018-08-22 22:52
Nebula
Group开源投资和保荐原则
为了方便普世传播,我们提炼了一个精要版:无公链,不归零;无生态,无价值。有应用,不空气;有经济,有社群。这四句是因果关系,前因后果。无中生有,其实是以虚化实的过程。以下为完整版:l项目适合通证经济改造并围绕通证构建广泛普世的共识基础l项目对区块链技术基础设施提升或区块链应用落地实践有极大潜力和积极意义l项目团队成熟,有顺应时代生产关系变革的远大格局与愿景,并有远超常人的执行力和对细分行业的整合能力
剑辰_铸剑池记
·
2018-08-22 22:52
4款早秋必备“蓝”朋友指南
它叫星云蓝
Nebula
sBlue。如果粉红色代表女性,那蓝色就是男
芭莎男士
·
2018-08-22 00:00
精通Apache Flink必读系列文章
从设计出发点,Flink是一个
流计算
处理计算引擎,把批处理视为无限
流计算
的一种特例,Spark是批处理计算引擎,把流处理视为迷你批处理,因为设计上的差异,导致在对处理时延要求高的场景中,Flink更加合适
列国周游
·
2018-08-17 00:00
大数据
ApacheBeam
Flink
Spark 2.3.0 Structured Streaming详解
你可以使用与静态数据批处理计算相同的方式来表达
流计算
。当不断有流数据到达时,SparkSQL引擎将会增量地、连续地计算它们,然后更新最终的结果。
leboop
·
2018-08-13 21:19
Spark
大数据
60秒Dapp快讯 | 星云链与JOYSO合作推出混合式交易所NAS-JOYSO;EOSIO1.1.2版本发布 BUG修复
本文由微信公众号DappVision原创首发,转载请联系授权【混合式交易所NAS-JOYSO将上线】日前,下一代公链星云链(
Nebula
s)宣布与来自台湾的混合式交易所JOYSO达成战略合作。
DappVision
·
2018-08-03 10:14
60秒资讯
公链挑战的三大终极命题:终局归零、生态投资和通证经济 |
Nebula
Group 剑辰
这是一篇近期与元道老师、JefferyWernick、白硕老师、BUMO郭强、MIXIN薄荷、Pallet朱佩江、亦来云程豪、BFB郭春龙、安比实验室郭宇和Richard、区块链有为青年汪涛还有区块链研习社诸位精英的交流心得。先给一个结论。一代公链一代神。你可能什么都没错,只是输给了这个时代。一、终局归零熟悉我的朋友都知道,我曾经给自己定位的一个投资原则,不投公链,Allin3.0,致力于应用落地
剑辰_铸剑池记
·
2018-08-01 18:23
公链挑战的三大终极命题:终局归零、生态投资和通证经济 |
Nebula
Group 剑辰
这是一篇近期与元道老师、JefferyWernick、白硕老师、BUMO郭强、MIXIN薄荷、Pallet朱佩江、亦来云程豪、BFB郭春龙、安比实验室郭宇和Richard、区块链有为青年汪涛还有区块链研习社诸位精英的交流心得。先给一个结论。一代公链一代神。你可能什么都没错,只是输给了这个时代。一、终局归零熟悉我的朋友都知道,我曾经给自己定位的一个投资原则,不投公链,Allin3.0,致力于应用落地
剑辰_铸剑池记
·
2018-08-01 18:23
阿里HBase的数据管道设施实践与演进
摘要:大数据生态下有着丰富多样的系统:
流计算
,数据存储,实时分析,离线计算,数据在各个异构系统之间的流转和加工而产生价值,高效的数据传输通道是大数据生态的重要一环。
阿里云云栖社区
·
2018-07-26 00:00
监控
配置
数据仓库
集群
排序
PowerWorld Simulator 如何安装?PowerWorld Simulator安装教程
PowerWorldSimulator是一款功能强大的开放式电力分析工具,软件支持可视化的潮
流计算
和展示,具有潮
流计算
,短路计算,暂态稳定仿真功能。
佚名
·
2018-07-25 08:40
通过UNIX域套接字传递文件描述符
Nebula
高性能通用网络框架即采用了UNIX域套接字传递文件描述符设计和实现。本文详细说明一下传送文件描述符的应用。
铁芒箕
·
2018-07-18 21:00
传递文件
描述符
传送文件
使用Flink完成流数据统计
一、统计流程image.png所有
流计算
统计的流程都是:1、接入数据源2、进行多次数据转换操作(过滤、拆分、聚合计算等)3、计算结果的存储其中数据源可以是多个、数据转换的节点处理完数据可以发送到一个和多个下一个节点继续处理数据
和平菌
·
2018-07-17 19:01
C++反射机制:可变参数模板实现C++反射
该方法非常实用,在
Nebula
高性能网络框架中大量应用,实现了非常强大的动态加载动态创建功能。
铁芒箕
·
2018-07-14 18:25
C++
反射
反射机制
基于星云链的智能合约与Dapp(九)——Dapp开发
安装neb.jsneb.js提供javascript开发的API接口1.创建一个neb文件夹,在终端命令行中进入该文件夹,克隆neb.jsgitclonehttps://github.com/
nebula
sio
古川不爱笑
·
2018-07-12 22:34
基于星云链的智能合约与Dapp(九)——Dapp开发
安装neb.jsneb.js提供javascript开发的API接口1.创建一个neb文件夹,在终端命令行中进入该文件夹,克隆neb.jsgitclonehttps://github.com/
nebula
sio
BestWZR
·
2018-07-12 21:34
区块链
星云链
基于星云链的智能合约与Dapp(三)——在星云链上发送交易
Nebula
s提供给了我们三种方式去发送交易:签名&发送密码&发送解锁&发送下面我们分别介绍如何通过以上三种方式在
nebula
s中发送一笔交易,并验证交易是否成功。
BestWZR
·
2018-07-05 21:20
区块链
星云链
我为什么学python
(3)程序的可移植性:绝大多数的python程序不做任何改变即可在所有主
流计算
机平台上运行。(4)标准库的支持:python内置了许多预编译并可移植的功能模块
ELEVEN_ZOU
·
2018-07-02 22:36
python
Spark性能调优系列二:Spark
流计算
重要性能参数测试与分析
参数介绍spark.scheduler.modespark.streaming.concurrentJobsscheduler线程池测试用例TestCaseGroup1:FIFOvs.FAIRTestCase1-1:FIFOTestCase1-2:FAIRTestCaseGroup2:FIFO1Slotvs.FIFO4SlotsTestCase2-1:FIFO1SlotTestCase2-2:FI
bluishglc
·
2018-06-21 09:41
大数据专题
spark-stream 访问 Redis数据库示例
转载:http://www.111cn.net/database/276/116851.htmspark-stream访问Redis数据库示例最近在spark-stream上写了一些
流计算
处理程序,程序架构如下程序运行在
gyzhang_csdn
·
2018-06-19 14:37
redis
spark
星云链
Nebula
s——4.智能合约存储区
前面一篇《星云链
Nebula
s——3.编译和部署智能合约》介绍了如何编写智能合约以及如何在星云链部署和调用智能合约。本篇我们来详细的介绍有关星云链智能合约的存储。
良__
·
2018-06-11 00:53
星云链记事
一起加入星云开发者计划,获取星云币(110NAS)邀请链接:https://incentive.
nebula
s.io/cn/signup.html?invite=qfLs8四款安卓应用分别如下。
小王泽哥
·
2018-06-09 00:27
python配置解析模块ConfigParser
前言今天学习github上的开源项目
Nebula
SolarDash,初步接触到python中的配置文件解析模块ConfigParser,该模块主要是使配置文件生效,并修改和读取配置文件信息。
水木梵华
·
2018-06-07 20:49
python
Spark Streaming中的checkpoint
元数据(Metadata)checkpointing保存Streaming中定义
流计算
的相关信息到可信赖的文件系统如HDFS,这种方式用于运行Driver的节点失败之后的恢复。
chroje
·
2018-06-04 12:56
分布式
Scala
Spark
流计算
框架Flink与Storm的性能对比
1.背景ApacheFlink和ApacheStorm是当前业界广泛使用的两个分布式实时计算框架。其中ApacheStorm(以下简称“Storm”)在美团点评实时计算业务中已有较为成熟的运用(可参考Storm的可靠性保证测试),有管理平台、常用API和相应的文档,大量实时作业基于Storm构建。而ApacheFlink(以下简称“Flink”)在近期倍受关注,具有高吞吐、低延迟、高可靠和精确计算
guicaizhou
·
2018-05-31 00:00
storm
Flink初探
与很多
流计算
模型一样,流的起点往往是数据的输入源,被称之为”source”,流的终点是数据的输出目的地,被成为“sink”。下图形象地展
bluishglc
·
2018-05-25 00:00
大数据专题
《Spark Structured Streaming》 官方文档解读
模型思想窗口操作应对数据延迟就绪补充:关于OutputMode模型思想从Spark2.0开始,SparkStreaming引入了一套新的
流计算
编程模型:StructuredStreaming,开发这套API
bluishglc
·
2018-05-23 17:16
大数据专题
星云链智能合约开发(九):开发资源汇总
官方网站:https://www.
nebula
s.ioGithub代码库:https://github.com/
nebula
sioWeb钱包下载地址及使用文档:https://github.com/
nebula
sio
thao888
·
2018-05-17 01:28
星云链
智能
合约开发
区块链技术
星云链智能合约开发(八):智能合约中调用内置库
varvalue=newBigNumber(0);value.plus(1);…Storagestorage模块用来支持
Nebula
s上的数据持久化存储。
thao888
·
2018-05-16 21:47
星云链
智能
合约开发
区块链技术
星云Dapp学习记录
今天看了一下星云的DAPP开发也是因为有奖励,把整个学习过程整理一下文章目的记录整个星云学习过程,看完之后可以知道合约的编写前提首先是注册社区账号,https://incentive.
nebula
s.io
github_27372715
·
2018-05-12 12:56
区块链
星云链智能合约开发(七):Dapp开发
安装neb.jsneb.js提供javascript开发的API接口创建一个neb文件夹,在终端命令行中进入该文件夹,克隆neb.jsgitclonehttps://github.com/
nebula
sio
thao888
·
2018-05-10 17:08
星云链
智能
合约开发
区块链技术
星云链智能合约开发(六):智能合约开发与部署
编写智能合约
Nebula
s实现了NVM虚拟机来运行智能合约,NVM的实现使用了JavaScriptV8引擎,所以当前的开发版,我们可以使用JavaScript、TypeScript来编写智能合约。
thao888
·
2018-05-10 11:41
星云链
智能合约
开发
区块链技术
Python学习(2):环境安装与运行
当前主
流计算
机的操作系统有Windows,MacOS,Linux三种,而在不同操作系统上安装Pyhton环境会有些许不同。
梧雨北辰
·
2018-05-07 15:07
Python
Python学习
Spark集成Kafka实时
流计算
Java案例
packagecom.test;importjava.util.*;importorg.apache.spark.SparkConf;importorg.apache.spark.TaskContext;importorg.apache.spark.api.java.*;importorg.apache.spark.api.java.function.*;importorg.apache.spar
gmHappy
·
2018-05-03 16:15
大数据
分布式框架
Kafka
Spark
基于spark集群的券商个性化推荐系统架构设计最佳实践
大数据实时个性化服务,主要基于大数据用户画像、产品画像建设成果,结合实时
流计算
框架,以客户需求为中心进行服务,做内容的主动创新和服务资源的精准配置,在恰当的时间将个性化的服务以合适的方式交付给需要的客户
周雄伟
·
2018-05-03 14:27
大数据
spark和hive storm mapreduce的比较
SparkStreaming与Storm都可以用于进行实时
流计算
。但是他们两者的区别是非常大的。
necther
·
2018-04-28 15:32
大数据
spark
hive
大数据
storm 流式计算框架
随着越来越多的场景对Hadoop的MapReduce高延迟无法容忍,比如网站统计、推荐系统、预警系统、金融系统(高频交易、股票)等等,大数据实时处理解决方案(
流计算
)的应
flyfish225
·
2018-04-12 16:10
大数据
storm
流式计算
大数据技术
Java中对List去重 Stream去重的解决方法
问题当下互联网技术成熟,越来越多的趋向去中心化、分布式、
流计算
,使得很多以前在数据库侧做的事情放到了Java端。今天有人问道,如果数据库字段没有索引,那么应该如何根据该字段去重?
Ryan.Miao
·
2018-04-12 08:27
Ignite 架构全面解析
1.1.1.特性一览可以将Ignite视为一个独立的、易于集成的内存组件的集合,目的是改进应用程序的性能和可扩展性,部分组件包括:高级的集群化数据网格(JCache)
流计算
和CEP计算网格
binso18502020560
·
2018-04-11 14:59
分布式
jstorm storm 入门demo
jstorm和storm比较jstorm是阿里巴巴开源的基于storm采用Java重写的一套分布式实时
流计算
框架,使用简单,特点如下:1,开发非常迅速:接口简单,容易上手,只要遵守Topology,Spout
木号
·
2018-04-07 10:19
Storm流式计算入门
实时获取数据Kafka:实时数据存储Storm/jstorm:实时数据计算Redis:实时结果缓存总结:将源源不断产生的数据实时收集并实时计算,迅速得到计算结果关于storm1、storm是twitter的开源
流计算
解决方案
不是分针
·
2018-03-29 21:41
区块链的Google——星云链
Nebula
s简介
星云链(NAS)意图构建一个能够量化价值尺度、具备自进化能力,并能促进区块链生态建设的区块链系统,主要包括:定义价值尺度的星云指数
Nebula
sRank(NR),支持核心协议和智能合
星云原力社区
·
2018-03-24 00:00
星云概述
星云链
NAS
Nebulas
区块链
Spark Streaming
流计算
状态管理
spark
流计算
的数据是以窗口的形式,源源不断的流过来的。如果每个窗口之间的数据都有联系的话,那么就需要对前一个窗口的数据做状态管理。
cyony
·
2018-03-22 15:15
spark
scala
spark streaming的
流计算
sparkstreaming的
流计算
有几种1,时间段计算,每个时间段统计一次,所有的数据都是这个时间段内的数据这里会用到receiver,在executor中启动一个线程,接收数据,把数据本份到本地.如果调试程序需要把线程设置为
lllpanda
·
2018-03-17 13:24
Storm 入门的Demo教程
随着越来越多的场景对Hadoop的MapReduce高延迟无法容忍,比如网站统计、推荐系统、预警系统、金融系统(高频交易、股票)等等,大数据实时处理解决方案(
流计算
)的应用日趋广泛,目前已是分布式技术领域最新爆发点
虚无境
·
2018-03-16 20:03
java
storm
大数据(Hadoop
Spark)学习
上一页
37
38
39
40
41
42
43
44
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他