sparkstreaming

Spark之Spark Streaming

目录概述准备一、TCPsocket集成1.nc服务安装2.测试二、kafka集成1.服务启动2.测试参考文章概述SparkStreaming是核心SparkAPI的扩展，可实现实时数据流的可伸缩，高吞吐量
IT142546355·2020-07-14 04:16

基于Spark MLlib和Spark Streaming实现准实时分类

环境版本：·Spark2.0·Scala2.11.8  在网上搜索SparkMLlib和SparkStreaming结合的例子几乎没有，我很疑惑，难道实现准实时预测有别的更合理的方式？
光于前裕于后·2020-07-14 04:42

Spark Streaming 2.0 读取Kafka 0.10 小例子

环境版本：Scala2.11.8;Kafka0.10.0.1;Spark2.0.0如需Scala2.10.5;Spark1.6.0;Kafka0.10.0.1版本请看这篇：Flume+Kakfa+SparkStreaming
光于前裕于后·2020-07-14 04:42

Structured Streaming Programming Abstraction, Semantics, and APIs

介绍通过过去三年里部署、运维SparkStreaming的积累，我们在Catalyst和DataFrames的基础上重新架构了绰号为“StructStreaming”的实时计算项目。
Rilakkuma·2020-07-14 04:02

spark（一）

2.Spark模块Sparkcore//核心模块SparkSQL//SQLSparkStreaming//流计算SparkMLlib//机器学习Spar
高国才·2020-07-14 03:45

Spark Streaming+IntelliJ Idea+Maven开发环境搭建

SparkStreamingIntelliJIdeaMaven开发环境搭建SparkStreaming+IntelliJIdea+Maven开发环境搭建国内关于Spark流处理方面的资料实在是少之又少，
lubinsu·2020-07-14 02:19

Spark 以及 spark streaming 核心原理及实践

导语spark已经成为广告、报表以及推荐系统等大数据计算场景中首选系统，因效率高，易用以及通用性越来越得到大家的青睐，我自己最近半年在接触spark以及sparkstreaming之后，对spark技术的使用有一些自己的经验积累以及心得体会
zhigang1007·2020-07-13 23:29

Spark总结

SparkSQL、SparkStreaming、MLlib、GraphX、SparkR等核心组件解决了很多的大数据问题，其
zhigang1007·2020-07-13 23:59

基于Spark Streaming预测股票走势的例子（一）

最近学习SparkStreaming，不知道是不是我搜索的姿势不对，总找不到具体的、完整的例子，一怒之下就决定自己写一个出来。
weixin_34248487·2020-07-13 18:34

基于Python的Spark Streaming+Kafka编程实践

说明SparkStreaming的原理说明的文章很多，这里不做介绍。
铁猴·2020-07-13 13:16

详解direct Dstream

前言前面，有分享过基于receiver的，实际上，看到receiverbasedDstream大家就对阅读提不起兴趣了，实际上这是错误的，基于receiver的才是sparkstreaming根本，虽然
大数据星球-浪尖·2020-07-13 12:42

使用SparkStreaming实现将数据写到MySQL中

引入依赖mysqlmysql-connector-java5.1.38commons-dbcpcommons-dbcp1.4使用Java编写一个数据库连接池类packagecn.itcast.spark.day7;importjava.sql.Connection;importjava.sql.DriverManager;importjava.util.LinkedList;publicclass
小小的_我·2020-07-13 10:37

spark streaming 实现kafka的createDirectStream方式！！不坑

网上搜了很多sparkstreaming用createDirectStream方式消费kafka的，信息是有很多，但是照着做都遇到了坑，最大的坑就是KafkaCluster是private的！
qq_19917081·2020-07-13 09:37

spark streaming三种应用场景

SparkStreaming共有三种运用场景，分为：无状态操作、状态操作、window操作。下面分别描述下本人对这三种运用场景的理解。
JamesFen·2020-07-13 04:48

1.集群安装 - apache原生版[spark2.1 + hadoop2.6 + scala2.11.8 + jdk1.8 + flume1.6 + zookeeper3.4.9 + kafka0.

主要架构1.flume采集(实现文件采集,并对文件的断点续采,采集崩溃能够接着最后一次索引继续采集)2.kafka数据接入,flume将采集的数据,传给kafka3.sparkstreaming实时消费
feloxx·2020-07-13 04:14

spark streaming整合kafka的两种机制比较分析

SparkStreaming诞生于2013年，成为Spark平台上流式处理的解决方案，同时也给大家提供除Storm以外的另一个选择。
丹之·2020-07-13 03:20

Kafka + spark stream +redis （createStream + createDirectStream）

1、手机客户端会收集用户的行为事件（我们以点击事件为例），将数据发送到数据服务器，我们假设这里直接进入到Kafka消息队列2、后端的实时服务会从Kafka消费数据，将数据读出来并进行实时分析，这里选择SparkStreaming3
一瓢一瓢的饮·2020-07-13 03:45

Spark(八) -- 百亿级大数据实时计算实战 Spark Streaming对接Kafka

SparkStreaming整合Kafka1.1Kafka快速回顾1.1.1核心概念图解Broker：安装Kafka服务的机器就是一个brokerProducer：消息的生产者，负责将数据写入到broker
众里寻她千百回·2020-07-13 00:46

Spark(七) --一文带你了解Spark Streaming对接Flume

1.SparkStreaming对接FlumeFlume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。
众里寻她千百回·2020-07-13 00:46

Spark(六) --一文带你了解Streaming核心原理实战

SparkStreaming实战1.WordCount1.1.需求&准备图解●首先在linux服务器上安装nc工具nc是netcat的简称，原本是用来设置路由器,我们可以利用它向某个端口发送数据yuminstall-ync
众里寻她千百回·2020-07-13 00:46

揭开Spark Streaming神秘面纱④ - job 的提交与执行

前文揭开SparkStreaming神秘面纱③-动态生成job我们分析了JobScheduler是如何动态为每个batch生成jobs，本文将说明这些生成的jobs是如何被提交的。
牛肉圆粉不加葱·2020-07-12 23:31

使用Spark Streaming分析国泰安股票交易数据

一、前言这个小程序是《云计算》这门课的一次小作业，实现过程涉及到挺多知识，主要使用SparkStreaming来处理流数据，该数据来自国泰安股票交易数据，程序实现上使用一个进程模拟写入HDFS或本地文件夹的流数据
蜗居Liu·2020-07-12 22:24

Structured Streaming 分析

*版本后加入StructedStreaming模块，与流处理引擎Sparkstreaming一样，用于处理流数据。但二者又有许多不同之处。Sparkstreaming首次引入在0.
WestC·2020-07-12 18:51

Spark SQL 基本操作

4.0.0demo.sparkspark.learningpom1.0-SNAPSHOTcoresparksqlsparkstreamingsparkmlib2.3.1org.apache.sparkspark-core
Ginoy·2020-07-12 18:07

KafKa java.lang.NoSuchMethodError: net.jpountz.util.Utils.checkRange([BII)V

问题在初用sparkstreaming1.5.2自带的lowlevel连接kafka例子（JavaDirectKafkaWordCount）时，出现如下错误：java.lang.NoSuchMethodError
westfire·2020-07-12 13:52

设计模式原理及大数据实践之一：手写一个单例模式

多线程时的单例饿汉式单例懒汉式单例对象的产生方式单例模式应用SparkContextSparkStreaming单例模式的实现方法单例模式的目的是只生产一个对象实例，所有依赖它的对象访问到的都是同一个实例
Darren.P·2020-07-12 12:24

Kafka+Spark Streaming管理offset的两种方法

Kafka配合SparkStreaming是大数据领域常见的黄金搭档之一，主要是用于数据实时入库或分析。
LittleMagic·2020-07-12 10:00

【大数据】大数据-实时统计分析-方案选型

大数据-实时统计分析-方案对比选型image2017-10-27_11-10-53.png(1067×738)elasticsearch-headElasticsearch-sqlclientsparkstreamingreload
weixin_33744854·2020-07-12 07:44

org.apache.spark.streaming.dstream.MappedDStream@5a69b104 has not been initialized

现象执行SparkStreamingApplication时报错15/07/0911:26:55INFOscheduler.JobGenerator:StoppingJobGeneratorimmediately15
牛肉圆粉不加葱·2020-07-12 05:52

Spark + MongoDB数据解决方案架构

通用性：我们可以使用SparkSQL来执行常规分析，SparkStreaming来流数据处理，以及用Mlib来执行机器学习等。Java，python，scala及R语言的支持也是其通用性的表现之一。
11宁静致远·2020-07-12 04:44

SparkStreaming动态读取配置文件

SparkStreaming动态读取配置文件标签：SparkStreamingHDFS配置文件MySql需求要实现SparkStreaming在流处理过程中能动态的获取到配置文件的改变并且能在不重启应用的情况下更新配置配置文件大概一个月改动一次
蛮力之精灵·2020-07-12 03:41

Spark Streaming 流式计算实战

业务场景SparkStreaming与Storm适用场景分析SparkStreaming与Kafka集成方案选型自定义Partitioner实现日志文件快速存储到HDFS在演示场景中，SparkStreaming
zxfBdd·2020-07-12 02:42

Spark-streaming kafka数据接收两种方式对比

对于所有的接收器，从kafka接收来的数据会存储在spark的executor中，之后sparkstreaming提交的job会处理这些数据。
LancerLin_LX·2020-07-12 02:32

Spark Streaming: 实时流式数据处理机制(1)

一、基本原理SparkStreaming是一种实时流式数据处理机制，用于实时处理实时产生的数据流，具有高吞吐量、容错等特点。
tensory.online·2020-07-12 00:03

SparkStreaming--小案例2对于爬虫来的数据进行分析

请注意本博客中代码头和尾是固定模式，而lines是需要根据你的数据特点进行切分和整理的，我会附上我的一部分数据供参考，附在文档末尾。1.统计某一时间段输入数据出现次数（时间不断更新）这不是爬虫数据分析是一个热身packageTest1226importorg.apache.spark.SparkConfimportorg.apache.spark.streaming.{Seconds,Stream
橙以·2020-07-11 20:54

kafka的OffsetOutOfRangeException

问题描述国庆前启动sparkstreaming任务去消费了kafka，后来由于其他原因停止了，放假回来后，重启spark任务后，报kafka.common.OffsetOutOfRangeException
Q博士·2020-07-11 14:48

基于Kafka+SparkStreaming+HBase实时点击流案例

前言最近在专注Spark开发，记录下自己的工作和学习路程，希望能跟大家互相交流成长本文章更倾向于实战案例，涉及框架原理及基本应用还请读者自行阅读相关文章，相关在本文章最后参考资料中关于Zookeeper/Kafka/HBase/Hadoop相关集群环境搭建作者会陆续更新本文章发布后会及时更新文章中出现的错误及增加内容，欢迎大家订阅QQ:86608625微信:guofei1990123背景Kafka
MichaelFly·2020-07-11 13:31

Pyspark消费kafka集群某一topic中json数据并保存到hdfs上

但对于Kafka中历史数据，Flume不起作用了，可以通过sparkstreaming从头消费Kafka主题中json数据，并将数据以json形式保存到hdfs上。
追枫萨·2020-07-11 12:52

《深入理解Spark》之spark Streaming概念的再理解

1、sparkStreaming是一个微批处理的框架2、批处理时间间隔batchInterval>>表示在batchInterval时间内Spark所接收的数据被当做一个批次做处理3、批处理时间间隔(batchInterval
lyzx_in_csdn·2020-07-11 12:56

Spark Streaming全天候实时top N实现

1.背景介绍  公司的日志平台是通过sparkstreaming消费kafka上的数据，解析完毕后直接存入到hdfs，然后到了每天凌晨通过pig脚本来对前一天的hdfs上的全量数据进行统计分析，得出前一天的日志的各项指标
KLordy·2020-07-11 10:20

Flink简介

2.主要特点2.1事件驱动型(Event-driven)事件驱动型应用是一类具有状态的应用,从一个或多个事件流提取数据,根据到来的事件触发计算,状态更新或其他外部动作,典型的是kafka类的消息队列,SparkStreaming
风情客家__·2020-07-11 09:38

为什么越来越多的公司在使用Spark Streaming

为什么越来越多的公司在使用SparkStreaming作者孙镜涛发布于2016年1月4日|分享到：微博微信FacebookTwitter有道云笔记邮件分享稍后阅读我的阅读清单Databricks最近对1400
javastart·2020-07-11 09:39

Spark Streaming 之 Checkpoint

为了让这成为可能，SparkStreaming需要checkpoint足够多信息至一个具有容错设计的存储系统才能让Application从失败中恢复。Sp
fengyuruhui123·2020-07-11 06:32

Sparkstreaming-windows测试过程异常问题记录

--conf"spark.executor.extraJavaOptions=-XX:+PrintGCDetails-XX:+PrintGCTimeStamps-XX:+PrintGCDateStamps-verbose:gc-XX:+UseG1GC-Xloggc:gc.log"\--conf'spark.driver.extraJavaOptions=-XX:+PrintGCDetails-XX
fengfengchen95·2020-07-11 05:23

【Spark七十四】Spark Streaming整合Flume-NG二

在http://bit1129.iteye.com/blog/2184467一文中对SparkStreaming整合Flume-NG进行了基本的配置，并且SparkStreaming能够监听到来自于Flume
axxbc123·2020-07-11 02:44

【源码追踪】SparkStreaming 中用 Direct 方式每次从 Kafka 拉取多少条数据（offset取值范围）

我们知道SparkStreaming用Direct的方式拉取Kafka数据时，是根据kafka中的fromOffsets和untilOffsets来进行获取数据的，而fromOffsets一般都是需要我们自己管理的
瓜牛呱呱·2020-07-10 22:45

Spark(五) --一文带你了解Streaming核心原理

第一章SparkStreaming引入1.1.新的场景需求思考一下下面这样的场景需求,仅仅通过传统的批处理/离线处理/离线计算/处理历史数据可以完成吗?
众里寻她千百回·2020-07-10 22:43

Spark Streaming

资料：Spark精品教程SparkStreaming通过JDBC操作数据库SparkStreaming的基本原理以时间为单位（通常在0.5到2秒之间\color{red}通常在0.5到2秒之间通常在0.5
Mr_Hagrid·2020-07-10 20:50

Spark视频教程免费下载

这套视频的部分章节如下：Spark部署Spark编程模型Spark运行架构SparkSQL原理和实践SparkStreaming原理和实践Spark机器学习入门GraphX入门还是老规矩，
业余草·2020-07-10 13:54

Spark概述详解

Spark生态系统已经发展成为一个包含多个子项目的集合，其中包含SparkSQL、SparkStreaming、GraphX、MLlib等子项目，Spark是基于内存计算的大数据并行计算框架。
wtzhm·2020-07-10 12:19
上一页 30 31 32 33 34 35 36 37 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他