sparkstreaming

发送数据到 socket

SparkStreaming有时候需要使用nc-lk9999开启一个终端来手动键入一些数据供Streaming来拉取数据，这种方式不能很好地模拟实时流，所以使用Perl6的react..whenever
焉知非鱼·2018-11-16 17:09

SparkStreaming直连方式读取kafka数据，使用MySQL保存偏移量

通过MySQL保存kafka的偏移量，完成直连方式读取数据使用scalikeJDBC,访问数据库1、什么是ScalikeJDBCScalikeJDBC是一款给Scala开发者使用的简洁DB访问类库，它是基于SQL的，使用者只需要关注SQL逻辑的编写，所有的数据库操作都交给ScalikeJDBC。这个类库内置包含了JDBCAPI，并且给用户提供了简单易用并且非常灵活的API。并且，QueryDSL(
Lu_Xiao_Yue·2018-11-15 20:24

Spark源代码阅读（一）

强烈推荐https://blog.csdn.net/weixin_41705780/article/details/79273666总体架构Spark工程下的模块sparkcore,spark内核sparkstreaming
define_us·2018-11-13 11:45

spark的JDBC连接池（Scala版），及wordCount的结果保存到MySql中

一个Scala版的连接池，并在使用SparkStreaming进行WordCount时，把每批数据都存到mySql中这里判断的两个空不能去掉，可能有人以为在调用getDriver方法时已经判断过pool.isEmpty
Lu_Xiao_Yue·2018-11-12 20:57

Spark Streaming实时流处理项目实战笔记一

SparkStreaming实时流处理项目实战笔记一视频资源下载：https://download.csdn.net/download/mys_mys/10778011第一章：课程介绍Hadoop环境：
倩mys·2018-11-11 20:06

sparkStreaming读取kafka数据的2种方式

receiver从Kafka中获取的数据都存储在SparkExecutor的内存中，然后SparkStreaming启动的job会去处理那些数据。
Hellooorld·2018-11-11 16:49

使用sparkStreaming与Kafka直连方式WordCount,使用redis存放中间结果

1、maven的pom.xml文件，添加jedis依赖redis.clientsjedis2.9.02、创建一个jedis连接池，条用getConnection方法，获取连接packageday01.jedised3importredis.clients.jedis.{Jedis,JedisPool,JedisPoolConfig}objectJedisConnectionPools{valcon
Lu_Xiao_Yue·2018-11-11 13:46

SparkStreaming与kafka通过直连方式读取数据

1、Spark-Streaming的receive的方式和直连方式有什么区别:Receive接收固定时间间隔的数据（放在内存中），达到固定的时间才进行处理，效率低并且容易丢失数据（Kafka高级API），自动维护偏移量Direct直连方式，相当于直接连接到Kafka的分区上，相当于Kafka底层API，效率很高，需要自己维护偏移量，读一条处理一条（把指定的时间间隔当做一个批次）。2、直接连到kaf
Lu_Xiao_Yue·2018-11-10 22:11

sparkstreaming kafka010

SparkStreaming消费kafka数据兴趣e族关注0人评论40人阅读2018-10-3117:05:04概要：本例子为SparkStreaming消费kafka消息的例子，实现的功能是将数据实时的进行抽取
cjlion·2018-11-10 10:39

Spark Streaming Join

计算引擎上Join,如用SparkStreaming、Flink做Join。结果端Join，如用HBase/ES做Join,Join键做Rowkey/_id，各字段分别写入列簇、列或field。
wangpei1949·2018-11-10 07:07

spark streaming + redis : 实时统计日注册率

使用sparkstreaming实时统计新注册的用户流程如下：代码如下：1，添加maven依赖mysqlmysql-connector-java5.1.17org.apache.hivehive-exec2.1.0org.apache.sparkspark-hive
根哥的博客·2018-11-08 21:14

Spark Streaming（五）：与Spark SQL整合

SparkStreaming最强大的地方在于，可以与SparkCore、SparkSQL整合使用，之前已经通过transform、foreachRDD等算子看到，如何将DStream中的RDD使用SparkCore
张凯_9908·2018-11-07 01:36

大数据spark的学习之提交任务与参数解释

/bin/spark-submit\--classspark_streaming.SparkStreaming_first\--masterspark://master:7077\--deploy-modeclient
卿卿老祖·2018-11-06 11:59

SparkStreaming重点解析

这篇文章主要针对SparkStreaming的三个特性进行说明。分别是DstreamWindowcheckpointsparkStreaming是一个实时数据流框架。
机器不能学习·2018-11-05 06:35

Apache Flink 各类关键数据格式读取/SQL支持

基于SQL归并时SparkStreaming支持的输入/输出数据如下：数据类型Flink支持情况Kafka需要定义schemaHDFS(parquet/csv/textfile)读取parquet需要使用
rongyongfeikai2·2018-11-02 16:22

SparkStreaming消费kafka数据

概要：本例子为SparkStreaming消费kafka消息的例子，实现的功能是将数据实时的进行抽取、过滤、转换，然后存储到HDFS中。
兴趣e族·2018-10-31 17:04

SparkStreaming获取kafka数据的两种方式：Receiver与Direct的方式

receiver从Kafka中获取的数据都存储在SparkExecutor的内存中，然后SparkStreaming启动的job会去处理那些数据。然而，
兴趣e族·2018-10-31 16:38

SparkStreaming 中管理 Kafka Offsets 的几种方式

SparkStreaming集成了Kafka允许用户从Kafka中读取一个或者多个topic的数据。一个Kafkatopic包含多个存储消息的分区(partition)。
兴趣e族·2018-10-31 16:36

翻译： Flink vs. Spark

SparkStreaming与Flink在流处理方面相差不大，甚至小规模流处理时可以直接使用SparkStreaming，因此需要详细的对比一下它们两者之间的共性与不同点。  
DataResearcher·2018-10-31 14:04

Apache 流框架 Flink，Spark Streaming，Storm对比分析（2）

2.SparkStreaming架构及特性分析2.1基本架构基于是sparkcore的sparkstreaming架构。SparkStreaming是将流式计算分解成一系列短小的批处理作业。
H_MZ·2018-10-31 05:59

记一次Kafka不能消费故障

背景：kafka集群机器升级，使得部分sparkStreaming不能消费读取数据问题原因：kafka会自动创建一个默认的topic__consumer_offsets，用于保存offset到Kafka
微步229·2018-10-30 11:20

sparkstreaming控制消费速率

反压机制：spark1.5以后，通过动态收集系统的一些数据来自动的适配集群数据处理能力在默认情况下，SparkStreaming通过receivers(或者是Direct方式)以生产者生产数据的速率接收数据
Java_Soldier·2018-10-25 18:01

数据挖掘工具---流式处理---storm 教程

批处理和流式处理的应用程序对比解决方案StormSparkStreamingFlinkS4Hadoop开发者TwitterUCBerkeleyAMPLabApacheYahoo!
diggerTT·2018-10-25 11:35

SparkStreaming 数据实时处理

SparkStreaming1、创建一个SparkConf()2、新建SparkContext3、新建StreamingContext(SparkContext,time间隔)4、|->socketTextStream
Round_Yuan·2018-10-25 09:56

sparkStreaming整合flume

sparkStreaming整合flume需要把spark-streaming-flume-sink_2.11-2.1.3.jar放到flume的lib目录下使用scala-library-2.11.8
source·2018-10-25 00:00

jiedis连接redis集群的测试

packagecom.sparkStreaming.day04importjava.utilimportcom.sparkStreaming.day04.JedisConnectionPool.clientimportredis.clients.jedis
meiLin_Ya·2018-10-23 10:36

【大数据技术】关于Spark Streaming 技术要点的一些汇总

原文链接：https://blog.csdn.net/D55dffdh/article/details/82423831SparkStreaming支持实时数据流的可扩展(Scalable)、高吞吐(high-throughput
首席数据师·2018-10-22 17:06

深度:Hadoop对Spark五大维度正面比拼报告！

如果想批处理流量数据，并将其导入HDFS或使用SparkStreaming是否合理?如果想要进行机器学习和预测建模，Mahout或MLLib会更好地满足您的需求吗?
首席数据师·2018-10-21 17:34

深度:Hadoop对Spark五大维度正面比拼报告！

如果想批处理流量数据，并将其导入HDFS或使用SparkStreaming是否合理?如果想要进行机器学习和预测建模，Mahout或MLLib
chigubiao4837·2018-10-21 17:00

SparkStreaming源码分析起始篇

SparkStreaming源码分析起始SparkStreaming开端SparkStreaming作为spark的流数据处理框架，并且SparkStreaming以spark-core作为底层，并在spark-core
小狼星I·2018-10-21 11:12

Spark Structed Streaming的一些主要特性及与Spark Streaming之间的对比

SparkStreaming众所周知，SparkStreaming中的数据结构是DStream，是对RDD的进一步的封装，是”微批“的准实时处理。
haixwang·2018-10-20 22:32

Redis学习笔记1

经过了一个月的sparkstreaming学习，答猪感觉有点自己有点像在云中漫步，感觉这方向不太适合现在的答猪，所以还是转回Java的深入学习。。。redis是基于单线程的，但是速度非常快，原因：1。
muffinfeng·2018-10-19 17:31

大数据学习之路107-spark streaming基于mysql历史state统计

packagecom.test.sparkStreamingimportjava.sql.
爱米酱·2018-10-18 20:52

大数据学习之路106-spark streaming统计结果写入mysql

要使用配置文件的话，首先我们要在pom文件中导入配置文件读取依赖：com.typesafeconfig1.3.3代码如下：packagecom.test.sparkStreamingimportjava.util.Propertiesimportcom.typesafe.config
爱米酱·2018-10-18 19:39

Spark Streaming 技术点汇总

SparkStreaming支持实时数据流的可扩展(Scalable)、高吞吐(high-throughput)、容错(fault-tolerant)的流处理(streamprocessing)。
首席数据师·2018-10-18 11:57

分布式消息队列Kafka简介及环境安装部署

最近在做一个基于SparkStreaming的实时流处理项目，之间用到了Kafka来作为消息队列，所以在这里总结一下Kafka的用法及原理．Kafka是由Apache软件基金会开发的一个分布式开源流处理平台
29DCH·2018-10-17 17:18

分布式消息队列Kafka简介及环境安装部署

最近在做一个基于SparkStreaming的实时流处理项目，之间用到了Kafka来作为消息队列，所以在这里总结一下Kafka的用法及原理．Kafka是由Apache软件基金会开发的一个分布式开源流处理平台
29DCH·2018-10-17 17:18

分布式日志收集框架Flume简介及环境安装部署

最近在做一个基于SparkStreaming的实时流处理项目，之间用到了Flume来收集日志信息，所以在这里总结一下Flume的用法及原理．Flume是一个分布式、高可靠、高可用、负载均衡的进行大量日志数据采集
29DCH·2018-10-15 21:13

SparkStreaming_Kafka_Redis整合

1.将kafkastreaming和redis整合实现词频统计Producer.class生成数据daokafkapackageday14;/***创建一个生产者生成随机的key和字母*用于实现实时流统计词频并存储到redis*/importorg.apache.kafka.clients.producer.KafkaProducer;importorg.apache.kafka.clients.
曼路·2018-10-14 20:53

Spark系列4- Spark Streaming

2SparkStreamingSparkStreaming简介SparkStreamin
guoxiaojie_415·2018-10-11 09:19

SparkStreaming（10）：高级数据源flume-push方式（生产）

【参考：http://spark.apache.org/docs/2.1.0/streaming-flume-integration.html】1.环境spark2.1.0flume1.6.02.flume的配置文件flume_push_streaming.conf（1）flume作用是将服务器数据，传递到本地windows环境的端口（2）IP：192.168.57.1是本地windows的IPs
RayBreslin·2018-10-11 07:13

三台阿里云服务器搭建完全分布式hadoop集群并实现sparkstreaming详细步骤

本文基于三台阿里云ECS实例搭建完全分布式hadoop集群，并集成flume+kafka+sparkstreaming实现实时流处理。
HWHuangeian·2018-10-08 20:33

Spark Streaming执行流程源码剖析

一、StreamingContext初始化过程在SparkStreaming中使用StreamingContext来操作DStream，这也好比SparkCore中SparkContext对于RDD，DStream
不清不慎·2018-10-06 11:22

Spark Streaming（03）——Dstream及相关操作

Dstream(DiscretizedStream)是SparkStreaming的基础抽象，代表持续性的数据流和经过各种Spark算子操作后的结果数据流。在内部实现上，DStream是一系列连续的R
Fenggms·2018-10-03 13:48

Spark Streaming（二十八）性能调优

定义在SparkStreaming应用程序中有很多能够优化的地方，这样的优化可以提高应用的运行效率。
666呀·2018-10-01 09:18

Apache 流框架 Flink，Spark Streaming，Storm对比分析 （二）

2.SparkStreaming架构及特性分析2.1基本架构基于是sparkcore的sparkstreaming架构。SparkStreaming是将流式计算分解成一系列短小的批处理作业。
生活的探路者·2018-09-30 13:35

flink开发实战三——flink原理解析

Flink出现的背景  我们知道目前流处理的主要流行的计算引擎有，Storm，SparkStreaming。但是这个两个计算引擎都有自己的局限性。
阿华田512·2018-09-30 00:00

spark1.6+hadoop2.6+kafka2.10-0.8.2.1+zookeeper3.3.6安装及sparkStreaming代码编写和调试

安装环境安装之前确保设备至少有4GB内存,推荐8GBcentos7.2docker(这个安装请参考我的另一篇博客https://blog.csdn.net/qq_16563637/article/details/81699251)目标安装软件目标安装版本实际安装版本hadoop2.62.6spark1.61.6kafka2.10-0.8.2.12.10-0.8.2.1zookeeper3.3.33
qq_16563637·2018-09-29 22:52

解决spark streaming长时间运行日志不断增长问题

解决sparkstreaming长时间运行日志不断增长问题一、sparkstreaminglog日志二、sparkstreamingeventlog组件：基于CDH5.13、spark2.2.X背景：由于
shengjk1·2018-09-29 19:25

SparkStreaming

/////、、、importorg.apache.spark.streaming.{Seconds,StreamingContext}importorg.apache.spark.{SparkConf,SparkContext}objectStreamingWC{defmain(args:Array[String]):Unit={//StreamingContextvalconf=newSpark
Cookie_fzx·2018-09-26 22:36
上一页 50 51 52 53 54 55 56 57 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他