sparkstreaming

Spark Streaming 进阶实战五个例子

参考文章：SparkStreaming进阶实战五个例子SparkStreaming进阶一、带状态的算子：UpdateStateByKey实现计算过去一段时间到当前时间单词出现的频次objectStatefulWordCount
风情客家__·2020-08-03 01:02

第99课：使用Spark Streaming+Kafka实战对论坛网站动态行为的多维度分析及java.lang.NoClassDefFoundError问题解决完整内幕版本解密

第99课：使用SparkStreaming实战对论坛网站动态行为的多维度分析/*王家林老师授课http://weibo.com/ilovepains每天晚上20：00YY频道现场授课频道68917580
段智华·2020-08-02 23:14

Flink之如何处理反压问题

目前主流的流处理系统Storm/JStorm/SparkStreaming/Fli
未完待续z·2020-08-02 23:00

Spark入门实战系列--7.Spark Streaming（上）--实时流计算Spark Streaming原理介绍

1、SparkStreaming简介1.1概述SparkStreaming是Spark核心API的一个扩展，可以实现高吞吐量的、具备容错机制的实时流数据的处理。
下雨天uu·2020-08-02 21:43

Spark_SparkStreaming Kafka Direct/Receiver 两种连接方式的区别

参考文章：DirectStream、Stream的区别-SparkStreaming源码分析02https://blog.csdn.net/wisgood/article/details/51815853spark-kafkadirect
高达一号·2020-08-02 14:36

SparkStreaming连接Kafka的两种方式：Receiver和Direct

连接模式：（0.10版本之后不支持）1.使用的是kafkahigh-levelconsumerAPI（傻瓜版）2.receiver从Kafka中获取的数据都是存储在SparkExecutor的内存中的，然后SparkStreaming
灵佑666·2020-08-02 13:05

spark连接kafka的两种方式

Reciver方式sparkstreaming通过Reciver方式获取kafka的数据实质是：在spark程序的Executor中开Reciver来接收来自kafka的数据，然后sparkstreaming
情深不仅李义山·2020-08-02 12:59

Spark 以及 spark streaming 核心原理及实践 - (1)

导语spark已经成为广告、报表以及推荐系统等大数据计算场景中首选系统，因效率高，易用以及通用性越来越得到大家的青睐，我自己最近半年在接触spark以及sparkstreaming之后，对spark技术的使用有一些自己的经验积累以及心得体会
nethub2·2020-08-01 13:31

Spark 以及 spark streaming 核心原理及实践 - (2)

SparkStreaming运行原理spark程序是使用一个spark应用实例一次性对一批历史数据进行处理，sparkstreaming是将持续不断输入的数据流转换成多个batch分片，使用一批spark
nethub2·2020-08-01 13:31

Redis报错-java.net.SocketException: Broken pipe (Write failed)

异常原因：在SparkStreaming中使用Redis进行高并发写，发现有时候会出现以下异常：redis.clients.jedis.exceptions.JedisConnectionException
iayay222·2020-08-01 09:26

工业物联网sparkstreaming+kafka+mqtt

一、概述工业物联网数据通过mqtt协议发送到emqtt，kafka订阅emqtt数据，sparkstreaming消费kafka数据和原始留存在oracle的信息表关联计算。
老余不爱吃鱼·2020-08-01 05:04

scala的面向对象,继承与特质

4、SparkStreaming：类似于stor
weixin_30682415·2020-08-01 03:39

scala的面向对象，类与构造器

4、SparkStreaming：类似于stor
track sun·2020-08-01 03:04

浅析 MapReduce/ Spark/ Spark Steaming/ Storm 与 HBase/HDFS

SparkStreaming跟Storm类似，只不过SparkStreaming是小时间窗口的处理，Storm是实时的来一条处理一条。
思路清晰的小王·2020-08-01 02:43

SparkStreaming源码之Dstream和DstreamGraph

SparkStreaming源码之Dstream和DstreamGraph篇先谈DstreamGraph，在DstreamGraph中有两个ArrayBuffer，privatevalinputStreams
小狼星I·2020-08-01 02:05

SparkStreaming在启动执行步鄹和DStream的理解

目录：SparkStreaming启动执行步鄹：DStream和Rdd的理解Linux中发送数据SparkStreaming代码如下结果展示：SparkStreaming启动执行步鄹：1、加载SparkConf
北京小辉·2020-08-01 00:32

sparkStreaming 实时窗口分析

实时就是统计分析比如：饿了么中午和晚上，区域订单数目统计需求：最近半小时的各个区域订单状态11:0010：30~11:00半小时时间内，订单状态，还有多少订单没有配送，多的话调人11:1010:40~11:00半小时时间内，订单状态DStream窗口统计分析指定窗口的大小，也就是时间窗口时间间隔模拟数据：订单号地区id价格201710261645320001,12,45.0020171026164
乔尼娜沙德星·2020-07-31 22:13

SparkStreaming的介绍及处理数据流程

介绍：流式数据处理（streamprocessing）要处理的数据就像流水一样，源源不断的产生数据，需要实时进行处理对SparkCore的高级API的封装，将流式的数据切分为小的批次batch（按照时间间隔）的数据，然后使用SparkCore进行处理在大数据技术框架中，对于流式数据的实时数据分析处理方案：一条一条的处理来一条数据就处理一条数据典型框架：Storm特点：实时性很高，亚秒级别，延迟性很
乔尼娜沙德星·2020-07-31 22:13

模拟sparkstreaming流式实时系统

参考书籍：《spark最佳实践》实验步骤：1.Python程序生成访问日志2.通过脚本将日志自动上传至HDFS3.sparkstreaming程序监控HDFS目录，自动处理新的文件。
狼牙战士·2020-07-31 21:12

Spark Streaming高吞吐、高可靠的一些优化

分享一些SparkStreaming在使用中关于高吞吐和高可靠的优化。
upupfeng·2020-07-31 20:00

利用Spark Streaming实现分布式采集系统

之前我在微信朋友圈发了一段话，说明SparkStreaming不仅仅是流式计算，也是一类通用的模式，可以让你只关注业务逻辑而无需关注分布式相关的问题而迅速解决业务问题前言前两天我刚在自己的一篇文章中鼓吹数据天生就是流式的
祝威廉·2020-07-31 18:38

Spark Streaming（下）

转自：https://www.cnblogs.com/shishanyuan/p/4747749.htmlSpark入门实战系列--7.SparkStreaming（下）--实时流计算SparkStreaming
sunshingheavy·2020-07-31 10:20

Spark Streaming Window窗体相关操作

转自：https://www.cnblogs.com/duanxz/p/4408789.htmlSparkStreaming之五：Window窗体相关操作SparkStreaming之window滑动窗口应用
sunshingheavy·2020-07-31 10:48

Spark Streaming简介

转自：https://www.cnblogs.com/shishanyuan/p/4747735.html1、SparkStreaming简介1.1概述SparkStreaming是Spark核心API
sunshingheavy·2020-07-31 10:48

Java内容的复习-大数据

SparkSparkstreaming和storm的区别是（两者都是分布式流处理框架）http://www.jdon.com/46591：1.Spark支持保持状态2.Spark有数据平滑窗口（slidingwindow
fannk·2020-07-30 23:20

基于Kafka+Flink+Redis的电商大屏实时计算案例

由于Flink的“真·流式计算”这一特点，它比SparkStreaming要更适合大屏应用。本文从笔者的实际工作经验抽象出简单的模型，并简要叙述计算流程（当然大部分都是源码）
大数据技术与架构·2020-07-30 20:51

SparkSQL结合SparkStreaming，使用SQL完成实时计算中的数据统计

SparkSQL结合SparkStreaming，使用SQL完成实时计算中的数据统计主题SQLSparkSQL实时计算关键字：SparkSQL、SparkStreaming、SQL、实时计算Flume+
zhangshucheng129·2020-07-30 18:48

kafka通过sparkstreaming连oracle模版

首先定义一个KafkaInfo对象importjava.util.PropertiesobjectKafkaInfo{valbrokerList=。。。valtopicTest="test"valtopic=""valurl=""valprop=newProperties()prop.setProperty("user","")prop.setProperty("password","")//th
zzzzzzzzzzzzzzzzzxs·2020-07-30 18:39

《SparkStreaming 4》--flume + kafka + SparkStreaming、streaming里使用DataFrame和SQL、DStream缓存、检查点机制

flume+kafka+SparkStreaming1.首先演示案例linux学过的知识点监控文件tail-F文件名另一个窗口中往文件中添加数据tail-Fqqq.txtecho"abcdfs">>qqq.txt
yk_3215123·2020-07-30 18:49

12Spark写数据到Kafka及使用kafka调优

一、spark写消息到kafka中直接在spark或者sparkstreaming每一批次处理结束后，在rdd.foreachPartition方法体内创建newKafkaProducer来进行数据写入
Sigmund_Y·2020-07-30 18:31

spark streaming 输出数据到kafka

一般都使用sparkstreaming从kafka中消费数据，然后写到其他存储；项目中需要从kafkatopic中读数据然后经过sparkstreaming处理后回写到kafka另一个topic，此处记录下实现方法
xueba207·2020-07-30 18:14

Spark Streaming 读取Kafka数据写入Elasticsearch

简介：目前项目中已有多个渠道到Kafka的数据处理，本文主要记录通过SparkStreaming读取Kafka中的数据，写入到Elasticsearch，达到一个实时（严格来说，是近实时，刷新时间间隔可以自定义
心随自在飞·2020-07-30 18:33

Spark实战（二）：Kafka-SparkStreaming-Elasticsearch

本文介绍saprk实时部分----spark-streaming。spark-streaming可以实现实时批处理功能，实际上还是相当于小的批处理，但是是7*24工作，可以近实时但需要维护成本。本文里的用java写的demo，实现功能是将kafka作为spark-streaming的输入源，Elasticsearch作为输出源来实现实时处理架构。还是先上代码mavenorg.apache.spar
桃花惜春风·2020-07-30 18:59

sparkstreaming写入elasticsearch

简单的写了一个sparkstreaming入es的demo,直接看代码吧:packagesparkimportkafka.
JasonLee'blog·2020-07-30 18:20

sparkstreaming消费多个topic的数据写入不同的hive表

这几天有人问关于怎么把不同的topic的数据写入到hive的不同的表里,我写了一个简单的demo,大家可以参考一下,packagehiveimportjava.io.Fileimportorg.apache.kafka.clients.consumer.ConsumerRecordimportorg.apache.kafka.common.serialization.StringDeseriali
JasonLee'blog·2020-07-30 18:20

sparkstreaming结合sparksql-2.x实时向hive中写数据

今天主要来介绍一下SparkSql,2.x新版本操作hive的一个写法.SparkSQL的功能之一是执行SQL查询.SparkSQL也能够被用于从已存在的Hive环境中读取数据废话不多说,直接上代码:packagesparkimportjava.io.Fileimportjava.utilimportkafka.{PropertiesScalaUtils,RedisKeysListUtils}im
JasonLee'blog·2020-07-30 18:20

sparkstreaming实时写入hive后合并小文件问题

今天主要来说一下sparksql写入hive后小文件太多,影响查询性能的问题.在另外一篇博客里面也稍微提到了一下,但还是感觉要单独说一下,首先我们要知道hive里面文件的数量=executor-cores*num-executors*job数,所以如果我们batchDuration的设置的比较小的话,每天在一个分区里面就会生成很多的小文件,我们在hive里面查询的时候就会非常的影响性能,下面介绍两
JasonLee'blog·2020-07-30 18:20

Maven构建SparkStreaming+ Kafka消费者代码, 在Spark集群上运行

1编写pom.xml4.0.0com.demomsparkstreamingkafka1.0-SNAPSHOTUTF-82.2.02.9.0org.apache.sparkspark-streaming-kafka
阿豪963·2020-07-30 18:57

Java分批写入大量数据到kafka，sparkStreaming实时消费kafka，完成数据下沉(Hive到Hive数据迁移/同步)

现大致思路为:Java读取源端hive—>我司kafka—>sparkStreaming读取kafka—>目标端hive代码示例:Java获取其他公司hive表数据:packagecom.zhbr.dataImport.test
我在北国不背锅·2020-07-30 18:02

SparkStreaming读取Kafka Json格式数据

方法一：处理JSON字符串为caseclass生成RDD[caseclass]然后直接转成DataFramestream.map(record=>handleMessage2CaseClass(record.value())).foreachRDD(rdd=>{valspark=SparkSession.builder().config(rdd.sparkContext.getConf).getO
weixin_jumery·2020-07-30 18:01

SparkStreaming 消费 Kafka 数据保存 Offset 到 Zookeeper

Sparkstreaming程序：packagecom.cloudera.saveoffsettoZkimportcom.cloudera.utils.KafkaZkUtilsimportkafka.utils.ZkUtilsimportorg.apache.kafka.clients.consumer.ConsumerConfigimportorg.apache.kafka.common.ser
storm_fury·2020-07-30 17:32

5.sparkstreaming去kafka中消费Mysql实时操作的数据

1前面Mysql开启了Bin_log,canal实时的去监听然后发送到kafka的example中，现在用Spark-streaming实时的去消费将这些信息打印出来pom依赖：org.apache.kafkakafka_2.111.1.0org.apache.sparkspark-streaming-kafka-0-10_2.112.3.0compilecom.alibaba.ottercana
吗达拉·2020-07-30 17:23

sparkstreaming+Kafka性能优化

（一）sparkstreaming参数理解使用SparkStreaming集成kafka时有几个比较重要的参数：（1）spark.streaming.stopGracefullyOnShutdown（true
程序媛_cico·2020-07-30 17:23

SparkStreaming写入Hive遇到的问题记录

需求：SparkStreaming实时写入Hive关于怎么写，网上一大堆，我简单点列下代码：SparkConfsparkConf=newSparkConf().setAppName("sparkStreaming-order
Hello Guava·2020-07-30 17:43

将KafKa的偏移量写入Mysql

packageSparkStreamingKafKa.OffSetMysqlimportjava.sql.
Rockefeller8888·2020-07-30 17:48

sparkstreaming通过对象解析json

数据形式{“Name”:“小明有限公司”,"_id":“1233467”,“company”:{“KeyNo”:“0o0o0asdsd”,“Org”:2,“Name”:“小红”},“Partners”:[{“ooo”:-1,“def”:false,“kkk”:“97.58%”},{“ooo”:-1,“def”:0,“abc”:“26639.6435”}]}pom依赖org.jsonjson2016
菜鸡的路程·2020-07-30 17:15

SparkStreaming消费Kafka中的数据 使用zookeeper和MySQL保存偏移量的两种方式

今天分享的SparkStreaming消费Kafka中的数据保存偏移量的两种方式都是基于直连方式上的话不多说直接上代码！
从0到1哦·2020-07-30 17:38

SparkStreaming直连kafka0.10将offsets保存在redis中

SparkStreaming消费Kafka中的数据可以将偏移量保存在zookeeper、MySQL、redis中，前两种方式呢，我前面的博客都有演示，今天主要给大家分享第三种方式—采用直连方式，将偏移量保存在
从0到1哦·2020-07-30 17:38

使用Spark streaming 获取 kafka的json数据分析并用Hbase保存结果

使用Sparkstreaming连接kafka分析并用Hbase保存结果kafka发送的数据是json格式{"userId":20400,"day":"2017-03-01","begintime":1488326400000
gonefuture·2020-07-30 17:27

Spark Streaming之四：Spark Streaming 与 Kafka 集成分析

前言SparkStreaming诞生于2013年，成为Spark平台上流式处理的解决方案，同时也给大家提供除Storm以外的另一个选择。
weixin_33781606·2020-07-30 17:10
上一页 25 26 27 28 29 30 31 32 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他