sparkstreaming

顺丰大数据岗位相关面试题

第二面是大数据这块的女总监，光跟你怼Spark，全是细节，细致到你传了那些参数学长21）技术部分（1）Kafka原理，数据怎么平分到消费者（2）FlumeHDFSSink小文件处理（3）Flink与SparkStreaming
美食江湖·2020-09-11 12:53

大数据-12-Spark+Kafka构建实时分析Dashboard

转自http://dblab.xmu.edu.cn/post/8274/0.案例概述本案例利用Spark+Kafka实时分析男女生每秒购物人数，利用SparkStreaming实时处理用户购物日志，然后利用
weixin_34360651·2020-09-11 11:42

SparkStreaming整合Kafka（Offset保存在zookeeper上，Spark2.X + kafka0.10.X）

先来一段到处都有的原理（出处到处都有，就不注明了）Streaming和Kafka整合有两种方式--Receiver和Direct，简单理解为：Receiver方式是通过zookeeper来连接kafka队列，Direct方式是直接连接到kafka的节点上获取数据Receiver:1、Kafka中topic的partition与Spark中RDD的partition是没有关系的，因此，在KafkaU
weixin_34068198·2020-09-11 11:43

SparkStreaming实时wordCount程序

packagecom.bynear.spark_Streaming;importorg.apache.spark.SparkConf;importorg.apache.spark.api.java.function.FlatMapFunction;importorg.apache.spark.api.java.function.Function2;importorg.apache.spark.ap
JSON_ZJS·2020-09-11 07:53

SparkStreaming整合KafkaCDH6.3.2版本（Offset保存在zookeeper上，Spark2.4 + kafka0.10.X）

依赖UTF-81.81.81.82.112.11.82.4.0-cdh6.3.23.0.0-cdh6.3.22.2.1-cdh6.3.2com.emgetp-common0.0.1-SNAPSHOTorg.scala-langscala-library${scala.version}${jar.scope}org.scala-langscala-compiler${scala.version}${
风是外衣衣衣·2020-09-11 07:25

Spark学习八：spark streaming与flume和kafka集成

Spark学习八：sparkstreaming与flume和kafka集成标签（空格分隔）：SparkSpark学习八sparkstreaming与flume和kafka集成一Kafka二flume和kafka
forrestxingyunfei·2020-09-11 06:51

趣头条基于 Flink 的实时平台建设实践

一．平台架构1.Flink应用时间线首先是平台的架构，2018年3月之前基本都是基于Storm和SparkStreaming来做的。
Ververica·2020-09-11 05:48

Spark Streaming使用push模式接收Flume传送的数据并进行WordCount统计

SparkStreaming接收外部数据的高级API，有Flume、Kafka、Kinesis，这篇文章简单实操，接收Flume的数据，通过Push模式。
ylqdh·2020-09-11 05:11

【备忘】年薪50万2018年最新Spark2.0从入门到精通教程

Spark从入门到精通（Scala编程，案例实战，高级特性，Spark内核源码剖析，Hadoop高端）用到技术：Scala，Spark，SparkSQL，SparkStreaming涉及项目：每日uv和销售额统计
风一样的男人_·2020-09-11 02:30

Spark Streaming foreachRDD的正确使用方式

重点：SparkStreaming的foreachRDD运行在Driver端，而foreach和foreachPartion运行在Worker节点。
你锋哥真的强·2020-09-11 02:16

SparkStreaming性能调优

前言：前方高能预警，因为都是文字，可能会比较枯燥，主要是从cpu以及内存两大方面来介绍的，希望大家能耐心一些看看，可能对大家会有所帮助哈~一、设置合理的cpu资源数很多情况下Streaming程序需要的内存不是很多，但是需要的CPU要很多。在Streaming程序中，CPU资源的使用可以分为两大类：1）用于接收数据；2）用于处理数据。我们需要设置足够的CPU资源，使得有足够的CPU资源用于接收和处
moshang_3377·2020-09-11 02:49

Spark学习笔记

交流学习加群460570824DataSource->Kafka->SparkStreaming->Parquet->SparkSQL(SparkSQL可以结合ML、GraphX等)->Parquet-
专业大数据·2020-09-11 00:36

Spark Streaming 调优实践

在使用Spark和SparkStreaming时，当我们将应用部署在集群上时，可能会碰到运行慢、占用过多资源、不稳定等问题，这时需要做一些优化才能达到最好的性能。
GOD_WAR·2020-09-10 23:12

Zeppelin组件配置和使用：连接Spark

Spark的核心分析栈包括SparkCore、SparkSQL、SparkStreaming、MLlib、GraphX等，面向批处理、流处理、图计算、机器学习等场景，实现了生态融合统一，基于相同的数据结构
机器熊技术大杂烩·2020-09-10 15:14

5.Spark基础学习五（SparkStreaming）

SparkStreaming概述SparkStreaming用于流式数据的处理。
做个合格的大厂程序员·2020-09-09 20:34

Flume与Kafka对接

我们都知道flume可以跨节点进行数据的传输，那么flume与sparkstreaming对接不好吗？
billows9297·2020-09-08 11:47

大数据面试题之葵花宝典------Flink初级

葵花宝典------Flink初级1、简单介绍一下Flink2、Flink相比传统的SparkStreaming区别?3、Flink的组件栈有哪些？4、Flink的运行必须依赖Hadoop组件吗？
海鸥~·2020-09-07 21:32

Spark_Streaming整合Kafka

SparkStreaming整合Kafka一、版本说明二、项目依赖三、整合Kafka3.1ConsumerRecord3.2生产者属性3.3位置策略3.4订阅方式3.5提交偏移量四、启动测试一、版本说明
千年小妖L·2020-09-06 11:29

Spark 实时电商数据分析及可视化

Spark实时电商数据分析可视化系统是一个经典的大数据应用项目，技术栈主要有Flume、Kafka、SparkStreaming、Flask等，帮助大家了解和运用一些当前热门的大数据处理组件来亲自动手搭建一套大数据处理平台框架和熟悉大数据项目的基础开发流程
蓝桥云课·2020-09-04 17:46

flume整合spark实现监控目录下的数据

二、技术选型flume+sparkstreaming，
stevensam_lin·2020-08-26 14:44

Log4j、Flume、kafka和spark streaming时时日志处理

本次实战flume是1.7版本，kafka是0.10，sparkstreaming是2.2.0版本第一步：flume=》kafka，首先配置flume的source为avro，然后sink为kafka方式
南山小和尚·2020-08-26 14:44

SparkStreamingOffsetMysql将偏移量保存到MySQL中

org.apache.sparkspark-streaming_2.11${spark.version}provided-->mysqlmysql-connector-java5.1.26org.scalikejdbcscalikejdbc-core_2.112.5.0org.scalikejdbcscalikejdbc-config_2.112.5.0packagecom.sparkStream
C_time·2020-08-26 09:25

Spark Streaming-缓存与持久化

与RDD类似，SparkStreaming也可以手动控制将数据流中的数据持久化到内存中。
Anbang713·2020-08-26 09:51

SparkStreaming整合kafka直连模式direct方式

org.apache.sparkspark-streaming_2.101.6.2org.apache.sparkspark-streaming-kafka_2.101.6.2valcheckpoint=“hdfs://bdha/checkpoint”valconf=newSparkConf().setMaster(“local”).setAppName(“AdRealStatJob”)valsc
zwmonk·2020-08-26 09:17

SparkStreaming+kafka的Direct模式的整合

SparkStreaming+Kafkareceiver模式receiver模式原理图receiver模式理解：在SparkStreaming程序运行起来后，Executor中会有receivertasks
道法—自然·2020-08-26 09:44

Kafka-SparkStreaming-Redis

Kafka-SparkStreaming-Redis标签（空格分隔）：实时流式处理数据保存到Redis准备工作启动，namenodedatanode启动zookeeper启动kafka的Topic启动Redis
冥王_Hades·2020-08-26 09:43

SparkStreaming整合Redis

需求：希望在SparkRDD算子中访问Redis。思路：通过Broadcast变量将Redis配置信息广播到所有计算节点；通过lazy关键字实现Redis连接的延迟创建。具体步骤：1.定义Redis客户端包装类packagexxximportredis.clients.jedis.{Jedis,JedisPool,JedisPoolConfig,Protocol}importorg.apache.
xianyuxiaoqiang·2020-08-26 09:13

sparkStreaming的offset保存在redis中

实现功能：从kafka读取某一主题，消费者组的偏移量基于读出的offset，创建kafka读取流程把各个分区的偏移量保存到redis。importKafka010.Utils.{MyKafkaUtils,RedisUtilsDemo}importorg.apache.kafka.clients.consumer.ConsumerRecordimportorg.apache.kafka.common
wppwpp1·2020-08-26 09:12

Spark------------------------spark核心SparkStreaming与 kafka、redis的结合

1.Apachespark核心编程集批处理（离线处理）、交互式处理和流式处理，为一体一栈式大数据解决方案Core数据式结构：分布式集合RDDSparkContext批处理（batchprocessing），处理数据T+1注意：每次数据的数据都是一个固定的数据集，而不是变化SQLDataFrame/DataSet=RDD+schemaSparkSession老版本：SQLContext/HiveCo
leson-xu·2020-08-26 09:11

第1章 初探大数据

课程按流量统计imocc主站最受欢迎的TopN课程大数据的到来任职要求.熟悉Linux操作系统，熟悉Linuxshell编程.熟悉Java或者scala语言，具有一年以上实际开发经验.熟悉sparksql或sparkstreaming
weixin_SAG·2020-08-26 09:10

20200624SparkStreaming学习笔记+redis基础

数据可视化SpringBoot整合Echarts动态获取HBase的数据1）动态的传递进去当天的时间a)在代码中写死b)让你查询昨天的、前天的咋办？在页面中放一个时间插件(jQuery插件)，默认只取当天的数据2）自动刷新展示图每隔多久发送一个请求去刷新当前的数据供展示统计慕课网当天实战课程从搜索引擎过来的点击量数据已经在HBase中有的自己通过Echarts整合SpringBoot方式自己来实现
see you in September·2020-08-26 09:40

SparkStreaming整合Kafka--Direct方式

4.0.0com.sid.sparkspark-train1.020082.11.80.9.0.02.2.02.9.01.4.4scala-tools.orgScala-ToolsMaven2Repositoryhttp://scala-tools.org/repo-releasesscala-tools.orgScala-ToolsMaven2Repositoryhttp://scala-too
内蒙刘德华·2020-08-26 09:38

SparkStreaming的实战案例

废话不多说，直接上干货！！！相关依赖：UTF81.81.8UTF-82.11.82.3.22.7.62.11org.scala-langscala-library${scala.version}org.apache.sparkspark-core_2.11${spark.version}org.apache.sparkspark-sql_2.11${spark.version}org.apache
weixin_33911824·2020-08-26 09:05

kafka+spark Streaming+redis小项目

这个项目主题思路是：手机客户端会收集用户的行为事件（我们以点击事件为例），将数据发送到数据服务器，我们假设这里直接进入到Kafka消息队列后端的实时服务会从Kafka消费数据，将数据读出来并进行实时分析，这里选择SparkStreaming
EricJeff_·2020-08-26 09:01

Kafka+Spark Streaming+Redis实时系统实践

基于Spark通用计算平台，可以很好地扩展各种计算类型的应用，尤其是Spark提供了内建的计算库支持，像SparkStreaming、SparkSQL、MLlib、GraphX，这些内建库都提供了高级抽象
ljtyxl·2020-08-26 09:29

Spark Streaming实战对论坛网站动态行为pv，uv，注册人数，跳出率的多维度分析，实时统计每天pv,uv的sparkStreaming结合redis结果存入mysql供前端展示

论坛数据运行代码自动生成，该生成的数据会作为Producer的方式发送给Kafka，然后SparkStreaming程序会从Kafka中在线Pull到论坛或者网站的用户在线行为信息，进而进行多维度的在线分析数据格式如下
首席撩妹指导官·2020-08-26 09:51

大数据学习之路108-spark streaming基于redis历史state统计

我们之前使用sparkstreaming做过基于mysql的历史state统计，但是当时的方法很笨，因为写到mysql中第一是性能不好，第二是编码麻烦，所以一般不会有人那么做。
爱米酱·2020-08-26 09:51

第110讲： Spark Streaming电商广告点击综合案例通过updateStateByKey等实现广告点击流量的在线更新统计

packagecom.dt.spark.SparkApps.sparkstreaming;importjava.sql.Connection;importjava.sql.DriverManager;importjava.sql.PreparedStatement
Android进阶·2020-08-26 09:16

第106讲： Spark Streaming电商广告点击综合案例黑名单过滤实现

有兴趣想学习国内整套Spark+SparkStreaming+Machinelearning顶级课程的，可加我qq 471186150。共享视频，性价比超高！
Android进阶·2020-08-26 09:16

Spark Streaming应用与实战全攻略（Ⅰ）

SparkStreaming应用与实战系列包括以下六部分内容：背景与架构改造通过代码实现具体细节，并运行项目对Streaming监控的介绍以及解决实际问题对项目做压测与相关的优化Streaming持续优化之
csdn郭芮·2020-08-26 09:14

【十五】Spark Streaming整合Kafka使用Direct方式（使用Scala语言）

官方文档配置SparkStreaming接收从kafka来的数据有两种方式。老的方式要使用Receiver，新的方式是Spark1.3后引进的不用Receiver。Approa
jy02268879·2020-08-26 09:14

Kafka+Spark Streaming+Redis实时系统实践

基于Spark通用计算平台，可以很好地扩展各种计算类型的应用，尤其是Spark提供了内建的计算库支持，像SparkStreaming、SparkSQL、MLlib、GraphX，这些内建库都提供了高级抽象
javastart·2020-08-26 09:56

sparkStreaming+kafka+redis小项目实战

5s统计一次，包括某个用户新统计时的时间、所在地点、新增步数；这里为了方便只将每个用户以及实时更新的步数总和两个维度保存到redis数据库中；2、业务流程首先造一些模拟数据实时传入kafka队列，然后sparkStreaming
时不我待，一日千里·2020-08-26 09:55

Kafka+Spark Streaming+Redis实时计算整合实践

MainmenuSkiptocontent首页编程语言算法开源技术数据库服务器数据挖掘关于搜索：Kafka+SparkStreaming+Redis实时计算整合实践2015-04-2821:11:35Yanjun
ASIA_kobe·2020-08-26 09:17

demo2 Kafka+Spark Streaming+Redis实时计算整合实践 foreachRDD输出到redis

基于Spark通用计算平台，可以很好地扩展各种计算类型的应用，尤其是Spark提供了内建的计算库支持，像SparkStreaming、SparkSQL、MLlib、GraphX，这些内建库都提供了高级抽象
weixin_34416754·2020-08-26 09:16

Spark Streaming写数据到Redis

SparkStreaming写数据到Redis参考2篇文章：1、Kafka+SparkStreaming+Redis实时系统实践https://www.iteblog.com/archives/13782
weixin_34372728·2020-08-26 09:45

Hadoop YARN：调度性能优化实践

实时业务主要运行SparkStreaming，Flink为主的实时流计算作业。机器学习业务主要运行TensorFl
美团技术团队·2020-08-26 08:20

Spark Streaming + Kafka 入门实例

初学SparkStreaming和Kafka，直接从网上找个例子入门，大致的流程：有日志数据源源不断地进入kafka，我们用一个sparkstreaming程序从kafka中消费日志数据，这些日志是一个字符串
挨踢正能量·2020-08-26 08:19

Spark基础

应用场景，企业中用来做报表统计SparkStreaming:是实时数据流处理组件，类似StormSparkSt
班得瑞的猫·2020-08-25 17:11

3.1 Spark Streaming 性能调优(一): 提高并行度

目录1.系统架构2.环境搭建2.1本地环境下kafka批量导入数据2.2kafka-manager的安装与配置3.1SparkStreaming性能调优(一):解决并行度3.2SparkStreaming
PigPIgAutumn·2020-08-25 00:25
上一页 14 15 16 17 18 19 20 21 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他