Sparkstreaming

【线上直播】spark streaming高级特性在ndcg计算实践

【线上直播】sparkstreaming高级特性在ndcg计算实践▼嘉宾：王富平王富平简介历任百度大数据部高级工程师、1号店搜索与精准化部门架构师，一直从事大数据方向的研发工作，对大数据工具、机器学习有深刻的认知
FMI飞马网·2020-06-25 18:37

spark笔记之Spark Streaming整合flume实战

flume作为日志实时采集的框架，可以与SparkStreaming实时处理框架进行对接，flume实时产生数据，sparkStreaming做实时处理。
我是楠楠·2020-06-25 17:16

大数据之Storm/实时数据处理视频教程-李强强-专题视频课程

大数据之Storm/实时数据处理视频教程—28人已学习课程介绍大数据Storm实时数据处理视频培训课程：Strom是一个老牌的实时数据处理框架，在SparkStreaming流行前，Storm统治者整个流式计算的江湖
qq_40139556·2020-06-25 17:26

Spark Streaming消费kafka数据为减少控制台输出日志配置log4j.properties不起效的问题

在使用SparkStreaming消费Kafka数据并处理数据时会在控制台生成大量不太重要的日志，为了减少控制台输出的日志，在使用sparkConf.setLogLevel()方法达不到期望时，想通过配置
Troyong·2020-06-25 16:48

【线上直播】Spark计算引擎深入剖析

苏宁大数据中心数据中台指标平台开发部技术负责人，历任百度大数据部高级工程师、1号店搜索与精准化部门架构师，一直从事大数据方向的研发工作，对大数据工具、机器学习有深刻的认知，在实时计算领域经验丰富，对storm、sparkstreaming
nanao3o·2020-06-25 15:09

Spark 以及 spark streaming 核心原理及实践

导语spark已经成为广告、报表以及推荐系统等大数据计算场景中首选系统，因效率高，易用以及通用性越来越得到大家的青睐，我自己最近半年在接触spark以及sparkstreaming
liuliliuli2017·2020-06-25 14:10

Spark Streaming并发提交job

Sparkjob我们都知道，spark的执行是lazy的，也就是spark的函数分为两类:Transform和action.只有在使用action函数时，才会触发一个sparkjob.串行的Sparkjob在一个SparkStreaming
biggeng·2020-06-25 12:36

sparkstreaming之flume--Spark Streaming整合Flume的第一种方式FlumePush

{Seconds,StreamingContext}/***SparkStreaming整合Flume的第一种方式*/objectF
羽翼天宇·2020-06-25 11:14

SparkStreaming整合Flume的两种方式

在这里，我们说明如何配置Flume和SparkStreaming以从Flume接收数据。有两种方法。方法一：基于push的
dc.li8·2020-06-25 10:30

大数据之sparkStreaming（一）：sparkStreaming概述、SparkStreaming的组件

文章目录课程目标1、sparkStreaming概述1.1SparkStreaming是什么1.2SparkStreaming的组件课程目标说出SparkStreaming的特点说出DStreaming
汪雯琦·2020-06-25 09:29

CDH搭建flume+kafka以及sparkstreaming来做实时

实时计算部分代码开发1.首先我们来说一下cdh搭建flumeflume非常的简单，直接cdh就可以集成了，不多赘述用cdh非常的简单，接下来说一下kafka的集成吧，而kafka则相对比较麻烦点，需要下载kafka的服务描述jar包2.再来说一下cdh搭建kafka我是参考如下文章的。http://www.cnblogs.com/jechedo/p/5122531.html这篇文章可以解决很多问题
大壮vip·2020-06-25 07:03

CDH 5.16.1 使用 flume、kafka、sparkstreaming做实时

本文的主要目的就是为了实现以下需求：通过flume收集日志；将收集到的日志分发给kafka；通过sparksteaming对kafka获取的日志进行处理；然后将处理的结果存储到hdfs的指定目录下。第一步，我们创建flume配置文件，直接在cm上面改就行了。a1.sources=r1a1.channels=c1a1.sinks=s1#sources端配置a1.sources.r1.type=exe
大壮vip·2020-06-25 07:03

【sparkstreaming写hdfs调研】调研将kafka消息，从sparkstreaming写入hdfs

rdd.saveAsTextFile("hdfs://pro-app-175:9000/user/hadoop/spark/data")Protocolmessageend-grouptagdidnotmatchexpectedtag显然是我端口弄错了，所以，改成8020即可。rdd.saveAsTextFile("hdfs://pro-app-175:8020/user/hadoop/spark
大壮vip·2020-06-25 07:02

葵花宝典--SparkStreaming

一、概述1、定义SparkStreaming用于处理流式数据。支持多种数据源，常用kafka，数据输入后可以使用spark的算子进行操作，运行的结果可以保存在很多地方。
张薄薄·2020-06-25 07:17

MongoDB与Spark整合的环境搭建

Spark在2013年6月进入Apache成为孵化项目，8个月后成为Apache顶级项目，速度之快足见过人之处，Spark以其先进的设计理念，迅速成为社区的热门项目，围绕着Spark推出了SparkSQL、SparkStreaming
红警专家·2020-06-25 05:21

sparkStreaming整合flume

flume作为日志实时采集的框架，可以与SparkStreaming实时处理框进行对接，flume实时产生数据，sparkStreaming做实时处理。
小giaogiao·2020-06-25 02:27

Spark-Streaming获取kafka数据的两种消费模式、三种消费语义

receiver从Kafka中获取的数据都是存储在SparkExecutor的内存中的，然后SparkStreaming启动的job会去处理那些数据。
spark大数据玩家·2020-06-25 01:42

用户行为分析大数据系统（实时统计每个分类被点击的次数，实时计算商品销售额，网站动态行为pv，uv ）

https://blog.csdn.net/m0_37739193/article/details/74559826实时统计每天pv,uv的sparkStreaming结合redis结果存入mysql供前端展示
曹雪朋·2020-06-25 01:37

第91讲：sparkStreaming基于kafka的Direct详解

有兴趣想学习国内整套Spark+SparkStreaming+Machinelearning最顶级课程的，可加我qq 471186150。共享视频，性价比超高！
Android进阶·2020-06-25 00:42

（15）使用checkpoint进行故障恢复

用过SparkStreaming的应该都比较了解checkpoint机制。
longdada007·2020-06-25 00:21

Spark Streaming中，增大任务并发度的方法有哪些？

SparkStreaming中，增大任务并发度的方法有哪些？0准备阶段Q:在Spark集群中，集群的节点个数、RDD分区个数、CPU内核个数三者与并行度的关系是什么？
buildupchao·2020-06-25 00:16

如何搭建大数据分析平台

同时通过sparkstreaming，可以有效满足企业实时数据的要求，构建企业发展的实时
qq_16313575·2020-06-24 23:23

Spark Streaming整合flume(Poll方式和Push方式)

flume作为日志实时采集的框架，可以与SparkStreaming实时处理框架进行对接，flume实时产生数据，sparkStreaming做实时处理。
hxhh·2020-06-24 22:44

python+sparkStreaming+kafka之大数据实时流

首先需要的是环境，我安装的是spark2…1,kafka0-10,hadoop2.7,scala2.11,因为spark是Scala语言写的，所以这个必须的安装，大数据传输存储需要用到Hadoop，HDFS，所以Hadoop需要安装，streaming接受流数据源有两种大的方式，一种是文件和套接字，直接读取文件和通过套接字传输，另一种是高级API形式，可以通过额外的实用程序类获得诸如Kafka，F
pyswt·2020-06-24 20:24

分享近期将发表的重要博客文章

1、SparkStreaming核心设计理解  前面的博客中Hadoop、Yarn、Spark、Hive、HBase、Flume、Kafka大数据组件基本讨论完，当然之后也会结合大数据实时项目遇到的每个组件的核心问题单独给出博客讨论
yield-bytes·2020-06-24 20:51

Spark DataFrame、Spark SQL、Spark Streaming入门教程

文章目录前言1、RDD、SparkDataFrame、SparkSQL、SparkStreaming2、SparkDataFrame2.1创建基本的SparkDataFrame2.2从各类数据源创建SparkDataFrame2.3SparkDataFrame
yield-bytes·2020-06-24 20:51

基于PySpark整合Spark Streaming与Kafka

  本文内容主要给出基于PySpark程序，整合SparkStreaming和Kafka，实现实时消费和处理topic消息，为PySpark开发大数据实时计算项目提供基本参考。
yield-bytes·2020-06-24 20:51

Spark-Streaming实时数据分析

1.SparkStreaming功能介绍1）定义SparkStreamingisanextensionofthecoreSparkAPIthatenablesscalable,high-throughput
努力的凹凸曼·2020-06-24 20:10

关于flume接受socket信息输入到IDEA

文章目录1.flume配置文件2.启动命令3.IDEA的Sparkstreaming代码演示1.flume配置文件a1.sources=s1a1.channels=c1a1.sinks=k1#定义agent
power_k·2020-06-24 20:51

Spark Streaming之WordCount

1.概要SparkStreaming是Spark的流处理框架，具有可扩展性、高吞吐率、失败恢复机制。
郭寻抚·2020-06-24 18:02

Spark Streaming: 保存上一个批次数据的计算结果

在SparkStreaming计算模型下，有时候我们对当前batch数据的计算需要依赖上一个batch的计算结果，如广告系统中检索日志和曝光时间的join拼接。
司青·2020-06-24 17:02

Spark架构和原理

Spark包含了多种计算库，有SparkSQL、SparkStreaming、MLlib、GraphX4、
小学僧丶Monk·2020-06-24 15:44

Spark Streaming Source Kafka 0.8.2

描述针对kafka0.8.2的API，SparkStreaming有两个版本的Source，Receiver和DirectAPI，其中Receiver模式使用HighLevel对应为KafkaInputDStream
lioversky·2020-06-24 13:17

Data-Intensive Systems:Real-time Stream Processing

SparkStreamingSparkStreamingisaninterestingextensiontoSparkthataddssupportforcontinuousstreamprocessingtoSpark.SparkStreamingisinactivedevelopmentatUCBerkeley'samplabalongsidetherestoftheSparkproject
macyang·2020-06-24 13:44

Spark学习笔记（三）-Spark Streaming

SparkStreaming支持实时数据流的可扩展（scalable）、高吞吐（high-throughput）、容错（fault-tolerant）的流处理（streamprocessing）。
萨姆大叔·2020-06-24 11:00

kafka角色模型与核心概念

流式处理：kafka支持流式处理框架（SparkStreaming、Stor
LiryZlian·2020-06-24 11:07

sparkstreaming实现hdfs目录的监控，并实时写入hbase

部署环境参考https://blog.csdn.net/luoye4321/article/details/99745877代码如下：importorg.apache.hadoop.hbase.HBaseConfigurationimportorg.apache.hadoop.hbase.client.Putimportorg.apache.hadoop.hbase.io.ImmutableByt
落叶1210·2020-06-24 10:51

kudu性能优化

一.背景一个实时业务，数据流app->nginx->lua->kafka->sparkstreaming->kudu->zepplin。打开zepplin，实时数据出不来。看不到。
longxibendi·2020-06-24 08:53

大数据实战之Spark Streaming整合Flume

SparkStreaming与flume做整合的时候,一定要先去官网上查看可兼容的版本号http://spark.apachecn.org/docs/cn/2.2.0/streaming-flume-integration.html
码动乾坤·2020-06-24 08:21

使用SparkStreaming完成词频统计,并将结果写入MySQL,黑名单过滤

foreachRDD设计模式的使用dstream.foreachRDD是一个强大的原语,允许将数据发送到外部系统.但是,了解如何正确有效地使用这个原语很重要.避免一些常见的错误如下.通常向外部系统写入数据需要创建连接对象（例如与远程服务器的TCP连接）,并使用它将数据发送到远程系统.为此,开发人员可能会无意中尝试在Sparkdriver中创建连接对象,然后尝试在Spark工作人员中使用它来在RDD
码动乾坤·2020-06-24 08:21

基于Kafka+SparkStreaming+HBase实时点击流案例

背景Kafka实时记录从数据采集工具Flume或业务系统实时接口收集数据，并作为消息缓冲组件为上游实时计算框架提供可靠数据支撑，Spark1.3版本后支持两种整合Kafka机制（Receiver-basedApproach和DirectApproach），具体细节请参考文章最后官方文档链接，数据存储使用HBase实现思路实现Kafka消息生产者模拟器Spark-Streaming采用DirectA
阿甘run·2020-06-24 08:33

Spark源码解析：DStream

0x00前言本篇是Spark源码解析的第二篇，主要通过源码分析SparkStreaming设计中最重要的一个概念——DStream。
木东居士·2020-06-24 06:56

基于 Flume+Kafka+Spark Streaming 实现实时监控输出日志的报警系统

解决方法：基于Flume+Kafka+SparkStreaming的框架对这些任务的输出日志进行实时监控，当检测到日志出现Error的信息就发送邮件给项目的负责人。
linge1995·2020-06-24 05:53

大数据系列第二课：scala基础

第一阶段：Sparkstreaming、sparksql、kafka、spark内核原理（必须有一个大型项目经验）；第二阶段：spark运行的各种环境，各种故障的解决，性能优化（精通spark内核、运行原理
kxr0502·2020-06-24 01:05

大数据系列第一课：scala基础

第一阶段：Sparkstreaming、sparksql、kafka、spark内核原理（必须有一个大型项目经验）；第二阶段：spark运行的各种环境，各种故障的解决，性能优化（精通spark内核、运行原理
kxr0502·2020-06-24 01:04

Spark介绍（三）SparkStreaming

一、SparkStreaming简介SparkStreaming是一个对实时数据流进行高通量、容错处理的流式处理系统，可以对多种数据源（如Kdfka、Flume、Twitter、Zero和TCP套接字）
kxiaozhuk·2020-06-24 01:58

spark学习笔记3

SparkStreamingProgrammingGuideOverviewAQuickExampleBasicConceptsLinkingInitializingStreamingContextDiscretizedStreams
keny风清扬·2020-06-24 00:28

Spark入门实战系列--7.Spark Streaming（上）--实时流计算Spark Streaming原理介绍

Spark入门实战系列--7.SparkStreaming--实时流计算SparkStreaming原理介绍【注】该系列文章以及使用到安装包/测试数据可以在《倾情大奉送--Spark入门实战系列》获取1
Tiger-Li·2020-06-24 00:39

java8实现spark streaming的wordcount

1.导入了SparkStreaming类org.apache.sparkspark-streaming_2.112.0.02.代码示例//注意
_delin·2020-06-23 20:55

容器化Docker、Elasticsearch全文搜索实战

2.一线大厂是如何做Kafka+SparkStreaming+ES联合解决方案及架构演进；3.使用阿里云服务器在线实现Docker容器化部署；4.
icodingedu·2020-06-23 17:20
上一页 36 37 38 39 40 41 42 43 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他