kafka+spark

Kafka+Spark Streaming进行网站黑名单实时过滤

开发环境：spark2.3kafka1.1.1黑名单数据是从mysql中获取的。源数据是从kafka中获取的，数据格式就是简单的姓名，为了与黑名单数据做join，源数据和黑名单数据都需要转换成键值对的形式。Java代码:packagecn.spark.streaming;importjava.util.HashMap;importjava.util.HashSet;importjava.util.
hipeer·2022-02-20 11:59

Kafka+Spark Streaming本地词频统计

前几天简单了解了Hadoop(HDFS,MR,YRAN)之后，进一步了解一下现在使用比较多的Spark生态--SprakStreaming。简介SparkStreamingisanextensionofthecoreSparkAPIthatenablesscalable,high-throughput,fault-tolerantstreamprocessingoflivedatastreams.
NealLemon·2021-10-23 19:46

Kafka+Spark Streaming如何保证exactly once语义

在Kafka、Storm、Flink、SparkStreaming等分布式流处理系统中（没错，Kafka本质上是流处理系统，不是单纯的“消息队列”），存在三种消息传递语义（messagedeliverysemantics），分别是：atleastonce：每条消息会被收到1次或多次。例如发送方S在超时时间内没有收到接收方R的通知（如ack），或者收到了R的报错，就会不断重发消息直至R传回ack。a
LittleMagic·2021-04-17 15:54

kafka+spark Streaming+redis小项目

这个项目主题思路是：手机客户端会收集用户的行为事件（我们以点击事件为例），将数据发送到数据服务器，我们假设这里直接进入到Kafka消息队列后端的实时服务会从Kafka消费数据，将数据读出来并进行实时分析，这里选择SparkStreaming，因为SparkStreaming提供了与Kafka整合的内置支持经过SparkStreaming实时计算程序分析，将结果写入Redis，可以实时获取用户的行为
EricJeff_·2020-08-26 09:01

Kafka+Spark Streaming+Redis实时系统实践

基于Spark通用计算平台，可以很好地扩展各种计算类型的应用，尤其是Spark提供了内建的计算库支持，像SparkStreaming、SparkSQL、MLlib、GraphX，这些内建库都提供了高级抽象，可以用非常简洁的代码实现复杂的计算逻辑、这也得益于Scala编程语言的简洁性。这里，我们基于1.3.0版本的Spark搭建了计算平台，实现基于SparkStreaming的实时计算。我们的应用场
ljtyxl·2020-08-26 09:29

Kafka+Spark Streaming+Redis实时系统实践

基于Spark通用计算平台，可以很好地扩展各种计算类型的应用，尤其是Spark提供了内建的计算库支持，像SparkStreaming、SparkSQL、MLlib、GraphX，这些内建库都提供了高级抽象，可以用非常简洁的代码实现复杂的计算逻辑、这也得益于Scala编程语言的简洁性。这里，我们基于1.3.0版本的Spark搭建了计算平台，实现基于SparkStreaming的实时计算。我们的应用场
javastart·2020-08-26 09:56

Kafka+Spark Streaming+Redis实时计算整合实践

转自：http://shiyanjun.cn/archives/1097.html简单之美简单之美，难得简单，享受简单的唯美。MainmenuSkiptocontent首页编程语言算法开源技术数据库服务器数据挖掘关于搜索：Kafka+SparkStreaming+Redis实时计算整合实践2015-04-2821:11:35Yanjun基于Spark通用计算平台，可以很好地扩展各种计算类型的应用，
ASIA_kobe·2020-08-26 09:17

demo2 Kafka+Spark Streaming+Redis实时计算整合实践 foreachRDD输出到redis

基于Spark通用计算平台，可以很好地扩展各种计算类型的应用，尤其是Spark提供了内建的计算库支持，像SparkStreaming、SparkSQL、MLlib、GraphX，这些内建库都提供了高级抽象，可以用非常简洁的代码实现复杂的计算逻辑、这也得益于Scala编程语言的简洁性。这里，我们基于1.3.0版本的Spark搭建了计算平台，实现基于SparkStreaming的实时计算。我们的应用场
weixin_34416754·2020-08-26 09:16

Kafka+Spark Streaming+Redis Spark streaming实时读取kafka中数据完成wordcount并写入redis中

集群或虚拟机提前安装好spark、kafka和rediswindows环境安装好scala用idea创建maven工程spark版本2.2.0pom文件内容如下：4.0.0sparksparklearning1.0-SNAPSHOT1.71.7UTF-82.11.72.2.02.6.0-->org.apache.sparkspark-core_2.11${spark.version}provide
卡卡ni很帅·2020-08-26 09:45

Kafka+Spark Streaming+Redis小项目_自己实践成功

自己实践成功后的代码放在以下百度网盘账号下：链接：https://pan.baidu.com/share/init?surl=WD1Kjfw5GOpdmQIk3KnyaA提取码：4g8c这个项目主题思路是：手机客户端会收集用户的行为事件（我们以点击事件为例），将数据发送到数据服务器，我们假设这里直接进入到Kafka消息队列后端的实时服务会从Kafka消费数据，将数据读出来并进行实时分析，这里选择S
FOCUS_ON_AI·2020-08-26 09:13

Kafka+Spark Streaming管理offset的几种方法

来源:大数据技术与架构作者:王知无大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！By大数据技术与架构场景描述：Kafka配合SparkStreaming是大数据领域常见的黄金搭档之一，主要是用于数据实时入库或分析。为了应对可能出现的引起Streaming程序崩溃的异常情况，我们一般都需要手动管理好Kafka的offset，而不是让它自动提交，即需要将e
大数据技术与架构·2020-08-18 12:34

Kafka+Spark Streaming管理offset

场景描述：Kafka配合SparkStreaming是大数据领域常见的黄金搭档之一，主要是用于数据实时入库或分析。为了应对可能出现的引起Streaming程序崩溃的异常情况，我们一般都需要手动管理好Kafka的offset，而不是让它自动提交，即需要将enable.auto.commit设为false。只有管理好offset，才能使整个流式系统最大限度地接近exactlyonce语义。Kafka+
Nice_N·2020-07-30 16:03

kafka+spark streaming代码实例(pyspark+python)

一、系统准备1.启动zookeeper：bin/zkServer.cmdstart2.启动kafka：bin/kafka-server-start.sh-daemonconfig/server.properties3.启动spark：sbin/start-all.sh数据来源：http://files.grouplens.org/datasets/movielens/ml-100k.zip流程：k
lxb1022·2020-07-30 15:58

Linux搭建Kafka+Spark实时处理系统

服务器要求：jdk-8u121-linux-x64.tar.gz、kafka_2.12-0.10.2.1.tgz、spark-1.3.1-bin-hadoop2-without-hive.tgz1、生产者—SpringMVC+Kafka1.1、准备工作所需资源：kafka_2.10-0.8.2.2.jar、kafka-clients-0.10.0.0.jar，把这两个jar包导入到项目中1.2、配
高寒竹林·2020-07-16 02:30

kafka+spark streaming+hbase 倒排索引 实现实时流搜索引擎

集群说明集群ip集群配置172.17.11.63（master）Hadoop-2.7.6(Namenode)spark-2.4.0Hbase-1.2.4Kafka_2.11-2.1.0Zookeeper-3.4.10172.17.11.37Hadoop-2.7.6(Datanode)spark-2.4.0Hbase-1.2.4Kafka_2.11-2.1.0Zookeeper-3.4.10172.
wu_8·2020-07-12 16:45

Kafka+Spark Streaming管理offset的两种方法

Kafka配合SparkStreaming是大数据领域常见的黄金搭档之一，主要是用于数据实时入库或分析。为了应对可能出现的引起Streaming程序崩溃的异常情况，我们一般都需要手动管理好Kafka的offset，而不是让它自动提交，即需要将enable.auto.commit设为false。只有管理好offset，才能使整个流式系统最大限度地接近exactlyonce语义。管理offset的流程
LittleMagic·2020-07-12 10:00

Kafka+Spark Streaming如何保证exactly once语义

在Kafka、Storm、Flink、SparkStreaming等分布式流处理系统中（没错，Kafka本质上是流处理系统，不是单纯的“消息队列”），存在三种消息传递语义（messagedeliverysemantics），分别是：atleastonce：每条消息会被收到1次或多次。例如发送方S在超时时间内没有收到接收方R的通知（如ack），或者收到了R的报错，就会不断重发消息直至R传回ack。a
LX旭日东升·2020-07-02 17:17

[flow]Kafka+Spark Streaming+Redis实时计算整合

Spark实战,第2部分:使用Kafka和SparkStreaming构建实时数据处理系统https://www.ibm.com/developerworks/cn/opensource/os-cn-spark-practice2/关于SparkSteamingSparkStreaming模块是对于SparkCore的一个扩展，目的是为了以高吞吐量，并且容错的方式处理持续性的数据流。目前Spark
葡萄喃喃呓语·2020-06-23 14:48

Kafka+Spark streaming读取数据存hdfs

Sparkstreaming+Kafka读取数据存hdfs一、环境准备：spark2.3.0下载kafka1.1.0下载二、Kafka代码1、maven依赖的包以及编译环境（pom.xml）org.apache.kafkakafka_2.121.1.0org.apache.kafkakafka-clients1.1.0org.scala-toolsmaven-scala-plugin2.15.2c
chak_16·2018-07-05 08:24

kafka+spark streaming代码实例(pyspark+python)

一、系统准备1.启动zookeeper：bin/zkServer.cmdstart2.启动kafka：bin/kafka-server-start.sh-daemonconfig/server.properties3.启动spark：sbin/start-all.sh数据来源：http://files.grouplens.org/datasets/movielens/ml-100k.zip流程：k
chenyulancn·2018-03-02 10:31

==[实战]分析手机用户行为～Kafka+Spark Streaming+Redis实时计算整合实践

简单之美|Kafka+SparkStreaming+Redis实时计算整合实践http://shiyanjun.cn/archives/1097.html//我们的应用场景是分析用户使用手机App的行为，描述如下所示：手机客户端会收集用户的行为事件（我们以点击事件为例），将数据发送到数据服务器，我们假设这里直接进入到Kafka消息队列后端的实时服务会【从Kafka消费数据】，将数据读出来并进行【实
葡萄喃喃呓语·2017-12-04 06:34

zookeeper+kafka安装以及kafka+spark streaming 的简单整合

一.zookeeper的安装下载zookeeperhttp://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.6/下载3.4.6版本安装配置（前面安装过hadoop以及spark，安装在原来的位置）将zookeeper-3.4.6解压到/home/wh/目录下，并改名为zookeepertar-zxvfzookeeper-3.4.6.tar.gz
svmachine·2016-06-13 21:06

Kafka+Spark Streaming+Redis实时计算整合实践

基于Spark通用计算平台，可以很好地扩展各种计算类型的应用，尤其是Spark提供了内建的计算库支持，像SparkStreaming、SparkSQL、MLlib、GraphX，这些内建库都提供了高级抽象，可以用非常简洁的代码实现复杂的计算逻辑、这也得益于Scala编程语言的简洁性。这里，我们基于1.3.0版本的Spark搭建了计算平台，实现基于SparkStreaming的实时计算。我们的应用场
·2016-04-26 16:00

Kafka+Spark Streaming+Redis实时系统实践

基于Spark通用计算平台，可以很好地扩展各种计算类型的应用，尤其是Spark提供了内建的计算库支持，像SparkStreaming、SparkSQL、MLlib、GraphX，这些内建库都提供了高级抽象，可以用非常简洁的代码实现复杂的计算逻辑、这也得益于Scala编程语言的简洁性。这里，我们基于1.3.0版本的Spark搭建了计算平台，实现基于SparkStreaming的实时计算。我们的应用场
LW_GHY·2016-03-18 21:00

Kafka+Spark Streaming+Redis实时计算整合实践

基于Spark通用计算平台，可以很好地扩展各种计算类型的应用，尤其是Spark提供了内建的计算库支持，像SparkStreaming、SparkSQL、MLlib、GraphX，这些内建库都提供了高级抽象，可以用非常简洁的代码实现复杂的计算逻辑、这也得益于Scala编程语言的简洁性。这里，我们基于1.3.0版本的Spark搭建了计算平台，实现基于SparkStreaming的实时计算。我们的应用场
openthings·2016-03-11 16:00

kafka+spark streaming+redis学习

针对这段时间所学的做了一个简单的综合应用，应用的场景为统计一段时间内各个小区的网络信号覆盖率，计算公式如下所示： 分子：信号强度大于35的采样点个数分母：信号强度为非空的所有采样点个数网络覆盖率=分子/分母 原始数据为xml格式，记录各小区在各时刻的采样点，采样时间精确到ms，我们需要做的是计算单个小区以小时为间隔的信号覆盖率。通过简单的java代码解析xml文件，并将解析后的数据通过kafka生
小雄bb·2016-01-19 21:00

Kafka+Spark Streaming+Redis实时计算整合实践

转自：http://shiyanjun.cn/archives/1097.html简单之美简单之美，难得简单，享受简单的唯美。MainmenuSkiptocontent首页编程语言算法开源技术数据库服务器数据挖掘关于搜索：Kafka+SparkStreaming+Redis实时计算整合实践2015-04-2821:11:35  Yanjun基于Spark通用计算平台，可以很好地扩展各种计算类型的应
ASIA_kobe·2015-11-12 17:00

Kafka+Spark Streaming+Redis实时系统实践

Kafka+SparkStreaming+Redis实时系统实践 http://www.iteblog.com/archives/1378炼数成金-Spark大数据平台视频百度网盘免费下载http://www.iteblog.com/archives/1295
nysyxxg·2015-06-08 10:00

Kafka+Spark Streaming+Redis实时系统实践

Kafka+SparkStreaming+Redis实时系统实践作者:过往记忆 | 新浪微博：左手牵右手TEL |  可以转载,但必须以超链接形式标明文章原始出处和作者信息及版权声明 推酷网禁止转载本博客文章博客地址：http://www.iteblog.com/文章标题：《Kafka+SparkStreaming+Redis实时系统实践》本文链接：http://www.iteblog.com/a
nysyxxg·2015-06-08 10:00

Kafka+Spark Streaming+Redis实时计算整合实践

基于Spark通用计算平台，可以很好地扩展各种计算类型的应用，尤其是Spark提供了内建的计算库支持，像SparkStreaming、SparkSQL、MLlib、GraphX，这些内建库都提供了高级抽象，可以用非常简洁的代码实现复杂的计算逻辑、这也得益于Scala编程语言的简洁性。这里，我们基于1.3.0版本的Spark搭建了计算平台，实现基于SparkStreaming的实时计算。我们的应用场
Yanjun·2015-04-28 13:00
上一页 1 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他