sparkstream

分布式流数据处理漫谈

不过提到流处理，大家一般都能说出一些主流技术Storm／SparkStream／KafaStream／Flink…在分布式流式处理中，我们关注的是哪些方面呢？
define_us·2020-07-09 15:45

Spark-Streaming编程指南

SparkStream
stevekangpei·2020-07-08 06:21

Spark超简单入门

目前，Spark生态系统已经发展成为一个包含多个子项目的集合，其中包含SparkSQL、SparkStream
喜讯XiCent·2020-07-08 02:50

Spark Stream集成Flume实现词频统计（Pull方式）

使用Pull方式的优点SparkStream集成Flume有两种方式：Push-basedApproachPull-basedApproach那么我们在生产中该选择哪种方式呢？
senga07·2020-07-02 00:16

SparkStream整合Flume和Kafka

版本说明apache-flume-1.6.0-cdh5.15.1-binkafka_2.11-0.9.0.0scala-2.11.12apache-maven-3.3.9spark-2.4.4-bin-2.6.0-cdh5.15.1zookeeper-3.4.5-cdh5.15.1处理流程模拟日志生成packagecom.hlsijx.spark;importorg.apache.log4j.Lo
senga07·2020-07-02 00:16

30.kafka数据同步Elasticsearch深入详解(ES与Kafka同步)

目前已知常用的方式有四种：1）logstash_input_kafka插件；缺点：不稳定（ES中文社区讨论）2）sparkstream同步；缺点：太庞大3）kafkaconnector同步；4）自写程序读取
zkf541076398·2020-06-30 18:03

Spark之sparkStream实时监控端口读取数据存入到HDFS

sparkStream实际上就是为实时操作生成的数据提供服务的。
young_so_nice·2020-06-30 09:45

kafka数据同步Elasticsearch深入详解

目前已知常用的方式有四种：1）logstash_input_kafka插件；缺点：不稳定（ES中文社区讨论）2）sparkstream同步；缺点：太庞大3）kafkaconnector同步；4）自写程序读取
铭毅天下·2020-06-29 20:20

linux反弹shell命令解析

今天在看sparkstream的sample样例的时候看到linux的万金油命令nc。
weixin_34381687·2020-06-28 18:32

SparkStreaming整合Flume的两种方式

Flume整合SparkStream两种方式官网http://spark.apache.org/docs/latest/streaming-flume-integration.htmlApacheFlume
dc.li8·2020-06-25 10:30

SparkStream：4)foreachRDD详解

foreachRDD通常用来把SparkStream运行得到的结果保存到外部系统比如HDFS、Mysql、Redis等等。
PJ-Javis·2020-06-23 21:08

通过案例对SparkStreaming透彻理解三板斧之一

就好比你拿到一个开源源代码，即使你编译引用库，那么你后期的维护和后期的扩展都会受到极大的限制，如果你自己依据于Spark的源码进行改造，那么自己后期的维护和扩展都是依赖于自己的设计来适合公司的业务逻辑，从而方便维护和可扩展SparkStream
cary_1991·2020-06-22 20:15

干货 | Spark Streaming 和 Flink 详细对比

，原文https://mp.weixin.qq.com/s/jllAegJMYh_by95FhHt0jA本文从编程模型、任务调度、时间机制、Kafka动态分区的感知、容错及处理语义、背压等几个方面对比SparkStream
Hadoop技术博文·2020-06-22 16:38

Flink state,checkpoint详解

目录目录背景（1）介绍，实现方式分类（2）使用ManageState，Flink自动实现state保存和恢复（3）自定义state自行实现实现checkpoint接口借鉴文章背景Flink相对于Storm和SparkStream
aa1215018028·2020-06-22 11:53

大数据学习之路 --- Spark（内存计算框架）

--->Spark中有很多内容，本篇文章只讲其中的Sparkcore，Sparksql，Sparkstream。
Mai_Noe·2020-06-22 01:47

Flink 异常处理-State和Checkpoint实践

CheckPointing（1）介绍，实现方式分类（2）使用ManageState，Flink自动实现state保存和恢复（3）自定义state自行实现实现checkpoint接口借鉴文章背景Flink相对于Storm和SparkStream
beTree_fc·2020-06-21 09:22

jstorm和spark-streaming的区别

SparkStream
男人三饼·2020-01-04 11:54

Spark

Sparkcore一、spark是一个分布式同通用计算框架，可用于离线大数据处理、实时流计算、交互式计算、图计算等，集成了SparkSQL、SparkStream、MLLib等库，提供了丰富的API。
_duangduang·2019-12-17 00:11

kafka stream学习笔记（一）

流式计算是目前大数据领域很火的一种术语，stream的技术有很多，很早的storm，然后是sparkstream、flink，以及我将要学习了解的kafkastream。其实我对
247609107a39·2019-12-13 22:33

SparkStream整合hbase

本文将SparkStream和Hbase整合，我将使用Socket流发送数据到SparkStream进行处理，并将处理结果写入Hbase代码实现pom.xml中增加hbase的依赖org.apache.hbasehbase-client2.1.1org.apache.hbasehbase-server2.1.1org.apache.hbasehbase2.1.1pomHbaseUtil
zh_gws·2019-10-24 10:23

SparkStream+kafka报错Fetching topic metadata with correlation id 0 for topics from broker

19/10/2217:35:44WARNClientUtils$:Fetchingtopicmetadatawithcorrelationid0fortopics[Set(zhaogw)]frombroker[id:0,host:dblab-VirtualBox,port:9092]failedjava.nio.channels.ClosedChannelExceptionatkafka.netw
zh_gws·2019-10-22 17:40

spark笔记之DStream操作实战

yuminstall-ync（2）通过netcat工具向指定的端口发送数据nc-lk9999（3）编写SparkStream
qq5d3e5bae55f08·2019-08-19 15:37

Spark理解了这些就算入门

1，Spark基本概念：https://blog.csdn.net/liuxiangke0210/article/details/796872402，Sparksql和Sparkstream进一步理解：
SimpleEasy·2019-06-22 19:56

SparkStream实时分析统计展示共享单车使用人数

实验结果展示数据集hour.csvinstant,dteday,season,yr,mnth,hr,holiday,weekday,workingday,weathersit,temp,atemp,hum,windspeed,casual,registered,cnt1,2011-01-01,1,0,1,0,0,6,0,1,0.24,0.2879,0.81,0,3,13,16此数据集包含的是从20
宁缺100·2019-05-17 19:20

Spark Streaming 整合Flume 和Kafka

完整项目代码：https://github.com/GYT0313/Spark-Learning/tree/master/sparkstream1.日志产生器首先你应该创建一个Maven项目，参考：https
GYT0313·2019-05-14 10:52

SparkStream 流式计算

虚拟机中操作cd/opt/software/rpmnc-lk9999这里9999指对应的端口号defmain(args:Array[String]):Unit={valconf=newSparkConf().setAppName("my").setMaster("local[2]")//ssc微批框架每隔1秒中取一次数据核心对象valssc=newStreamingContext(conf,Sec
LMY____梦阳� � �·2019-03-29 08:35

SparkStream 性能调优思路以及原理图

一、确保HA高可用性：HighAvailability如果有些数据丢失，或者节点挂掉；那么不能让你的实时计算程序挂了；必须做一些数据上的冗余副本，保证你的实时计算程序可以7*24小时的运转。通过一整套方案（3个步骤），开启和实现实时计算程序的HA高可用性，保证一些关键数据都有其冗余副本，不至于因为节点挂掉或者其他原因导致数据丢失。1、updateStateByKey、window等有状态的操作，自
不急吃口药·2019-01-23 16:12

keepalived高可用

LinuxClusterLB:lvs,nginxHA：keepalived,heartbeat,corosync,cmanHP：分布式存储：HDFS分布式计算：YARN,batch:MapReducein-memory:sparkstream
王占兴·2019-01-15 17:04

spark stream的有状态串联

sparkstream的有状态串联，可用函数：updateStateByKey但是如果状态值非常巨大，可以串联起来吗？？？
蓝天_3e88·2018-12-22 22:14

zookeeper是如何进行维护offset

消费kafka有两种方式，分别是Receiver方式和Direct方式，Receiver可以自己去维护偏移量offset，Direct方式是Executer直接对接kafka进行消费数据，即用即读即丢，sparkStream
来一块提拉米苏·2018-12-22 20:02

Nginx整合Kafka的方法示例

比如通过SparkStream来实时的消费Kafka中的数据来分析用户PV,UV、用户的一些行为及页面
兴趣e族·2018-10-24 14:12

Nginx整合Kafka

比如通过SparkStream来实时的消费Kafka中的数据来分析用户PV,UV、用户的一些行为及页面
兴趣e族·2018-10-23 17:11

SparkStreaming源码分析起始篇

接下来的文章我们通过分析SparkStream
小狼星I·2018-10-21 11:12

Esper 7.x集成SparkStream 2.x

1.mavenAllTestcom.lcc1.0-SNAPSHOT4.0.0esper_testcom.espertechesper7.0.0org.apache.sparkspark-core_2.112.2.0org.apache.sparkspark-sql_2.112.2.0org.apache.sparkspark-streaming_2.112.2.0org.apache.sparks
九师兄-梁川川·2018-10-04 17:58

Spark Stream、Kafka Stream、Storm和Flink对比，以及阿里巴巴基于Flink打造的Blink解决的问题

一、SparkStream、KafkaStream、Storm等存在的问题在设计一个低延迟、exactlyonce、流和批统一的，能够支撑足够大体量的复杂计算的引擎时，SparkStream等的劣势就显现出来
Johnson8702·2018-08-30 14:16

1 Storm简介

尝试了sparkstream，实时性没有storm高。所以就选择了storm。其他分析还是用的spark。
lijiaccy·2018-08-07 22:35

大数据篇：flume+kafka+spark stream+hbase做日志收集

前言flume+kafka+sparkstream是目前比较常用的一套大数据消息日志收集管理框架，至于最后是入到Hive或者者Hbase需看不同业务场景，下面以HBase为场景简述下整个配置与搭建流程以及这些框架如此搭配的优点
杨铖·2018-06-30 11:52

CDH5.7.1上Kafka+SparkStream+Hive的实战

目前的项目中需要将kafka队列的数据实时存到hive表中。应为之前工作中用到的是CDH5.11,而且spark等用的基本是最新版(2.2)，语言也一直是Scala，所以这次要求Java语言以及低版本的spark，在写程序的时候还是遇到了一些头疼的事情。环境：Centos6.5Spark1.6.0Kafka0.9.xHive1.1.0Zookeeper3.4.5都是基于CDH5.7.1的阅读本文，
我就想看看我的名字到底能有多长_啊真长呀·2018-05-27 14:01

Spark技术栈学习

很快运行），高效DAG执行引擎，Spark比MapReduce快100倍，拥有Java，Scale，Python等API，且支持多种平台（Hadoop,Cloud,Mesos等），能够在一个应用中支持SparkStream
MrGeroge·2017-12-05 19:46

keepalived+LVS；keepalived+nginx

lvs,nginxHA:keepalived,heartbeat,corosync,cmanHP:高性能集群分布式存储：HDFS分布式计算：YARN,batch:MapReducein-memory:sparkstream
阿伦艾弗森·2017-10-25 22:13

spark操作mysql数据库

本人对spark包括sparkstream，sparksql，sparkMLlib都有一些了解，自己也写过一些demo，但是由于没有很详细地去查看官网的API文档，导致编程想法固定无法变通。
bagaking007·2017-08-03 09:14

Spark streaming vs JStorm

SparkStream
里冲·2017-02-26 11:59

Spark streaming vs JStorm

SparkStream
里冲·2017-02-26 11:59

SparkStreaming可视化之Wisp

-----------------------------------目录---------------------------------------1、Wisp基础2、Highchart函数3、SparkStream
legotime·2016-07-25 17:38

第12课：Spark Streaming源码解读之Executor容错安全性

SparkStreaming是基于SparkCore之上的，如果能够确保数据安全可好的话，在SparkStreaming生成Job的时候里面是基于RDD，即使运行的时候出现问题，那么SparkStream
zhou_yuefei·2016-05-28 23:00

第12课：Spark Streaming源码解读之Executor容错安全性

SparkStreaming是基于SparkCore之上的，如果能够确保数据安全可好的话，在SparkStreaming生成Job的时候里面是基于RDD，即使运行的时候出现问题，那么SparkStream
zhou_yuefei·2016-05-28 23:00

用实例讲解Spark Sreaming

SparkStream
nysyxxg·2016-05-13 15:00

Spark学习八：spark streaming与flume和kafka集成

集成一Kafka二flume和kafka的集成三kafka和sparkstreaming的集成方式一kafka推送四kafka和sparkstreaming的集成方式一sparkstreaam主动获取五sparkstream
youfashion·2016-05-09 00:00

通过案例对SparkStreaming透彻理解三板斧之一

就好比你拿到一个开源源代码，即使你编译引用库，那么你后期的维护和后期的扩展都会受到极大的限制，如果你自己依据于Spark的源码进行改造，那么自己后期的维护和扩展都是依赖于自己的设计来适合公司的业务逻辑，从而方便维护和可扩展SparkStream
cary_1991·2016-05-04 21:00

Storm 实时云计算 学习使用 包括基本api 以及 高层次api trident 的基本使用

这里补充一下Spark与Storm的区别，1.Storm可以实现1s以下的实时查询,Spark却做不到，Storm更加自由风格计算是在bolt节点上，Spark是在链上，Sparkstream与storm
zhuyuping·2016-04-06 00:00
上一页 1 2 3 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他