spark-kafka

spark streaming流式处理kafka中的数据（java）

先是maven需要依赖的spark-kafka包：org.apache.sparkspark-streaming-kafka-0-1
彬正L·2023-09-02 11:16

spark-kafka 开发环境搭建

开发环境Ubuntupycharmspark-kafka环境搭建使用pip下载最新的pyspark，不能直接链接kafka，需下载额外的jar包，我遇到了好多坑。zkpython安装使用公司的网络，和校园网的概念是一样的，所以dns有问题，在网上看到在自家的wifi的环境下是可以的，所以回到家里面，终于有了网，但是下载zkpython的时候，说缺少zookeeper.h这个文件，在网上查半天，最后
bluedraam_pp·2020-07-15 20:44

spark streaming流式处理kafka中的数据（java）

先是maven需要依赖的spark-kafka包：org.apache.sparkspark-streaming-kafka-0-1
redstarofsleep·2020-06-26 05:15

Introducing Spark-Kafka integration for realtime Kafka SQL queries

ApacheKafkahasbeenalltherageforthekeyjoinofthedatapipeline.Butinmostcases,weonlytreatKafkaasastreamsourceoramessagequeue.ThismeansifyouwannadosomeAdHocquery,youneedtosyncthedatatoHDFSorotherstoragefir
祝威廉·2019-11-04 03:20

Spark-Kafka kafka.common.OffsetOutOfRangeException

问题描述国庆前启动sparkstreaming任务去消费了kafka，后来由于其他原因停止了，放假回来后，重启spark任务后，报kafka.common.OffsetOutOfRangeException，期初我以为是ZK重启造成的就换了个group.id正常了，今天看到一篇文章才知道真实的原因kafka会定时清理日志当我们的任务开始的时候，如果之前消费过某个topic，那么这个topic会在z
FunySunny·2018-04-13 08:08
上一页 1 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他