spark编程模型

NetBIOS

作者：sparkdev出处：http://www.cnblogs.com/sparkdev/利用NetBIOS名称与其他计算机通信网络中的计算机之间必须知道IP地址后才能相互通信。
明月清风~~·2023-12-16 03:44

基于spark的音乐数据分析系统的设计与实现

收藏关注不迷路文章目录前言一、项目介绍二、开发环境三、功能介绍四、核心代码五、效果图六、文章目录前言本文主要对音乐数据，进行分析，系统技术主要使用，1.对原始数据集进行预处理；3.使用python语言编写Spark
QQ2743785109·2023-12-16 01:05

年度评选揭晓：Apache SeaTunnel荣获年度优秀开源技术团队殊荣

ApacheSeaTunnel，作为一个高性能、易用的海量数据集成平台，其在ApacheSpark和ApacheFl
SeaTunnel·2023-12-16 00:34

记录hive/spark取最新且不为null的方法

听标题可能听不懂我想表达的意思，我来描述一下我要做的事：比如采集同学对某一网站进行数据采集，同一个用户每天会有很多条记录，所以我们要取一条这个用户最新的状态，比如用户改了N次昵称，我们只想得到最后一次修改的结果，但是用窗口函数row_number按时间排序的话，可能最后一条某些字段没采集到，但是之前是有采集到的，所以应该在按时间倒序排的基础上，遇到null值，再往前取，直到所有字段尽可能取到最新的
wxl_winston·2023-12-16 00:26

Spark+Kafka构建实时分析Dashboard案例

目录一、环境准备Ubuntu安装Hadoop安装Spark安装Kafka安装Python安装Python依赖库安装vscode安装Python工程目录结构二、数据处理和Python操作Kafka数据集数据预处理运行三
Hay Ha!·2023-12-15 22:40

Spark Streaming对接Kafka

4、SparkStreaming对接Kafka4.1对接数据的两种方式在前面的案例中，我们监听了来自网络端口的数据，实现了WordCount，但是在实际开发中并不是这样。
Echo-Niu·2023-12-15 22:09

Spark Streaming整合Kafka实战二

SparkStreaming整合Kafka实战二SparkStreaming整合kafka的第二种方式1.DirectApproach(NoReceivers)优点：缺点：2.偏移量解决方案自动提交偏移量
怒上王者·2023-12-15 22:38

sparkStreaming与kafka整合案例

pom文件4.0.0com.cllday011.0-SNAPSHOTaliyunhttp://maven.aliyun.com/nexus/content/groups/public/clouderahttps://repository.cloudera.com/artifactory/cloudera-repos/jbosshttp://repository.jboss.com/nexus/co
古城的风cll·2023-12-15 22:08

Kafka（十六）连接Spark Streaming的两种方式

可以简化并行读取：spark会创建跟kafkapartition一样多的RDDpartition，并且会并行从k
高个子男孩·2023-12-15 22:05

sparkStreaming+kafka简单例子

flume采集（安装flume，这块就不多做赘述了,安装也只是测试，没用，提供一个下载链接）首先自定义source[sink->kafka->sparkstreaming]#启动kafka服务后台永久启动
小曹男孩·2023-12-15 22:03

SparkStreaming与Kafka整合及相关案例

目录1、SparkStreaming与Kafka-0-8整合1.1、Receiver-basedApproach（不推荐使用）1.2、DirectApproach(NoReceivers)1.3、SparkStreaming
fengge18306·2023-12-15 22:58

Spark-Streaming+Kafka+mysql实战示例

文章目录前言一、简介1.Spark-Streaming简介2.Kafka简介二、实战演练1.MySQL数据库部分2.导入依赖3.编写实体类代码4.编写kafka主题管理代码5.编写kafka生产者代码6
大数据魔法师·2023-12-15 22:25

【东软实训Day2——2023.09.05】用Java实现客户端与服务器交互

一、客户端-服务器编程模型1个应用=1个服务器进程+1…N个客户端进程，其中服务器管理资源，并通过操作这种资源为客户端服务。
SevenYoung777·2023-12-15 22:49

【flink番外篇】4、flink的sink（内置、mysql、kafka、redis、clickhouse、分布式缓存、广播变量）介绍及示例（3） - redis

2、Flink基础系列本部分介绍Flink的基础部分，比如术语、架构、编程模型、编程指南、基本的datastreamapi用法、四大基石等内容。
一瓢一瓢的饮 alanchan·2023-12-15 21:52

【flink番外篇】4、flink的sink（内置、mysql、kafka、redis、clickhouse、分布式缓存、广播变量）介绍及示例（2） - jdbc/mysql

2、Flink基础系列本部分介绍Flink的基础部分，比如术语、架构、编程模型、编程指南、基本的datastreamapi用法、四大基石等内容。
一瓢一瓢的饮 alanchan·2023-12-15 21:22

【flink番外篇】4、flink的sink（内置、mysql、kafka、redis、clickhouse、分布式缓存、广播变量）介绍及示例（1） - File、Socket、console

2、Flink基础系列本部分介绍Flink的基础部分，比如术语、架构、编程模型、编程指南、基本的datastreamapi用法、四大基石等内容。
一瓢一瓢的饮 alanchan·2023-12-15 21:21

【flink番外篇】3、flink的source（内置、mysql、kafka、redis、clickhouse）介绍及示例 - 完整版

2、Flink基础系列本部分介绍Flink的基础部分，比如术语、架构、编程模型、编程指南、基本的datastreamapi用法、四大基石等内容。
一瓢一瓢的饮 alanchan·2023-12-15 21:21

【flink番外篇】3、flink的source（内置、mysql、kafka、redis、clickhouse）介绍及示例（5）- clickhouse

2、Flink基础系列本部分介绍Flink的基础部分，比如术语、架构、编程模型、编程指南、基本的datastreamapi用法、四大基石等内容。
一瓢一瓢的饮 alanchan·2023-12-15 21:51

【flink番外篇】3、fflink的source（内置、mysql、kafka、redis、clickhouse）介绍及示例（2）- 自定义、mysql

2、Flink基础系列本部分介绍Flink的基础部分，比如术语、架构、编程模型、编程指南、基本的datastreamapi用法、四大基石等内容。
一瓢一瓢的饮 alanchan·2023-12-15 21:50

【flink番外篇】3、flink的source（内置、mysql、kafka、redis、clickhouse）介绍及示例（3）- kafka

2、Flink基础系列本部分介绍Flink的基础部分，比如术语、架构、编程模型、编程指南、基本的datastreamapi用法、四大基石等内容。
一瓢一瓢的饮 alanchan·2023-12-15 21:50

【flink番外篇】3、fflink的source（内置、mysql、kafka、redis、clickhouse）介绍及示例（1） - File、Socket、Collection

2、Flink基础系列本部分介绍Flink的基础部分，比如术语、架构、编程模型、编程指南、基本的datastreamapi用法、四大基石等内容。
一瓢一瓢的饮 alanchan·2023-12-15 21:19

【flink番外篇】3、flink的source（内置、mysql、kafka、redis、clickhouse）介绍及示例（4）- redis -异步读取

2、Flink基础系列本部分介绍Flink的基础部分，比如术语、架构、编程模型、编程指南、基本的datastreamapi用法、四大基石等内容。
一瓢一瓢的饮 alanchan·2023-12-15 21:19

【flink番外篇】2、flink的23种算子window join 和interval join 数据倾斜、分区介绍及详细示例（1）- window join

2、Flink基础系列本部分介绍Flink的基础部分，比如术语、架构、编程模型、编程指南、基本的datastreamapi用法、四大基石等内容。
一瓢一瓢的饮 alanchan·2023-12-15 21:18

【flink番外篇】2、flink的23种算子window join 和interval join 数据倾斜、分区介绍及详细示例（3）- 数据倾斜处理、分区示例

2、Flink基础系列本部分介绍Flink的基础部分，比如术语、架构、编程模型、编程指南、基本的datastreamapi用法、四大基石等内容。
一瓢一瓢的饮 alanchan·2023-12-15 21:18

【flink番外篇】2、flink的23种算子window join 和interval join 数据倾斜、分区介绍及详细示例（2）- interval join

2、Flink基础系列本部分介绍Flink的基础部分，比如术语、架构、编程模型、编程指南、基本的datastreamapi用法、四大基石等内容。
一瓢一瓢的饮 alanchan·2023-12-15 21:17

【flink番外篇】2、flink的23种算子window join 和interval join 数据倾斜、分区介绍及详细示例-完整版

2、Flink基础系列本部分介绍Flink的基础部分，比如术语、架构、编程模型、编程指南、基本的datastreamapi用法、四大基石等内容。
一瓢一瓢的饮 alanchan·2023-12-15 21:47

45、Flink 的指标体系介绍及验证（2）-指标的scope、报告、系统指标以及追踪、api集成示例和dashboard集成

2、Flink基础系列本部分介绍Flink的基础部分，比如术语、架构、编程模型、编程指南、基本的datastreamapi用法、四大基石等内容。
一瓢一瓢的饮 alanchan·2023-12-15 21:46

48、Flink DataStream API 编程指南（3）- 完整版

2、Flink基础系列本部分介绍Flink的基础部分，比如术语、架构、编程模型、编程指南、基本的datastreamapi用法、四大基石等内容。
一瓢一瓢的饮 alanchan·2023-12-15 21:46

47、Flink 的指标报告介绍（graphite、influxdb、prometheus、statsd和datalog）及示例（jmx和slf4j示例）

2、Flink基础系列本部分介绍Flink的基础部分，比如术语、架构、编程模型、编程指南、基本的datastreamapi用法、四大基石等内容。
一瓢一瓢的饮 alanchan·2023-12-15 21:15

【flink番外篇】1、flink的23种常用算子介绍及详细示例（4）- union、window join、connect、outputtag、cache、iterator、project

2、Flink基础系列本部分介绍Flink的基础部分，比如术语、架构、编程模型、编程指南、基本的datastreamapi用法、四大基石等内容。
一瓢一瓢的饮 alanchan·2023-12-15 21:15

12、Flink source和sink 的 clickhouse 详细示例

2、Flink基础系列本部分介绍Flink的基础部分，比如术语、架构、编程模型、编程指南、基本的datastreamapi用法、四大基石等内容。
一瓢一瓢的饮 alanchan·2023-12-15 21:15

11、Flink配置flink-conf.yaml详细说明（HA配置、checkpoint、web、安全、zookeeper、historyserver、workers、zoo.cfg）

2、Flink基础系列本部分介绍Flink的基础部分，比如术语、架构、编程模型、编程指南、基本的datastreamapi用法、四大基石等内容。
一瓢一瓢的饮 alanchan·2023-12-15 21:14

2、Flink1.13.5二种部署方式(Standalone、Standalone HA )、四种提交任务方式（前两种及session和per-job）验证详细步骤

2、Flink基础系列本部分介绍Flink的基础部分，比如术语、架构、编程模型、编程指南、基本的datastreamapi用法、四大基石等内容。
一瓢一瓢的饮 alanchan·2023-12-15 21:13

3、flink重要概念（api分层、角色、执行流程、执行图和编程模型）及dataset、datastream详细示例入门和提交任务至on yarn运行

2、Flink基础系列本部分介绍Flink的基础部分，比如术语、架构、编程模型、编程指南、基本的datastreamapi用法、四大基石等内容。
一瓢一瓢的饮 alanchan·2023-12-15 21:13

5、Flink 的 source、transformations、sink的详细示例（一）

2、Flink基础系列本部分介绍Flink的基础部分，比如术语、架构、编程模型、编程指南、基本的datastreamapi用法、四大基石等内容。
一瓢一瓢的饮 alanchan·2023-12-15 21:43

10、Flink的source、transformations、sink的详细示例（二）-source和transformation示例【补充示例】

2、Flink基础系列本部分介绍Flink的基础部分，比如术语、架构、编程模型、编程指南、基本的datastreamapi用法、四大基石等内容。
一瓢一瓢的饮 alanchan·2023-12-15 21:13

大数据学习（一）-------- HDFS

已经有了很多框架方便使用，常用的有hadoop，storm，spark，flink等，辅助框架hive，kafka，es，sqoop，flume等。常见应用推荐系统，用户画像等。
大数据流动·2023-12-15 21:01

Hadoop和Spark的区别

SparkSpark模型是对Mapreduce模型的改进，可以说没有HDFS、Mapreduce就没有Spark。Spark可以使用Yarn作为他的资源管理器，并且可以处理HDFS数据。
旅僧·2023-12-15 20:12

spark java 决策树_决策树与随机森林及其在SparkMllib中的使用

一.概念决策树和随机森林：决策树和随机森林都是非线性有监督的分类模型。决策树是一种树形结构，树内部每个节点表示一个属性上的测试，每个分支代表一个测试输出，每个叶子节点代表一个分类类别。通过训练数据构建决策树，可以对未知数据进行分类。根节点：最顶层的分类条件叶节点：代表每一个类别号中间节点：中间分类条件分支：代表每一个条件的输出随机森林是由多个决策树组成，随机森林中每一棵决策树之间没有关联，在得到一
胡说先森·2023-12-15 19:27

kmeans设置中心_Spark分布式机器学习源码分析：Kmeans族聚类

Spark是一个极为优秀的大数据框架，在大数据批处理上基本无人能敌，流处理上也有一席之地，机器学习则是当前正火热AI人工智能的驱动引擎，在大数据场景下如何发挥AI技术成为优秀的大数据挖掘工程师必备技能。
weixin_39699121·2023-12-15 19:27

Windows平台搭建Spark开发环境（Intellij idea 2020.1社区版+Maven 3.6.3+Scala 2.11.8）

在开始之前，需要说明的是要跑通基本的wordcount程序，是不需要在windows上安装hadoop和spark的，因为idea在跑程序的时候，会按照pom.xml配置文件，从指定的repository
阳泉酒家小当家·2023-12-15 19:56

spark常见面试题

spark面试题1.spark的RDD是什么，有哪些特性RDD（ResilientDistributedDataset）叫做分布式数据集，是spark中最基本的数据抽象，它代表一个不可变，可分区，里面的元素可以并行计算的集合
YY_pdd·2023-12-15 19:24

Spark

Spark一、RDD（1）定义：RDD又称弹性分布式数据集，是Spark中最基本的数据抽象。它代表的是一个不可变的、可分区的、里面的元素可以并行计算的集合。
跟浩哥学大数据·2023-12-15 19:23

Spark 随机森林算法原理、源码分析及案例实战

图1.Spark与其它大数据处理工具的活跃程度比较回页首环境要求操作系统：Linux，本文采用的Ubuntu10.04，大家可以根据自己的喜好使用自己擅长的Linux发行版Java与Scala版本：Scala2.10.4
黑谷子·2023-12-15 19:51

spark学习之旅（2）之之RDD常用方法

RDD（ResilientDistributedDataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。
浩哥的技术博客·2023-12-15 19:51

spark从表中采样（随机选取）一定数量的行

在SparkSQL中，你可以使用TABLESAMPLE来按行数对表进行采样。
不负长风·2023-12-15 19:46

IntelliJ IDEA创建一个spark的项目

在开始之前，需要说明的是要跑通基本的wordcount程序，是不需要在windows上安装hadoop和spark的，因为idea在跑程序的时候，会按照pom.xml配置文件，从指定的repository
刘文钊1·2023-12-15 19:45

【Hadoop】Hadoop简介

允许使用简单的编程模型在计算机集群上行大规模数据集的分布式处理。它设计成可以从单个服务器扩展到数千台机器，每台机器都提供本地计算和存储。用户可以在不了解分布式底层细节的情况下，开发分布
不怕娜·2023-12-15 19:42

spark链接hive时踩的坑

使用spark操作hive，使用metastore连接hive，获取hive的数据库时，当我们在spark中创建数据库的时候，创建成功。
YuPangZa·2023-12-15 18:00

spark 写入 mysql 报错

报错信息如下："C:\ProgramFiles\Java\jdk1.8.0_291\bin\java.exe""-javaagent:D:\Hadoopruanjian\IDEA\IntelliJIDEA2021.3.2\lib\idea_rt.jar=60971:D:\Hadoopruanjian\IDEA\IntelliJIDEA2021.3.2\bin"-Dfile.encoding=UTF
南城守护·2023-12-15 18:17
上一页 36 37 38 39 40 41 42 43 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他