spark编程模型

OpenMP和OpenACC

OpenMPOpenMP是CPU的并行编程模型，它使用编译器指令来识别并行区域。
Shilong Wang·2023-12-16 11:26

spark的键值对的行动操作

先上图frompysparkimportSparkContextif__name__=="__main__":master="local"iflen(sys.argv)==2:master=sys.argv
yanghedada·2023-12-16 10:03

Java-多线程

多线程什么是多线程如果一个进程中同时运行了多个线程,用来完成不同的工作,则称之为"多线程"多个线程交替占用CPU资源,而非真正的并行执行线程多线程的好处充分利用CPU的资源简化编程模型带来良好的用户体验主线程
林诺辞·2023-12-16 10:30

Hbase BulkLoad用法

要导入大量数据，Hbase的BulkLoad是必不可少的，在导入历史数据的时候，我们一般会选择使用BulkLoad方式，我们还可以借助Spark的计算能力将数据快速地导入。
kikiki1·2023-12-16 07:59

AI创作系统ChatGPT网站源码+搭建部署教程文档，AI绘画，支持TSS GPT语音对话功能

一、AI创作系统SparkAi创作系统是基于ChatGPT进行开发的Ai智能问答系统和Midjourney绘画系统，支持OpenAI-GPT全模型+国内AI全模型。
白云如幻·2023-12-16 07:50

最新AI绘画Midjourney绘画提示词Prompt教程

一、Midjourney绘画工具SparkAi【无需魔法使用】：sparkAi创作系统是基于ChatGPT进行开发的Ai智能问答系统和Midjourney绘画系统，支持OpenAI-GPT全模型+国内AI
白云如幻·2023-12-16 07:10

Kafka快速实战与基本原理详解

）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、Storm/Spark
Memory_2020·2023-12-16 06:08

华为大数据开发者教程知识点提纲

一、线下处理1.离线处理方案数据支持：HDFS调度：YARN收入：Flume，sqoop，loader处理：Mapreduce，SparkSql，spark，hive（，Flink）2.HadoopNamenode
qq_1418269732·2023-12-16 06:08

生产环境_使用Scala语言_Spark编写灵活的SQL查询生成器

//判断id是否为空validEmpty=id.isEmpty//判断other是否为空valotherEmpty=other.isEmpty//根据不同情况拼接SQL语句valsql=if(idEmpty){//如果id为空if(otherEmpty){//如果other也为空s"""select*from`$table1`where`$time`between'$startTime'and'$
Matrix70·2023-12-16 05:35

生产环境_Spark处理轨迹中跨越本初子午线的经度列

使用spark处理数据集，解决gis轨迹点在地图上跨本初子午线的问题，这个问题很复杂，先补充一版我写的importorg.apache.spark.
Matrix70·2023-12-16 05:26

【Spark精讲】Spark RDD弹性体现在哪些方面？

什么是“弹性”？一般对于分布式系统，“弹性”指的是可以根据计算规模进行动态伸缩的特性。当计算量增长时，可以动态增加资源来满足计算需求，而当计算量减少时，又可以降低资源配置来节约成本。参考：什么是弹性伸缩ess_弹性伸缩(ESS)-阿里云帮助中心我们在看一下RDD定义：ResilientDistributedDatasets，译为弹性分布式数据集，是一种基于集群内存计算的一种抽象。所以从定义上看，R
话数Science·2023-12-16 05:14

【Spark精讲】Spark与MapReduce对比

目录对比总结MapReduce流程编辑MapTask流程ReduceTask流程MapReduce原理阶段划分MapshufflePartitionCollectorSortSpillMergeReduceshuffleCopyMergeSort对比总结Map端读取文件：都是需要通过split概念来进行逻辑切片，概念相同，底层具体实现和参数略有差异；业务逻辑实现方式：MapReduce引擎是通过用
话数Science·2023-12-16 04:04

Spark编程实验一：Spark和Hadoop的安装使用

一、目的与要求1、掌握在Linux虚拟机中安装Hadoop和Spark的方法；2、熟悉HDFS的基本使用方法；3、掌握使用Spark访问本地文件和HDFS文件的方法。
Francek Chen·2023-12-16 04:32

Hbase - 自定义Rowkey规则

中我们有时候需要分析数据1点到2点的范围,可是经过Region又比较慢，这时候我们就可以定制`TableInputFormat`来实现我们的需求了，我们还可以采用Flink的`DataSet`的方式读取,另外下面还有`Spark
kikiki5·2023-12-16 04:13

pyspark on yarn

背景描述pyspark相当于python版的spark-shell，介于scala的诡异语法，使用pysparkonyarn做一些调试工作还是很方便的。配置获取大数据集群配置文件。
骑着蜗牛向前跑·2023-12-16 03:34

NetBIOS

作者：sparkdev出处：http://www.cnblogs.com/sparkdev/利用NetBIOS名称与其他计算机通信网络中的计算机之间必须知道IP地址后才能相互通信。
明月清风~~·2023-12-16 03:44

基于spark的音乐数据分析系统的设计与实现

收藏关注不迷路文章目录前言一、项目介绍二、开发环境三、功能介绍四、核心代码五、效果图六、文章目录前言本文主要对音乐数据，进行分析，系统技术主要使用，1.对原始数据集进行预处理；3.使用python语言编写Spark
QQ2743785109·2023-12-16 01:05

年度评选揭晓：Apache SeaTunnel荣获年度优秀开源技术团队殊荣

ApacheSeaTunnel，作为一个高性能、易用的海量数据集成平台，其在ApacheSpark和ApacheFl
SeaTunnel·2023-12-16 00:34

记录hive/spark取最新且不为null的方法

听标题可能听不懂我想表达的意思，我来描述一下我要做的事：比如采集同学对某一网站进行数据采集，同一个用户每天会有很多条记录，所以我们要取一条这个用户最新的状态，比如用户改了N次昵称，我们只想得到最后一次修改的结果，但是用窗口函数row_number按时间排序的话，可能最后一条某些字段没采集到，但是之前是有采集到的，所以应该在按时间倒序排的基础上，遇到null值，再往前取，直到所有字段尽可能取到最新的
wxl_winston·2023-12-16 00:26

Spark+Kafka构建实时分析Dashboard案例

目录一、环境准备Ubuntu安装Hadoop安装Spark安装Kafka安装Python安装Python依赖库安装vscode安装Python工程目录结构二、数据处理和Python操作Kafka数据集数据预处理运行三
Hay Ha!·2023-12-15 22:40

Spark Streaming对接Kafka

4、SparkStreaming对接Kafka4.1对接数据的两种方式在前面的案例中，我们监听了来自网络端口的数据，实现了WordCount，但是在实际开发中并不是这样。
Echo-Niu·2023-12-15 22:09

Spark Streaming整合Kafka实战二

SparkStreaming整合Kafka实战二SparkStreaming整合kafka的第二种方式1.DirectApproach(NoReceivers)优点：缺点：2.偏移量解决方案自动提交偏移量
怒上王者·2023-12-15 22:38

sparkStreaming与kafka整合案例

pom文件4.0.0com.cllday011.0-SNAPSHOTaliyunhttp://maven.aliyun.com/nexus/content/groups/public/clouderahttps://repository.cloudera.com/artifactory/cloudera-repos/jbosshttp://repository.jboss.com/nexus/co
古城的风cll·2023-12-15 22:08

Kafka（十六）连接Spark Streaming的两种方式

可以简化并行读取：spark会创建跟kafkapartition一样多的RDDpartition，并且会并行从k
高个子男孩·2023-12-15 22:05

sparkStreaming+kafka简单例子

flume采集（安装flume，这块就不多做赘述了,安装也只是测试，没用，提供一个下载链接）首先自定义source[sink->kafka->sparkstreaming]#启动kafka服务后台永久启动
小曹男孩·2023-12-15 22:03

SparkStreaming与Kafka整合及相关案例

目录1、SparkStreaming与Kafka-0-8整合1.1、Receiver-basedApproach（不推荐使用）1.2、DirectApproach(NoReceivers)1.3、SparkStreaming
fengge18306·2023-12-15 22:58

Spark-Streaming+Kafka+mysql实战示例

文章目录前言一、简介1.Spark-Streaming简介2.Kafka简介二、实战演练1.MySQL数据库部分2.导入依赖3.编写实体类代码4.编写kafka主题管理代码5.编写kafka生产者代码6
大数据魔法师·2023-12-15 22:25

【东软实训Day2——2023.09.05】用Java实现客户端与服务器交互

一、客户端-服务器编程模型1个应用=1个服务器进程+1…N个客户端进程，其中服务器管理资源，并通过操作这种资源为客户端服务。
SevenYoung777·2023-12-15 22:49

【flink番外篇】4、flink的sink（内置、mysql、kafka、redis、clickhouse、分布式缓存、广播变量）介绍及示例（3） - redis

2、Flink基础系列本部分介绍Flink的基础部分，比如术语、架构、编程模型、编程指南、基本的datastreamapi用法、四大基石等内容。
一瓢一瓢的饮 alanchan·2023-12-15 21:52

【flink番外篇】4、flink的sink（内置、mysql、kafka、redis、clickhouse、分布式缓存、广播变量）介绍及示例（2） - jdbc/mysql

2、Flink基础系列本部分介绍Flink的基础部分，比如术语、架构、编程模型、编程指南、基本的datastreamapi用法、四大基石等内容。
一瓢一瓢的饮 alanchan·2023-12-15 21:22

【flink番外篇】4、flink的sink（内置、mysql、kafka、redis、clickhouse、分布式缓存、广播变量）介绍及示例（1） - File、Socket、console

2、Flink基础系列本部分介绍Flink的基础部分，比如术语、架构、编程模型、编程指南、基本的datastreamapi用法、四大基石等内容。
一瓢一瓢的饮 alanchan·2023-12-15 21:21

【flink番外篇】3、flink的source（内置、mysql、kafka、redis、clickhouse）介绍及示例 - 完整版

2、Flink基础系列本部分介绍Flink的基础部分，比如术语、架构、编程模型、编程指南、基本的datastreamapi用法、四大基石等内容。
一瓢一瓢的饮 alanchan·2023-12-15 21:21

【flink番外篇】3、flink的source（内置、mysql、kafka、redis、clickhouse）介绍及示例（5）- clickhouse

2、Flink基础系列本部分介绍Flink的基础部分，比如术语、架构、编程模型、编程指南、基本的datastreamapi用法、四大基石等内容。
一瓢一瓢的饮 alanchan·2023-12-15 21:51

【flink番外篇】3、fflink的source（内置、mysql、kafka、redis、clickhouse）介绍及示例（2）- 自定义、mysql

2、Flink基础系列本部分介绍Flink的基础部分，比如术语、架构、编程模型、编程指南、基本的datastreamapi用法、四大基石等内容。
一瓢一瓢的饮 alanchan·2023-12-15 21:50

【flink番外篇】3、flink的source（内置、mysql、kafka、redis、clickhouse）介绍及示例（3）- kafka

2、Flink基础系列本部分介绍Flink的基础部分，比如术语、架构、编程模型、编程指南、基本的datastreamapi用法、四大基石等内容。
一瓢一瓢的饮 alanchan·2023-12-15 21:50

【flink番外篇】3、fflink的source（内置、mysql、kafka、redis、clickhouse）介绍及示例（1） - File、Socket、Collection

2、Flink基础系列本部分介绍Flink的基础部分，比如术语、架构、编程模型、编程指南、基本的datastreamapi用法、四大基石等内容。
一瓢一瓢的饮 alanchan·2023-12-15 21:19

【flink番外篇】3、flink的source（内置、mysql、kafka、redis、clickhouse）介绍及示例（4）- redis -异步读取

2、Flink基础系列本部分介绍Flink的基础部分，比如术语、架构、编程模型、编程指南、基本的datastreamapi用法、四大基石等内容。
一瓢一瓢的饮 alanchan·2023-12-15 21:19

【flink番外篇】2、flink的23种算子window join 和interval join 数据倾斜、分区介绍及详细示例（1）- window join

2、Flink基础系列本部分介绍Flink的基础部分，比如术语、架构、编程模型、编程指南、基本的datastreamapi用法、四大基石等内容。
一瓢一瓢的饮 alanchan·2023-12-15 21:18

【flink番外篇】2、flink的23种算子window join 和interval join 数据倾斜、分区介绍及详细示例（3）- 数据倾斜处理、分区示例

2、Flink基础系列本部分介绍Flink的基础部分，比如术语、架构、编程模型、编程指南、基本的datastreamapi用法、四大基石等内容。
一瓢一瓢的饮 alanchan·2023-12-15 21:18

【flink番外篇】2、flink的23种算子window join 和interval join 数据倾斜、分区介绍及详细示例（2）- interval join

2、Flink基础系列本部分介绍Flink的基础部分，比如术语、架构、编程模型、编程指南、基本的datastreamapi用法、四大基石等内容。
一瓢一瓢的饮 alanchan·2023-12-15 21:17

【flink番外篇】2、flink的23种算子window join 和interval join 数据倾斜、分区介绍及详细示例-完整版

2、Flink基础系列本部分介绍Flink的基础部分，比如术语、架构、编程模型、编程指南、基本的datastreamapi用法、四大基石等内容。
一瓢一瓢的饮 alanchan·2023-12-15 21:47

45、Flink 的指标体系介绍及验证（2）-指标的scope、报告、系统指标以及追踪、api集成示例和dashboard集成

2、Flink基础系列本部分介绍Flink的基础部分，比如术语、架构、编程模型、编程指南、基本的datastreamapi用法、四大基石等内容。
一瓢一瓢的饮 alanchan·2023-12-15 21:46

48、Flink DataStream API 编程指南（3）- 完整版

2、Flink基础系列本部分介绍Flink的基础部分，比如术语、架构、编程模型、编程指南、基本的datastreamapi用法、四大基石等内容。
一瓢一瓢的饮 alanchan·2023-12-15 21:46

47、Flink 的指标报告介绍（graphite、influxdb、prometheus、statsd和datalog）及示例（jmx和slf4j示例）

2、Flink基础系列本部分介绍Flink的基础部分，比如术语、架构、编程模型、编程指南、基本的datastreamapi用法、四大基石等内容。
一瓢一瓢的饮 alanchan·2023-12-15 21:15

【flink番外篇】1、flink的23种常用算子介绍及详细示例（4）- union、window join、connect、outputtag、cache、iterator、project

2、Flink基础系列本部分介绍Flink的基础部分，比如术语、架构、编程模型、编程指南、基本的datastreamapi用法、四大基石等内容。
一瓢一瓢的饮 alanchan·2023-12-15 21:15

12、Flink source和sink 的 clickhouse 详细示例

2、Flink基础系列本部分介绍Flink的基础部分，比如术语、架构、编程模型、编程指南、基本的datastreamapi用法、四大基石等内容。
一瓢一瓢的饮 alanchan·2023-12-15 21:15

11、Flink配置flink-conf.yaml详细说明（HA配置、checkpoint、web、安全、zookeeper、historyserver、workers、zoo.cfg）

2、Flink基础系列本部分介绍Flink的基础部分，比如术语、架构、编程模型、编程指南、基本的datastreamapi用法、四大基石等内容。
一瓢一瓢的饮 alanchan·2023-12-15 21:14

2、Flink1.13.5二种部署方式(Standalone、Standalone HA )、四种提交任务方式（前两种及session和per-job）验证详细步骤

2、Flink基础系列本部分介绍Flink的基础部分，比如术语、架构、编程模型、编程指南、基本的datastreamapi用法、四大基石等内容。
一瓢一瓢的饮 alanchan·2023-12-15 21:13

3、flink重要概念（api分层、角色、执行流程、执行图和编程模型）及dataset、datastream详细示例入门和提交任务至on yarn运行

2、Flink基础系列本部分介绍Flink的基础部分，比如术语、架构、编程模型、编程指南、基本的datastreamapi用法、四大基石等内容。
一瓢一瓢的饮 alanchan·2023-12-15 21:13

5、Flink 的 source、transformations、sink的详细示例（一）

2、Flink基础系列本部分介绍Flink的基础部分，比如术语、架构、编程模型、编程指南、基本的datastreamapi用法、四大基石等内容。
一瓢一瓢的饮 alanchan·2023-12-15 21:43
上一页 35 36 37 38 39 40 41 42 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他