spark边缘计算

Clickhouse VS Doris 导入-并发-查询对比

clickhouse导入数据直接导入的是本地磁盘，对于分布式表，clickhouse和doris相比，clickhouse就没有本地表导入的优势，借助clickhouse进行数据排序，而doris中有sparkLoad
IT贫道·2024-01-21 08:21

大数据之spark运行模式

ApacheSpark提供了多种运行模式，主要包括以下几种：本地模式(Local)：Spark在本地单机上运行，主要用于开发测试阶段。
转身成为了码农·2024-01-21 07:11

大数据之 Spark 常用的端口号

Spark常用的端口号包括：DriverWebUI端口：4040，这是Spark应用程序（Driver）运行时绑定的端口，用于展示任务运行状态、执行进度、任务细节等监控信息。
转身成为了码农·2024-01-21 07:11

大数据之Spark架构设计与工作流程

ApacheSpark架构设计是其高效、分布式处理能力的基础。
转身成为了码农·2024-01-21 07:41

Spark学习（8）-SparkSQL的运行流程，Spark On Hive

1.SparkSQL的运行流程1.1SparkRDD的执行流程回顾1.2SparkSQL的自动优化RDD的运行会完全按照开发者的代码执行，如果开发者水平有限，RDD的执行效率也会受到影响。
技术闲聊DD·2024-01-21 06:50

Hive on Spark 和 Spark sql on Hive，你能分的清楚么

HiveonSpark和SparksqlonHive，你能分的清楚么结构上HiveOnSpark和SparkSQL都是一个翻译层，把一个SQL翻译成分布式可执行的Spark程序。
捞起月亮的渔民丁·2024-01-21 06:18

Spark：SparkSQL与Hive on Spark（Shark）的比较

简要介绍了SparkSQL与HiveonSpark的区别与联系一、关于Spark简介在Hadoop的整个生态系统中，Spark和MapReduce在同一个层级，即主要解决分布式计算框架的问题。
花和尚也有春天·2024-01-21 06:17

拾肆：Spark with Hive和Hive on Spark

在Hive与Spark这对“万金油”组合中，Hive擅长元数据管理，而Spark的专长是高效的分布式计算，二者的结合可谓是“强强联合”。
for your wish·2024-01-21 06:47

基于kubernetes构建spark-thriftserver集群(Deployment模式)

继续上一篇《基于kubernetes构建spark集群(RC模式)》，沿用上一篇rbac配置，以及PV、PVC配置，本篇将采用Deployment方式进行部署spark集群，以及增加thriftserver
Moutai码哥·2024-01-21 06:46

Hive on Spark and Spark sql on Hive

结构上HiveOnSpark和SparkSQL都是一个翻译层，把一个SQL翻译成分布式可执行的Spark程序。Hive和SparkSQL都不负责计算。
请叫我小帅哥·2024-01-21 06:14

spark集成hive

1.集成原理说明思考:SparkOnHive的目的:将客户端提交的SQL语句从原来翻译MR变更为翻译为Spark的RDD程序(Spark程序),然后交给Yarn执行那么也就意味着,一旦Spark和HIVE
lijian972·2024-01-21 06:11

sparkSQL sparkSQL整合hive（spark on hive）

sparkSQL整合hivesparkSQL整合hivesparkSQL整合hive步骤示例数据库保存在本地和数据库保存在HDFS应用场景sparkSQL整合hivesparkSQL整合hive，即sparkonhive
爱吃甜食_·2024-01-21 06:39

Spark完全分布式集群下的Hive的安装和配置-安装步骤

Spark完全分布式集群下的Hive的安装和配置-安装步骤：文章目录Spark完全分布式集群下的Hive的安装和配置-安装步骤：2.安装MySQL数据库3.配置MySQL相关5.设置环境变量6.修改hive
Deng872347348·2024-01-21 06:39

【Spark分布式内存计算框架——Spark SQL】14. 分布式SQL引擎

第八章分布式SQL引擎回顾一下，如何使用Hive进行数据分析的，提供哪些方式交互分析？？？方式一：交互式命令行（CLI）bin/hive，编写SQL语句及DDL语句方式二：启动服务HiveServer2（HiveThriftServer2)将Hive当做一个服务启动(类似MySQL数据库，启动一个服务)，端口为100001)、交互式命令行，bin/beeline，CDH版本HIVE建议使用此种方式
csdnGuoYuying·2024-01-21 06:38

Spark On Hive配置测试及分布式SQL ThriftServer配置

文章目录SparkOnHive的原理及配置配置步骤在代码中集成SparkOnHiveSpark分布式SQL执行原理及配置配置步骤在代码中集成SparkJDBCThriftServer总结SparkOnHive
蜜桃上的小叮当·2024-01-21 06:07

一文让你记住Pyspark下DataFrame的7种的Join 效果

最近看到了一片好文，虽然很简单，但是配上的插图可以让人很好的记住Pyspark中的多种Join类型和实际的效果。
独家雨天·2024-01-21 06:04

pyspark之Structured Streaming文件file案例

#generate_file.py#生成数据生成500个文件,每个文件1000条数据#生成数据格式：eventtimenameprovinceaction()时间用户名省份动作)importosimporttimeimportshutilimporttimeFIRST_NAME=['Zhao','Qian','Sun','Li','Zhou','Wu','Zheng','Wang']SECOND_
heiqizero·2024-01-21 06:59

pyspark之Structured Streaming window函数-滚动模式

#file文件使用pyspark之StructuredStreamingfile文件案例1生成文件，以下代码主要探讨window函数使用window三种方式：滚动、滑动、会话，只有windowDuration
heiqizero·2024-01-21 06:59

pyspark之Structured Streaming结果保存到Mysql数据库-socket例子统计(含批次)

frompyspark.sqlimportSparkSession,DataFramefrompyspark.sql.functionsimportexplode,split,lit"""实现将数据保存到
heiqizero·2024-01-21 06:28

Spark面试题

1.sparkcore1.简述hadoop和spark的不同点（为什么spark更快）♥♥♥  shuffle都是需要落盘的，因为在宽依赖中需要将上一个阶段的所有分区数据都准备好，才能进入下一个阶段，那么如果一直将数据放在内存中
韩顺平的小迷弟·2024-01-21 06:53

一文详解pyspark中sql的join

大家好，今天分享一下pyspark中各种sqljoin。数据准备本文以学生和班级为单位进行介绍。学生表有sid（学生id）、sname（学生姓名）、sclass（学生班级id）。
不负长风·2024-01-21 06:23

pyspark之Structured Streaming file文件案例1

#generate_file.py#生成数据生成500个文件,每个文件1000条数据#生成数据格式：eventtimenameprovinceaction()时间用户名省份动作)importosimporttimeimportshutilimporttimeFIRST_NAME=['Zhao','Qian','Sun','Li','Zhou','Wu','Zheng','Wang']SECOND_
heiqizero·2024-01-21 06:23

Spark和Flink的区别?

Flink和Spark都是基于内存计算、支持实时/批处理等多种计算模式的统一框架1,技术理念不同Spark的技术理念是使用微批来模拟流的计算,基于Micro-batch,数据流以时间为单位被切分为一个个批次
写scala的老刘·2024-01-21 06:42

Flutter实现windows应用版本升级功能

可以使用auto_updater库，这个插件允许Flutter桌面应用自动更新自己(基于sparkle和winsparkle)地址如下：https://github.com/leanflutter/auto_updater
落华X·2024-01-21 05:32

DeepCamera - 将相机转换为AI-Powered with Embedded / Android / Pi等。

用于深度学习边缘计算设备的完整堆栈系统，特别是使用图像刻录或Androidapk安装的shell设置。移动数据
Android征途·2024-01-21 03:50

一文读懂Delta Lake：大数据时代的数据湖框架新选择！

介绍：DeltaLake是一个开源存储层，为ApacheSpark和大数据工作负载提供了ACID事务能力。这个存储层由Databricks公司推出，并已成为数据湖方案的重要组成部分。
知识分享小能手·2024-01-21 03:56

111.Parquet表的使用

Avro,Thrift,ProtocolBuffers,POJOs查询引擎:Hive,Impala,Pig,Presto,Drill,Tajo,HAWQ,IBMBigSQL计算框架:MapReduce,Spark
大勇任卷舒·2024-01-21 02:33

通过WordCount解析Spark RDD内部源码机制

我们通过SparkWordCount动手实践，编写单词计数代码；在wordcount.scala的基础上，从数据流动的视角深入分析SparkRDD的数据处理过程。
联旺·2024-01-21 01:54

spark on Yarn 动态资源分配

配置文件：spark.default.parallelism=40#spark.executor.memory=1536m#spark.executor.memoryOverhead=512m#spark.driver.cores
金刚_30bf·2024-01-20 23:09

Spark读取kafka（流式和批数据）

spark读取kafka（批数据处理）#按照偏移量读取kafka数据frompyspark.sqlimportSparkSessionss=SparkSession.builder.getOrCreate
中长跑路上crush·2024-01-20 23:55

Spark流式读取文件数据

流式读取文件数据frompyspark.sqlimportSparkSessionss=SparkSession.builder.getOrCreate()#todo注意1：流式读取目录下的文件--》一定一定要是目录
中长跑路上crush·2024-01-20 23:25

Spark Streaming通过receiver方式消费kafka数据时数据积压问题

1.问题在通过receiver方式接受kafka消息时，发现有大量消息在队列中阻塞最终导致spark任务执行失败。
sinat_36710456·2024-01-20 22:23

Spark(一): 基本架构及原理

前言:目标：架构及生态：Spark与hadoop:运行流程及特点：常用术语:Spark运行模式：RDD运行流程：前言:ApacheSpark是一个围绕速度、易用性和复杂分析构建的大数据处理框架，最初在2009
贝賏赑钡·2024-01-20 22:46

PDF如何裁剪页面，PDF裁剪页面的小技巧

使用工具：旋风PDF编辑器下载地址：http://www.679sparkle.com/pdfeditor操作方法：1：先打开旋风PDF编辑器，点击打开文件按钮打开需要编辑的PDF文件。2：在菜单
六号_db7a·2024-01-20 18:09

11.Join的MapReduce实现

Join在MapReduce中的实现一、概述tips:Hive:MapReduce/Spark巧用explain查看语法树常见的面试题:描述如何使用MapReduce来实现join功能：考察点MapReduce
哈哈大圣·2024-01-20 18:40

视频智能识别周界入侵检测AI智能分析网关V4如何配置ONVIF摄像机接入

AI边缘计算智能分析网关V4性能高、功耗低、检测速度快，易安装、易维护，硬件内置了近40种AI算法模型，支持对接入的视频图像进行人、车、物、行为等实时检测分析，上报识别结果，并能进行语音告警播放。
Black蜡笔小新·2024-01-20 15:27

Spark在降本增效中的一些思考

背景在大环境不好的情况下,本司也开始了“降本增效”，本文探讨一下，在这种背景下Spark怎么做的降本增效。
鸿乃江边鸟·2024-01-20 14:25

[C#]C# winform部署yolov8目标检测的openvino模型

它旨在提高计算机视觉和深度学习应用的性能，特别是在边缘计算和实时推理场景中。OpenVINO的核心功能包括对
FL1623863129·2024-01-20 13:19

hive 运行报错

Error:Errorwhilecompilingstatement:FAILED:UDFArgumentTypeExceptionExactlyoneargumentisexpected.近期用spark
圆周率的后六位·2024-01-20 12:35

设计模式——管道模式（并发模式）

在分布式处理领域，由于管道模式是数据驱动，而目前流行的Spark分布式处理平台也是数据驱动的，两者非常合拍，于是在spar
码上得天下·2024-01-20 11:52

spark的jdbc接口，类似于hiveserver2

https://spark.apache.org/docs/2.4.0/sql-distributed-sql-engine.html#running-the-thrift-jdbcodbc-serverSparkSQL
zdkdchao·2024-01-20 10:53

Kylin安装学习教程

Kylin安装学习教程Kylin是一个开源的分布式分析引擎，提供Hadoop/Spark之上的SQL接口及多维分析（OLAP）能力以支持大数据分析，最初由eBayInc.开发并贡献到开源社区。
Luo_Yang111·2024-01-20 09:28

边缘计算的挑战和机遇

边缘计算作为当今信息技术领域的重要发展方向，既带来了前所未有的机遇，也面临着巨大的挑战。首先，我们来看看边缘计算所面临的挑战。数据安全与隐私保护是一个核心问题。
Luo_Yang111·2024-01-20 09:28

spark连接操作

将有键的数据与另一组有键的数据一起使用是对键值对数据执行的最有用的操作之一。连接数据可能是PairRDD最常用的操作之一。连接的方式多种多样：右外连接，左外连接、交叉连接以及内连接普通的join操作符表示是内连接。只有在两个键值对中都存在的键才叫输出。
追赶的程序猿·2024-01-20 09:45

「连载」边缘计算（四）01-19：边缘部分原理解析（原理篇）

(接上篇)边缘部分组件在形式上，EdgeCore是一个单独的可执行文件，其中不同的功能以模块的形式进行管理，具体架构如图5-3所示。图5-3EdgeCore架构由图5-3可知，EdgeCore包含的功能模块比较多，包括EdgeHub、MetaManager、DeviceTwin、EventBus、Edged、Edgemesh、CSI和CNI。接下来逐个功能模块进行解析。EdgeHub：KubeEd
十越科技·2024-01-20 09:31

《深入理解边缘计算》——第一章：边缘计算入门

本章将从边缘计算系统的组成和概念解析、边缘计算的意义、边缘计算系统的部署与管理、不同应用部署方式的比较4个方面对边缘计算系统进行介绍。
十越科技·2024-01-20 09:31

《深入理解边缘计算》第二章：云、边、端的部署与配置

本章将从云、边、端协同的边缘计算系统的整体架构切入，罗列云、边、端各部分包含的组件的技术栈，然后分别对云、边、端各部分的部署方式和注意事项进行系统梳理和详细说明。
十越科技·2024-01-20 09:31

「连载」边缘计算（三）01-18：边缘部分原理解析（原理篇）

（接上篇）通过前面的学习，我们对整个边缘计算系统的逻辑架构及云、边、端之间的逻辑关系也有了系统的了解。
十越科技·2024-01-20 09:31

「连载」边缘计算（二）01-17：边缘计算系统逻辑架构（原理篇）

（接上篇）云、边、端协同边缘计算系统协同的理想效果如图3-5所示。图3-5KubeEdge云、边、端协同的理想效果由图3-5可知，KubeEdge云、边、端协同包括两层，即云、边协同和云、边、端协同。
十越科技·2024-01-20 09:01

「连载」边缘计算（一）01-16：边缘计算系统逻辑架构（原理篇）

之前的基础篇（第1~2章）首先，介绍边缘计算概念、边缘计算系统具体组成部分，对边缘计算最佳实践中的相关概念进行解析；然后给出边缘计算系统所需的自动化部署脚本，读者可以根据脚本轻松地将边缘计算最佳实践整体框架部署起来
十越科技·2024-01-20 08:59
上一页 15 16 17 18 19 20 21 22 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他