spark边缘计算

StructStreaming整合Kafka操作

StructStreaming整合Kafka操作Maven依赖org.apache.sparkspark-sql-kafka-0-10_2.123.3.1实时数据ETL准备数据/***模拟产生基站日志数据
健鑫.·2024-01-16 07:29

SparkSQL和Hive语法差异

SparkSQL和Hive语法差异1、仅支持HiveSparkSQL关联条件on不支持函数rand()创建零时表时，Spark不支持直接赋值nullSpark无法读取字段类型为void的表SparkSQL
中长跑路上crush·2024-01-16 07:28

Structured Streaming 整合 Kafka指南

从kafka读取数据//Subscribeto1topicvaldf=spark.readStream.format("kafka").option("kafka.bootstrap.servers",
鸭梨山大哎·2024-01-16 07:27

PySpark Structured Streaming kafka示例

PySparkStructuredStreamingkafka示例直接上代码：#!
张行之·2024-01-16 07:52

Structured Streaming配置Kafka参数

overridedefstream():DataFrame={valkafkaConf=newKafkaConfigurationvalspark=GxSparkSession().session()valdf
sunyang098·2024-01-16 07:18

Structured_Streaming和Kafka整合

结构化编程模型输出终端/位置默认情况下，Spark的结构化流支持多种输出方案：1-consolesink:将结果数据输出到控制台。
小希 fighting·2024-01-16 06:14

seatunnel 消费kafka数据写入clickhouse

SeaTunnel是一个非常易用、高性能、支持实时流式和离线批处理的海量数据集成平台，架构于ApacheSpark和ApacheFlink之上，支持海量数据的实时同步与转换。
冰帆<·2024-01-16 05:41

大数据技术原理与应用 第三版 林子雨 期末复习（五） 第十章 SPARK

大数据技术原理与应用第三版林子雨期末复习（五）第十章SPARK简介spark特点spark与Hadoop对比Hadoop缺点spark优点RDDRDD概念RDD间存在依赖关系分为宽依赖与窄依赖RDD的两种常用操作简介
头发多多，肆意生长·2024-01-16 05:22

Spark - 资源动态释放

>通过spark-submit会固定占用一占的资源，有什么办法，在任务不运作的时候将资源释放，让其它任务使用呢，yarn新版本默认已经支持了，我们使用的是HDP。##版本如下!
kikiki4·2024-01-16 03:58

CDN看这个就够了

也是边缘计算里的一部分内容：指的是静态资源比如图片、视频、文档、JS、CSS、HTML。分发网络：指的是将这些静态资源分发到位于多个不同的地理位置机房中的服务器上，这样，就可以实现静态资源的
想做后端的前端·2024-01-16 03:28

Spark MLlib ----- ALS算法

补充在谈ALS（AlternatingLeastSquares）之前首先来谈谈LS，即最小二乘法。LS算法是ALS的基础，是一种数优化技术，也是一种常用的机器学习算法，他通过最小化误差平方和寻找数据的最佳匹配，利用最小二乘法寻找最优的未知数据，保证求的数据与已知的数据误差最小。LS也被用于拟合曲线，比如所熟悉的线性模型。下面以简单的线性一元线性回归模型说明最小二乘法。假设我们有一组数据{(x1,y
创作者mateo·2024-01-16 02:54

ClickHouse - 01

与其特性在大数据处理场景中，流处理和批处理使用到的技术大致如下：大数据处理场景流程.png批处理会将源业务系统中的数据通过数据抽取工具（例如Sqoop）将数据抽取到HDFS中，这个过程可以使用MapReduce、Spark
ArthurHC·2024-01-16 02:17

华为MindStudio简介

MindStudio是华为推出的一款集成开发环境（IDE），主要用于边缘计算和人工智能应用的开发。
LittroInno·2024-01-16 02:42

用Python实现给图片去黑边

图片去黑边（只考虑了去水平方向上的黑边）的核心算法是要找到图片顶部或顶部的黑边位置，即两个纵坐标值，主要用到了canny边缘计算、houghlines直线检测、easyocr识别等算法。
wangchenggong1988·2024-01-16 01:52

多卡聚合设备为5G智能安防保驾护航

面对5G带来的海量数据，边缘计算能够在近端进行处理，减少在云端之间来回传输数据的需要，可对生物识别、人群分析等
莉莉安_Lillian·2024-01-16 01:18

Python语法进阶学习--进程和线程

后续很快就要进入Spark的学习，在学习之前也是要铺垫一个知识点：进程是什么？线程是什么？两者有什么区别？又有什么关系？
Yan_bigdata·2024-01-15 23:34

视频智能分析/边缘计算AI智能分析网关V4区域入侵检测算法如何配置？

边缘计算AI智能分析网关（V4版）部署了近40种AI算法模型，支持对接入的视频图像进行人、车、物、行为等实时检测分析，并上报识别结果，并能进行语音告警播放。
TSINGSEE·2024-01-15 15:33

浪潮信息持续加强边算技术创新 推进业务增长

一直以来，在边缘计算市场内，浪潮信息均表现优异，针对新时期边缘计算市场的新需求，浪潮信息持续推进业务增长，加强创新，市场占比不断扩大。目前，在边缘计算厂商中，浪潮信息市场份额蝉联中国第一，为国内先驱。
fanxiaohui12138·2024-01-15 14:33

【Spark】Spark原理简述

发现一篇很好的文章，适合对Spark有一定了解的小伙伴阅读主要介绍下自己在学习spark当中的一些理解和学习过程中踩到的坑，对spark时间效率优化的点做个总结，各位大佬轻拍。
turboSniper·2024-01-15 14:57

streaming 101

看之前就知道这是两篇能够提升你对流处理理解的文章，不是一般的提升，可以说是一种升华，因为他谈的不是一个具体的工具（sparkstreaming，flink等），而是谈流处理应该是怎么样的，流处理要打败批处理一统天下的话需要有什么特性
Bitson·2024-01-15 12:31

边缘计算网关助力打造无人值守智能药房

通过物通博联边缘计算网关，可以采集零售药柜、取药机器人以及各类传感器等设备数据，并将数据集中到智能药房管理平台
物通博联网关·2024-01-15 10:03

边缘计算的特点及应用

边缘计算的特点1、超低时延海量的数据不再需要上传至云端进行处理，大大降低了网络时延，使得反馈更加迅速，同时也改善了用户体验，降低了网络在其他部分中可能发生的拥塞。
英码科技·2024-01-15 10:02

边缘计算的价值及应用

边缘计算的价值边缘计算的核心是在靠近数据源或用户的地方提供计算、存储等基础设施，并为边缘应用提供云服务和IT环境服务。
英码科技·2024-01-15 10:02

人工智能让边缘计算更有价值!

3月28日，在2018云栖大会·深圳峰会上，阿里云宣布2018年将战略投入到边缘计算技术领域，并推出了首个IOT边缘计算产品LinkEdge,将阿里云在云计算、大数据、人工智能的优势拓宽到更靠近端的边缘计算上
weixin_34056162·2024-01-15 10:02

边缘计算应用的价值

什么是边缘计算?为什么对组织很重要?边缘计算与云计算有什么关系?边缘计算专家对边缘计算和常见用例进行了解释和分析，并分享了一些示例。
暗涧幽火·2024-01-15 10:32

边缘计算：究竟是什么？为何潜力无限？

边缘计算则让自动驾驶汽车更快速地处理数据成为
灰哥哥·2024-01-15 10:01

边缘计算的发展和应用前景

知名创投调研机构CBInsights撰文详述了边缘计算的发展和应用前景。文章称，云计算已经不足以即时处理和分析由物联网设备、联网汽车和其他数字平台生成或即将生成的数据，这个时候边缘计算能够派上用场。
YHFHing·2024-01-15 10:01

边缘计算AI入门

边缘计算AI入门在对更高效业务流程的需求以及物联网(IoT)、5G和人工智能的关键进步的推动下，对边缘计算的需求比以往任何时候都高。
扫地的小何尚·2024-01-15 10:30

【AI】无人零售和边缘计算

目录一、什么是边缘计算1.1边缘计算的定义1.2边缘计算的作用1.3边缘计算的关键技术1.4边缘计算的应用场景二、边缘计算在无人零售中的应用一、什么是边缘计算1.1边缘计算的定义边缘计算（EdgeComputing
giszz·2024-01-15 10:59

GZ075 云计算应用赛题第8套

DevOps开发运维一体化”和“数据驱动产品开发”，拟采用开源OpenStack搭建企业内部私有云平台，开源Kubernetes搭建云原生服务平台，选择国内主流公有云平台服务，基于数字化平台底座，面向业务开发边缘计算云应用产品
嘿哈小将·2024-01-15 10:44

GZ075 云计算应用赛题第7套

DevOps开发运维一体化”和“数据驱动产品开发”，拟采用开源OpenStack搭建企业内部私有云平台，开源Kubernetes搭建云原生服务平台，选择国内主流公有云平台服务，基于数字化平台底座，面向业务开发边缘计算云应用产品
嘿哈小将·2024-01-15 10:14

GZ075 云计算应用赛题第9套

DevOps开发运维一体化”和“数据驱动产品开发”，拟采用开源OpenStack搭建企业内部私有云平台，开源Kubernetes搭建云原生服务平台，选择国内主流公有云平台服务，基于数字化平台底座，面向业务开发边缘计算云应用产品
嘿哈小将·2024-01-15 09:38

Spark原理——Shuffle 过程

Shuffle过程Shuffle过程的组件结构从整体视角上来看,Shuffle发生在两个Stage之间,一个Stage把数据计算好,整理好,等待另外一个Stage来拉取放大视角,会发现,其实Shuffle发生在Task之间,一个Task把数据整理好,等待Reducer端的Task来拉取如果更细化一下,Task之间如何进行数据拷贝的呢?其实就是一方Task把文件生成好,然后另一方Task来拉取现在是
我像影子一样·2024-01-15 09:47

Spark高级特性 (难)

Spark高级特性(难)闭包/**编写一个高阶函数，在这个函数要有一个变量，返回一个函数，通过这个变量完成一个计算**/@Testdeftest():Unit={//valf:Int=>Double=closure
我像影子一样·2024-01-15 09:11

关于边缘云的认识

边缘计算的挑战和机遇边缘计算面临着数据安全与隐私保护、网络稳定性等挑战，但同时也带来了更强的实时性和本地处理能力，为企业降低了成本和压力，提高了数据处理效率。
saddhu.·2024-01-15 07:05

sparkStreaming 连接kafka的方式

sparkStreaming消费kafak有两种方式1：receiver方式2：direct方式receiver方式：1：sparkStreaming将kafka之中的数据读取到spark内存之中，然后对
流砂月歌·2024-01-15 06:59

大数据问答汇总

ApacheSpark有哪些常见的稳定版本，Spark1.6.0的数字分别代表什么意思？
Sql强·2024-01-15 03:28

8.2、5GMEC认识篇

MEC：多接入边缘计算（Multi-accessEdgeComputing），强调的是边缘侧的计算服务。
网运少年·2024-01-15 03:01

Java 与 Scala 使用Maven混合编译打包

在SpringBoot上使用spark的时候会遇到的混合编译问题，在java代码中打包会找不到scala定义的包，即可参考使用如下配置。
kikiki4·2024-01-15 02:07

centos spark单机版伪分布式模式

Spark的部署方式包括Standalone、YARN、Mesos，在我们学习Spark编程的过程中，往往机器资源有限，于是可以采用伪分布式部署。
piziyang12138·2024-01-15 00:05

FLINK学习笔记（一）-- Word Count

defmain(args:Array[String]):Unit={/***flink的运行模型*1.DataSource*2.Transformation*3.DataSink*///获取环境，类似于sparkcontextvalenv
k_wzzc·2024-01-14 22:15

Building online HBase cluster of Zhihu based on Kubernetes

utm_campaign=profiletracking&utm_medium=sssite&utm_source=ssslideview同样对spark或者yarnr
mtj66·2024-01-14 21:24

深入理解 Spark（二）SparkApplication 提交和运行源码分析

spark核心流程yarn-clientyarn-clusterspark任务调度sparkstage级别调度sparktask级别调度失败重试和白名单对于运行失败的Task，TaskSetManager
我很ruo·2024-01-14 21:19

深入理解 Spark（三）SparkTask 执行与 shuffle 详解

SparkTask的分发部署与启动流程分析SparkAction算子触发job提交Spark当中Stage切分源码详解Task的提交与执行SparkShuffle机制详解MapReduceShuffle全流程深度剖析
我很ruo·2024-01-14 21:19

深入理解 Spark（四）Spark 内存管理模型

Spark中的内存管理和资源管理模型Executor进程作为一个JVM进程，其内存管理建立在JVM的内存管理之上，整个大致包含两种方式：堆内内存和堆外内存。
我很ruo·2024-01-14 21:16

SparkSQL函数定义——UDF函数，窗口函数

目录1定义UDF函数1.1返回值是数组类型的UDF定义1.2返回字典类型的UDF定义2窗口函数1定义UDF函数目前python仅支持UDF两种定义方式：1.sparksession.udf.register
油豆皮·2024-01-14 20:03

spark | scala | 线性代数库Breeze学习

最近在学习spark，对线性代数库Breeze做了学习，介绍下常用的函数前提，使用Breeze库，必须导入相关的包importbreeze.linalg._importbreeze.numerics.
茁壮小草·2024-01-14 18:55

Spark线性代数,绘图工具入门;scala, java下的Breeze线性代数以及数据绘图工具breeze-viz入门

//官方地址,https://github.com/scalanlp/breeze/wiki/Quickstar//由于编辑器的格式原因,自行拷贝到集成开发环境中调试格式,代码都可以正确运行defbreezeTest:Unit={//Vector支持访问和更新,DenseVector是列向量valx=DenseVector.zeros[Double](5);//构建一个5维的稠密向量SparseV
stableMusic·2024-01-14 18:23

利用 Azure Data Bricks的免费资源学习云上大数据

AzureDatabricks是一个基于ApacheSpark的分析平台，专为大数据处理和机器学习而设计。它结合了Data
AI普惠大师·2024-01-14 16:42

科大讯飞星火大模型接入API js 部分 接口 安装注意事项

下载以下链接例子运行程序https://xfyun-doc.xfyun.cn/static%2F16968175055332330%2Fspark_js_demo.zip官网给的说明准备1.在demo中填写
guoruijun_2012_4·2024-01-14 15:37
上一页 27 28 29 30 31 32 33 34 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他