spark边缘计算

78、Spark SQL之延伸知识之Hive On Spark

SparkSQL与HiveOnSpark区别Hive是目前大数据领域，事实上的SQL标准。
ZFH__ZJ·2024-01-16 15:10

烟火检测AI边缘计算智能分析网关V4在安防项目中的应用及特点

一、行业背景随着社会和经济的发展，公共安全和私人安全的需求都在不断增长。人们需要更高效、更准确的安防手段来保障生命财产安全，而人工智能技术正好可以提供这种可能性，通过智能监控、人脸识别、行为分析等手段，大大提高了安防工作的效率和准确性。伴随着数据采集技术的进步，安防领域积累了大量的数据，这些数据对于训练和优化AI模型提供了丰富的资源。通过深度学习和机器学习等技术，AI可以自动学习和识别各种安全隐患
TSINGSEE·2024-01-16 14:16

记录学习Spark+Kafka构建实时分析Dashboard案例中遇到的问题（一）安装

目录推荐环境系统和软件安装安装Ubuntu分辨率问题虚拟机桥接模式连不上网Hadoop安装Ubuntu16.04下用aria2下载百度网盘大文件其他在安装hadoop时遇到的问题hadoop用法小结单机模式伪分布式Spark
白令屿·2024-01-16 13:53

Python 与 PySpark数据分析实战指南：解锁数据洞见

Python和PySpark作为强大的工具，提供了丰富的库和功能，使得数据分析变得更加高效和灵活。在这篇文章中，我们将深入探讨如何使用Python和PySpark进行数据分析，包
库库的里昂·2024-01-16 12:27

Sparkr

https://spark.rstudio.com/index.html如何使用spark在上述这个链接有详细文档。下一个问题，如搭建一个spark平台！
Liam_ml·2024-01-16 12:57

最新智能AI系统ChatGPT网站程序源码+详细图文搭建部署教程，Midjourney绘画，GPT语音对话+ChatFile文档对话总结+DALL-E3文生图

一、前言SparkAi创作系统是基于ChatGPT进行开发的Ai智能问答系统和Midjourney绘画系统，支持OpenAI-GPT全模型+国内AI全模型。
白云如幻·2024-01-16 09:57

【Flink-1.17-教程】-【一】Flink概述、Flink快速入门

【Flink-1.17-教程】-【一】Flink概述、Flink快速入门1）Flink是什么1.1.有界流和无界流1.2.Flink的发展史2）Flink特点3）FlinkvsSparkStreaming4
bmyyyyyy·2024-01-16 08:16

区域入侵检测AI边缘计算智能分析网关V4如何通过ssh进行服务器远程运维

智能分析网关V4是一款高性能、低功耗的AI边缘计算硬件设备，它采用了BM1684芯片，集成高性能8核ARMA53，主频高达2.3GHz，并且INT8峰值算力高达17.6Tops，FB32高精度算力达到2.2T
TSINGSEE·2024-01-16 08:31

边缘计算的挑战和机遇（结合RDH-EI）

边缘计算的挑战和机遇边缘计算面临着数据安全与隐私保护、网络稳定性等挑战，但同时也带来了更强的实时性和本地处理能力，为企业降低了成本和压力，提高了数据处理效率。
凌峰的博客·2024-01-16 07:38

边缘计算的挑战和机遇

边缘计算的挑战和机遇边缘计算面临着数据安全与隐私保护、网络稳定性等挑战，但同时也带来了更强的实时性和本地处理能力，为企业降低了成本和压力，提高了数据处理效率。
胡图不迷糊·2024-01-16 07:03

边缘计算在DCIM系统中的应用

一、引言随着云计算、物联网和人工智能等技术的快速发展，边缘计算正在成为一种新的计算范式，将数据处理和分析的能力从中心化的数据中心转移到了设备边缘。
11级风·2024-01-16 07:02

Spark Structured Streaming + Kafka +Json

  org.apache.spark  spark-sql-kafka-0-10_2.11  2.1.1    org.apache.spark    spark-sql_2.11    2.1.1importorg.apache.spark.sql.SparkSessionobjectMyTest
zhangxl-jc·2024-01-16 07:00

StructStreaming整合Kafka操作

StructStreaming整合Kafka操作Maven依赖org.apache.sparkspark-sql-kafka-0-10_2.123.3.1实时数据ETL准备数据/***模拟产生基站日志数据
健鑫.·2024-01-16 07:29

SparkSQL和Hive语法差异

SparkSQL和Hive语法差异1、仅支持HiveSparkSQL关联条件on不支持函数rand()创建零时表时，Spark不支持直接赋值nullSpark无法读取字段类型为void的表SparkSQL
中长跑路上crush·2024-01-16 07:28

Structured Streaming 整合 Kafka指南

从kafka读取数据//Subscribeto1topicvaldf=spark.readStream.format("kafka").option("kafka.bootstrap.servers",
鸭梨山大哎·2024-01-16 07:27

PySpark Structured Streaming kafka示例

PySparkStructuredStreamingkafka示例直接上代码：#!
张行之·2024-01-16 07:52

Structured Streaming配置Kafka参数

overridedefstream():DataFrame={valkafkaConf=newKafkaConfigurationvalspark=GxSparkSession().session()valdf
sunyang098·2024-01-16 07:18

Structured_Streaming和Kafka整合

结构化编程模型输出终端/位置默认情况下，Spark的结构化流支持多种输出方案：1-consolesink:将结果数据输出到控制台。
小希 fighting·2024-01-16 06:14

seatunnel 消费kafka数据写入clickhouse

SeaTunnel是一个非常易用、高性能、支持实时流式和离线批处理的海量数据集成平台，架构于ApacheSpark和ApacheFlink之上，支持海量数据的实时同步与转换。
冰帆<·2024-01-16 05:41

大数据技术原理与应用 第三版 林子雨 期末复习（五） 第十章 SPARK

大数据技术原理与应用第三版林子雨期末复习（五）第十章SPARK简介spark特点spark与Hadoop对比Hadoop缺点spark优点RDDRDD概念RDD间存在依赖关系分为宽依赖与窄依赖RDD的两种常用操作简介
头发多多，肆意生长·2024-01-16 05:22

Spark - 资源动态释放

>通过spark-submit会固定占用一占的资源，有什么办法，在任务不运作的时候将资源释放，让其它任务使用呢，yarn新版本默认已经支持了，我们使用的是HDP。##版本如下!
kikiki4·2024-01-16 03:58

CDN看这个就够了

也是边缘计算里的一部分内容：指的是静态资源比如图片、视频、文档、JS、CSS、HTML。分发网络：指的是将这些静态资源分发到位于多个不同的地理位置机房中的服务器上，这样，就可以实现静态资源的
想做后端的前端·2024-01-16 03:28

Spark MLlib ----- ALS算法

补充在谈ALS（AlternatingLeastSquares）之前首先来谈谈LS，即最小二乘法。LS算法是ALS的基础，是一种数优化技术，也是一种常用的机器学习算法，他通过最小化误差平方和寻找数据的最佳匹配，利用最小二乘法寻找最优的未知数据，保证求的数据与已知的数据误差最小。LS也被用于拟合曲线，比如所熟悉的线性模型。下面以简单的线性一元线性回归模型说明最小二乘法。假设我们有一组数据{(x1,y
创作者mateo·2024-01-16 02:54

ClickHouse - 01

与其特性在大数据处理场景中，流处理和批处理使用到的技术大致如下：大数据处理场景流程.png批处理会将源业务系统中的数据通过数据抽取工具（例如Sqoop）将数据抽取到HDFS中，这个过程可以使用MapReduce、Spark
ArthurHC·2024-01-16 02:17

华为MindStudio简介

MindStudio是华为推出的一款集成开发环境（IDE），主要用于边缘计算和人工智能应用的开发。
LittroInno·2024-01-16 02:42

用Python实现给图片去黑边

图片去黑边（只考虑了去水平方向上的黑边）的核心算法是要找到图片顶部或顶部的黑边位置，即两个纵坐标值，主要用到了canny边缘计算、houghlines直线检测、easyocr识别等算法。
wangchenggong1988·2024-01-16 01:52

多卡聚合设备为5G智能安防保驾护航

面对5G带来的海量数据，边缘计算能够在近端进行处理，减少在云端之间来回传输数据的需要，可对生物识别、人群分析等
莉莉安_Lillian·2024-01-16 01:18

Python语法进阶学习--进程和线程

后续很快就要进入Spark的学习，在学习之前也是要铺垫一个知识点：进程是什么？线程是什么？两者有什么区别？又有什么关系？
Yan_bigdata·2024-01-15 23:34

视频智能分析/边缘计算AI智能分析网关V4区域入侵检测算法如何配置？

边缘计算AI智能分析网关（V4版）部署了近40种AI算法模型，支持对接入的视频图像进行人、车、物、行为等实时检测分析，并上报识别结果，并能进行语音告警播放。
TSINGSEE·2024-01-15 15:33

浪潮信息持续加强边算技术创新 推进业务增长

一直以来，在边缘计算市场内，浪潮信息均表现优异，针对新时期边缘计算市场的新需求，浪潮信息持续推进业务增长，加强创新，市场占比不断扩大。目前，在边缘计算厂商中，浪潮信息市场份额蝉联中国第一，为国内先驱。
fanxiaohui12138·2024-01-15 14:33

【Spark】Spark原理简述

发现一篇很好的文章，适合对Spark有一定了解的小伙伴阅读主要介绍下自己在学习spark当中的一些理解和学习过程中踩到的坑，对spark时间效率优化的点做个总结，各位大佬轻拍。
turboSniper·2024-01-15 14:57

streaming 101

看之前就知道这是两篇能够提升你对流处理理解的文章，不是一般的提升，可以说是一种升华，因为他谈的不是一个具体的工具（sparkstreaming，flink等），而是谈流处理应该是怎么样的，流处理要打败批处理一统天下的话需要有什么特性
Bitson·2024-01-15 12:31

边缘计算网关助力打造无人值守智能药房

通过物通博联边缘计算网关，可以采集零售药柜、取药机器人以及各类传感器等设备数据，并将数据集中到智能药房管理平台
物通博联网关·2024-01-15 10:03

边缘计算的特点及应用

边缘计算的特点1、超低时延海量的数据不再需要上传至云端进行处理，大大降低了网络时延，使得反馈更加迅速，同时也改善了用户体验，降低了网络在其他部分中可能发生的拥塞。
英码科技·2024-01-15 10:02

边缘计算的价值及应用

边缘计算的价值边缘计算的核心是在靠近数据源或用户的地方提供计算、存储等基础设施，并为边缘应用提供云服务和IT环境服务。
英码科技·2024-01-15 10:02

人工智能让边缘计算更有价值!

3月28日，在2018云栖大会·深圳峰会上，阿里云宣布2018年将战略投入到边缘计算技术领域，并推出了首个IOT边缘计算产品LinkEdge,将阿里云在云计算、大数据、人工智能的优势拓宽到更靠近端的边缘计算上
weixin_34056162·2024-01-15 10:02

边缘计算应用的价值

什么是边缘计算?为什么对组织很重要?边缘计算与云计算有什么关系?边缘计算专家对边缘计算和常见用例进行了解释和分析，并分享了一些示例。
暗涧幽火·2024-01-15 10:32

边缘计算：究竟是什么？为何潜力无限？

边缘计算则让自动驾驶汽车更快速地处理数据成为
灰哥哥·2024-01-15 10:01

边缘计算的发展和应用前景

知名创投调研机构CBInsights撰文详述了边缘计算的发展和应用前景。文章称，云计算已经不足以即时处理和分析由物联网设备、联网汽车和其他数字平台生成或即将生成的数据，这个时候边缘计算能够派上用场。
YHFHing·2024-01-15 10:01

边缘计算AI入门

边缘计算AI入门在对更高效业务流程的需求以及物联网(IoT)、5G和人工智能的关键进步的推动下，对边缘计算的需求比以往任何时候都高。
扫地的小何尚·2024-01-15 10:30

【AI】无人零售和边缘计算

目录一、什么是边缘计算1.1边缘计算的定义1.2边缘计算的作用1.3边缘计算的关键技术1.4边缘计算的应用场景二、边缘计算在无人零售中的应用一、什么是边缘计算1.1边缘计算的定义边缘计算（EdgeComputing
giszz·2024-01-15 10:59

GZ075 云计算应用赛题第8套

DevOps开发运维一体化”和“数据驱动产品开发”，拟采用开源OpenStack搭建企业内部私有云平台，开源Kubernetes搭建云原生服务平台，选择国内主流公有云平台服务，基于数字化平台底座，面向业务开发边缘计算云应用产品
嘿哈小将·2024-01-15 10:44

GZ075 云计算应用赛题第7套

DevOps开发运维一体化”和“数据驱动产品开发”，拟采用开源OpenStack搭建企业内部私有云平台，开源Kubernetes搭建云原生服务平台，选择国内主流公有云平台服务，基于数字化平台底座，面向业务开发边缘计算云应用产品
嘿哈小将·2024-01-15 10:14

GZ075 云计算应用赛题第9套

DevOps开发运维一体化”和“数据驱动产品开发”，拟采用开源OpenStack搭建企业内部私有云平台，开源Kubernetes搭建云原生服务平台，选择国内主流公有云平台服务，基于数字化平台底座，面向业务开发边缘计算云应用产品
嘿哈小将·2024-01-15 09:38

Spark原理——Shuffle 过程

Shuffle过程Shuffle过程的组件结构从整体视角上来看,Shuffle发生在两个Stage之间,一个Stage把数据计算好,整理好,等待另外一个Stage来拉取放大视角,会发现,其实Shuffle发生在Task之间,一个Task把数据整理好,等待Reducer端的Task来拉取如果更细化一下,Task之间如何进行数据拷贝的呢?其实就是一方Task把文件生成好,然后另一方Task来拉取现在是
我像影子一样·2024-01-15 09:47

Spark高级特性 (难)

Spark高级特性(难)闭包/**编写一个高阶函数，在这个函数要有一个变量，返回一个函数，通过这个变量完成一个计算**/@Testdeftest():Unit={//valf:Int=>Double=closure
我像影子一样·2024-01-15 09:11

关于边缘云的认识

边缘计算的挑战和机遇边缘计算面临着数据安全与隐私保护、网络稳定性等挑战，但同时也带来了更强的实时性和本地处理能力，为企业降低了成本和压力，提高了数据处理效率。
saddhu.·2024-01-15 07:05

sparkStreaming 连接kafka的方式

sparkStreaming消费kafak有两种方式1：receiver方式2：direct方式receiver方式：1：sparkStreaming将kafka之中的数据读取到spark内存之中，然后对
流砂月歌·2024-01-15 06:59

大数据问答汇总

ApacheSpark有哪些常见的稳定版本，Spark1.6.0的数字分别代表什么意思？
Sql强·2024-01-15 03:28

8.2、5GMEC认识篇

MEC：多接入边缘计算（Multi-accessEdgeComputing），强调的是边缘侧的计算服务。
网运少年·2024-01-15 03:01
上一页 18 19 20 21 22 23 24 25 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他