spark边缘计算

domain参数错误导致讯飞星火大模型：发生错误，错误码为：10404

https://xinghuo.xfyun.cn/sparkapi解决星火1.5，2，3版本分别传general,generalv2,generalv3参考
shy_snow·2023-12-03 07:32

基于算能的国产AI边缘计算盒子8核心A53丨17.6Tops算力

边缘计算盒子8核心A53丨17.6Tops算力●可提供17.6TOPS（INT8）的峰值计算能力、2.2TFLOPS（FP32）的高精度算力，单芯片最高支持32路H.264&H.265的实时解码能力。
深圳信迈科技DSP+ARM+FPGA·2023-12-03 07:31

基于Intel Ai Analytics Toolkit 及边缘计算的溶氧预测水产养殖监测方案

基于AI的淡水养殖水质溯源、优化系统方案前言一、关键需求及方案概述二、方案设计预测机制LSTM模型基于intelAI的时序水质分析模型与分类模型优化三、实战分析1、方案简述2、数据分析预处理特征类型处理特征分布分析3、特征构造4、特征选择过滤法重要性排序5.构建LSTM模型6.模型训练四、IntelAiAnalyticsToolkit及相关库使用Intel®ModinIntel®Extension
木斯佳·2023-12-03 07:56

spark写入数据报错

报错信息如下：Exceptioninthread"main"org.apache.spark.sql.AnalysisException:Cannotoverwritetabledwd.dim_user_infothatisalsobeingreadfromatorg.apache.spark.sql.DataFrameWriter.saveAsTable
南城守护·2023-12-03 06:47

【SparkSQL】基础入门（重点：SparkSQL和Hive的异同、SparkSQL数据抽象）

【大家好，我是爱干饭的猿，本文重点介绍SparkSQL的定义、特点、发展历史、与hive的区别、数据抽象、SparkSession对象。
爱干饭的猿·2023-12-03 06:13

解码 SQL：深入探索 Antlr4 语法解析器背后的奥秘

你可能已经使用过诸如MySQL、Hive、ClickHouse、Doris、Spark和Flink等工具来编写SQL查询。
Light Gao·2023-12-03 06:21

黑猴子的家：Spark RDD 操作

所有这些操作主要针对两种类型的RDD:（1）数值RDD（2）键值对RDDRDD的所有转换操作都是懒执行的，只有当行动操作出现的时候Spark才会去真的运行,不同的RDD类型之间的转换，通过隐式转换完成，
黑猴子的家·2023-12-03 03:06

SparkStreaming 窗口操作

热点搜索词滑动统计，每隔10秒钟，统计最近60秒钟的搜索词的搜索频次，并打印出排名最靠前的3个搜索词以及出现次数普通SparkStreaming处理方式，如果将时间间隔设置成60s，无法每隔10s输出一次结果
printf200·2023-12-03 02:27

spark读取GBK文件的方法

spark读取GBK文件乱码spark的textFile方法默认写死了读UTF-8格式的文件，读其他格式的文件则会显示乱码。
NikolasNull·2023-12-03 02:31

AI创作ChatGPT源码+AI绘画（Midjourney绘画）+DALL-E3文生图+思维导图生成

一、AI创作系统SparkAi创作系统是基于ChatGPT进行开发的Ai智能问答系统和Midjourney绘画系统，支持OpenAI-GPT全模型+国内AI全模型。
白云如幻·2023-12-03 00:25

Spark Core源码精读计划#24：StaticMemoryManager——静态内存管理机制

目录前言MemoryManager的初始化静态内存管理器StaticMemoryManager构造方法计算堆内存储/执行内存总量内存申请方法静态内存管理布局图解总结前言在上一篇文章的最后，我们阅读了内存管理器MemoryManager抽象类的源码，并且提到它有两种实现：静态内存管理器StaticMemoryManager、统一内存管理器UnifiedMemoryManager。其中，StaticM
LittleMagic·2023-12-03 00:52

严谨的防御DDoS思路帮助你实现有效快速、高准确性的应对DDoS

严谨的防御DDoS思路帮助你实现有效快速、高准确性的应对DDoS随着IPv6、5G、物联网、边缘计算等新兴信息通信技术和相关各类应用行业的快速发展，当前接入网络的终端类型和协议类型越来越丰富多样，呈现出指数级的数
Hik__c484·2023-12-02 23:50

基于算能的国产AI边缘计算盒子,内置强悍TPU | 32TOPS INT8算力

边缘计算盒子内置强悍TPU|32TOPSINT8算力●支持浮点运算的TPU平台盒子，支持32TOPS@INT8，16TFLOPS@FP16，2TFLOPS@FP32高算力●单芯片最高支持32路H.264&
深圳信迈科技DSP+ARM+FPGA·2023-12-02 22:36

基于算能的国产AI边缘计算盒子,8核心A53丨10.6Tops算力

边缘计算盒子8核心A53丨10.6Tops算力●算力高达10.6TOPS,单芯片最高支持8路H.264&H.265的实时解码能力。●可扩展4G/5G/WIFI无线网络方式，为边缘化业务部署提供便利。
深圳信迈科技DSP+ARM+FPGA·2023-12-02 22:36

国产AI边缘计算盒子，双核心A55丨2.5Tops算力

边缘计算盒子双核心A55丨2.5Tops算力●2.5Tops@INT8算力，支持INT8/INT4/FP16多精度混合量化。
深圳信迈科技DSP+ARM+FPGA·2023-12-02 22:36

应用于明亮厨灶的AI边缘计算盒子+AI算法软硬一体化方案

明厨亮灶方案解决了餐饮企业顾客可以直观地看到后厨员工的操作是否规范，卫生是否合格，是否有一些不应该出现的物品，同时明厨亮灶是对餐饮企业员工的一种监督。英码明厨亮灶方案可为企业和消费者提供后厨“透明化”技术支撑，使内外部人员实现“可见”，“可闻”，“可监督”；为餐饮消费市场营造安全、卫生、可信的放心消费环境。-方案拓扑图-着装规范检测人员行为规范鼠患监测安全区烟雾明火抽烟检测口罩监测垃圾桶加盖/垃圾
深圳信迈科技DSP+ARM+FPGA·2023-12-02 22:06

应用于智慧园区的AI边缘计算盒子+AI算法软硬一体化方案

工业园区多为生产型和物流型企业，劳动人员密集，外来人口多，农民工多，人员流动大，车流量大，易引发车祸、破坏公共设施和绿化工程等案件;英码智慧园区方案，可实现100%管理所有出入人员；对园区内所有人/车进行轨迹跟踪，烟火检测，通过合理的路线规划，提高园区运作效率；另外人员闯入识别精度可达95%以上，烟雾、明火识别精度可达90%以上，保障园区安全、有序、高效运作。-方案拓扑图-出入实名制管理外来人员闯
深圳信迈科技DSP+ARM+FPGA·2023-12-02 22:05

应用于智慧油站的AI边缘计算盒子+AI算法软硬一体化方案

该方案通过AI边缘计算盒子+摄像机等智能化识别分析技术，可对实时视频内容分析，实现探测异常信息，进行风险预测，以最高效、最直接的方法提升油站安全系数，针对作业区烟火检
深圳信迈科技DSP+ARM+FPGA·2023-12-02 22:05

应用于智慧社区的AI边缘计算盒子+AI算法软硬一体化方案

据统计，全国大约有45W个小区，监控高空抛物、治理乱扔垃圾、人员管理、烟火检测、占道、人流量检测、车型检测等；营造社区安全等需求跟每一个参与者息息相关，据法院公开资料显示，每年有1000宗以上跟高空抛物有关的各类案件，高空抛物事件危害大并逐年增长，已敲响了“头顶”的警钟；部署信迈智慧社区管理方案，可对高空抛物、乱扔垃圾人员管理、烟火检测、车辆识别、外卖员识别等行为进行有效监管，识别准确率达到85%
深圳信迈科技DSP+ARM+FPGA·2023-12-02 22:05

像手机安装APP一样安装AI视觉算法，共达地推出“自选式算法定义“边缘计算软硬一体解决方案

边缘计算的市场需求激增，甚至连续三年被全球最大IT咨询公司Gartner评为“十大战略性科技”，特别是国内智慧城市管理相关的各个细分领域的智能化管理升级需求，有着极大的市场空间。
GDDi2020·2023-12-02 22:35

应用于智慧电力安全的AI边缘计算盒子+AI算法软硬一体化方案

-方案拓扑图-电力行业涉及产电、配电、输电、变电、售电等多个环节，涵盖的设备种类之多、地理跨越区域之广、对国计民生影响之深远，在众多行业中，首屈一指；国家政策以及三大电网企业都已明确数字化、智能化建设方向大目标，秉承国家政策，把握行业发展方向，英码科技顺应行业发展规律，推出智慧电力方案，可应用于变电站AI智能巡检、输配电线路缺陷智能识别、无人机自动化巡检、周界入侵检测、人员作业操作规范等电力细分场
深圳信迈科技DSP+ARM+FPGA·2023-12-02 22:35

应用于智慧交通的AI边缘计算盒子+AI算法软硬一体化方案

作为城市物质交换的关键通道、负责“输送养分”的交通脉络，承担着出行、货运、建设、联通、共治等城市运作/治理等繁重任务；作为新基建不可或缺的一部分，信迈通过前沿的AI技术实现高效的交通治超（超长、超重、超速）、治违（违停、占道），结合成熟的车辆视频结构化捕捉模型，实现实时的、动态的交通综合治理手段，打造智慧城市交通“一张图”，达到促生产、维稳定、提效率、增幸福的目的。-方案拓扑图-开车打电话变道检测
深圳信迈科技DSP+ARM+FPGA·2023-12-02 22:35

应用于智慧工地的AI边缘计算盒子+AI算法软硬一体化方案

智慧工地解决方案，围绕施工工地最常见的工人工服识别、安全帽佩戴识别、人脸识别、安全周界检测、打电话/吸烟、摔倒检测、明火检测、渣土车、土堆裸露识别等一系列子场景专门推出的通用解决方案，着眼工地安全施工、规范人员进出、保护设备安全等刚性需求。-方案拓扑图-出入实名制管理安全帽反光衣检测周界入侵检测烟火/烟雾检测抽烟识别裸露土堆识别渣土车识别智慧工地盒子管理平台
深圳信迈科技DSP+ARM+FPGA·2023-12-02 22:03

物联网边缘计算是什么？如何实现物联网边缘计算？

物联网边缘计算是一种在物联网设备和网络中实施计算和数据处理的技术。它允许在物联网设备或网络边缘进行数据分析和处理，而不需要将所有数据传输到远程数据中心或云端进行处理。
北京天拓四方科技有限公司·2023-12-02 22:27

spark 操作 hbase 之读取 hbase

1通过scan读取hbase表应用场景：当想读取hbase表数据，做进一步数据处理或数据分析时，需要用scan读取HBASE表。读取方法：file直到读取数据的inputformat是TableInputFormat，filefilekeyin：ImmutableBytesWritablerowkeyvaluein：Result一行（rowkey）的数据file1.1scan全表packageda
海牛大数据_青牛老师·2023-12-02 21:13

Hadoop进阶学习---MapReduce分布式计算架构

1.单词统计流程(文字简单描述)已知文件内容:hadoophivehadoopsparkhiveflinkhivelinuxhivemysql计算每个单词出现的次数2.MR底层计算原理[重点]MAP阶段第一阶段是把输入目录下文件按照一定的标准逐个进行逻辑切片
Yan_bigdata·2023-12-02 19:30

Hdoop学习笔记（HDP）-Part.17 安装Spark2

目录Part.01关于HDPPart.02核心组件原理Part.03资源规划Part.04基础环境配置Part.05Yum源配置Part.06安装OracleJDKPart.07安装MySQLPart.08部署Ambari集群Part.09安装OpenLDAPPart.10创建集群Part.11安装KerberosPart.12安装HDFSPart.13安装RangerPart.14安装YARN+
这啥命啊·2023-12-02 19:45

spark - java 编程实现Word count

本文通过一个demon向读者展示，如何用spark实现wordcount功能。
良人与我·2023-12-02 11:37

Antlr4 - 自定义SparkSQL解析

Antlr4是一个强大的解析器的生成器，可以用来读取、处理、执行或翻译结构化文本，ANTLR可以从语法上来生成一个可以构建和遍历解析树的解析器，最出名的Spark计算引擎2.x就是用它来解析SQL的，是一个牛到没朋友的家伙
大猪大猪·2023-12-02 11:03

【Spark数仓项目】需求八：MySQL的DataX全量导入和增量导入Hive

【Spark数仓项目】需求八：MySQL的DataX全量导入和增量导入Hive文章目录一、mysql全量导入hive[分区表]需求介绍：二、mysql增量导入hive1.增量导入的第一种实现方法2.另一种方法是时间字段
程序终结者·2023-12-02 10:22

spark RDD与DataFrame的相互转换

一、RDD与DataFrame的区别RDD转DataFrame原因及方式可以将RDD转成DataFrame之后，借用sparksql和sql以及HQL语句快速方便的使用sql语句统计和查询，比如说分组排名
火树银花之处·2023-12-02 10:47

Spark---DataFrame存储、Spark UDF函数、UDAF函数

四、DataFrame存储+SparkUDF函数1、储存DataFrame1）、将DataFrame存储为parquet文件2）、将DataFrame存储到JDBC数据库3）、将DataFrame存储到
30岁老阿姨·2023-12-02 10:46

Spark低版本适配Celeborn

Spark-3.5版本以下使用Celeborn时，无法使用动态资源，对于低版本的Spark，Celeborn提供了patch。
woloqun·2023-12-02 10:16

SparkSQL 学习笔记----将RDD转换成DataFrame

一、RDD转换成DataFrame1、为什么要将RDD转换成DataFrame转换成DataFrame之后就可以直接针对HDFS等任何可以构建为RDD的数据，进行SparkSQL进行SQL查询了。
PZ~浪味仙·2023-12-02 10:46

2023_Spark_实验二十四：Kafka集群环境搭建

Kafka集群环境搭建一、环境说明二、安装步骤一、环境说明目前的Kafka版本还是需要借助zookeeper来存储cluster、brokers、consumer等相关元信息，在当前版本即在本案例中，我们采用了外部的zookeeper，即搭建了三节点的集群zookeeper环境，以其作为Kafka2_12_3.1.0版本的元数据存储库。zookeeper环境配置如下：节点安装路径dataDir路径
pblh123·2023-12-02 10:44

【详解】Spark数据倾斜问题由基础到深入详解-完美理解-费元星

数据倾斜定义：顾名思义，就是大量相似或相同数据聚集在一个块的节点里，导致计算和资源分配不均导致的计算缓慢（长尾）问题。数据倾斜原因：count(distinctfield)groupbyNULL空值Shuffle(概率最高、发生最普遍的数据倾斜问题，本文重点讲述这个)###################################################先说解决方案：1.相同值打散各
未来星_狒狒·2023-12-02 10:44

使用Spark写入数据到数据库表

项目场景：使用Spark写入数据到数据库表问题描述Column"20231201"notfoundinschemaSome(StructType(StructField(sdate,IntegerType
用吉他弹奏摇滚乐·2023-12-02 10:14

SparkSQL－MR、RDD、DataFrame三个编程模型演进

转载自：http://hbasefly.com/2017/02/16/sparksql-dataframe/SparkSQL历史回顾对SparkSQL了解的童鞋或多或少听说过Shark，不错，Shark
扎克begod·2023-12-02 10:12

【Spark】RDD转换DataFrame（反射机制）

Spark支持多种格式文件生成DataFrame，只需在读取文件时调用相应方法即可，本文以txt文件为例。
卜塔·2023-12-02 10:42

Spark---Spark on Hive

1、SparkOnHive的配置1）、在Spark客户端配置HiveOnSpark在Spark客户端安装包下spark-2.3.1/conf中创建文件hive-site.xml：配置hive的metastore
30岁老阿姨·2023-12-02 10:40

【Spark基础】-- RDD 转 Dataframe 的三种方式

目录一、环境说明二、RDD转Dataframe的方法1、通过StructType创建Dataframe（强烈推荐使用这种方法）
high2011·2023-12-02 10:39

2023_Spark_实验二十四：SparkStreaming读取Kafka数据源：使用Direct方式

SparkStreaming读取Kafka数据源：使用Direct方式一、前提工作安装了zookeeper安装了Kafka实验环境：kafka+zookeeper+spark实验流程二、实验内容实验要求
pblh123·2023-12-02 09:02

spark3.x 写入hudi报错

报错信息如下：Exceptioninthread"main"org.apache.hudi.exception.HoodieUpsertException:Failedtoupsertforcommittime20231201202516518atorg.apache.hudi.table.action.commit.BaseWriteHelper.write(BaseWriteHelper.ja
南城守护·2023-12-02 08:52

spark3.x 读取hudi报错

报错信息如下：Exceptioninthread"main"org.apache.hudi.exception.HoodieUpsertException:Failedtoupsertforcommittime20231201203145254atorg.apache.hudi.table.action.commit.BaseWriteHelper.write(BaseWriteHelper.ja
南城守护·2023-12-02 08:48

前端需要了解的5G网络知识

作为前端的我们虽然或多或少了解一些通信知识，但大多都是基于《通信原理》等课程了解到的，随着技术的发展，前端网络侧的优化也会有一定的涉及到通信领域的知识，关于各端渲染优化的问题可以参看这篇文章【第1996期】前端性能优化：当页面渲染遇上边缘计算
维李设论·2023-12-02 05:41

驯服大数据的超强利器——PySpark数据处理引擎

现在，Spark数据处理引擎正在向你敞开大门。这是一个惊人的分析工厂，输入原始数据，输出洞察。
清图·2023-12-02 05:58

应用于智慧工厂的AI边缘计算盒子+AI算法软硬一体化方案

智慧工厂解决方案，传统工厂/生产管理，普遍存在运营粗放、效率低、应变能力差、安全隐患突出、资源不平衡等“行业症状”；以英码产品为核心的智能化场景解决方案，可以从本质上根治这些“症状”，如企业可利用智能预测系统，每年减少20~40%设备维护成本；通过作业规范系统，提高从业人员安全性以及提升10~20%产能.-方案拓扑图-着装规范检测产品缺陷检测人脸识别考勤管理在岗离岗识别生产操作规范设备预测性维护叉
深圳信迈科技DSP+ARM+FPGA·2023-12-02 05:40

应用于智慧金融的AI边缘计算盒子+AI算法软硬一体化方案

传统金融营业厅存在运营管理模式落后、资源投放不平衡、从业人员培训效果不达预期、客户体验割裂等普遍现象；部署英码数字金融解决方案，将助力企业从传统金融模式快速向数字金融模式转变，可针对每一个客户定制个性化“一对一”服务；结合大数据分析，精准投放广告、业务资源；并结合企业内部数据/资源，对从业员水平提出可行的持续提高计划。-方案拓扑图-VIP识别客流分析自助服务
深圳信迈科技DSP+ARM+FPGA·2023-12-02 05:40

水库监管AI视觉算法与边缘计算盒子

01河道周围垃圾堆放场景描述：基于河道漂浮物容易通过水流的影响，被推在河道周围的岸边，因此通过对河道周围的垃圾堆放24h实时识别，目的提高治理河道垃圾的时效性且减少环保工人的工作量适用场所：适用白天或夜间光照良好情况下，识别河道周围垃圾堆放的场景模型+后处理：河道垃圾检测摄像头：分辨率：1K及以上，4K及以下目标图像：垃圾目标最小像素值：每1K分辨率75*75像素以上光照条件：照度：90lux≤照
深圳信迈科技DSP+ARM+FPGA·2023-12-02 05:40

基于RV1126的边缘AI计算盒子，新零售、智慧城管、智能安防、智慧课堂

边缘计算盒子瑞芯微rv1126|2.0TOPSINT8/INT16●集成了NPU，算力高达2.0TOPs@INT8/INT16。
深圳信迈科技DSP+ARM+FPGA·2023-12-02 05:35
上一页 41 42 43 44 45 46 47 48 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他