E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Spark技术研究
基于麻雀优化算法的路径优化问题(Matlab代码实现)
目录1概述1.引言2.麻雀搜索算法(SSA)原理3.改进策略4.实验与结果展示5.考虑几何约束条件的路径优化6.结论与展望2运行结果3参考文献4Matlab代码1概述路径规划是移动机器人
技术研究
领域中非常重要的部分
长安程序猿
·
2025-02-13 14:35
算法
matlab
开发语言
政务数据标识
技术研究
进展及下一代政务数据标识体系
摘要政务数据标识是建设全国一体化政务大数据体系的一项基础性工作。对数据标识技术的研究进展进行了总结,比较了不同数据标识技术编码规则的异同,并进一步总结了政务数据标识及应用进展。结合政务数据所具有的权责明确、安全性要求高、兼容性需求强等特点,提出了下一代政务数据标识体系Gcode。Gcode由外部码、内部码和安全码3个部分组成。其中,外部码兼容了统一社会信息用代码,内部码建立了“机构部门-系统-数据
宋罗世家技术屋
·
2025-02-13 10:02
计算机软件及理论发展专栏
政务
DeepSeek深度探索:从新手到高手的蜕变之旅
DeepSeek,作为一款由杭州深度求索人工智能基础
技术研究
有限公司开发的人工智能模型,凭借其强大的功能和灵活的应用场景,成为了众多企业和专业人士的得力助手。
古龙飞扬
·
2025-02-13 10:30
ai
人工智能
flink实时集成利器 - apache seatunnel - 核心架构详解
它支持多种数据源和数据目标,并可以与ApacheFlink、
Spark
等计算引擎集成。
24k小善
·
2025-02-12 23:38
flink
apache
架构
DS缩写乱争:当小海豚撞上AI顶流,技术圈也逃不过“撞名”修罗场
这个2019年诞生的分布式任务调度系统,凭借可视化DAG界面、多租户支持和对Hadoop/
Spark
生态的深度集成,一度是大数据工程师的“梦中情工”。
·
2025-02-12 18:58
数据库
DeepSeek V3 两周使用总结
DeepSeekV3两周使用总结机器学习AI算法工程2025年01月25日10:10广西向AI转型的程序员都关注公众号机器学习AI算法工程2024年12月26日,杭州深度求索人工智能基础
技术研究
有限公司发布
AI生成曾小健
·
2025-02-12 11:12
LLM大语言模型
Deepseek原理与使用
人工智能
如何在Java中实现高效的分布式计算框架:从Hadoop到
Spark
如何在Java中实现高效的分布式计算框架:从Hadoop到
Spark
大家好,我是微赚淘客系统3.0的小编,是个冬天不穿秋裤,天冷也要风度的程序猿!
省赚客app开发者
·
2025-02-12 07:12
java
hadoop
spark
Spark
源码分析
过程描述:1.通过Shell脚本启动Master,Master类继承Actor类,通过ActorySystem创建并启动。2.通过Shell脚本启动Worker,Worker类继承Actor类,通过ActorySystem创建并启动。3.Worker通过Akka或者Netty发送消息向Master注册并汇报自己的资源信息(内存以及CPU核数等),以后就是定时汇报,保持心跳。4.Master接受消息
数据年轮
·
2025-02-11 22:11
Spark
spark源码
spark
大数据
源码分析
Spark
源码 | 脚本分析总结
前言最初是想学习一下
Spark
提交流程的源码,比如
Spark
OnYarn、Standalone。
董可伦
·
2025-02-11 21:31
spark
源码
脚本
金奖!全知科技荣获第二届“数信杯”数据安全大赛金奖
近日,以“智赋数安·共筑未来”为主题的2024年数据安全关键
技术研究
及产业应用成果评价大会在北京圆满落幕。
·
2025-02-11 11:38
数据库
DeepSeek大模型技术解析:从架构到应用的全面探索
官网:https://www.deepseek.com/1、DeepSeek大模型简介DeepSeek大模型是由北京深度求索人工智能基础
技术研究
有限公司开发的一款
模型优化师
·
2025-02-11 10:11
人工智能
语言模型
agi
deepseek
AI大模型
LLM
ai
Spark
性能调优-----常规性能调优(一)最优资源配置
1.1.1常规性能调优一:最优资源配置
Spark
性能调优的第一步,就是为任务分配更多的资源,在一定范围内,增加资源的分配与性能的提升是成正比的,实现了最优的资源配置后,在此基础上再考虑进行后面论述的性能调优策略
weidajiangjiang
·
2025-02-11 01:01
spark
性能调优
常规资源配置
Spark
性能调优系列:
Spark
资源模型以及调优
Spark
资源模型
Spark
内存模型
Spark
在一个Executor中的内存分为三块,execution内存、storage内存、other内存。
Mr Cao
·
2025-02-11 01:29
大数据
spark
Spark性能调优
spark
性能调优 (一):执行计划
在
Spark
中,explain函数用于提供数据框(DataFrame)或SQL查询的逻辑计划和物理执行计划的详细解释。
LevenBigData
·
2025-02-11 01:26
spark
性能调优
spark
大数据
spark
技术基础知识
1.
Spark
的宽窄依赖划分Q:
Spark
中如何划分宽依赖和窄依赖?A:窄依赖:父RDD的每个分区最多被一个子RDD的分区依赖(如map、filter),不会触发shuffle。
24k小善
·
2025-02-10 15:16
spark
服务器
Spark
图书数据分析系统 Springboot协同过滤-余弦函数推荐系统 爬虫1万+数据 大屏数据展示 + [手把手视频教程 和 开发文档]
Spark
图书数据分析系统Springboot协同过滤-余弦函数推荐系统爬虫1万+数据大屏数据展示+[手把手视频教程和开发文档]【亮点功能】1.Springboot+Vue+Element-UI+Mysql
QQ-1305637939
·
2025-02-10 05:10
毕业设计
大数据毕设
图书数据分析
spark
spring
boot
爬虫
从运输到植保:DeepSeek大模型探索无人机智能作业技术详解
DeepSeek,作为一家专注于深度学习与人工智能
技术研究
的企业,近年来在AI领域取得了显著成果,尤其在无人机智能作业技术方面展现了其大模型的强大能力。
无人机技术圈
·
2025-02-10 01:41
无人机技术
无人机
计算机毕业设计hadoop+
spark
+hive新能源汽车数据分析可视化大屏 汽车推荐系统 新能源汽车推荐系统 汽车爬虫 汽车大数据 机器学习 大数据毕业设计 深度学习 知识图谱 人工智能
(1)设计目的本次设计一个基于Hive的新能源汽车数据仓管理系统。企业管理员登录系统后可以在汽车保养时,根据这些汽车内置传感器传回的数据分析其故障原因,以便维修人员更加及时准确处理相关的故障问题。或者对这些数据分析之后向车主进行预警提示车主注意保养汽车,以提高汽车行驶的安全系数。(2)设计要求利用Flume进行分布式的日志数据采集,Kafka实现高吞吐量的数据传输,DateX进行数据清洗、转换和整
qq+593186283
·
2025-02-09 21:35
hadoop
大数据
人工智能
【
spark
】【在YARN上运行
Spark
】【Running
Spark
on YARN】
目录Running
Spark
onYARN在YARN上运行
Spark
Security安全Launching
Spark
onYARN在YARN上启动
Spark
AddingOtherJARs添加其他JARPreparations
资源存储库
·
2025-02-09 17:42
spark
在Jupyter Notebook中进行大数据分析:集成Apache
Spark
在JupyterNotebook中进行大数据分析:集成Apache
Spark
介绍JupyterNotebook是一款广泛使用的数据科学工具,结合Apache
Spark
后,能够处理和分析大规模数据。
范范0825
·
2025-02-09 17:42
jupyter
数据分析
apache
知识图谱智能应用系统:数据分析与挖掘技术文档
本技术文档详细介绍了数据分析与挖掘模块中使用到的关键技术,包括
Spark
ML、StanfordNLP、JNA、Jena、Python调用以及定时调度。二、技术栈介绍(一)Spa
光芒再现0394
·
2025-02-09 09:47
知识图谱
数据分析
人工智能
spark
性能优化点(超详解!!!珍藏版!!!)
spark
性能优化点分配更多的资源1.1分配哪些资源1.2在哪里可以设置这些资源1.3参数调节到多大,算是最大分配更多的资源:它是性能优化调优的王道,就是增加和分配更多的资源,这对于性能和速度上的提升是显而易见的
深漠大侠
·
2025-02-09 08:10
spark
spark性能优化
spark
1.6.0分布式安装
1.概述本文是对
spark
1.6.0分布式集群的安装的一个详细说明,旨在帮助相关人员按照本说明能够快速搭建并使用
spark
集群。
问道9527
·
2025-02-09 08:33
spark
spark
分布式
集群
spark
安装与环境配置
1.安装
spark
官网http://
spark
.apache.org/downloads.html考虑到
spark
之后要结合hadoop一起使用,所以下载和已经安装hadoop版本均兼容的
spark
(首先安装好
Handoking
·
2025-02-09 08:03
大数据进阶中
spark
python
安装
3.5寸圈圈机移植阿木实验室P230旗舰款,纯视觉定位
1、使用3.5寸圈圈机架Bee352、使用淘宝微空家四合一电调、PX4飞控、MTF-01光流3、使用淘宝华虎家的数传4、使用阿木家的All
spark
1NX作为机载电脑,在Ubuntu18.04下运行ros
永不炸机
·
2025-02-09 01:42
无人机
prometheus
ROS
PX4
c++
spark
on yarn-cluster在生产环境 部署
spark
任务, 同时支持读取外部可配置化文件
Spark
Yarn-cluster在生产环境部署,同时支持参数可配置化方法在
Spark
中,有Yarn-Client和Yarn-Cluster两种模式可以运行在Yarn上,通常Yarn-cluster适用于生产环境
千里风雪
·
2025-02-08 20:40
spark
linux运维
spark
大数据
hadoop
spark
-py
spark
-standalone部署模式全过程
声明:1.参考视频b站黑马程序员视频,极力推荐这个视频,侵权删除https://www.bilibili.com/video/BV1Jq4y1z7VP/?spm_id_from=333.337.search-card.all.click&vd_source=3ae466b20a9e8eabdaa10e84c99758492.第一次配置,仅作为个人记录使用。3.参考黑马程序员standalone配置
哈哈哈哈q
·
2025-02-08 20:05
spark
大数据
分布式
大数据集群
Spark
-on-Yarn+Paddle深度学习模型部署
测试环境:
Spark
版本:2.4.0Python版本:2.6.XPaddlePaddle版本:2.4.2处理器:CPU过程记录:1.python运行环境准备本人使用Anaconda管理虚拟环境。
jqtree
·
2025-02-08 19:32
#
大数据开发
大数据
spark
paddle
类库与框架、在window(pycharm)搭建py
spark
库,连接Linux。
类库:一堆别人写好的代码,可以直接导入使用,pandas框架:可以独立运行,软件产品,如
spark
pandas用于:小规模数据集
spark
用于:大规模数据集py
spark
python的运行类库,内置了完全的
哈哈哈哈q
·
2025-02-08 18:23
+spark
spark
大数据
分布式
元宇宙相关
技术研究
--由AR眼镜引发的人机交互思考
本文是继上一篇文章基础上,跟踪最新VR/AR/MR眼镜技术发展的总结文章。随着IT新技术的发展,眼镜作为一种全新的交互方式,未来将逐渐走到人机交互的核心位置,眼镜集成了人机交互过程中的视觉(即眼睛)、听觉(即声音)、手势(即代替键盘鼠标触摸等)及方向位置感知等。这些交互技术的发展构建了元宇宙的基础架构,使得用户能够在虚拟和现实之间无缝切换,体验更加丰富的交互方式。特别是轻便的AR眼镜领域的发展和创
一望无际的大草原
·
2025-02-07 22:32
高级数据应用
数字孪生
人机交互
人机交互
VR
AR
MR
元宇宙
数字孪生
案例1.
spark
和flink分别实现作业配置动态更新案例
目录目录一、背景二、解决1.方法1:
spark
broadcast广播变量a.思路b.案例①需求②数据③代码2.方法2:flinkRichSourceFunctiona.思路b.案例①需求②数据③代码④测试验证测试
wguangliang
·
2025-02-07 19:44
Spark
flink
spark
大数据
分布式
flink
etl工程师
.getClass.getClassLoader.getResourceAsStream的方式加载文件,总是为null加载不到数据
记录一个问题,我在用如下的代码加载配置文件的时候,总是加载不到数据,文件位置的对的
Spark
SessionBase.getClass.getClassLoader.getResourceAsStream
抛砖者
·
2025-02-07 18:40
idea
云计算——AWS Solutions Architect – Associate(saa)1、什么是云,AWS介绍
现阶段广为接受的是美国国家标准与
技术研究
院(NIST)定义:云计算是一种按使用量付费的模式,这种模式提供可用的、便捷的、按需的网络访问,进入可配置的计算
F——
·
2025-02-07 18:07
云计算
云计算
aws
运维
学习
大数据-267 实时数仓 - ODS Lambda架构 Kappa架构 核心思想
已更完)HDFS(已更完)MapReduce(已更完)Hive(已更完)Flume(已更完)Sqoop(已更完)Zookeeper(已更完)HBase(已更完)Redis(已更完)Kafka(已更完)
Spark
m0_74823336
·
2025-02-07 16:57
面试
学习路线
阿里巴巴
大数据
架构
一文带你了解
Spark
4新特性,开启大数据处理新篇章
一文带你了解
Spark
4新特性,开启大数据处理新篇章在大数据处理的广袤天地中,Apache
Spark
始终是熠熠生辉的存在,宛如一颗璀璨的明星框架,吸引着无数开发者与数据分析师的目光。
敏叔V587
·
2025-02-07 12:59
大数据
当大模型遇上
Spark
:解锁大数据处理新姿势
大模型与
Spark
:技术初印象在当今数字化浪潮中,大模型和
Spark
无疑是备受瞩目的两大技术。它们各自在人工智能和大数据处理领域大放异彩,而当这两者相遇,又会碰撞出怎样的火花呢?
敏叔V587
·
2025-02-07 11:52
spark
大数据
分布式
深度解读Kafka数据可靠性
目前越来越多的开源分布式处理系统如Cloudera、ApacheStorm、
Spark
等都支持与Kafka集成。
程序の之道
·
2025-02-07 06:17
kafka
hive
yarn
spark
hadoop
探秘 DeepSeek:AI 领域的创新力量
一、公司背景与创始人DeepSeek,全称杭州深度求索人工智能基础
技术研究
有限公司,由量化资管巨头幻方量化成立。
秉寒
·
2025-02-07 04:35
人工智能
如何处理大规模数据集中的数据处理:
Spark
和ApacheFlink
文章目录1.简介2.基本概念术语说明数据处理(DataProcessing)任务调度(TaskScheduling)HadoopApache
Spark
ApacheFlink3.核心算法原理和具体操作步骤以及数学公式讲解
AI天才研究院
·
2025-02-07 01:43
DeepSeek
R1
&
大数据AI人工智能大模型
自然语言处理
人工智能
语言模型
编程实践
开发语言
架构设计
Spark
Container killed by YARN for exceeding memory limits. 11.1 GB of 11 GB physical memory used
公司
Spark
Sql运行出现问题同事要求帮忙排查下原因日志:19-10-202110:12:06CST
SPARK
_SQL-1632390310963INFO-SLF4J:Seehttp://www.slf4j.org
Called_Kingsley
·
2025-02-07 01:41
BigData
Spark
spark
yarn
spark
通过降低cores数量来提高成功率,错误记录之memory limit
失败的错误基本如下ContainerkilledbyYARNforexceedingmemorylimits.16.9GBof16GBphysicalmemoryused.Considerboosting
spark
.yarn.executor.memoryOverhead
BackToMeNow
·
2025-02-07 01:41
Spark基础与提高
Hive
spark
hive
内存优化
physical
memory
Hive-Container killed by YARN for exceeding memory limits. 9.2 GB of 9 GB physical memory used. Cons...
Causedby:org.apache.
spark
.
Spark
Exception:Jobabortedduetostagefailure:Task3instage0.0failed4times,mostrecentfailure
嘣嘣嚓
·
2025-02-07 01:41
spark
hive
boosting
scala
big
data
运行HQL时,报错:Container killed by YARN for exceeding memory limits
1出现问题现象搭建HiveOn
Spark
模式,运行HQL时:出现如下错误:ExecutorLostFailure(executor4exitedcausedbyoneoftherunningtasks)
Michael312917
·
2025-02-07 00:08
Hive
on
Spark
hive
Spark
-- 执行器后端 & 调度器后端
在Apache
Spark
中,coarseGrainedExecutorBackend和coarseGrainedschedulerBackend是两个重要的组件,它们在
spark
的集群调度和执行过程中扮演着不同的角色
Cynthiaaaaalxy
·
2025-02-07 00:36
spark
大数据
分布式
Py
Spark
学习笔记5-
Spark
SQL
spark
Sql的数据抽象有两种。
兔子宇航员0301
·
2025-02-07 00:36
数据开发小白成长笔记
学习
笔记
分布式快照算法 Chandy-Lamport
0.引言上一篇文章最后说到
Spark
的StructuredStreaming的ContinuousProcessingMode的容错处理使用了分布式快照(DistributedSnapshot)算法Chandy-Lamport
冬至喵喵
·
2025-02-06 21:51
分布式
算法
py
Spark
学习笔记4——预处理csv数据3
本文仍旧是py
Spark
系列继续,欢迎关注,并请持续关注。入门,开始,继续。有大佬说,很多人写博文都是开篇啥的,往往只有一两篇,后来再无更新,而我不是,专注,持续深入才是我的本色。
小李飞刀李寻欢
·
2025-02-06 18:56
NLP与推荐算法
pySpark
hdfs
dataframe
csv
Flink &&
Spark
SQL提效神器双双更新
本次
Spark
SQLHelper主要更新了对于Hints的补全支持,Release版本为2025.2.0。
·
2025-02-06 13:32
flinkspark大数据
【starrocks学习】之将starrocks表同步到hive
目录方法1:通过HDFS导出数据1.将StarRocks表数据导出到HDFS2.在Hive中创建外部表3.验证数据方法2:使用Apache
Spark
同步1.添加StarRocks和Hive的依赖2.使用
chimchim66
·
2025-02-06 12:52
学习
hive
hadoop
DES & 3DES 简介 以及 C# 和 js 实现【加密知多少系列_2】
直到1997年NIST(美国国家标准与
技术研究
院)开始公开征集更安全的加密算法以
橙子家czzj
·
2025-02-06 12:21
elasticsearch
c#
javascript
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他