E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
spark核心技术
云计算技术深度解析与代码使用案例
本文将深入探讨云计算的
核心技术
、应用场景,并通过一个具体的代码使用案例,展示如何在云计算平台上实现一个基本的应用程序。云计算技术特点云计算是网格计算、分布式计算、并行计算、效
我的运维人生
·
2025-01-29 17:19
云计算
运维开发
技术共享
NLTK命名实体识别(NER)
命名实体识别(NamedEntityRecognition,NER)是自然语言处理(NLP)中的一项
核心技术
,旨在从文本中识别出具有特定意义的实体,如人名、地名、组织名等。
Mr数据杨
·
2025-01-29 13:58
Python
自然语言技术
NLTK
自然语言处理
1024程序员节
数学与机器学习:共舞于智能时代的双璧
随着人工智能的崛起,机器学习作为其
核心技术
之一,正引领着新一轮的科技革命。而在这场革命中,数学以其深邃的理论和精妙的工具,为机器学习提供了坚实的支撑。
每天五分钟玩转人工智能
·
2025-01-29 03:18
机器学习
人工智能
RDD 算子全面解析:从基础到进阶与面试要点
Spark
的介绍与搭建:从理论到实践_
spark
环境搭建-CSDN博客
Spark
的Standalone集群环境安装与测试-CSDN博客Py
Spark
本地开发环境搭建与实践-CSDN博客
Spark
程序开发与提交
天冬忘忧
·
2025-01-28 12:16
Spark
spark
大数据
Spring Boot 高级开发指南:全面掌握微服务架构的关键技术
本文将围绕13个关键的高级概念展开,逐一分析SpringBoot在微服务开发中的
核心技术
,包括配置与属性管理、Bean生命周期与作用域、国际化、缓存、部署运维、弹性微服务、分布式事务等,配合实际代码与案例
IT古董
·
2025-01-28 10:01
JAVA
架构
spring
boot
微服务
Java学习day002 Java程序设计环境(下载安装JDK、使用命令行工具、使用集成开发环境、运行图形化应用程序)
使用的教材是java
核心技术
卷1,我将跟着这本书的章节同时配合视频资源来进行学习基础java知识。
Z zehao
·
2025-01-28 03:38
Java基础学习
java
后端
anaconda中py
spark
_自学大数据——9 Anaconda安装与使用py
spark
首先从Anaconda官网上下载Anaconda。一、解压安装包sudobashAnaconda3-2020.07-Linux-x86_64.shchown-Rhadoop:hadoop/opt/anaconda/vi/etc/profileexportANACONDA_HOME=/opt/anacondaexportPATH=$PATH:$ANACONDA_HOME/bin:source/etc
步六孤陆
·
2025-01-27 17:59
Py
Spark
数据处理过程简析
作者:禅与计算机程序设计艺术1.简介Py
Spark
是Apache
Spark
的PythonAPI,可以用Python进行分布式数据处理,它在内存中利用了ApacheHadoopYARN资源调度框架对数据进行并行处理
AI天才研究院
·
2025-01-27 17:28
Python实战
自然语言处理
人工智能
语言模型
编程实践
开发语言
架构设计
2022-02-09大数据学习日志——Py
Spark
——
Spark
快速入门&Standalone集群
第一部分
Spark
快速入门01_
Spark
快速入门【Anaconda软件安装】[掌握]使用Python编写
Spark
代码,首先需要安装Python语言包,此时安装Anaconda科学数据分析包。
王络不稳定
·
2025-01-27 17:28
spark
big
data
大数据
Py
Spark
1.Py
Spark
的搭建https://blog.csdn.net/qq_36330643/article/details/78429109Py
Spark
是
Spark
为Python开发者提供的API,位于
rainyrainbow
·
2025-01-27 17:56
大数据hadoop
spark
2如何集成到cdh里
最近做性能测试需要
spark
2测试下和
spark
1.6性能有多大差别,官方文档里写着可以集成,但是自己怎么搞都不行,折磨了3天的时间,目前终于把
spark
2集成到集群里了我安装的是最新版本的下载
spark
2
蘑菇丁
·
2025-01-27 16:55
经验
hadoop
大数据+机器学习+oracle
大数据之
Spark
运行流程
文章目录前言(一)
Spark
OnYarn集群的Client模式运行流程(二)
Spark
OnYarn集群的Cluster模式运行流程总结前言上篇文章有讨论到
Spark
OnYarn的两种部署模式,如果有不清楚的地方
「已注销」
·
2025-01-27 15:17
Spark
大数据
spark
hadoop
xgboost-
spark
-scala
今天学习写scala,拿xgboost试一下~先记一下xgboost调参要点:7.xgboost中比较重要的参数介绍(1)objective[default=reg:linear]定义学习任务及相应的学习目标,可选的目标函数如下:“reg:linear”–线性回归。“reg:logistic”–逻辑回归。“binary:logistic”–二分类的逻辑回归问题,输出为概率。“binary:logi
maokunnn
·
2025-01-27 15:14
DM
xgboost
spark
scala
前端新手教程:HTML、CSS 和 JavaScript 全面详解及实用案例
HTML、CSS和JavaScript作为前端开发的
核心技术
,分别负责网页的结构、样式和交互。
魏大帅。
·
2025-01-27 14:36
html
css
javascript
基于 PyTorch 的深度学习模型开发实战
个人主页:一ge科研小菜鸡-CSDN博客期待您的关注引言深度学习已广泛应用于图像识别、自然语言处理、自动驾驶等领域,凭借其强大的特征学习能力,成为人工智能的
核心技术
之一。
一ge科研小菜鸡
·
2025-01-27 10:47
人工智能
深度学习
从设计到伴飞:数字孪生赋能航天航空新时代
当今社会,航天航空作为科技高速发展的
核心技术
领域正在快速崛起,数字孪生技术在其中发挥着至关重要的作用。从设计、制造、维护到运营,数字孪生已渗透飞机等飞行器的全生命周期,为行业带来了前所未有的变革。
迪捷软件
·
2025-01-27 10:14
飞机
飞天农业植保无人机:现代农业的智能守护者
一、技术原理飞天农业植保无人机的
核心技术
包括无人机平台、导航与控制系统、喷洒系
IT源码大师
·
2025-01-27 09:08
无人机
kubernetes
核心技术
-探针
在Kubernetes集群中,容器的健康状态对于确保应用的稳定性和可靠性至关重要。为了更好地管理容器生命周期,Kubernetes提供了一套探针机制(Probes),包括存活探针(LivenessProbes)、就绪探针(ReadinessProbes)和服务可用性探针(StartupProbes)。这些探针允许我们自动检测容器的状态,并据此采取相应的行动,如重启不健康的Pod或者仅在服务准备好时
難釋懷
·
2025-01-27 07:53
kubernetes
容器
云原生
大数据平台建设整体架构设计方案
《大数据平台建设整体架构设计方案》关键词:大数据平台、分布式存储、分布式计算、数据仓库、数据湖、数据安全、数据质量管理、数据治理、数据挖掘、机器学习、图计算、自然语言处理、Hadoop、
Spark
、Flink
AI天才研究院
·
2025-01-27 02:55
ChatGPT
AI大模型企业级应用开发实战
大数据AI人工智能
大厂Offer收割机
面试题
简历
程序员读书
硅基计算
碳基计算
认知计算
生物计算
深度学习
神经网络
大数据
AIGC
AGI
LLM
Java
Python
架构设计
Agent
程序员实现财富自由
工业数据分析:解锁工厂数字化的潜力
工业数据分析:解锁工厂数字化的潜力引言工业数据分析是工业4.0时代的
核心技术
之一。从生产设备的传感器数据,到供应链的物流信息,工业环境中每天都会产生海量数据。
Echo_Wish
·
2025-01-27 01:44
Python进阶
数据分析
数据挖掘
请问Python怎么安装vlfeat?
在当今数据驱动的时代,图像处理和计算机视觉成为了许多前沿应用的
核心技术
之一。作为一门强大的编程语言,Python在这些领域中扮演着极其重要的角色。
cda2024
·
2025-01-26 20:09
python
开发语言
Scala简介
hadoop生态圈—>java
spark
生态圈—>scala1.scala是面向对象的、面向函数的基于静态类型的编程语言。
醉游江湖
·
2025-01-26 18:21
scala
spark
官方配置参数详解
以下是整理的
Spark
中的一些配置参数,官方文档请参考
Spark
Configuration。
我丶怀念的
·
2025-01-26 18:21
spark
scala
d
s
【
spark
床头书系列】如何在YARN上启动
Spark
官网权威详解说明
【
spark
床头书系列】如何在YARN上启动
Spark
官网权威详解说明点击这里看全文文章目录添加其他JAR文件准备工作配置调试应用程序
Spark
属性重要说明KerberosYARN特定的Kerberos
BigDataMLApplication
·
2025-01-26 18:20
spark
spark
大数据
分布式
xgboost在
spark
集群使用指南
简介XGBoost是一个优化的分布式梯度增强库,具有高效、灵活和可移植性。在梯度增强框架下实现了机器学习算法。XGBoost提供了一种并行树增强(也称为GBDT、GBM),可以快速、准确地解决许多数据科学问题。相同的代码在主要的分布式环境(Hadoop、SGE、MPI)上运行,可以解决数十亿个示例的训练问题。xgb相对于gbt所做的改进:1.2.3.XGBoost可以使用R、python、java
一颗小草333
·
2025-01-26 17:49
算法
mapreduce
spark
数据挖掘
从零到一:低代码平台的
核心技术
解析
今天,我们就来深入剖析低代码平台背后的
核心技术
,看看它是如何实现高效开发的。可视化设计引擎低代码平台的显著特征之一就是可视化设计。
·
2025-01-26 07:21
低代码
性能优化案例:通过合理设置
spark
.default.parallelism参数的值来优化Py
Spark
程序的性能
在Py
Spark
中,
spark
.default.parallelism是一个关键参数,直接影响作业的并行度和资源利用率。
weixin_30777913
·
2025-01-26 06:52
大数据
spark
python
性能优化案例:通过合理设置
spark
.storage.memoryFraction参数的值来优化Py
Spark
程序的性能
优化Py
Spark
程序的性能时,合理设置
spark
.storage.memoryFraction(或相关内存参数)是关键。
weixin_30777913
·
2025-01-26 05:14
python
大数据
spark
转:
Spark
RDD算子练习题
版权声明:本文为博主原创文章,遵循CC4.0BY-SA版权协议,转载请附上原文出处链接和本声明。本文链接:https://blog.csdn.net/qq_40825218/article/details/83720732给定数据如下:12张三25男chinese5012张三25男math6012张三25男english7012李四20男chinese5012李四20男math5012李四20男e
爱萨萨
·
2025-01-26 05:42
技术-大数据
spark
RDD
练习
spark
sql的练习题
1、使用StructuredStreaming读取Socket数据,把单词和单词的反转组成json格式写入到当前目录中的file文件夹中2、请使用StructuredStreaming读取student_info文件夹写的csv文件,2.1、统计出文件中的男女生各有多少人2.2、统计出姓“王”男生和女生的各有多少人3、请使用StructuredStreaming读取department_info文
a大数据yyds
·
2025-01-26 05:39
spark
spark
Spark
>sql练习题
练习题-------------------------------以下使用StructuredStreaming:-------------------------------1、请使用StructuredStreaming读取Socket数据,统计出每个单词的个数2、请使用StructuredStreaming读取student_info文件夹写的csv文件,2.1、统计出文件中的男女生各有多
BigMoM1573
·
2025-01-26 05:38
Spark
spark
《
Spark
大数据分析与内存计算》——第三章
(单选题)并不是所有企业都能自己产生数据,从而用于决策辅助,而更多的互联网企业如电商等大部分是要靠什么来抓取互联网数据进行分析A.HadoopB.pythonC.
Spark
D.网路爬虫正确答案:D:网路爬虫
阿万古
·
2025-01-26 05:07
课程作业
spark
数据分析
大数据
Py
Spark
之金融数据分析(
Spark
RDD、SQL练习题)
目录一、数据来源二、Py
Spark
RDD编程1、查询特定日期的资金流入和流出情况2、活跃用户分析三、Py
Spark
SQL编程1、按城市统计2014年3月1日的平均余额2、统计每个城市总流量前3高的用户四
唯余木叶下弦声
·
2025-01-26 04:02
大数据
大数据
spark
pyspark
python
数据分析
sql
用 Docker 搭建
Spark
集群
简介
Spark
是Berkeley开发的分布式计算的框架,相对于Hadoop来说,
Spark
可以缓存中间结果到内存而提高某些需要迭代的计算场景的效率,目前收到广泛关注。
yeasy
·
2025-01-26 00:22
Bigdata
Docker
spark
Docker
云计算
集群
分布式计算
【Python Web开发】Python Web开发知识全解析
本文将从PythonWeb开发的基本知识入手,逐步介绍开发流程、
核心技术
以及如何使用Python框架构建高效、可扩展的Web应用。1.什么
萧鼎
·
2025-01-25 22:42
python基础到进阶教程
python
前端
开发语言
【Nginx系列】Nginx配置超时时间
推荐:kwan的首页,持续学习,不断总结,共同进步,活到老学到老导航檀越剑指大厂系列:全面总结java
核心技术
,jvm,并发编程redis,kafka,Spring,微服务等常用开发工具系列:常用的开发工具
m0_74824552
·
2025-01-25 17:33
面试
学习路线
阿里巴巴
nginx
运维
Apache Flink 替换
Spark
Stream的架构与实践( bilibili 案例解读)_stream
spark
flink加载udf
3.基于ApacheFlink的流式计算平台为解决上述问题,bilibili希望根据以下三点要求构建基于ApacheFlink的流式计算平台。第一点,需要提供SQL化编程。bilibili对SQL进行了扩展,称为BSQL。BSQL扩展了Flink底层SQL的上层,即SQL语法层。**第二点,**DAG拖拽编程,一方面用户可以通过画板来构建自己的Pipeline,另一方面用户也可以使用原生Jar方式
2501_90243308
·
2025-01-25 16:58
apache
flink
spark
讯飞绘镜(ai生成视频)技术浅析(一)
以下是对讯飞绘镜相关技术、工作原理及具体实现的详细介绍:一、
核心技术
讯飞绘镜的
核心技术
主要依托于科大讯飞的星火大模型,并结合了多种先进的AI技术,包括:1.大模型技术:基于讯飞星火大模型,为脚本生成、分镜生成等提供基础能力支持
爱研究的小牛
·
2025-01-25 14:11
AIGC—视频
AIGC—技术综述
人工智能
AIGC
深度学习
如何进行小程序开发和编程——详细教程
本文将以详细的步骤和丰富的内容,带你从零开始掌握小程序开发的
核心技术
和流程。一、小程序简介小程序是一种运行在移动设备上的轻量级应用,主要依托于各大生态平台(如微信、支付宝、抖音等)。
萧鼎
·
2025-01-25 12:24
软硬件与前后端详解
小程序开发
免费AI大模型API汇总(非常详细),零基础入门到精通,看这一篇就够了
前言一、免费大模型API一览大模型免费版本免费限制控制台(api_key等)讯飞星火大模型
spark
-litetokens:总量无限;QPS:2;(每秒发送的请求数)有效期:不限访问链接百度千帆大模型平台
大模型扬叔
·
2025-01-25 06:08
人工智能
免费AI大模型API汇总
大模型
自动驾驶系统研发系列—追尾风险不再隐形:解密后碰撞预警系统(RCW)的技术与应用
技术导航:人工智能:深入探讨人工智能领域
核心技术
。自动驾驶:分享自动
学步_技术
·
2025-01-25 04:29
自动驾驶系统研发
自动驾驶
人工智能
机器学习
RCW
自动驾驶系列—自动驾驶MCU架构全方位解析:从单核到多核的选型指南与应用实例
技术导航:人工智能:深入探讨人工智能领域
核心技术
。自动驾驶:分享自动
学步_技术
·
2025-01-25 03:18
自动驾驶
自动驾驶
单片机
架构
MCU
用 Java 的思路快速学习 Scala
引言Scala是一种结合了面向对象和函数式编程的现代编程语言,广泛应用于大数据处理框架如Apache
Spark
和ApacheFlink。对于熟悉Java的开发者来说,Scala的学习曲线相对平缓。
进朱者赤
·
2025-01-24 23:50
其他
大数据
scala
Scala
深度探索:SQL Server 技术学习之旅
本文旨在引导读者踏上深入学习SQLServer的旅程,全方位领略其
核心技术
要点,为构建高效、稳定且安全的数据库系统奠定坚实基础。一
小码快撩
·
2025-01-24 18:45
数据库
sqlserver
sql
【
Spark
】
Spark
Join类型及Join实现方式
Spark
Join类型1.InnerJoin(内连接)示例:valresult=df1.join(df2,df1("id")===df2("id"),"inner")执行逻辑:只返回那些在两个表中都有匹配的行
DataCrafter
·
2025-01-24 13:33
Spark
大数据
计算框架
spark
大数据
分布式
Spark
运行模式及
Spark
on Yarn两种运行模式的区别
Spark
运行模式1.Standalone模式描述:Standalone模式是
Spark
的独立集群模式,
Spark
自己管理资源和调度任务。适合小型集群或个人开发环境。特点:简单易用,适合开发和测试。
DataCrafter
·
2025-01-24 13:03
Spark
大数据
计算框架
spark
大数据
【大数据入门
核心技术
-Hive】(十六)hive表加载csv格式数据或者json格式数据
一、环境准备hive安装部署参考:【大数据入门
核心技术
-Hive】(三)Hive3.1.2非高可用集群搭建【大数据入门
核心技术
-Hive】(四)Hive3.1.2高可用集群搭建二、hive加载Json格式数据
forest_long
·
2025-01-24 12:27
大数据技术入门到21天通关
大数据
hive
hadoop
开发语言
后端
数据仓库
云起无垠荣获“北京市2024年第三季度专精特新中小企业”称号
这类企业往往有着出色的技术创新能力,能够在激烈的市场竞争中崭露头角,在细分市场中占据优势地位,掌握关键
核心技术
,处于产业链的关键
·
2025-01-24 12:26
人工智能
如何使用媒体查询实现响应式网页设计?
使用媒体查询(MediaQueries)实现响应式网页设计是现代网页开发中的一项
核心技术
,它允许开发者根据设备的屏幕尺寸、分辨率、方向等特性动态调整网页布局和样式,从而提供更好的用户体验。
破碎的天堂鸟
·
2025-01-24 10:11
学习教程
媒体
css
前端
【数据治理】数据治理框架概述
⭐️AIGC时代的创新与未来:详细讲解AIGC的概念、
核心技术
、应用领域等内容。⭐️大数据平台建设指南:全面讲解从数据采集到数据可视化的整个过程,掌握构建现代化数据平台的
核心技术
和方法。
野老杂谈
·
2025-01-24 06:07
数据治理
数据治理框架
DAMA-DMBOK
COBIT
企业数据治理
数据管理
上一页
2
3
4
5
6
7
8
9
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他