E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Spark学习之路
Java爬虫——使用
Spark
进行数据清晰
1.依赖引入 org.apache.
spark
spark
-core_2.13 3.5.3 org.apache.
spark
spark
-sql_2.13 3.5.32.数据加载从MySQL数据库中加载
Future_yzx
·
2025-01-17 20:59
java
爬虫
spark
stm32
学习之路
——八种GPIO口工作模式
目录一、GPIO基本功能二、GPIO工作模式三、GPIO硬件结构四、GPIO寄存器五、GPIO库函数配置六、GPIO应用实例七、开漏输出细说什么是开漏输出?为什么需要开漏输出?总结八、好奇问题解决一、GPIO基本功能输出功能:STM32的GPIO口可以控制引脚输出高电平或低电平,用以驱动LED、控制蜂鸣器、模拟通信协议输出时序等。输入功能:GPIO口可以读取引脚的高低电平或电压,用于读取按键输入、
无敌最俊朗@
·
2025-01-17 16:04
stm32学习之路
stm32
学习
单片机
c语言
万字详解数仓分层设计架构 ODS-DWD-DWS-ADS
把复杂问题简单化5、屏蔽原始数据的(影响),屏蔽业务的影响ETL操作1、数据抽取2、数据清洗3、数据转换4、数据加载数据中台包含的内容很多,对应到具体工作中的话,它可以包含下面的这些内容:系统架构:以Hadoop、
Spark
_Jordan
·
2025-01-17 16:56
自己写的
数据仓库
Java 大视界 -- Java 开发
Spark
应用:RDD 操作与数据转换
Apache
Spark
是一个强大的分布式计算框架,提供了高效的数据处理能力,广泛应用于大数据分析与机器学习。
Spark
提供了多种高级API,支持批处理和流处理。
一只蜗牛儿
·
2025-01-17 12:26
java
spark
开发语言
【C#深度
学习之路
】如何使用C#读取pickle类型的大模型文件
【C#深度
学习之路
】如何使用C#读取pickle类型的大模型文件背景Pickle文件的结构及读取思路读取方法以压缩文件的方式加载Pickle类型文件读取Header的内容读取tensor的权重值该方法的不足总结本文为原创文章
来瓶霸王防脱发
·
2025-01-17 12:54
C#深度学习之路
c#
机器学习
【C#深度
学习之路
】如何使用C#实现Yolov8模型的训练和推理
【C#深度
学习之路
】如何使用C#实现Yolov8模型的训练和推理项目背景算法实现模型结构项目展望写在最后项目下载链接本文为原创文章,若需要转载,请注明出处。
来瓶霸王防脱发
·
2025-01-17 12:54
C#深度学习之路
c#
机器学习
图像处理
视觉检测
YOLO
【C#深度
学习之路
】如何使用C#实现Yolov11模型的训练和推理
【C#深度
学习之路
】如何使用C#实现Yolov11模型的训练和推理项目背景算法实现模型结构项目展望写在最后项目下载链接本文为原创文章,若需要转载,请注明出处。
来瓶霸王防脱发
·
2025-01-17 12:54
C#深度学习之路
c#
深度学习
YOLO
Spring Boot 和微服务:快速入门指南
大数据技术:涵盖Hadoop(HDFS)、Hive、
Spark
、Fli
王子良.
·
2025-01-17 09:56
Java
经验分享
spring
boot
微服务
后端
CDP中的Hive3之Hive Metastore(HMS)
Impala、
Spark
、Hive和其他服务共享元存储。与HMS的连接包括HiveServe
对许
·
2025-01-17 02:31
#
Hive
#
Spark
hive
cdp
【YashanDB知识库】Hive 命令工具insert崖山数据库报错
【问题分类】功能兼容【关键字】
spark
30041、不兼容【问题描述】本项目的架构是hadoop+hive+yashandb使用崖山数据库,初始化所有的原数据表和数据新建表之后,插入数据时候报错,hadoopcode30041
·
2025-01-17 00:46
数据库
初学者如何用 Python 写第一个爬虫?
大数据技术:涵盖Hadoop(HDFS)、Hive、
Spark
、Fli
王子良.
·
2025-01-16 23:27
python
经验分享
python
开发语言
爬虫
Apache PAIMON 学习
新一代实时数据湖技术,ApachePAIMON兼容ApacheFlink、
Spark
等主流计算引擎,并支持流批一体化处理、快速查询和性能优化,成为加速AI转型的重要工具。
潇锐killer
·
2025-01-16 22:54
学习
应急救援路径规划中的蚁群算法与路径评价研究【附代码】
数据驱动决策✨专业领域:数据挖掘与清洗大数据处理与存储技术机器学习与深度学习模型数据可视化与报告生成分布式计算与云计算数据安全与隐私保护擅长工具:Python/R/Matlab数据分析与建模Hadoop/
Spark
拉勾科研工作室
·
2025-01-16 17:36
算法
BAT大牛的大数据
学习之路
!
前几天,网易云音乐公布了一份年度音乐总结。让我惊叹的是在这个大数据时代底下,比起我们自己,大数据似乎更懂得我们。如果科技更进一步,就像《奇葩说》中一集辩题里所说的,它有可能可以帮我们匹配到那个灵魂相契的人。有人觉得这个现象很恐怖,但在我看来,人的恐惧是源自于未知。如果能顺应着时代的步伐,一起向前,对它了解再加深一点,也许我们就会爱上它。在这里相信有许多想要学习大数据的同学,大家可以+下大数据学习裙
数据工程师金牛
·
2025-01-16 16:32
大数据
大数据
人工智能
机器学习
数据挖掘
数据分析
Java 大视界 -- Java 开发
Spark
应用:RDD 操作与数据转换(四)
亲爱的朋友们,热烈欢迎你们来到青云交的博客!能与你们在此邂逅,我满心欢喜,深感无比荣幸。在这个瞬息万变的时代,我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而我的博客,正是这样一个温暖美好的所在。在这里,你们不仅能够收获既富有趣味又极为实用的内容知识,还可以毫无拘束地畅所欲言,尽情分享自己独特的见解。我真诚地期待着你们的到来,愿我们能在这片小小的天地里共同成长,共同进步。本博客的精华专栏:大数
青云交
·
2025-01-16 16:59
大数据新视界
Java
大视界
Spark
RDD
数据转换
大数据
数据分区
性能优化
社交网络
java
大数据新视界 --大数据大厂之
Spark
Streaming 实时数据处理框架:案例与实践
亲爱的朋友们,热烈欢迎你们来到青云交的博客!能与你们在此邂逅,我满心欢喜,深感无比荣幸。在这个瞬息万变的时代,我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而我的博客,正是这样一个温暖美好的所在。在这里,你们不仅能够收获既富有趣味又极为实用的内容知识,还可以毫无拘束地畅所欲言,尽情分享自己独特的见解。我真诚地期待着你们的到来,愿我们能在这片小小的天地里共同成长,共同进步。本博客的精华专栏:大数
青云交
·
2025-01-16 15:21
大数据新视界
#
Spark
之道
Spark
Streaming
大数据新视界
实时数据处理
案例分析
实践技巧
框架比较
应用场景
nosql数据库技术与应用知识点
Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(
Spark
、Flink
皆过客,揽星河
·
2024-09-16 08:42
NoSQL
nosql
数据库
大数据
数据分析
数据结构
非关系型数据库
分享一个基于python的电子书数据采集与可视化分析 hadoop电子书数据分析与推荐系统
spark
大数据毕设项目(源码、调试、LW、开题、PPT)
作者:计算机源码社个人简介:本人八年开发经验,擅长Java、Python、PHP、.NET、Node.js、Android、微信小程序、爬虫、大数据、机器学习等,大家有这一块的问题可以一起交流!学习资料、程序开发、技术解答、文档报告如需要源码,可以扫取文章下方二维码联系咨询Java项目微信小程序项目Android项目Python项目PHP项目ASP.NET项目Node.js项目选题推荐项目实战|p
计算机源码社
·
2024-09-15 20:02
Python项目
大数据
大数据
python
hadoop
计算机毕业设计选题
计算机毕业设计源码
数据分析
spark毕设
Spark
组件 GraphX、Streaming
Spark
组件GraphX、Streaming一、
Spark
GraphX1.1GraphX的主要概念1.2GraphX的核心操作1.3示例代码1.4GraphX的应用场景二、
Spark
Streaming2.1
Spark
Streaming
叶域
·
2024-09-15 14:54
大数据
spark
spark
大数据
分布式
大数据毕业设计hadoop+
spark
+hive知识图谱租房数据分析可视化大屏 租房推荐系统 58同城租房爬虫 房源推荐系统 房价预测系统 计算机毕业设计 机器学习 深度学习 人工智能
做了那么多年开发,自学了很多门编程语言,我很明白学习资源对于学一门新语言的重要性,这些年也收藏了不少的Python干货,对我来说这些东西确实已经用不到了,但对于准备自学Python的人来说,或许它就是一个宝藏,可以给你省去很多的时间和精力。别在网上瞎学了,我最近也做了一些资源的更新,只要你是我的粉丝,这期福利你都可拿走。我先来介绍一下这些东西怎么用,文末抱走。(1)Python所有方向的学习路线(
2401_84572577
·
2024-09-15 10:20
程序员
大数据
hadoop
人工智能
【监控告警】02-Promtheus的
学习之路
prometheus采用的是拉模式为主,推模式为辅的方式采集数据。Prometheus作为一个指标系统天生就不是精确的——由于指标本身就是稀疏采样的,事实上所有的图表和警报都是”估算”,我们也就不必太纠结于图表和警报的对应性,能够帮助我们发现问题解决问题就是一个好监控系统。当然,有时候我们也得证明这个警报确实没问题,那可以看一眼`ALERTS`指标。`ALERTS`是Prometheus在警报计算
Kearey.
·
2024-09-15 08:33
监控告警
微服务网关
学习方法
Spark
集群的三种模式
文章目录1、
Spark
的由来1.1Hadoop的发展1.2MapReduce与
Spark
对比2、
Spark
内置模块3、
Spark
运行模式3.1Standalone模式部署配置历史服务器配置高可用运行模式
MelodyYN
·
2024-09-15 01:16
#
Spark
spark
hadoop
big
data
Java中的大数据处理框架对比分析
本文将重点介绍ApacheHadoop、Apache
Spark
、ApacheFlink和ApacheStorm这四种流行的
省赚客app开发者
·
2024-09-14 20:41
java
开发语言
写出渗透测试信息收集详细流程
一、扫描域名漏洞:域名漏洞扫描工具有AWVS、APPSCAN、Net
spark
、WebInspect、Nmap、Nessus、天镜、明鉴、WVSS、RSAS等。
卿酌南烛_b805
·
2024-09-14 16:08
Spark
MLlib模型训练—推荐算法 ALS(Alternative Least Squares)
Spark
MLlib模型训练—推荐算法ALS(AlternativeLeastSquares)如果你平时爱刷抖音,或者热衷看电影,不知道有没有过这样的体验:这类影视App你用得越久,它就好像会读心术一样
不二人生
·
2024-09-14 08:25
Spark
ML
实战
spark-ml
推荐算法
算法
3 java
学习之路
从就近原则和this关键字开始
求博文多多人看是我写的很烂吗?就近原则以上图举例就近原则,输出age但是成员变量和局部变量变量名age冲突了,就近原则就起效果了,离输出语句近的变量就被使用了。但是要是想用上面那个成员变量咋办?别怕,this会给出答案!!!使用了this关键字就会指向成员变量。就这样比较简单咱们上案例打字太麻烦了直接上视频!kk2024-09-1321-23-42录的视频,真的很烂给大家磕一个构造器kk2024-
Daijunxi_cpu
·
2024-09-14 01:35
学习
java
jvm
ide
笔记
经验分享
开发语言
【图像压缩】奇异值分解SVD灰色图像压缩(可设置压缩比)【含Matlab源码 4358期】
个人主页:海神之光代码获取方式:海神之光Matlab王者
学习之路
—代码获取方式⛳️座右铭:行百里者,半于九十。
Matlab武动乾坤
·
2024-09-13 16:14
Matlab图像处理(进阶版)
matlab
Python基础知识进阶之正则表达式_头歌python正则表达式进阶
知识体系:含编程语言、算法、大数据生态圈组件(Mysql、Hive、
Spark
、Flink)、数据仓库、Python、前端等等。网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是
前端陈萨龙
·
2024-09-13 13:50
程序员
python
学习
面试
分布式离线计算—
Spark
—基础介绍
原文作者:饥渴的小苹果原文地址:【
Spark
】
Spark
基础教程目录
Spark
特点
Spark
相对于Hadoop的优势
Spark
生态系统
Spark
基本概念
Spark
结构设计
Spark
各种概念之间的关系Executor
测试开发abbey
·
2024-09-13 11:11
人工智能—大数据
spark
常用命令
查看报错日志:yarnlogsapplicationID
spark
2-submit--masteryarn--classcom.hik.ReadHdfstest-1.0-SNAPSHOT.jar进入$
SPARK
_HOME
我是浣熊的微笑
·
2024-09-13 10:38
spark
spark
启动命令
hadoop启动:cd/root/toolssstart-dfs.sh,只需在hadoop01上启动stop-dfs.sh日志查看:cat/root/toolss/hadoop/logs/hadoop-root-datanode-hadoop03.outzookeeper启动:cd/root/toolss/zookeeperbin/zkServer.shstart,三台都要启动bin/zkServ
学不会又听不懂
·
2024-09-13 10:36
spark
大数据
分布式
大数据领域的深度分析——AI是在帮助开发者还是取代他们?
1.大数据领域的AI工具现状在大数据领域,AI工具已经取得了显著进展,以下是几款主要的AI工具及其功能和实际应用:Apache
Spark
+MLlib:Apache
Spark
是一个开源的分布式计算系统,广泛用于
阳爱铭
·
2024-09-13 09:32
大数据与数据中台技术沉淀
大数据
人工智能
后端
数据库架构
数据库开发
etl工程师
chatgpt
大数据新视界 --大数据大厂之
Spark
性能优化秘籍:从配置到代码实践
亲爱的朋友们,热烈欢迎你们来到青云交的博客!能与你们在此邂逅,我满心欢喜,深感无比荣幸。在这个瞬息万变的时代,我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而我的博客,正是这样一个温暖美好的所在。在这里,你们不仅能够收获既富有趣味又极为实用的内容知识,还可以毫无拘束地畅所欲言,尽情分享自己独特的见解。我真诚地期待着你们的到来,愿我们能在这片小小的天地里共同成长,共同进步。本博客的精华专栏:Ja
青云交
·
2024-09-13 08:25
大数据新视界
Spark
性能优化
内存分配
并行度
存储级别
shuffle
减少
算法优化
代码实践
数据读取
广播变量
数据倾斜
Spark
数据库
Java
学习之路
:实践项目与进阶学习--创建一个图书管理系统
前言:上一篇学习了入门级知识,留了一份作业,其实创建一个图书管理系统是一个很好的实践项目,可以帮助你掌握数据库操作、前端开发和基本的CRUD(创建、读取、更新、删除)操作,数据库存储书籍信息,以及一个基本的用户界面。项目结构后端:使用Java和SpringBoot实现RESTfulAPI。数据库:使用H2数据库进行书籍信息存储。(也可使用mysql数据库设计,详情可参考:《MySQL数据库课程设计
Dreams°123
·
2024-09-13 04:54
java
数据库
开发语言
spring
spring
boot
intellij
idea
intellij-idea
编程常用命令总结
编程命令大全1.软件环境变量的配置JavaScala
Spark
HadoopHive2.大数据软件常用命令
Spark
基本命令
Spark
-SQL命令Hive命令HDFS命令YARN命令Zookeeper命令
Yellow0523
·
2024-09-13 02:42
Linux
BigData
大数据
【面试系列】
Spark
高频面试题解答
欢迎来到我的博客,很高兴能够在这里和您见面!欢迎订阅相关专栏:⭐️全网最全IT互联网公司面试宝典:收集整理全网各大IT互联网公司技术、项目、HR面试真题.⭐️AIGC时代的创新与未来:详细讲解AIGC的概念、核心技术、应用领域等内容。⭐️大数据平台建设指南:全面讲解从数据采集到数据可视化的整个过程,掌握构建现代化数据平台的核心技术和方法。⭐️《遇见Python:初识、了解与热恋》:涵盖了Pytho
野老杂谈
·
2024-09-12 18:52
全网最全IT公司面试宝典
面试
spark
职场和发展
大数据
spark
常见面试题
文章目录1.
Spark
的运行流程?2.
Spark
中的RDD机制理解吗?3.RDD的宽窄依赖4.DAG中为什么要划分Stage?
爱敲代码的小黑
·
2024-09-12 18:51
spark
大数据
分布式
Spark
面试题
Spark
面试题1.
Spark
基础概念1.1解释
Spark
是什么以及它的主要特点
Spark
是什么?
golove666
·
2024-09-12 18:19
面试题大全
spark
大数据
分布式
面试
图计算:基于
Spark
GrpahX计算聚类系数
图计算:基于
Spark
GrpahX计算聚类系数文章目录图计算:基于
Spark
GrpahX计算聚类系数一、什么是聚类系数二、基于
Spark
GraphX的聚类系数代码实现总结一、什么是聚类系数聚类系数(ClusteringCoefficient
妙龄少女郭德纲
·
2024-09-12 18:16
Spark
图算法
Scala
聚类
数据挖掘
机器学习
2024年最全使用Python求解方程_python解方程(1),字节面试官迟到
知识体系:含编程语言、算法、大数据生态圈组件(Mysql、Hive、
Spark
、Flink)、数据仓库、Python、前端等等。网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是
2401_84569545
·
2024-09-12 02:33
程序员
python
学习
面试
Spark
运行时架构
目录一,
Spark
运行时架构二,YARN集群架构(一)YARN集群主要组件1、ResourceManager-资源管理器2、NodeManager-节点管理器3、Task-任务4、Container-容器
tooolik
·
2024-09-12 01:59
spark
架构
大数据
使用
Spark
Sql进行表的分析与统计
背景我们的数据挖掘平台对数据统计有比较迫切的需求,而
Spark
本身对数据统计已经做了一些工作,希望梳理一下
Spark
已经支持的数据统计功能,后期再进行扩展。
xingyuan8
·
2024-09-12 00:24
大数据
java
13.
Spark
Core-
Spark
中广播变量和累加器
一、前述
Spark
中因为算子中的真正逻辑是发送到Executor中去运行的,所以当Executor中需要引用外部变量时,需要使用广播变量。累机器相当于统筹大变量,常用于计数,统计。
__元昊__
·
2024-09-11 12:33
比较
Spark
与Flink
Apache
Spark
和ApacheFlink都是目前非常流行的大数据处理引擎,但它们在架构、处理模式、应用场景等方面有一些显著的区别。
傲雪凌霜,松柏长青
·
2024-09-11 04:29
大数据
后端
spark
flink
大数据
Spark
底层逻辑
Apache
Spark
的底层逻辑可以从其核心概念、组件和执行流程等方面来理解。
Spark
提供了一个分布式数据处理框架,其底层逻辑基于批处理架构,能够在大规模集群中高效地处理数据。
傲雪凌霜,松柏长青
·
2024-09-11 04:29
大数据
后端
spark
大数据
1130每日一省Day15(重启Day8)
晚饭后妈妈简单收拾餐桌做完收尾工作后开启业余
学习之路
。今天收
活成自己的小太阳0329
·
2024-09-11 04:55
一起走的
学习之路
(125)
最大的难题不知道大家有没有这个感受,最近由于没有学习专栏了,每天要写什么,成为了一大难题。以往,都可以根据专栏的内容,确定今天文章的主题,然后再根据这个主题,来找实际的例子,一篇文章很快就有了大体的结构,但现在写什么成最大的难题。剖析原因认真分析了,从我们集中学习专栏结束到今天,我为什么写不出来的几个原因。一是,由于缺乏发现的能力,觉得身边好像很多话题都是以前我们写过的,只能重复不断的写,难以找到
小米雨路
·
2024-09-11 00:27
Spark
- 升级版数据源JDBC2
在
spark
的数据源中,只支持Append,Overwrite,ErrorIfExists,Ignore,这几种模式,但是我们在线上的业务几乎全是需要upsert功能的,就是已存在的数据肯定不能覆盖,在
大猪大猪
·
2024-09-10 17:28
Py
Spark
Py
Spark
的本质确实是Python的一个接口层,它允许你使用Python语言来编写Apache
Spark
应用程序。
静听山水
·
2024-09-10 13:44
Spark
spark
Ubuntu的ssh
sshsudoapt-getupdatesudoapt-getinstallopenssh-server检测ssh是否启动sudops-e|grepssh创建root用户sudopasswdroot配置本机无密码ssh登录cd/home/
spark
0ssh-keygen-trsa-P
请不要问我是谁
·
2024-09-10 03:29
上一页
4
5
6
7
8
9
10
11
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他