E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
数据开发--spark
java.io.InvalidClassException(
spark
任务运行失败)
背景:客户集群内偶尔会出现java.io.InvalidClassException:org.apache.kudu.
spark
.kudu.KuduRDD;localclassincompatible:
LATASA
·
2024-09-04 09:30
spark
java
大数据
使用pgrs在wsl中为postgres写拓展
duckdb,zombodb,datafusion等等产品都是数据组合流思路体现,把这套功法练到大成,处于2024年,综合数据规模/相应速度/和数据应用层解耦,就有了一个最佳答案.比以前hadoop,
spark
wangmarkqi
·
2024-09-04 03:19
rust
数据库
切片上传记录
核心就是1前端分片2后端组装3md5校验
Spark
-md5介绍用md5就是为了防止文件被篡改,小的文件直接可以用整个文件传入,返回文件md5,但是越大的文件(超过2G),如果用整文件的方式,时间会很久,
Miya_Ye
·
2024-09-04 00:32
前端
切片上传
阿里云服务器内存型r7、r8a、r8y实例区别参考
这几个实例规格,相比于活动内的经济型e、通用算力型u1实例来说,这些实例规格等性能更强,与计算型和通用型相比,它的内存更大,因此这些内存型实例规格主要适用于数据库、中间件和数据分析与挖掘,Hadoop、
Spark
阿里云最新优惠和活动汇总
·
2024-09-03 22:41
Java 快速入门 知识精简(1)
内存的申请与释放提供了相对安全的内存管理和访问机制特点三:跨平台性由JVM负责Java程序在系统中的运行JVMforUNIXJVMforWindowsJVMforMac应用领域:JavaWeb开发后台开发大
数据开发
Tangy范
·
2024-09-03 16:18
Java
java
开发语言
hive学习记录
Hive将HQL(HiveQueryLanguage)转化成MapReduce程序或其他分布式计算引擎(如Tez、
Spark
)的任务进行计算。
2302_80695227
·
2024-09-03 12:46
hive
学习
hadoop
计算机毕业设计hadoop+
spark
知识图谱房源推荐系统 房价预测系统 房源数据分析 房源可视化 房源大数据大屏 大数据毕业设计 机器学习
5.四种推荐算法(协同过滤基于用户、物品、SVD混合神经网络、MLP深度学习模型)6.线性回归算法预测房价7.Python爬虫采集链家数据8.AI短信识别9.百度地图API10.lstm情感分析11.
spark
计算机毕业设计大全
·
2024-09-03 07:05
Spark
- SQL查询文件数据
那么我们可以利用
spark
-sql直接操作文件的特性处理这类的需求,姐姐再也不用担心我不会
spark
了,因为我就只会sql。使用方法csv
spark
.sql("select*fromcsv.
kikiki5
·
2024-09-03 07:39
Spark
-submit提交任务的常用参数
#参数名称#含义--clusterc3prc-hadoop#--masterMASTER_URL#可以是
spark
://host:port,mesos://host:port,yarn,yarn-cluster
liuzx32
·
2024-09-02 20:22
Spark
MLlib模型训练—回归算法 Random forest regression
Spark
MLlib模型训练—回归算法Randomforestregression随机森林回归(RandomForestRegression)是一种集成学习方法,通过结合多个决策树的预测结果来提升模型的准确性和稳健性
不二人生
·
2024-09-02 17:54
Spark
ML
实战
spark-ml
回归
随机森林
大
数据开发
技术HBase优化与特点分析
高可用在HBase中Hmaster负责监控RegionServer的生命周期,均衡RegionServer的负载,如果Hmaster挂掉了,那么整个HBase集群将陷入不健康的状态,并且此时的工作状态并不会维持太久。所以HBase支持对Hmaster的高可用配置。关闭HBase集群(如果没有开启则跳过此步)[atguigu@hadoop102hbase]$bin/stop-hbase.sh在con
at小白在线中
·
2024-09-02 13:32
大数据
Spark
MLlib LinearRegression线性回归算法源码解析
线性回归一元线性回归hθ(x)=θ0+θ1xhθ(x)=θ0+θ1x——————–1多元线性回归hθ(x)=∑mi=1θixi=θTXhθ(x)=∑i=1mθixi=θTX—————–2损失函数J(θ)=1/2∑mi=1(hθ(xi)−yi)2J(θ)=1/2∑i=1m(hθ(xi)−yi)2—————31/2是为了求导时系数为1,平方里是真实值减去估计值我们的目的就是求其最小值最小二乘法要求较为
SmileySure
·
2024-09-02 09:33
Spark
人工智能算法
Spark
MLlib
Spark
MLlib模型训练—回归算法 GLR( Generalized Linear Regression)
Spark
MLlib模型训练—回归算法GLR(GeneralizedLinearRegression)在大数据分析中,线性回归虽然常用,但在许多实际场景中,目标变量和特征之间的关系并非线性,这时广义线性回归
猫猫姐
·
2024-09-02 08:28
Spark
实战
回归
spark-ml
线性回归
spark
自然语言处理系列五十》文本分类算法》SVM支持向量机算法原理
下面介绍其原理,并用
Spark
MLlib机器
陈敬雷-充电了么-CEO兼CTO
·
2024-09-02 07:52
算法
大数据
人工智能
算法
自然语言处理
分类
nlp
ai
人工智能
chatgpt
Datawhale AI夏令营第五期CV Task01
一、报名参加2024大运河杯
数据开发
大赛1.登录赛事平台2.修改昵称,实名认证3.打开比赛链接报名参赛4.修改队伍名称二、领取厚德云支持的GPU在线算力!
m0_60530253
·
2024-09-02 07:21
人工智能
【python】python指南(十四):**操作符解包字典传参
大学的时候参加ACM/ICPC一直使用的是C语言,实习的时候做一个算法策略后台用的是php,毕业后做策略算法开发,因为要用
spark
,所以写了scala,后来用基于storm开发实时策略,用的java。
LDG_AGI
·
2024-09-01 21:17
Python
python
开发语言
人工智能
机器学习
图像处理
深度学习
计算机视觉
大数据毕业设计hadoop+
spark
+hive微博舆情情感分析 知识图谱微博推荐系统
+numpy或MapReduce对数据进行数据清洗,生成最终的.csv文件并上传到hdfs;(三)使用hive数仓技术建表建库,导入.csv数据集;(四)离线分析采用hive_sql完成,实时分析利用
Spark
qq_79856539
·
2024-09-01 11:16
javaweb
大数据
hadoop
课程设计
基于hadoop+
spark
的旅游大数据分析平台
S2023132基于hadoop+
spark
的旅游大数据分析平台使用BeautifulSoup爬取数据,爬取成功以后使用
spark
分析数据,将分析的结果保存到mysql,flask读取mysql数据,结合
源码空间站11
·
2024-09-01 11:16
hadoop
spark
旅游
大数据毕业设计天hadoop+
spark
+hive游戏推荐系统 游戏数据分析可视化大屏 steam游戏爬虫 游戏大数据 机器学习 知识图谱 计算机毕业设计 机器学习 深度学习 人工智能 知识图谱
|—||一、选题的目的和意义用户往往因为不能及时查看游戏信息而造成许多烦恼。另一方面,游戏商城平台没能进行系统的管理与维护使游戏信息没能及时的更新。而传统的游戏信息管理,采用的还是手工备案、人工查询的方式。但是随之游戏信息的增多这种管理方式的工作量不断加大,这种做法就存在费时费力、缺乏时效性、不利于调动人员的积极性等缺点。一旦网站建立好之后,一方面,用户可以在第一时间在系统里查询所需的信息,另一方
2401_84159688
·
2024-09-01 11:45
程序员
大数据
hadoop
人工智能
外行学习快速入行大
数据开发
指南
大数据是对海量数据进行存储、计算、统计、分析处理的一系列处理手段,处理的数据量通常是TB级,甚至是PB或EB级的数据,这是传统数据处理手段所无法完成的,其涉及的技术有分布式计算、高并发处理、高可用处理、集群、实时性计算等,汇集了当前IT领域热门流行的IT技术。大数据是什么?投资者眼里是金光闪闪的两个字:资产。比如,Facebook上市时,评估机构评定的有效资产中大部分都是其社交网站上的数据。如果把
weixin_45732643
·
2024-09-01 03:58
Hadoop
大数据开发
编程语言
大数据
大数据开发
大数据学习
Hadoop
编程语言
Spark
Streaming结合kafka将offSet保存在redis中
Spark
Streaming结合kafka将offSet保存在redis中
Spark
Streaming结合kafka的两种方式1、
Spark
Streaming的高级APiCreateDStream,容易发生数据多次读取
哈哈xxy
·
2024-09-01 03:28
bigdata
sparkStreaming
kafka
offset
redis
Spark
Streaming+Kafka整合+offset管理
,并通过第三方存储zookeeper来手动管理offset目录前言offset管理一个完整的整合代码Demo(Java版)导入相关的Maven依赖创建通过ZK管理Offset的工具类测试类Demo前言
Spark
Streaming
JiahuiTian
·
2024-09-01 03:27
大数据
#
Spark
#
Kafka
kafka
spark
大数据
mysql导入dataworks_使用DataWorks数据集成从MySQL导入数据到GDB
配置同步任务脚本在DataWorks对应工作空间(相同区域)的
数据开发
环境,在选择数据源>数据来源步骤选择数据源为MySQL和您配置好的MySQL数据源,以及需要导入到GDB中的数据库表。
金宇澄
·
2024-09-01 03:57
Spark
(46) --
Spark
Streaming整合kafka数据源
1.回顾Kafka可以看我前面kafka文章核心概念图解Broker:安装Kafka服务的机器就是一个brokerProducer:消息的生产者,负责将数据写入到broker中(push)Consumer:消息的消费者,负责从kafka中拉取数据(pull),老版本的消费者需要依赖zk,新版本的不需要Topic:主题,相当于是数据的一个分类,不同topic存放不同业务的数据--主题:区分业务Rep
erainm
·
2024-09-01 03:26
大数据学习
spark
【基于Hadoop3.3.6+
Spark
3.4.3电商用户行为分析】
基于Hadoop3.3.6+
Spark
3.4.3电商用户行为分析一、摘要二、正文2.1需求分析2.2架构设计2.3实施过程2.3.1系统环境说明2.3.2系统开发思路说明2.3.4代码实现及测试2.3.5
若兰幽竹
·
2024-09-01 00:09
大数据项目
大数据
基于
Spark
的云南旅游大数据分析平台
一、项目概述Hi,大家好,今天分享的项目是《基于
Spark
的云南旅游大数据分析平台》。随着旅游业的发展和数字化进程的加速,智慧旅游已成为旅游业的重要发展方向。
Sweican
·
2024-08-31 19:09
毕业设计
spark
大数据
分布式
白鲸开源中标申万宏源DataOps
数据开发
运维一体化平台采购项目!
白鲸开源近日成功中标申万宏源证券有限公司的DataOps
数据开发
运维一体化平台项目。
DolphinScheduler社区
·
2024-08-31 19:07
大数据
Spark
SQL 结构化数据处理流程及原理是什么?
Spark
SQL结构化数据处理流程及原理是什么?
Spark
SQL可以使用现有的Hive元存储、SerDes和UDF。它可以使用JDBC/ODBC连接到现有的BI工具。
我想去吃ya
·
2024-08-31 16:18
spark
sql
hive
数据库
大数据
简单的PHP订单小程序
$totalqty=0;#总数$totalamount=0.0;#总金额define('TIREPRICE',100);#轮胎单价define('OILPRICE',50);#油耗单价define('
SPARK
PRICE
董.
·
2024-08-31 09:01
php
小程序
chrome
Py
Spark
操作DataFrame常用方法
文章目录PY
SPARK
DataFrame操作.na1.
百流
·
2024-08-30 16:07
PySpark使用笔记
spark
python
大数据
[Datawhale#1] cv task1 - Datawhale AI夏令营
报名赛事2024“大运河杯”
数据开发
应用创新大赛——城市治理厚德云远程算力租赁https://portal.houdeyun.cn/register?
cinboxer
·
2024-08-30 15:29
cv
python
numpy
pandas
matplotlib
[Datawhale AI 夏令营][第五期]智能识别系统-Task1笔记
任务是发布在MARS大数据服务平台的2024“大运河杯”
数据开发
应用创新大赛——城市治理。了解智慧河长的朋友可能听说类似的项目,它们可以识别河道中出现的一些问题。
keexh
·
2024-08-30 15:58
人工智能
笔记
DataWhale AI夏令营 2024大运河杯-
数据开发
应用创新赛-task2
DataWhaleAI夏令营2024大运河杯-
数据开发
应用创新赛YOLO(YouOnlyLookOnce)上分心得分享YOLO(YouOnlyLookOnce)YOLO算的上是近几年最火的目标检测模型了
十分钟ll
·
2024-08-30 15:57
DataWhale
AI夏令营
人工智能
目标跟踪
计算机视觉
DataWhale竞赛
大运河杯
机器学习
常见的实时数仓方案
实时部分以消息队列的方式实时增量消费,一般以Flink+Kafka的组合实现,维度表存在关系型数据库或者HBase;离线部分一般采用T+1周期调度分析历史存量数据,每天凌晨产出,更新覆盖前一天的结果数据,计算引擎通常会选择Hive或者
Spark
北极冰雨
·
2024-08-30 05:27
大数据
大数据
Spark
MLlib 数据预处理-特征变换
2019独角兽企业重金招聘Python工程师标准>>>Tokenizer(分词器)算法介绍:Tokenization将文本划分为独立个体(通常为单词)。RegexTokenizer基于正则表达式提供更多的划分选项。默认情况下,参数“pattern”为划分文本的分隔符。或者可以指定参数“gaps”来指明正则“patten”表示“tokens”而不是分隔符,这样来为分词结果找到所有可能匹配的情况。调用
weixin_33841722
·
2024-08-29 14:40
大数据
人工智能
scala
spark
应用程序转换_4.
Spark
特征提取、转换和选择 - 简书
在实际机器学习项目中,我们获取的数据往往是不规范、不一致、有很多缺失数据,甚至不少错误数据,这些数据有时又称为脏数据或噪音,在模型训练前,务必对这些脏数据进行处理,否则,再好的模型,也只能脏数据进,脏数据出。这章我们主要介绍对数据处理涉及的一些操作,主要包括:特征提取特征转换特征选择4.1特征提取特征提取一般指从原始数据中抽取特征。4.1.1词频-逆向文件频率(TF-IDF)词频-逆向文件频率(T
weixin_39956182
·
2024-08-29 14:10
spark应用程序转换
Spark
权威指南读书笔记(二):结构化API
API主要指三种核心分布式集合类型API:Dataset、DataFrame、SQL表和视图DataFrame和Dataset类型DataFrame和Dataset是具有行和列的类似于数据表的集合类型
Spark
kaiker
·
2024-08-29 11:23
大数据分析与大
数据开发
两者的区别是怎样的?
大数据主要分为两个就业方向:①大
数据开发
②大数据分析大数据分析:主要负责现有数据价值提炼与挖掘,包括业务增长点挖掘,产品改进点挖掘,业务分析指标体系构建,业务分析报告出具等大
数据开发
:主要负责大数据平台与应用开发
泰迪智能科技01
·
2024-08-29 10:18
就业班
大数据
Spark
-RDD迭代器管道计算
一、上下文《
Spark
-Task启动流程》中讲到我们提交Stage是传入的是这个Stage最后一个RDD,当Task中触发ShuffleWriter、返回Driver数据或者写入Hadoop文件系统时才触发这个
隔着天花板看星星
·
2024-08-29 07:24
spark
大数据
scala
每天一个数据分析题(五百零五)- 提升方法
A.AdaboostB.GBDTC.XGBOOSTD.随机森林数据分析认证考试介绍:点击进入题目来源于CDA模拟题库点击此处获取答案数据分析专项练习题库内容涵盖Python,SQL,统计学,数据分析理论,深度学习,可视化,机器学习,
Spark
跟着紫枫学姐学CDA
·
2024-08-29 05:43
数据分析题库
数据分析
每天一个数据分析题(五百零六)- 装袋方法
A.AdaboostB.GBDTC.XGBOOSTD.随机森林数据分析认证考试介绍:点击进入题目来源于CDA模拟题库点击此处获取答案数据分析专项练习题库内容涵盖Python,SQL,统计学,数据分析理论,深度学习,可视化,机器学习,
Spark
跟着紫枫学姐学CDA
·
2024-08-29 05:43
数据分析
数据挖掘
spark
mllib 特征学习笔记 (一)
Py
Spark
MLlib特征处理详解Py
Spark
MLlib提供了丰富的特征处理工具,帮助我们进行特征提取、转换和选择。以下是Py
Spark
MLlib中常用的特征处理类及其简要介绍。
路人与大师
·
2024-08-29 03:57
spark-ml
学习
笔记
Spark
MLlib 特征工程系列—特征转换VectorSizeHint
Spark
MLlib特征工程系列—特征转换VectorSizeHintVectorSizeHint是
Spark
提供的一个特征转换器,用于指定向量列的大小(即维度)。
不二人生
·
2024-08-29 03:56
Spark
实战
spark-ml
机器学习
spark
每天一个数据分析题(五百零二)- 分割式聚类算法
B.CentroidMethodC.Ward’sMethodD.以上皆非数据分析认证考试介绍:点击进入题目来源于CDA模拟题库点击此处获取答案数据分析专项练习题库内容涵盖Python,SQL,统计学,数据分析理论,深度学习,可视化,机器学习,
Spark
跟着紫枫学姐学CDA
·
2024-08-28 13:19
数据分析题库
算法
数据分析
聚类
Python大数据学习day01——大
数据开发
概论
目录大数据概念大数据特点大数据应用场景大数据分析业务步骤大数据职业规划大数据学习路线1.大数据解决问题海量数据存储——海量数据运算——海量数据迁移2.大数据特点(大、多、值、快、信)数据体量大种类和来源多源化实现低价值密度速度快数据的质量准确可信3.大数据应用4.大数据分析步骤明确分析目的思路——数据收集——数据处理(ETL)——数据分析——数据展现——撰写报告5.大数据职业规划6.大数据学习路线
笨小孩124
·
2024-08-28 12:46
python
学习总结
大数据
学习
python
Spark
Streaming 如何保证消费Kafka的数据不丢失不重复
目录
Spark
Streaming接收Kafka数据的方式有两种:Receiver接收数据和采用Direct方式。
K. Bob
·
2024-08-28 10:02
Spark
Spark
Spark
Sql
Spark
SQL基本介绍什么是
Spark
SQL?用于处理结构化数据的
Spark
模块。可以通过DataFrame和DataSet处理数据。
李思缘的大数据之路
·
2024-08-28 09:00
spark
sparksql
Spark
SQL优化查询性能的方法
一、Py
Spark
如何提高程序的运行效率和性能Py
Spark
的运行效率和性能受到多个因素的影响,包括数据大小、算法复杂度、硬件资源等。
大数据海中游泳的鱼
·
2024-08-28 09:57
Spark
大数据
优化
spark
大数据
Spark
on YARN
Apache
Spark
和ApacheHadoopYARN是两个紧密相关的项目,它们经常一起使用来处理大规模数据集。
静听山水
·
2024-08-28 09:26
Spark
spark
大数据
分布式
分享一个基于
Spark
的招聘数据可视化与分析系统Hadoop大数据源码(源码、调试、LW、开题、PPT)
作者:计算机源码社个人简介:本人八年开发经验,擅长Java、Python、PHP、.NET、Node.js、Android、微信小程序、爬虫、大数据、机器学习等,大家有这一块的问题可以一起交流!学习资料、程序开发、技术解答、文档报告如需要源码,可以扫取文章下方二维码联系咨询Java项目微信小程序项目Android项目Python项目PHP项目ASP.NET项目Node.js项目选题推荐项目实战|基
计算机源码社
·
2024-08-27 20:05
大数据
大数据
spark
毕业设计项目
计算机毕业设计源码
计算机毕设论文
hadoop
计算机课程设计
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他