E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Spark源码解读
jmeter 与大数据生态圈中的服务进行集成
以下为你详细介绍JMeter与大数据生态圈中几种常见服务(HadoopHDFS、
Spark
、Kafka、Elasticsearch)集成的方法:与HadoopHDFS集成实现思路HDFS是Hadoop的分布式文件系统
小赖同学啊
·
2025-02-24 13:40
jmeter专栏
jmeter
大数据
忘掉 DeepSeek:Qwen 2.5 VL 与 Qwen Max 来了
ReactHook深入浅出CSS技巧与案例详解vue2与vue3技巧合集VueUse
源码解读
Qwen系列又推出了两款令人瞩目的新模型:Qwen2.5VL和Qwen2.5Max。
·
2025-02-24 05:16
忘掉 DeepSeek:Qwen 2.5 VL 与 Qwen Max 来了
ReactHook深入浅出CSS技巧与案例详解vue2与vue3技巧合集VueUse
源码解读
Qwen系列又推出了两款令人瞩目的新模型:Qwen2.5VL和Qwen2.5Max。
·
2025-02-24 01:42
Spark
on Yarn 多机集群部署
Spark
onYarn多机集群部署1.规划机器角色服务器IP地址角色Master192.168.1.100NameNode+ResourceManager+
Spark
MasterWorker1192.168.1.101DataNode
晓夜残歌
·
2025-02-23 17:20
spark
大数据
分布式
Python+
Spark
地铁客流数据分析与预测系统 地铁大数据 地铁流量预测
本系统基于大数据设计并实现成都地铁客流量分析系统,使用网络爬虫爬取并收集成都地铁客流量数据,运用机器学习和时间序列分析等方法,对客流量数据进行预处理和特征选择,构建客流量预测模型,利用历史数据对模型进行训练和优化,实现客流量预测模型的部署和应用,通过系统界面展示预测结果。对预测模型进行评估和验证,并提出改进方案。设计步骤使用Python语言编写爬虫程序采集数据,并对原始数据集进行预处理;使用Pyt
qq_79856539
·
2025-02-23 16:16
javaweb
大数据
python
spark
搭建
Spark
On YARN集群
一、
Spark
OnYARN架构二、搭建
Spark
OnYARN集群(一)搭建
Spark
Standalone集群(二)修改
Spark
环境配置文件
Spark
OnYARN模式的搭建比较简单,仅需要在YARN集群的一个节点上安装
snow323H
·
2025-02-23 07:05
spark
big
data
hadoop
对应chd5.14的
spark
_carbonData使用文档(基于CDH 的
spark
-yarn模式)
一、部署(基于CDH的
spark
-yarn模式)下载源码编译(目前官网已经提供编译好的jar包了)【https://dist.apache.org/repos/dist/release/carbondata
颜语一声
·
2025-02-22 22:22
对应chd5.14的spark
yarn模式运行
spark
作业所有属性详解
摘要:
Spark
参数调优,可以大大提高工作中程序的运行效率。
weixin_34248487
·
2025-02-22 22:22
大数据
Spark
on YARN的重要参数
Spark
属性或者去源码找Class类
Spark
SubmitArguments,最全了属性名称默认含义
spark
.yarn.am.memory512m用于客户端模式下的YARNApplicationMaster
大米饭精灵
·
2025-02-22 21:50
Spark
Yarn
Spark
Yarn
大数据-257 离线数仓 - 数据质量监控 监控方法 Griffin架构
已更完)HDFS(已更完)MapReduce(已更完)Hive(已更完)Flume(已更完)Sqoop(已更完)Zookeeper(已更完)HBase(已更完)Redis(已更完)Kafka(已更完)
Spark
m0_74823705
·
2025-02-22 21:50
面试
学习路线
阿里巴巴
大数据
架构
spark
sql随记
1、
spark
sql访问hive将hive-site.xml放入到${
SPARK
_HOME}/conf下如果是
spark
onyarn的cluster模式,由于driver是运行于哪个executor未知
cxy1991xm
·
2025-02-22 21:18
spark
计算机毕业设计吊炸天Python+
Spark
地铁客流数据分析与预测系统 地铁大数据 地铁流量预测
开发技术
Spark
HadoopPython爬虫Vue.jsSpringBoot机器学习/深度学习人工智能创新点
Spark
大屏可视化爬虫预测算法功能1、登录注册界面,用户登录注册,修改信息2、管理员用户:
qq_80213251
·
2025-02-22 08:35
java
javaweb
大数据
课程设计
python
Python 的 WebSocket 实现详解
大数据技术:涵盖Hadoop(HDFS)、Hive、
Spark
、Fli
王子良.
·
2025-02-22 03:23
经验分享
python
websocket
网络协议
网络
Spark
MLlib中的机器学习算法及其应用场景
Spark
MLlib是Apache
Spark
框架中的一个机器学习库,提供了丰富的机器学习算法和工具,用于处理和分析大规模数据。
Java资深爱好者
·
2025-02-21 20:47
深度学习
推荐算法
【HUSTOJ 判题机
源码解读
系列02】judged 守护进程工作流程
【HUSTOJ判题机
源码解读
系列02】judged守护进程工作流程1.judged工作流程上回说到,HUSTOJ判题机源码中最重要的两个C语言文件为:judge.ccjudge_client.ccjudge.cc
伊灵eLing
·
2025-02-21 17:52
HUSTOJ
判题机源码解读系列
HUSTOJ
判题机
judged
源码解读
c语言
评测机
【HUSTOJ 判题机
源码解读
系列03】judge.cc 源码详细注释
【HUSTOJ判题机
源码解读
系列03】judge.cc源码详细注释本文是HUSTOJ中一个比较重要的模块——judge.cc源代码文件全文注释版本,部分直观的代码不会注释。
伊灵eLing
·
2025-02-21 17:52
HUSTOJ
判题机源码解读系列
HUSTOJ
评测机
判题机
进程
c语言
【HUSTOJ 判题机
源码解读
系列01】判题机架构、判题流程浅析
HUSTOJ判题机
源码解读
系列011.HUSTOJHUSTOJ是一个开源的在线判题系统,很早之前就已经开发了,在源码里我甚至看到过2008年的Git提交记录(也有可能没这么早,记不太清了),时至本篇博客编写之际
伊灵eLing
·
2025-02-21 16:12
HUSTOJ
判题机源码解读系列
HUSTOJ
源码解析
系统编程
c语言
Online
Judge
在线判题系统
Spark
源码分析
Spark
源码分析
Spark
onYarnclientCluster本质区别,driver位置不同1)有哪些不同得进程?2)分别有什么作用?
陈同学�
·
2025-02-21 15:07
spark
big
data
scala
Spark
源码分析 – Shuffle
参考详细探究
Spark
的shuffle实现,写的很清楚,当前设计的来龙去脉HadoopHadoop的思路是,在mapper端每次当memorybuffer中的数据快满的时候,先将memory中的数据,按
weixin_34292924
·
2025-02-21 15:06
大数据
【大数据分析】
Spark
SQL查询:使用SQL命令
在
Spark
SQL编写SQL命令时,它们将被转换为DataFrame上的操作。通过连接到
Spark
的Thrift服务器,它们可以通过标准的JDBC或ODBC协议从应用服务器连接到
Spark
。
sword_csdn
·
2025-02-21 02:58
Spark
spark
数据分析
sql
本地运行 DeepSeek-R1 的成本究竟多高?
ReactHook深入浅出CSS技巧与案例详解vue2与vue3技巧合集VueUse
源码解读
本地运行DeepSeek-R1的成本究竟多高?
·
2025-02-21 02:13
前端javascript
如何使用
Spark
SQL进行复杂的数据查询和分析
使用
Spark
SQL进行复杂的数据查询和分析是一个涉及多个步骤和技术的过程。
Java资深爱好者
·
2025-02-21 01:22
spark
sql
大数据
如果MLlib 中没有所需要的模型,如何使用
Spark
进行分布式训练?
如果MLlib中没有你所需要的模型,并且不打算结合更强大的框架(如TensorFlowOn
Spark
或Horovod),仍然可以使用
Spark
进行分布式训练,但需要手动处理训练任务的分配、数据准备、模型训练
是纯一呀
·
2025-02-20 08:57
WSL
Docker
AI
spark
分布式
mllib
本地运行 DeepSeek-R1 的成本究竟多高?
ReactHook深入浅出CSS技巧与案例详解vue2与vue3技巧合集VueUse
源码解读
本地运行DeepSeek-R1的成本究竟多高?
·
2025-02-20 00:52
前端javascript
构建 Next.js 应用时的安全保障与风险防范措施
ReactHook深入浅出CSS技巧与案例详解vue2与vue3技巧合集VueUse
源码解读
在Web应用开发过程中,确保应用的安全性至关重要,这不仅能保护用户数据,还能防止应用本身遭受各种安全攻击。
·
2025-02-20 00:51
前端javascript
使用 Docker 部署 Apache
Spark
集群教程
简介Apache
Spark
是一个强大的统一分析引擎,用于大规模数据处理。
努力的小T
·
2025-02-19 20:48
docker
docker
spark
linux
运维
服务器
云计算
容器
笔记:DataSphere Studio安装部署流程
一、标准版部署标准版:有一定的安装难度,体现在Hadoop、Hive和
Spark
版本不同时,可能需要重新编译,可能会出现包冲突问题。适合于试用和生产使用,2~3小时即可部署起来。
右边com
·
2025-02-19 13:15
Java
大数据
HIVE-
SPARK
日常记录备忘Hive修改字段类型之后(varchar->string)Hive可以查到数据,Presto查询报错;分区字段数据类型和表结构字段类型不一样;
spark
-sql分区表和非分区表兼容问题,不能关联可以建临时表把分区数据导入
流川枫_
·
2025-02-19 13:14
20210706
hdfs
hive
spark
spark
为什么比mapreduce快?
作者:京东零售吴化斌
spark
为什么比mapreduce快?
·
2025-02-19 11:55
程序员
spark
为什么比mapreduce快?
作者:京东零售吴化斌
spark
为什么比mapreduce快?
·
2025-02-19 11:22
程序员
Spark
中Dataset方法详解
一、数据清洗核心方法1.处理缺失值方法说明示例代码na().drop()删除包含空值的行Datasetcleaned=dataset.na().drop();na().fill(value)用指定值填充所有空值Datasetfilled=dataset.na().fill(0);na().fill(Map)按列填充不同值Mapfills=newHashMapunique=dataset.dropD
小巫程序Demo日记
·
2025-02-19 10:53
Spark+Hadoop学习
spark
ajax
java
分布式
探索大数据处理:利用 Apache
Spark
解锁数据价值
探索大数据处理:利用Apache
Spark
解锁数据价值大家好,我是你们熟悉的大数据领域自媒体创作者Echo_Wish。今天,我们来聊聊如何利用Apache
Spark
进行大规模数据处理。
Echo_Wish
·
2025-02-19 07:59
实战高阶大数据
apache
spark
大数据
最新Apache Hudi 1.0.1源码编译详细教程以及常见问题处理
1.最新ApacheHudi1.0.1源码编译2.Flink、
Spark
、Hive集成Hudi1.0.13.flinkstreaming写入hudi目录1.版本介绍2.安装maven2.1.下载maven2.2
Toroidals
·
2025-02-19 06:51
大数据组件安装部署教程
hudi1.0.1
源码编译
教程
最新
【Elasticsearch
源码解读
】代码包结构概述
Elasticsearch的代码库包含多个包,每个包负责不同的功能。以下是这些包的主要功能:####action封装了Elasticsearch的各种操作,如索引、搜索、删除等,提供了与集群交互的接口。####bootstrap包含启动Elasticsearch节点所需的引导程序,负责初始化环境和配置。####client/internal提供客户端与Elasticsearch集群交互的内部实现,
risc123456
·
2025-02-19 03:58
elasticsearch
Python 用pytorch从头写Transformer源码,一行一解释;机器翻译实例代码;Transformer
源码解读
与实战
1.Transformer简介Transformer模型被提出的主要动机是解决序列处理任务的长距离依赖问题。传统的RNN和LSTM虽然能够处理序列任务,但因为它们在处理序列时需要一步步前进,因此其他信息无法立即对其产生影响,当序列变长时,长距离依赖的信息很可能会被丢失。为了解决这个问题,Transformer模型被设计出来,内核思想是利用自注意力机制,这样模型可以直接对输入序列的任意两个位置建立直
医学小达人
·
2025-02-19 03:24
NLP
LLMs
GPT
深度学习
人工智能
transformer
python
机器学习
React
源码解读
配置React源码本地调试环境本次环境构建采用了node版本为16、react-scripts版本号为3.4.4,源码下载地址react源码调试:react源码调试环境使用create-react-app脚手架创建项目npxcreate-react-appreact-test进入刚刚下载的目录,弹射create-react-app脚手架内部配置//在npmruneject之前,手动将项目packa
程序员小续
·
2025-02-18 10:24
react.js
前端
前端框架
node.js
webpack
react
javascript
使用Docker安装
Spark
集群(带有HDFS)
本实验在CentOS7中完成第一部分:安装Docker这一部分是安装Docker,如果机器中已经安装过Docker,可以直接跳过[root@VM-48-22-centos~]#systemctlstopfirewalld[root@VM-48-22-centos~]#systemctldisablefirewalld[root@VM-48-22-centos~]#systemctlstatusfi
Sicilly_琬姗
·
2025-02-18 10:52
云计算
大数据
docker
spark
hdfs
使用Docker部署
Spark
集群
使用Docker部署
Spark
集群克隆包含启动脚本的git仓库启动
Spark
0.8.0集群并切换至
Spark
Shell环境不带参数运行部署脚本*运行一些小的例子终止集群克隆包含启动脚本的git仓库*gitclone-bblogpostgit
小孩真笨
·
2025-02-18 10:17
工程开发技术
Cloud
Data
Docker
Spark
从0开始使用Docker搭建
Spark
集群
utm_campaign=maleskine&utm_content=note&utm_medium=seo_notes&utm_source=recommendation最近在学习大数据技术,朋友叫我直接学习
Spark
吃鱼的羊
·
2025-02-18 10:16
SPARK
Hadoop
Hbase深入浅出
大家熟知的
Spark
、以及Hadoop的MapReduce,可以理解为一种计算框架。而HDFS,我们可以认为是为计算框架服务的存
天才之上
·
2025-02-18 03:13
数据存储
Hbase
大数据存储
深入浅出了解HBase及RDD编程
HBase为什么能存储海量数据创建一个HBase表配置
Spark
编写程序读取HBase数据编写程序向HBase写入数据关于搭建HBase高可用集群的图文教程,可参考我的另一篇博文——安装并配置HBase
山海王子
·
2025-02-18 03:11
大数据
hbase
Spark
性能优化(四):Cache
在
Spark
中,缓存是一种将计算结果存储在内存中的方式,目的是加速后续操作。当你执行迭代算法或查询时,如果多次重复使用相同的数据集,缓存可以避免每次都重新计算相同的转换操作。
LevenBigData
·
2025-02-17 00:04
spark
性能调优
spark
性能优化
大数据
使用Docker搭建Flink集群
我们知道,像
spark
、flink这些计算框架都有多种运行模式:在本地使用多线程模拟集群真正的分布式集群如果直接在IDE(Intellj)里面编译和运行写好的程序,实际上是用的前一种运行模式;如果想尝试真正的生产环境中任务的提交和管
O_1CxH
·
2025-02-16 20:34
Flink大数据
Kafka大数据
docker
flink
容器
Spark
和 Flink
Spark
和Flink都是目前流行的大数据处理引擎,但它们在架构设计、应用场景、性能和生态方面有较大区别。
信徒_
·
2025-02-16 12:04
spark
flink
大数据
spark
任务运行
运行环境在这里插入代码片[root@hadoop000conf]#java-versionjavaversion"1.8.0_144"Java(TM)SERuntimeEnvironment(build1.8.0_144-b01)[root@hadoop000conf]#echo$JAVA_HOME/home/hadoop/app/jdk1.8.0_144[root@hadoop000conf]#
冰火同学
·
2025-02-16 11:56
Spark
spark
大数据
分布式
【Redis】golang操作Redis基础入门
【Redis】golang操作Redis基础入门大家好我是寸铁总结了一篇【Redis】golang操作Redis基础入门
spark
les:喜欢的小伙伴可以点点关注Redis的作用Redis(RemoteDictionaryServer
寸 铁
·
2025-02-16 07:24
go
数据库
Redis
redis
golang
数据库
CRUD
基本操作
分布式
键值对
hive
spark
读取hive hbase外表报错分析和解决
问题现象使用
Spark
shell操作hive关联Hbase的外表导致报错;hive使用tez引擎操作关联Hbase的外表时报错。
spring208208
·
2025-02-16 07:21
hive
hive
spark
hbase
spark
-广播变量
当本地数据极大的时候,可以使用广播变量,使得减少内存。本地集合对象和分布式集合对象(RDD)进行关联的时候,需要将本地集合对象广播变量。本地的数据传输到集群上,会发到每一个线程,每一个分区。每一个进程executor,有多个线程分区,进程内的线程数据共享因此,给每一个线程发送数据会导致数据占用,浪费资源。所有,出现了广播变量,使得只发送给进程代码使用:broadcast=sc.broadcast(
哈哈哈哈q
·
2025-02-16 05:12
+spark
hdfs
hadoop
大数据
spark
探索数据云的无缝桥梁:Apache
Spark
与 Snowflake 的完美结合
探索数据云的无缝桥梁:Apache
Spark
与Snowflake的完美结合
spark
-snowflakeSnowflakeDataSourceforApache
Spark
.项目地址:https://gitcode.com
窦育培
·
2025-02-15 12:32
maven插件学习(maven-shade-plugin和maven-antrun-plugin插件)
整合
spark
3.3.x和hive2.1.1-cdh6.3.2碰到个问题,就是
spark
官方支持的hive是2.3.x,但是cdh中的hive确是2.1.x的,项目中又计划用
spark
-thrift-server
catcher92
·
2025-02-15 08:00
java
maven
maven
学习
大数据
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他