E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Spark源码解析
大数据实战:
Spark
+ Hive 逐笔计算用户盈亏
简介本文将通过使用
Spark
+Hive实现逐笔计算区块链上用户交易数据的盈亏需求。
WuJiWeb3
·
2025-03-10 00:56
区块链链上数据分析
从0到1搭建区块链大数据平台
spark
hive
大数据
web3
区块链
hadoop
分布式计算入门(Py
Spark
处理NASA服务器日志)
目录分布式计算入门(Py
Spark
处理NASA服务器日志)1.引言2.分布式计算概述2.1分布式计算的基本概念2.2Apache
Spark
与Py
Spark
3.NASA服务器日志数据集介绍3.1数据背景3.2
闲人编程
·
2025-03-09 19:16
Python数据分析实战精要
服务器
运维
统计分析
日志
NASA服务器
分布式计算
PySpark
Apache
Spark
: 大数据处理的利器对比与应用实例
本文已收录于《Python超入门指南全册》本专栏专门针对零基础和需要进阶提升的同学所准备的一套完整教学,从基础到精通不断进阶深入,后续还有实战项目,轻松应对面试,专栏订阅地址:https://blog.csdn.net/mrdeam/category_12647587.html优点:订阅限时19.9付费专栏,私信博主还可进入全栈VIP答疑群,作者优先解答机会(代码指导、远程服务),群里大佬众多可以
步入烟尘
·
2025-03-09 19:45
Python超入门指南全册
apache
spark
大数据
spark
yum配置
yum配置Yum是一个linux工具,用来从网络上下载安装软件到CentOS操作系统中。先要确保虚拟机的网络是通畅的。(1)查看源yum中的源是指它从哪里去下载软件。把yum想象成你自己开的一家商场,那么yum的源就是你的供货商。通过yumrepolist命令可以去查看当前的供货商信息。(如果显示源信息是mirrorlist.centos.org(默认源),那就不能使用了。这个源已经失效了,就是你
Amu_Yalo
·
2025-03-09 19:42
spark
Hadoop、
Spark
、Flink Shuffle对比
一、Hadoop的shuffle前置知识:Map任务的数量由Hadoop框架自动计算,等于分片数量,等于输入文件总大小/分片大小,分片大小为HDFS默认值128M,可调Reduce任务数由用户在作业提交时通过Job.setNumReduceTasks(int)设置数据分配到Reduce任务的时间点,在Map任务执行期间,通过Partitioner(分区器)确定每个键值对的目标Reduce分区。默认
逆袭的小学生
·
2025-03-09 10:55
hadoop
spark
flink
Scala_
Spark
_RDD_parttwo
只做记录不展示结果(部分结果放在了代码的注释中):package
spark
_rddimportorg.apache.
spark
.sql.
Spark
Sessionobjectrdd_fiveextendsApp
Gadaite
·
2025-03-09 07:53
Spark基础
scala
spark
big
data
Spark
scala api(一)RDD编程
基础初始化
spark
valconf=new
Spark
Conf().setAppName("wordcount")valsc=new
Spark
Context(conf)转化操作和行动操作的区别在于
spark
weixin_42521881
·
2025-03-09 07:50
spark学习
Scala 中生成一个RDD的方法
在Scala中,生成RDD(弹性分布式数据集)的主要方法是通过
Spark
Context(或
Spark
Session)提供的API。
闯闯桑
·
2025-03-09 06:35
scala
开发语言
大数据
大数据Flink(六十四):Flink运行时架构介绍_flink中涉及到的大数据组件
从以Greenplum为代表的MPP(MassivelyParallelProcessing,大规模并行处理)架构,到Hadoop、
Spark
为代表的批处理架构,再到Storm、Flink为代表的流处理架构
2401_84181942
·
2025-03-09 03:39
程序员
大数据
flink
架构
大数据运维实战指南:零基础入门与核心技术解析(第一篇)
)系列文章目录第一篇:大数据运维概述与核心技能体系第二篇:Hadoop生态体系与集群部署实战第三篇:分布式存储系统运维与优化第四篇:资源调度框架YARN/K8s深度解析第五篇:实时计算框架Flink/
Spark
emmm形成中
·
2025-03-09 01:19
大数据
运维
面试基础---高并发高可用架构下读写分离与数据分片如何设计
高并发高可用架构深度实践:读写分离与数据分片设计及ShardingSphere
源码解析
引言:应对双十一洪峰的架构挑战在2023年阿里双十一购物节中,核心交易系统成功支撑了每秒58.3万笔的订单创建峰值。
WeiLai1112
·
2025-03-08 18:44
后端
面试
架构
职场和发展
java
后端
分布式
Android热更新方案之阿里AndFix-原理以及
源码解析
mLoaders=newConcurrentHashMap();}new了个AndFixmanager,看一下publicAndFixManager(Contextcontext){mContext=context;mSupport=Compat.*isSupport*();if(mSupport){mSecurityChecker=newSecurityChecker(mContext);mOp
2401_87254973
·
2025-03-08 17:42
android
前端
数据库
spark
集群,kafka集群和zookeeper的docker集群快速搭建
准备操作安装docker(宿主机)yuminstalldocker(宿主机时centos用yum管理包)systemctldaemon-reload(重加载deamon服务,是docker的核心)systemctlrestartdocker.service(重启docker服务)docker常用命令dockerps-a查看所有容器dockersearchUbuntu寻找Ubuntu的镜像docke
醉与浮
·
2025-03-08 15:05
tools
docker
spark
kafka
大数据计算框架深入:
Spark
SQL、DataFrame、RDD 性能优化
1.引言Apache
Spark
是当前最流行的大数据计算框架之一,其中
Spark
SQL、DataFrame和RDD(ResilientDistributedDataset)是数据处理的三大核心API。
晴天彩虹雨
·
2025-03-08 10:48
大数据
spark
big
data
c#视觉应用开发中如何在C#中处理多光谱图像?
microPythonPython最小内核
源码解析
NI-motion运动控制c语言示例代码解析python编程示例系列python编程示例系列二python的Web神器Streamlit如何应聘高薪职位在
openwin_top
·
2025-03-08 09:55
C#视觉应用开发问题系列
c#
开发语言
计算机视觉
视觉检测
【ESP32接入国产大模型之豆包】
api1.2Http接口鉴权1.3.接口参数说明1.3.1请求体(request)参数1.3.2返回(response)参数1.3.3错误响应2.先决条件2.1环境配置2.2所需零件3.核心代码3.1源码分享3.2
源码解析
2345VOR
·
2025-03-07 18:20
arduino学习
esp32国产大模型接入
#
Arduino小项目开发
ESP32
豆包大模型
# React
源码解析
之Reconciler运行循环与scheduler调度
React源码之看完吊打面试官系列经历一个月的学习整理,站在前人的肩膀上,对React有了一些浅薄的理解,希望记录自己的学习过程的同时也可以给大家带来一点小帮助。如果此系列文章对您有些帮助,还望在座各位义夫义母不吝点赞关注支持,也希望各位大佬拍砖探讨本系列行文思路如下,本篇属于React中的React的管理员(reconciler与scheduler)[X]React启动过程[X]React的两大
Bug程序员枯港
·
2025-03-07 07:46
后端
视觉定位 完整软件:C# + Halcon,流程可配置、多品牌相机支持、模板匹配与实时播放,【教程】使用C# + Halcon实现可配置的视觉定位软件,支持多品牌相机采图和模板匹配,实时播放输出结果,
ID:8499727635025643L_买卖不成仁义在【标题】视觉定位软件
源码解析
与定制化服务【摘要】本文基于C#+Halcon开发语
QhVRjZTKJ
·
2025-03-07 04:14
数码相机
c#
开发语言
Spark
单机伪分布式环境搭建、完全分布式环境搭建、
Spark
-on-yarn模式搭建
搭建
Spark
需要先配置好scala环境。三种
Spark
环境搭建互不关联,都是从零开始搭建。如果将文章中的配置文件修改内容复制粘贴的话,所有配置文件添加的内容后面的注释记得删除,可能会报错。
遇安.YuAn
·
2025-03-06 17:06
Spark
大数据平台组件搭建
hadoop
大数据
Spark
scala
环境搭建
嵌入式linux bootloader,嵌入式系统启动之bootloader
源码解析
要探讨bootloader,我们首先从全局来看看,嵌入式系统启动流程是怎么样的。大体上一个嵌入式Linux系统从软件角度分析可以分为四个部分:引导加载程序(bootloader),Linux内核,文件系统,应用程序。当系统首次引导时,或系统被重置时,bootloader首先被执行(位于Flash/ROM中的已知位置处)的代码。它主要用来初始化处理器及外设,然后调用Linux内核。Linux内核在完
三月十六
·
2025-03-06 13:23
嵌入式linux
bootloader
聊聊Netty那些事儿之Reactor在Netty中的实现(创建篇)
本系列Netty
源码解析
文章基于4.1.56.Final版本在上篇文章《聊聊Netty那些事儿之从内核角度看IO模型》中我们花了大量的篇幅来从内核角度详细讲述了五种IO模型的演进过程以及ReactorIO
Java小海.
·
2025-03-06 09:52
java
开发语言
后端
程序人生
spring
boot
Java实战 | 手把手教你编写双色球模拟系统中奖逻辑(附
源码解析
)
一、引言双色球作为国内经典彩票玩法,其核心逻辑是号码匹配与中奖规则判断。本文将用Java语言实现一个简易双色球模拟系统,涵盖用户投注、随机开奖、中奖匹配等功能,并深入解析代码实现中的关键点。文末提供完整源码,适合Java初学者练手学习!二、功能概述用户投注输入6个红球(1-33)和1个蓝球(1-16),号码不可重复。随机开奖系统生成6个红球+1个蓝球作为中奖号码。中奖判断根据红球和蓝球的匹配数量,
北岸避凶
·
2025-03-05 21:45
java
开发语言
C#开发串口通讯软件如何如何避免串口通讯中的资源竞争?
microPythonPython最小内核
源码解析
NI-motion运动控制c语言示例代码解析python编程示例系列python编程示例系列二python的Web神器Streamlit如何应聘高薪职位在
openwin_top
·
2025-03-05 12:24
c#串口应用开发问题系列
c#
开发语言
串口
上位机
通讯
(一)
spark
是什么?
1.
spark
是什么?
spark
是一个用来实现快速,通用的集群计算平台
spark
适用于各种各样原先需要多种不同的分布式平台的场景,包括批处理,迭代算法,交互式查询,流处理。
一智哇
·
2025-03-05 11:21
大数据框架学习
spark
big
data
大数据
spark
hdfs 常用命令
目录lsrmgettext以下按照使用频率和使用先后顺序排序(纯个人习惯)ls列出hdfs文件系统路径下的目录和文件hdfsdfs-ls列出hdfs文件系统路径下所有的目录和文件hdfsdfs-ls-Rrmhadoopfs-rm...hadoopfs-rm-r...每次可以删除多个文件或目录getlocalfile不能和hdfsfile名字不能相同,否则会提示文件已存在,没有重名的文件会复制到本地
毛球饲养员
·
2025-03-05 11:19
spark
spark
hdfs
常用
spark
命令
--
spark
启动localhost$
spark
-sql--masteryarn启动主节点yarn模式--查看hdfs文件hdfsdfs-ls/
spark
/myDatabase.db查看我们建的表其实是是建立在
会拉小提琴的左脚
·
2025-03-05 11:19
大数据
spark
hadoop
hdfs
Spark
详解二
八、
Spark
部署模式1、Local本地模式:运行于本地
spark
-shell--masterlocal[2](local[2]是说,执行Application需要用到CPU的2个核)2、Standalone
卢子墨
·
2025-03-05 11:13
Spark原理
实战
总结
spark
Spark
基本命令
一、
spark
所在目录cdusr/local/
spark
二、启动
spark
/usr/local/
spark
/sbin/start-all.sh启动Hadoop以及
Spark
:bash.
chenworeng5605
·
2025-03-05 10:42
大数据
scala
shell
spark
vi基本使用
打开文件与创建文件是Linux的内置命令,以命令的方式来运行。命令格式:vi/路径/文件名注意以下两种情况:1.如果这个文件不存在,此时就是新建文件,编辑器的左下角会提示:newfile2.如果文件已存在,此时就打开这个文件,进入命令模式。把文本内容添加到一个全新的文件的快捷方式:echo1>>1.txt三种模式vi编辑器有三种工作模式,分别为:命令模式,输入模式,底线模式。命令模式:所敲按键编辑
忧伤火锅麻辣烫
·
2025-03-05 10:09
笔记
Spark
是什么?可以用来做什么?
Apache
Spark
是一个开源的分布式计算框架,专为处理大规模数据而设计。它最初由加州大学伯克利分校开发,现已成为大数据处理领域的核心工具之一。
Bugkillers
·
2025-03-05 10:37
大数据
spark
大数据
分布式
spark
常见操作命令
配置虚拟机配置即让自己的虚拟机可以联网,和别的虚拟机通讯一、配置vm虚拟机网段。具体设置为:虚拟机左上角点击编辑→虚拟网络编辑器选择VMnet8,要改动两个地方(注意:它会需要管理员权限):1.子网IP改成192.168.10.02.NAT设置→192.168.10.2让所有的VM配置的虚拟机使用NAT时,它们的网段都是一致的。注意:这里的第三个部分的10并不是固定的,我们自己可以约定,但是
小冻梨!!!
·
2025-03-05 10:07
spark
Py
Spark
实现获取S3上Parquet文件的数据结构,并自动在Snowflake里建表和生成对应的建表和导入数据的SQL
Py
Spark
实现S3上解析存储Parquet文件的多个路径,获取其中的数据Schema,再根据这些Schema,参考以下文本,得到创建S3路径Stage的SQL语句和上传数据到Snowflake数据库的
weixin_30777913
·
2025-03-05 08:25
python
aws
sql
spark
37.索引生命周期管理—kibana 索引配置
37.1背景引入索引生命周期管理的一个最重要的目的就是对大量时序数据在es读写操作的性能优化如通过
spark
streaming读取Kafka中的日志实时写入es,这些日志高峰期每天10亿+,每分钟接近100w
大勇任卷舒
·
2025-03-04 23:42
ELK
elasticsearch
大数据
big
data
通过
spark
-redshift工具包读取redshift上的表
spark
数据源API在
spark
1.2以后,开始提供插件诗的机制,并与各种结构化数据源整合。
stark_summer
·
2025-03-04 22:02
spark
spark
redshift
parquet
api
数据
大数据面试临阵磨枪不知看什么?看这份心理就有底了-大数据常用技术栈常见面试100道题
4
Spark
和HadoopMapReduce的区别是什么?5如何在
Spark
中实现数据的持久化?6
Spark
Streaming的工作原理是什么?7如何优化
Spark
作业的性能?
大模型大数据攻城狮
·
2025-03-04 21:59
大数据
面试
职场和发展
面试题
数据仓库
算法
Spark
复习八:简述
Spark
运行流程以及
Spark
分区以及简述
Spark
Context
1.简述
Spark
运行流程:1.构建
Spark
Application的运行环境,启动
Spark
Context2.
Spark
Context向资源管理器(可以是Standalone,Mesos,Yarm)申请运行
IT change the world
·
2025-03-04 21:28
spark
spark
大数据
面试
hadoop
zookeeper
Spark
使用Parqute存储方式有什么好处
列式存储:压缩效率和查询效率谓词下推存储层:查询数据块生态兼容性高:
Spark
,hadoop等都兼容
冰火同学
·
2025-03-04 21:27
Spark
spark
初学者如何用 Python 写第一个爬虫?
大数据技术:涵盖Hadoop(HDFS)、Hive、
Spark
ADFVBM
·
2025-03-04 16:19
面试
学习路线
阿里巴巴
python
爬虫
开发语言
Spark
架构都有那些组件
Spark
组件架构主要采用主从结构,分别是driver驱动器,Excutor执行器,和clusterManager集群管理器这个三个架构组件其中driver驱动器主要负责
spark
执行Excutor的任务分配
冰火同学
·
2025-03-04 11:37
Spark
spark
架构
大数据
hive-staging文件问题——DataX同步数据重复
所以会在相应目录下生成hive-staging文件;2.Hive-sql任务执行过程中出现异常,导致hive-staging文件未删除,未出现异常时,hive会自行删除hive-staging文件;3.使用
spark
-sqlonyarn
Aldebaran α
·
2025-03-03 23:38
Hive
sql
hive
大数据
hdfs
spark
避免Hive和
Spark
生成HDFS小文件
Hive和
spark
-sql是两个在常用的大数据计算分析引擎,用户直接以SQL进行大数据操作,底层的数据存储则多由HDFS提供。
穷目楼
·
2025-03-03 22:36
数据库
大数据
大数据
spark
hive
hadoop
机器学习_Py
Spark
-3.0.3随机森林回归(RandomForestRegressor)实例
机器学习_Py
Spark
-3.0.3随机森林回归(RandomForestRegressor)实例随机森林回归(RandomForestRegression):任务类型:随机森林回归主要用于回归任务。
Mostcow
·
2025-03-03 18:01
数据分析
Python
机器学习
随机森林
回归
大数据
强者联盟——Python语言结合
Spark
框架
引言:
Spark
由AMPLab实验室开发,其本质是基于内存的快速迭代框架,“迭代”是机器学习最大的特点,因此非常适合做机器学习。
博文视点
·
2025-03-03 12:15
全栈工程师
全栈
全栈数据
Spark
Python
PySpark
Spark
技术系列(三):
Spark
算子全解析——从基础使用到高阶优化
Spark
技术系列(三):
Spark
算子全解析——从基础使用到高阶优化1.算子核心概念与分类体系1.1算子本质解析延迟执行机制:转换算子构建DAG,行动算子触发Job执行任务并行度:由RDD分区数决定(
数据大包哥
·
2025-03-03 12:11
#
Spark
spark
大数据
分布式
Spring 源码硬核解析系列专题(扩展篇):Spring Batch 的恢复机制
源码解析
在第九期中,我们深入探讨了SpringBatch的批处理流程,剖析了Job和Step的执行机制。在企业级应用中,批处理任务可能因异常(如数据库故障、网络中断)失败,如何从失败点恢复并继续执行,是SpringBatch的关键特性之一。本篇将聚焦SpringBatch的恢复机制,深入源码分析其实现原理,并补充相关图示。1.恢复机制的核心概念SpringBatch的恢复机制依赖以下组件:JobRepos
yinlongfei_love
·
2025-03-03 12:11
spring
batch
java
大数据经典技术解析:Hadoop+
Spark
大数据分析原理与实践
ApacheHadoop和Apache
Spark
是目前主流开源大数据框架。由于其易于部署、高容错性、并行计算能力强、适应数据量大、可编程、社区支持广泛等特点,大大提升了大数据应用的效率和效果。
AI天才研究院
·
2025-03-03 10:27
Python实战
自然语言处理
人工智能
语言模型
编程实践
开发语言
架构设计
Spark
核心之06:知识点梳理
spark
知识点梳理
spark
_〇一1、
spark
是什么
spark
是针对于大规模数据处理的统一分析引擎,它是基于内存计算框架,计算速度非常之快,但是它仅仅只是涉及到计算,并没有涉及到数据的存储,后期需要使用
小技工丨
·
2025-03-03 07:03
大数据技术学习
SparkSQL
spark
大数据
Airflow和Py
SPARK
实现带多组参数和标签的Amazon Redshift数据仓库批量数据导出程序
设计一个基于多个带标签SQL模板作为配置文件和多组参数的Py
SPARK
代码程序,实现根据不同的输入参数,用Airflow进行调度,自动批量地将AmazonRedshift数据仓库的数据导出为Parquet
weixin_30777913
·
2025-03-02 17:45
python
spark
云计算
入门Apache
Spark
:基础知识和架构解析
介绍Apache
Spark
Spark
的历史和背景Apache
Spark
是一种快速、通用、可扩展的大数据处理引擎,最初由加州大学伯克利分校的AMPLab开发,于2010年首次推出。
juer_0001
·
2025-03-02 08:19
java
spark
Spark
核心算子对比:`reduceByKey`与`groupByKey`源码级解析及生产调优指南
Spark
核心算子对比:reduceByKey与groupByKey源码级解析及生产调优指南1.核心机制对比在
Spark
中,reduceByKey和groupByKey都是对键值对RDD(RDD[(K,
数据大包哥
·
2025-03-02 07:13
大数据
spark
分布式
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他