E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
spark核心技术
Spark
Scala大数据编程实例
一、Scala1.1、Scala简介Scala是一门现代的多范式编程语言,平滑地集成了面向对象和函数式语言的特性,旨在以简练、优雅的方式来表达常用编程模式。Scala的设计吸收借鉴了许多种编程语言的思想,只有很少量特点是Scala自己独有的。Scala语言的名称来自于“可伸展的语言”,从写个小脚本到建立个大系统的编程任务均可胜任。Scala运行于Java平台(JVM,Java虚拟机)上,并兼容现有
一直de不完的bug
·
2024-02-07 06:38
Hadoop
spark
大数据
hadoop
win10
spark
scala 本地运行wordcount
hadoopcommon,可以从github下载zip,解包以后设置HADOOP_HOME环境变量指向它,然后在PATH里加上HADOOP_HOME\bin,特别注意,hadoopcommon的版本要和
spark
疯琴
·
2024-02-07 06:06
大数据
java/scala
flink/spark
Scala与java
目录Scala简介Scala和java的区别
Spark
选择Scala的原因Scala:Object与Class的区别Scala样例类和普通类的区别Scala中的None,Nothing,Null,NilScala
K. Bob
·
2024-02-07 06:05
Spark
Spark
scala如何本地运行
Spark
scala如何本地运行
Spark
任务调试太费时间啦
Spark
Scala本地运行
Spark
任务调试太费时间啦Apache
Spark
是一个开源的大数据处理框架,它提供了一个接口用于编程大规模分布式计算
HanhahnaH
·
2024-02-07 06:03
Spark
spark
scala
大数据
Zeppelin结合Flink查询hudi数据
目前ApacheZeppelin支持Apache
Spark
、ApacheFlink、Python、R、JDBC、
BigDataToAI
·
2024-02-07 05:38
hudi
flink
zeppelin
flink
python
big
data
Apache Zeppelin 整合
Spark
和 Hudi
一环境信息1.1组件版本组件版本
Spark
3.2.3Hudi0.14.0Zeppelin0.11.0-SNAPSHOT1.2环境准备Zeppelin整合
Spark
参考:ApacheZeppelin一文打尽
大数据AI
·
2024-02-07 05:03
大数据从入门到精通
spark
hudi
zeppelin
大数据
spark
sql上线前的调试工作实现
背景每个公司应该都有大数据的平台的吧,平台的作用就是可以在上面执行各种
spark
sql以及定时任务,不过一般来说,由于这些
spark
sql的上线不经过测试,所以可能会影响到生产的数据,这种情况下大数据平台提供一个上线前的调试功能也就非常好了
lixia0417mul2
·
2024-02-07 05:22
spark
spark
sql
大数据
Kuberntes DNS
kubectlgetendpointsNAMEENDPOINTSAGEdocker-registry172.17.0.10:500019dkubernetes10.0.2.41:844319drouter10.0.2.41:1936,10.0.2.41:80,10.0.2.41:44319d
spark
thrift-headless172.17.0.12
zhixingheyi_tian
·
2024-02-07 03:02
DNS
kubernetes
Spark
RDD的学习(JAVA)
注:本文是跟着《
Spark
快速大数据分析》一书学习的笔记式总结,不喜勿喷。RDD(ResilientDistributedDataset)弹性分布式数据集是
Spark
对数据的核心抽象。
啊其11
·
2024-02-07 02:47
Spark
Chapter 8
Spark
SQL
【参考以慕课网日志分析为例进入大数据
Spark
sql】0导读SQL:MySQL,Oracle,DB2,SQLServer在大数据平台上实现大数据计算:Hive/
Spark
SQL/
Spark
Core直接使用
深海suke
·
2024-02-07 01:34
Spark
大数据分析与实战笔记(第三章
Spark
RDD弹性分布式数据集-01)
文章目录每日一句正能量第3章
Spark
RDD弹性分布式数据集章节概要3.1RDD简介3.2RDD的创建方式3.2.1从文件系统加载数据创建RDD3.2.2通过并行集合创建RDD每日一句正能量学如积薪,后来者居上
想你依然心痛
·
2024-02-07 01:53
分布式
spark
数据分析
「Java
核心技术
大会 2023」6月重磅启动,邀你共同探讨Java生态 ~文末福利
Java
核心技术
大会2023大会简介直播预约:视频号“IT阅读排行榜”PART1特邀启动专场PART2Java语言、平台和趋势专场PART3Java应用开发专场PART4Java应用与系统架构专场PART5Java
几分醉意.
·
2024-02-07 00:01
赠书活动
java
开发语言
科技成果:AI在智慧农业中的应用科普
市场前景3.高通量土壤成分智能检测机器人3.1原创性技术成果3.2技术亮点MyThoughtsReference本文版权归属中国科学院合肥物质院智能所微信公众号所有1.番茄采摘机器人大脑:ROS系统四大
核心技术
猛码Memmat
·
2024-02-07 00:34
rob-agent
/
aigc
人工智能
机器视觉
机器人
图像分割
农业
StarRocks入门
目录一、连接StarRocks二、建表1.创建非分区表2.创建动态分区表3.修改表字段类型三、数据导入1.
Spark
load2.Brokerload3.Streamload4.Routineload5.
jingyu鲸鱼
·
2024-02-06 22:42
doris
大数据
数据库
深入浅出:用C++实现二叉堆的艺术
操作的基本原理2.2最大堆与最小堆2.2.1最大堆的特点和应用2.2.2最小堆的特点和应用2.2.3选择最大堆还是最小堆2.3二叉堆的存储方式2.3.1使用数组表示完全二叉树2.3.2实现细节与优化第三章:
核心技术
点解析
泡沫o0
·
2024-02-06 22:08
#
C/C++
数据结构
c++
开发语言
linux
gcc
cmake
qt
arm
深入解析Elasticsearch的内部数据结构和机制:行存储、列存储与倒排索引之倒排索引(三)
而这背后的
核心技术
之一就是倒排索引。那么,什么是倒排索引,以及它是如何在Elasticsearch中工作的呢?
地瓜伯伯
·
2024-02-06 20:40
工具
elasticsearch
java
spark
的数据倾斜和解决方案
#数据倾斜##4.1.什么是数据倾斜,现象是什么?所谓数据倾斜(dataskew),其实说白了,由于数据分布不均匀造成计算时间差异很大,产生了一些列异常现象。常见的现象有两种:1.个别task作业运行缓慢大多数的task运行都很快速,但是极个别的task运行非常缓慢,甚至是正常task运行时间好多倍。莫名其妙的OOM异常这是一种相对比较少见的现象,正常运行的task作业,突发发生了一个OOM异常。
XLMN
·
2024-02-06 18:32
Spark
简介
Spark
作为第二代大数据处理工具,跟hadoop对比,它是基于内存的,所以在迭代计算方便速度有了很大提升。我用到的主要是
Spark
Core,
Spark
SQL,
Spark
Streaming。
麦克阿瑟99
·
2024-02-06 18:07
写给自己:一年后离开现在的岗位
不得不面对现实的残酷,回想在公司里温水煮青蛙这些年,一直安于现状,没有任何的
核心技术
能力,重复做着那些日复一日的行政事务。我该做些什么,能支撑起现在的生活,当下我是真的渴望一夜
北冥的世界
·
2024-02-06 17:15
Spark
编程实现简例
对于两个输入文件A和B,编写
Spark
独立应用程序,对两个文件进行合并,并剔除其中重复的内容,得到一个新文件C。下面是输入文件和输出文件的一个样例,供参考。
哲子带你学编程
·
2024-02-06 16:34
spark
大数据
分布式
MySQL 表的增删查改(练习)
price,storage)values('学生书包',18.91,101);insertintoproductvalues('学生书包',18.91,101,null);2.在图书表中新增一条记录:Java
核心技术
zbillows
·
2024-02-06 15:25
MySQL
mysql
数据库
【漏洞复现】SpringBlade export-user接口存在SQL注入漏洞
漏洞描述SpringBlade是一个由商业级项目升级优化而来的微服务架构采用SpringBoot2.7、SpringCloud2021等
核心技术
构建,完全遵循阿里巴巴编码规范。
丢了少年失了心1
·
2024-02-06 14:35
网络安全
web安全
渗透测试
漏洞复现
sql
数据库
渗透测试
网络安全
漏洞复现
决胜大数据时代:Hadoop&Yarn&
Spark
企业级最佳实践(8天完整版脱产式培训版本)...
Hadoop、Yarn、
Spark
是企业构建生产环境下大数据中心的关键技术,也是大数据处理的
核心技术
,是每个云计算大数据工程师必修课。
weixin_30273931
·
2024-02-06 09:08
java
人工智能
移动开发
15年磨砺,一朝绽放:Spring Boot分布式系统实践文档,深入浅出解析
核心技术
引言当前,Java后端领域中一个不容忽视的现象是,除了部分老旧项目外,几乎所有的新项目都基于SpringBoot进行开发。这并非偶然,而是因为SpringBoot的易用性和微服务友好的特性使其成为Java后端技术的翘楚。毫不夸张地说,SpringBoot在Java后端领域占据着举足轻重的地位,对于Java程序员来说,掌握它是至关重要的。通过使用SpringBoot开发框架,我们不仅可以提高开发速度
手把手教你学Java
·
2024-02-06 09:07
spring
boot
spring
后端
java
spring
cloud
Spark
视频第5期:
Spark
SQL架构和案例深入实战
Spark
SQL架构和案例深入实战视频下载:http://pan.baidu.com/share/link?
Rocky_wangjialin
·
2024-02-06 09:35
Spark培训
Spark企业内训
Spark公开课
Spark视频
王家林
RDD 依赖关系
packagecom.atguigu.bigdata.
spark
.core.rdd.depimportorg.apache.
spark
.
zmx_messi
·
2024-02-06 09:08
大数据
spark
转换算子小案例
2)需求描述统计出每一个省份每个广告被点击数量排行的Top33)需求分析4)功能实现整体思路代码实现packagecom.atguigu.bigdata.
spark
.core.rdd.operator.transformimportorg.apache.
spark
zmx_messi
·
2024-02-06 09:37
spark
大数据
Spark
SQL调优实战
1、新添参数说明//Driver和Executor内存和CPU资源相关配置--是否开启executor动态分配,开启时
spark
.executor.instances不生效
spark
.dynamicAllocation.enabled
sighting_info
·
2024-02-06 09:06
spark
sql
大数据
Python学习路线 - Python高阶技巧 - Py
Spark
案例实战
Python学习路线-Python高阶技巧-Py
Spark
案例实战前言介绍
Spark
是什么PythonOn
Spark
Py
Spark
WhyPy
Spark
基础准备Py
Spark
库的安装构建Py
Spark
执行环境入口对象
mry6
·
2024-02-06 09:34
Python
python
requestAnimationFrame
1.引入计时器一直是javascript动画的
核心技术
。而编写动画循环的关键是要知道延迟时间多长合适。
Amber886
·
2024-02-06 09:12
FlinkCDC-Hudi:Mysql数据实时入湖全攻略五:FlinkSQL同时输出到kafka与hudi的几种实现
前序:FlinkCDC-Hudi系列文章:FlinkCDC-Hudi:Mysql数据实时入湖全攻略一:初试风云FlinkCDC-Hudi:Mysql数据实时入湖全攻略二:Hudi与
Spark
整合时所遇异常与解决方案
大数据点灯人
·
2024-02-06 08:25
Flink
Kafka
Hudi
kafka
mysql
spark
Redis
核心技术
与实战【学习笔记】 - 24.Redis 脑裂
简述所谓脑裂,就是指在主从集群中,同时有两个主节点,它们都能接收写请求。而脑裂最直接的影响就是客户端不知道该往哪个主节点写入数据,结果就是不同的客户端会往不同的主机诶点上写入数据。而且,严重的话,脑裂会导致数据丢失。在使用主从集群时,曾遇到过这样一个问题:主从集群有1个主库、5个从库和3个哨兵实例,在使用过程中,发现客户端发送的一些数据丢失了,这直接影响了业务层的数据可靠性。通过一系列的问题排查,
陈建111
·
2024-02-06 08:43
Redis核心技术学习
redis
Redis
脑裂
Redis
核心技术
与实战【学习笔记】 - 24.Redis 数据分片方案选择:Codis 和 Redis Cluster
简述Redis的切片集群使用多个实例保存数据,能很好的应对大数据量的场景。在《4.Redis切片集群》中,介绍了Redis官方提供的切片集群方法RedisCluster。本章,再来学习下,在RedisCluster方案正式发布前,业界广泛使用的Codis。1.Codis的整体架构和基本流程Codis集群中包含了4类关键组件。codisserver:这是进行了二次开发的Redis实例,其中增加了额外
陈建111
·
2024-02-06 08:43
Redis核心技术学习
redis
Redis
数据分片方案
Codis
Redis
Cluster
Redis
核心技术
与实战【学习笔记】 - 23.Redis 主从切换故障,有哪些坑
前言Redis的主从同步机制不仅可以让从库服务更多的读请求,分担主库的压力,而且还能在主库发生故障时,进行主从库切换,提供高可靠服务。不过,在实际使用主从机制时会踩到一些“坑”:主从数据不一致、读到过期数据以及配置项设置得不合理而导致服务挂掉。主从数据不一致主从数据不一致,就是指客户端从从库中读取到的值和主库中的最新值并不一致。假设,主从库之前保存的用户年龄是19,但是主库收到了修改命令,已经把这
陈建111
·
2024-02-06 08:13
Redis核心技术学习
redis
Redis
主从切换
Redis
核心技术
与实战【学习笔记】 - 25.Redis 支撑秒杀场景的关键技术
简述秒杀是一个非常经典的活动场景,比如,在双11、618等电商促销活动中,都会有秒杀场景。秒杀场景的业务特点是限时限量,业务系统要处理瞬时的大量高并发请求,而Redis就经常被用来支撑秒杀活动。秒杀场景包含多个环节,可以分成秒杀前、秒杀中和秒杀后三个阶段,每个阶段的请求处理需求不同,Redis并不能支撑秒杀场景的每一个环节。Redis具体在秒杀场景的哪个环节起到支撑作用的呢?又是如何支持的呢?清楚
陈建111
·
2024-02-06 08:40
Redis核心技术学习
redis
秒杀
web前端从入门到精通
web前端从入门到精通HTML+CSS系列一、拨云见日如何创建.html文件--网页1.安装插件2.编辑器基本使用3.Chrome浏览器(市场份额最大)4.深入了解网站开发5.web三大
核心技术
6.HTML
等一次雪落
·
2024-02-06 08:38
css
html
【Flink入门修炼】1-1 为什么要学习 Flink?
一、批处理和流处理早些年,大数据处理还主要为批处理,一般按天或小时定时处理数据,代表性的框架为MapReduce、Hive、
Spark
等。
大数据王小皮
·
2024-02-06 07:29
Flink
入门修炼
flink
学习
大数据
MSR架构:推动数据中台进入2.0时代
语义层基于业务对象视图面向业务端用户提供语义化的业务逻辑表达式,支持业务端用户自助开发业务逻辑,业务端的开发者只关注于业务逻辑本身,不需要考虑后台是何种数据计算处理框架(MR、
SPARK
、FLINK、SQL
Trident敏捷数据开发平台
·
2024-02-06 07:54
架构
大数据
数据仓库
数据库开发
PiflowX新增Apache Beam引擎支持
参考资料:ApacheBeam架构原理及应用实践-腾讯云开发者社区-腾讯云(tencent.com)在之前的文章中有介绍过,PiflowX是支持
spark
和flink计算引擎,其架构图如下所示:在piflow
PiflowX
·
2024-02-06 07:54
flink
大数据
Spark
大数据分析与实战笔记(第二章
Spark
基础-06)
文章目录每日一句正能量2.6IDEA开发WordCount程序2.6.1本地模式执行
Spark
程序2.6.2集群模式执行
Spark
程序每日一句正能量我们全都要从前辈和同辈学习到一些东西。
想你依然心痛
·
2024-02-06 07:38
#
Spark大数据分析与实战
spark
数据分析
笔记
想学大数据?先看完这几本书再说
除了这些技术领域,还有一些特定的技术和语言需要你继续研究:Hadoop,
Spark
,Python,和R等等,还有无数实现自动化的工具等等,这些工具几乎每天都会用到,这就需要你不断的学习。
yoku酱
·
2024-02-06 06:55
Spark
SQL on K8s 在网易传媒的落地实践
网易传媒在2021年成功将
Spark
SQL部署到了K8s集群,并实现与部分在线业务的混合部署,到目前已经稳定运行了一年多。
wangyishufan
·
2024-02-06 06:02
kubernetes
大数据
数据分析
Py
Spark
(四)Py
Spark
SQL、Catalyst优化器、
Spark
SQL的执行流程
目录Py
Spark
SQL基础
Spark
Session对象DataFrame入门DataFrame构建DataFrame代码风格DSLSQL
Spark
SQLShuffle分区数目DataFrame数据写出
独憩
·
2024-02-06 03:14
PySpark
sql
数据库
python
spark
Spark
Shuffle模块详解
Shuffle,具有某种共同特征的一类数据需要最终汇聚(aggregate)到一个计算节点上进行计算。这些数据分布在各个存储节点上并且由不同节点的计算单元处理。以最简单的WordCount为例,其中数据保存在Node1、Node2和Node3;经过处理后,这些数据最终会汇聚到Nodea、Nodeb处理。这个数据重新打乱然后汇聚到不同节点的过程就是Shuffle。但是实际上,Shuffle过程可能会
晓之以理的喵~~
·
2024-02-06 03:14
大数据
Hadoop
Spark
spark
大数据
hadoop
Py
Spark
(三)RDD持久化、共享变量、
Spark
内核制度,
Spark
Shuffle
目录RDD持久化RDD的数据是过程数据RDD缓存RDDCheckPoint共享变量广播变量累加器
Spark
内核调度DAGDAG的宽窄依赖和阶段划分内存迭代计算
Spark
是怎么做内存计算的?
独憩
·
2024-02-06 03:43
PySpark
大数据
python
分布式
spark
python-sql-
spark
常用操作
2.尽量使用
spark
.sql,而不是rdd。sql处理groupby会快很多。基本上10min的rdd,sql只需2min。所以基本除了复杂函数,都用sql解决。
竹竹竹~
·
2024-02-06 03:32
MySQL
python学习
数据处理
python
sql
spark
Spark
On Yarn 运行模式
在
Spark
中,支持4种运行模式:1)Local:开发时使用2)Standalone:是
Spark
自带的,如果一个集群是Standalone的话,那么就需要在多台机器上同时部署
Spark
环境3)YARN
bandi4506
·
2024-02-06 03:02
大数据
java
关于
Spark
/Hadoop中Master/Slave IP不正确的问题
在配置
Spark
StandAloneMode的时候,我遇到了Slave无法向正确的MasterIP发送数据的问题。通常这类问题都来源于没有正确配置.
ecce
·
2024-02-06 02:37
打破欧美垄断!阿里宣布结果,外媒:马云果然说到做到!
众所周知,半导体集成电路芯片是现代科技领域的发展的核心,不过我国在这一领域的发展起步较晚,基础也较为薄弱,所以在芯片另一一直比较落后,而在一些芯片的
核心技术
领域更是被欧美直接垄断;不过在老美多次修改芯片规则以后
小蘑菇壹号
·
2024-02-06 01:37
Spark
Sql---用户自定义函数UDF&&UDAF
文章目录1.UDF2.UDAF2.1UDF函数实现原理2.2需求:计算用户平均年龄2.2.1使用RDD实现2.2.2使用UDAF弱类型实现2.2.3使用UDAF强类型实现1.UDF用户可以通过
spark
.udf
肥大毛
·
2024-02-05 20:08
scala
大数据
spark
spark
大数据
分布式
上一页
2
3
4
5
6
7
8
9
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他