E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Spark大数据分析
Kuberntes DNS
kubectlgetendpointsNAMEENDPOINTSAGEdocker-registry172.17.0.10:500019dkubernetes10.0.2.41:844319drouter10.0.2.41:1936,10.0.2.41:80,10.0.2.41:44319d
spark
thrift-headless172.17.0.12
zhixingheyi_tian
·
2024-02-07 03:02
DNS
kubernetes
Spark
RDD的学习(JAVA)
注:本文是跟着《
Spark
快速
大数据分析
》一书学习的笔记式总结,不喜勿喷。RDD(ResilientDistributedDataset)弹性分布式数据集是
Spark
对数据的核心抽象。
啊其11
·
2024-02-07 02:47
Spark
Chapter 8
Spark
SQL
【参考以慕课网日志分析为例进入大数据
Spark
sql】0导读SQL:MySQL,Oracle,DB2,SQLServer在大数据平台上实现大数据计算:Hive/
Spark
SQL/
Spark
Core直接使用
深海suke
·
2024-02-07 01:34
自学Python 1 介绍
Python是一款计算机语言,对
大数据分析
、人工智能等机器学习、深度学习都提供了大力的支持。它背后有最庞大的“代码库”,也称之它为“胶水语言”。
江南赴艽野
·
2024-02-07 01:58
Python学习
python
一、Python的自述
1.我们为什么要学习pythonpython应用范围广对
大数据分析
、人工智能中至关重要的机器学习、深度学习都提供了大力支持背后有最庞大的“代码库”习惯称为“胶水语言”2.python能做啥能抢票,数据分析
多斯Niko
·
2024-02-07 01:54
python
Spark
大数据分析
与实战笔记(第三章
Spark
RDD弹性分布式数据集-01)
文章目录每日一句正能量第3章
Spark
RDD弹性分布式数据集章节概要3.1RDD简介3.2RDD的创建方式3.2.1从文件系统加载数据创建RDD3.2.2通过并行集合创建RDD每日一句正能量学如积薪,后来者居上
想你依然心痛
·
2024-02-07 01:53
分布式
spark
数据分析
StarRocks入门
目录一、连接StarRocks二、建表1.创建非分区表2.创建动态分区表3.修改表字段类型三、数据导入1.
Spark
load2.Brokerload3.Streamload4.Routineload5.
jingyu鲸鱼
·
2024-02-06 22:42
doris
大数据
数据库
2021-11-02
CancerCell|单细胞测序检测揭示CAR-T脱靶效应(2)原创风不止步图灵基因今天收录于话题#前沿生物
大数据分析
撰文:风不止步IF=31.743推荐度:⭐⭐⭐⭐⭐亮点:研究利用单细胞分析报告了CAR
图灵基因
·
2024-02-06 20:51
大数据学习入门级书籍推荐,零基础小伙伴们关注一下吧
《
大数据分析
:点“数”成金》大数据学习入门级书籍推荐你现在正坐在一座金矿之上,这些金子或被深埋于备份、存档数据之中,或正藏在你眼前的数据集里,它们是提升公司效益、拓展新的商业关系、制订更直观决策的秘诀所在
kuntoria
·
2024-02-06 18:45
spark
的数据倾斜和解决方案
#数据倾斜##4.1.什么是数据倾斜,现象是什么?所谓数据倾斜(dataskew),其实说白了,由于数据分布不均匀造成计算时间差异很大,产生了一些列异常现象。常见的现象有两种:1.个别task作业运行缓慢大多数的task运行都很快速,但是极个别的task运行非常缓慢,甚至是正常task运行时间好多倍。莫名其妙的OOM异常这是一种相对比较少见的现象,正常运行的task作业,突发发生了一个OOM异常。
XLMN
·
2024-02-06 18:32
Spark
简介
Spark
作为第二代大数据处理工具,跟hadoop对比,它是基于内存的,所以在迭代计算方便速度有了很大提升。我用到的主要是
Spark
Core,
Spark
SQL,
Spark
Streaming。
麦克阿瑟99
·
2024-02-06 18:07
大数据测试
一.功能性测试大数据功能主要涉及系统实现面向
大数据分析
应用的POSIXAPI,包括文件读取与访问控制,元数据操作,锁操作等功能;
大数据分析
系统的POSIX语义不同,实现的文件系统API也不同,功能测试要覆盖到大数据系统涉及实现的
jinhm007
·
2024-02-06 17:53
Spark
编程实现简例
对于两个输入文件A和B,编写
Spark
独立应用程序,对两个文件进行合并,并剔除其中重复的内容,得到一个新文件C。下面是输入文件和输出文件的一个样例,供参考。
哲子带你学编程
·
2024-02-06 16:34
spark
大数据
分布式
2022-01-31
Cell|计算机模拟人造细胞模型揭示生命奥秘原创旧岛望月亮图灵基因2022-01-3107:03收录于话题#前沿生物
大数据分析
撰文:旧岛望月亮IF=41.582推荐度:⭐⭐⭐⭐⭐亮点:利用计算机模拟人造细胞
图灵基因
·
2024-02-06 10:29
Python中的pyarrow入门
它提供了跨平台、高性能的数据传输和存储解决方案,在数据处理、机器学习和
大数据分析
等领域有广泛应
牛肉胡辣汤
·
2024-02-06 10:42
python
开发语言
5G智能卷烟工厂数字孪生可视化平台,推进烟草行业数字化转型
5G智能卷烟工厂数字孪生可视化平台是一个集成了5G通信技术、物联网技术、
大数据分析
技术和人工智能技术的综合性平
数字孪生巨蟹数科
·
2024-02-06 09:39
三维数据可视化
数字孪生智慧工厂
数字孪生3d可视化
智能卷烟工厂
智能卷烟数字孪生
智能卷烟工厂可视化
智慧烟草数字孪生
巨蟹数科
烟草行业数字化转型
工业互联网
决胜大数据时代:Hadoop&Yarn&
Spark
企业级最佳实践(8天完整版脱产式培训版本)...
Hadoop、Yarn、
Spark
是企业构建生产环境下大数据中心的关键技术,也是大数据处理的核心技术,是每个云计算大数据工程师必修课。
weixin_30273931
·
2024-02-06 09:08
java
人工智能
移动开发
Spark
视频第5期:
Spark
SQL架构和案例深入实战
Spark
SQL架构和案例深入实战视频下载:http://pan.baidu.com/share/link?
Rocky_wangjialin
·
2024-02-06 09:35
Spark培训
Spark企业内训
Spark公开课
Spark视频
王家林
RDD 依赖关系
packagecom.atguigu.bigdata.
spark
.core.rdd.depimportorg.apache.
spark
.
zmx_messi
·
2024-02-06 09:08
大数据
spark
转换算子小案例
2)需求描述统计出每一个省份每个广告被点击数量排行的Top33)需求分析4)功能实现整体思路代码实现packagecom.atguigu.bigdata.
spark
.core.rdd.operator.transformimportorg.apache.
spark
zmx_messi
·
2024-02-06 09:37
spark
大数据
Spark
SQL调优实战
1、新添参数说明//Driver和Executor内存和CPU资源相关配置--是否开启executor动态分配,开启时
spark
.executor.instances不生效
spark
.dynamicAllocation.enabled
sighting_info
·
2024-02-06 09:06
spark
sql
大数据
Python学习路线 - Python高阶技巧 - Py
Spark
案例实战
Python学习路线-Python高阶技巧-Py
Spark
案例实战前言介绍
Spark
是什么PythonOn
Spark
Py
Spark
WhyPy
Spark
基础准备Py
Spark
库的安装构建Py
Spark
执行环境入口对象
mry6
·
2024-02-06 09:34
Python
python
地下停车场智慧监查系统:科技让停车更智能
地下停车场智慧监查系统运用了先进的物联网技术和
大数据分析
技术,可以对停车场进行全方位的实时监控和管理。该系统具备以下几大功能:(1)智能监控:通过高清摄像头和
久数君
·
2024-02-06 08:19
科技
物联网
人工智能
信息可视化
数据分析
FlinkCDC-Hudi:Mysql数据实时入湖全攻略五:FlinkSQL同时输出到kafka与hudi的几种实现
前序:FlinkCDC-Hudi系列文章:FlinkCDC-Hudi:Mysql数据实时入湖全攻略一:初试风云FlinkCDC-Hudi:Mysql数据实时入湖全攻略二:Hudi与
Spark
整合时所遇异常与解决方案
大数据点灯人
·
2024-02-06 08:25
Flink
Kafka
Hudi
kafka
mysql
spark
【Flink入门修炼】1-1 为什么要学习 Flink?
一、批处理和流处理早些年,大数据处理还主要为批处理,一般按天或小时定时处理数据,代表性的框架为MapReduce、Hive、
Spark
等。
大数据王小皮
·
2024-02-06 07:29
Flink
入门修炼
flink
学习
大数据
MSR架构:推动数据中台进入2.0时代
语义层基于业务对象视图面向业务端用户提供语义化的业务逻辑表达式,支持业务端用户自助开发业务逻辑,业务端的开发者只关注于业务逻辑本身,不需要考虑后台是何种数据计算处理框架(MR、
SPARK
、FLINK、SQL
Trident敏捷数据开发平台
·
2024-02-06 07:54
架构
大数据
数据仓库
数据库开发
PiflowX新增Apache Beam引擎支持
参考资料:ApacheBeam架构原理及应用实践-腾讯云开发者社区-腾讯云(tencent.com)在之前的文章中有介绍过,PiflowX是支持
spark
和flink计算引擎,其架构图如下所示:在piflow
PiflowX
·
2024-02-06 07:54
flink
大数据
ES核心干货学习(原理及数据结构)
2.需要进行分词检索,语义检索3.需要
大数据分析
符合上面特征都可以考虑,如日志收集、订单数据链查询,文章检索等。1.3为啥选
li644872790
·
2024-02-06 07:23
elasticsearch
lucene
java
全文检索
搜索引擎
Spark
大数据分析
与实战笔记(第二章
Spark
基础-06)
文章目录每日一句正能量2.6IDEA开发WordCount程序2.6.1本地模式执行
Spark
程序2.6.2集群模式执行
Spark
程序每日一句正能量我们全都要从前辈和同辈学习到一些东西。
想你依然心痛
·
2024-02-06 07:38
#
Spark大数据分析与实战
spark
数据分析
笔记
想学大数据?先看完这几本书再说
除了这些技术领域,还有一些特定的技术和语言需要你继续研究:Hadoop,
Spark
,Python,和R等等,还有无数实现自动化的工具等等,这些工具几乎每天都会用到,这就需要你不断的学习。
yoku酱
·
2024-02-06 06:55
Spark
SQL on K8s 在网易传媒的落地实践
网易传媒在2021年成功将
Spark
SQL部署到了K8s集群,并实现与部分在线业务的混合部署,到目前已经稳定运行了一年多。
wangyishufan
·
2024-02-06 06:02
kubernetes
大数据
数据分析
Py
Spark
(四)Py
Spark
SQL、Catalyst优化器、
Spark
SQL的执行流程
目录Py
Spark
SQL基础
Spark
Session对象DataFrame入门DataFrame构建DataFrame代码风格DSLSQL
Spark
SQLShuffle分区数目DataFrame数据写出
独憩
·
2024-02-06 03:14
PySpark
sql
数据库
python
spark
Spark
Shuffle模块详解
Shuffle,具有某种共同特征的一类数据需要最终汇聚(aggregate)到一个计算节点上进行计算。这些数据分布在各个存储节点上并且由不同节点的计算单元处理。以最简单的WordCount为例,其中数据保存在Node1、Node2和Node3;经过处理后,这些数据最终会汇聚到Nodea、Nodeb处理。这个数据重新打乱然后汇聚到不同节点的过程就是Shuffle。但是实际上,Shuffle过程可能会
晓之以理的喵~~
·
2024-02-06 03:14
大数据
Hadoop
Spark
spark
大数据
hadoop
Py
Spark
(三)RDD持久化、共享变量、
Spark
内核制度,
Spark
Shuffle
目录RDD持久化RDD的数据是过程数据RDD缓存RDDCheckPoint共享变量广播变量累加器
Spark
内核调度DAGDAG的宽窄依赖和阶段划分内存迭代计算
Spark
是怎么做内存计算的?
独憩
·
2024-02-06 03:43
PySpark
大数据
python
分布式
spark
python-sql-
spark
常用操作
2.尽量使用
spark
.sql,而不是rdd。sql处理groupby会快很多。基本上10min的rdd,sql只需2min。所以基本除了复杂函数,都用sql解决。
竹竹竹~
·
2024-02-06 03:32
MySQL
python学习
数据处理
python
sql
spark
Spark
On Yarn 运行模式
在
Spark
中,支持4种运行模式:1)Local:开发时使用2)Standalone:是
Spark
自带的,如果一个集群是Standalone的话,那么就需要在多台机器上同时部署
Spark
环境3)YARN
bandi4506
·
2024-02-06 03:02
大数据
java
关于
Spark
/Hadoop中Master/Slave IP不正确的问题
在配置
Spark
StandAloneMode的时候,我遇到了Slave无法向正确的MasterIP发送数据的问题。通常这类问题都来源于没有正确配置.
ecce
·
2024-02-06 02:37
大数据开发之机器学习总结(一)
前者就是很多时候的
大数据分析
场景,后者则涉及到算法模型,机器学习的范畴。更进一步,人工智能,但机器学习和人工智能,本身其实技术上并没有非常严格的界限。
闻香识代码
·
2024-02-05 21:41
大数据
机器学习
用户画像
机器学习
大数据
算法
Spark
Sql---用户自定义函数UDF&&UDAF
文章目录1.UDF2.UDAF2.1UDF函数实现原理2.2需求:计算用户平均年龄2.2.1使用RDD实现2.2.2使用UDAF弱类型实现2.2.3使用UDAF强类型实现1.UDF用户可以通过
spark
.udf
肥大毛
·
2024-02-05 20:08
scala
大数据
spark
spark
大数据
分布式
Spark
Sql---RDD DataFrame DataSet
文章目录1.DataFrame2.DataSet3.RDD、DataFrame、DataSet三者的关系4.使用SQL操作DataFrame类型的数据4.1DSL语法4.2RDD转换为DataFrame4.3DataFrame转换为RDD5.使用SQL操作DataSet的数据5.1使用样例类序列创建DataSet5.2DataSet转换为RDD5.3DataSet和DataFrame相互转换1.D
肥大毛
·
2024-02-05 20:38
大数据
json
sql
hive
hadoop
spark
Spark
Streaming---DStream
3.1.1Transformations3.1.2join3.2有状态转换操作3.2.1UpdateStateByKey3.2.2WindowOperations4.DStream输出1.DStream是什么参考博文
Spark
Streaming
肥大毛
·
2024-02-05 20:06
scala
大数据
spark
spark
scala
sql
大数据分析
|
大数据分析
的十大应用领域
有许多技术可用于分析大数据。这项工作介绍了BDA适用的各种分析技术领域如下。(1)社会分析社交分析是实时数据分析中一个重要且不断发展的分析方法。它分为社交网络(例如,Facebook和LinkedIn),博客(例如,Blogger和WordPress),微博客(例如,Twitter和Tumblr),社会新闻(例如,Digg和Reddit),社交书签(例如,Delicious和StumbleUpon
封印师请假去地球钓鱼
·
2024-02-05 20:35
统计与数据分析素养max
BDA
大数据分析
数据可视化
大数据分析应用
解析UE动画系统——核心实现
【U
Spark
le专栏】如果你深怀绝技,爱“搞点研究”,乐于分享也博采众长,我们期待你的加入,让智慧的火花碰撞交织,让知识的传递生生不息!
UWA
·
2024-02-05 16:36
U
Sparkle
精华来稿
动画
unreal
engine
游戏动画
Hudi学习6:安装和基本操作
目录1编译Hudi1.1第一步、Maven安装1.2第二步、下载源码包1.3第三步、添加Maven镜像1.4第四步、执行编译命令1.5第五步、HudiCLI测试2环境准备2.1安装HDFS2.2安装
Spark
3
hzp666
·
2024-02-05 14:59
Hudi
学习
hudi
Hudi学习 6:Hudi使用
准备工作:1.安装hdfshttps://mp.csdn.net/mp_blog/creation/editor/1096891432.安装
spark
spark
学习4:
spark
安装_hzp666的博客
hzp666
·
2024-02-05 14:58
Hudi
hudi
数据湖
湖仓一体
湖仓融合
实时数仓
spark
学习4:
spark
安装
1.下载
spark
安装包2.配置环境1.cd/bigdata/
spark
-3.0.1-bin-hadoop3.2/conf/2.4.添加动态库在hadoop-3.2.2/bin目录下添加hadoop.dll
hzp666
·
2024-02-05 14:58
spark
spark
大数据
计算机毕业设计hadoop+
spark
+hive小说数据分析可视化大屏 小说推荐系统 小说爬虫 小说大数据 机器学习 知识图谱 小说网站 大数据毕业设计
mapreduce对mysql中的小说数据集进行数据清洗,转为.csv文件上传至hdfs文件系统;3.根据.csv文件结构,使用hive建库建表;4.一半分析指标使用hive_sql完成,一半分析指标使用
Spark
-Scala
计算机毕业设计大神
·
2024-02-05 14:48
Exception in thread “main“ java.lang.NoSuchMethodError: com.google.comon.base.Preconditions.checkArg
hadoop-3.1.3hbase-2.2.2-bin一、问题描述:在学习林子雨老师编写的《
Spark
编程基础》时使用如下命令运行jar包读取HBase时出现如下错误:Exceptioninthread
学习BigData
·
2024-02-05 13:01
关于Hadoop的学习笔记
java
hadoop
hive
【
Spark
ML实践7】特征选择器FeatureSelector
本节介绍了用于处理特征的算法,大致可以分为以下几组:提取(Extraction):从“原始”数据中提取特征。转换(Transformation):缩放、转换或修改特征。选择(Selection):从更大的特征集中选择一个子集。局部敏感哈希(LocalitySensitiveHashing,LSH):这类算法结合了特征转换的方面与其他算法。FeatureSelectorsVectorSlicerVe
周润发的弟弟
·
2024-02-05 12:41
Spark机器学习
spark-ml
Spark
依赖包加载方式
1
Spark
依赖包来源我们知道
Spark
application运行加载依赖有三个地方:systemClasspath:
Spark
安装时候提供的依赖包,${
SPARK
_HOME}/jars下的包。
大数据AI
·
2024-02-05 12:11
大数据从入门到精通
spark
大数据
上一页
4
5
6
7
8
9
10
11
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他