E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Spark知识笔记
Broadcast Variable
Spark
提供的BroadcastVariable,是只读的。并且在每个节点上只会有一份副本,而不会为每个task都拷贝一份副本。
一个人一匹马
·
2023-12-25 02:04
spark
-submit的执行原理
CreatedbyWang,JerryonAug08,20150和PWD%/*shell变量的一些特殊用法在命令行状态下单纯执行$cddirname0echopwd然后返回到/home/admin/执行shtest/test.sh运行结果:/home/admin/test这样就可以知道一些和脚本一起部署的文件的位置了,只要知道相对位置就可以根据这个目录来定位,而可以不用关心绝对位置。这样脚本的可移
JerryWang_汪子熙
·
2023-12-25 02:44
YARN Hadoop2.0 区别
Hadoop1.0更多是在于离线的数据处理,Hadoop2.0可以支持MapReduce计算框架之外,可以支持
Spark
、Strom等的实时数据处理框架。在h
omygodvv
·
2023-12-24 23:01
java
Java技术专题-Lombok插件开发实践必知必会操作!
前言在目前众多编程语言中,Java语言的表现还是抢眼,不论是企业级服务端开发,还是Andorid客户端开发,都是作为开发语言的首选,甚至在大数据开发领域,Java语言也能占有一席之地,如Hadoop,
Spark
洛神灬殇
·
2023-12-24 23:17
Flink知识点
Flink1.简单介绍一下Flink2.Flink的运行必须依赖Hadoop组件吗3.Flink集群运行时角色4.Flink相比
Spark
Streaming的区别4.1、什么是两阶段提交协议?
芝麻仗剑走天涯
·
2023-12-24 22:26
大数据
flink
Spark
的核心概念:RDD、DataFrame和Dataset
Apache
Spark
,其核心概念包括RDD(ResilientDistributedDataset)、DataFrame和Dataset。
晓之以理的喵~~
·
2023-12-24 22:25
Spark
spark
大数据
分布式
Apache
Spark
简介与历史发展
Apache
Spark
作为一个开源的大数据处理框架,已经在大数据领域占据了重要地位。Apache
Spark
简介Apache
Spark
是一个用于大规模数据处理的快速、通用的计算引擎。
晓之以理的喵~~
·
2023-12-24 22:55
Spark
apache
spark
大数据
阿里巴巴内部:全技术栈PPT分享(架构篇+算法篇+大数据)
大数据:
Spark
、Hadoop添加图片注释,不
写代码的珏秒秒
·
2023-12-24 22:48
架构
大数据
Spark
- 直接操作数据源 MySQL
答案就是使用
spark
的计算能力的,我们可以将mysql数据源接入到
spark
中。
大猪大猪
·
2023-12-24 18:56
Java项目开发:基于
spark
的新闻推荐系统的设计与实现
欢迎大家点赞、收藏、关注、评论啦,由于篇幅有限,只展示了部分核心代码。文章目录前言一、项目介绍二、开发环境三、功能介绍数据库设计概述数据库表的设计四、核心代码五、效果图六、文章目录前言 随着我国媒体和网络技术的快速发展,新闻发布也不断优化我国媒体界,随着个外交商务所占比重越来越大,有助于我国社会经济的可持续性发展,文章主要讲述了新闻行业的发展分析,因为媒体的宣传能够带给我们重要的信息资源,新闻发
QQ1694456187
·
2023-12-24 17:21
java
计算机毕业设计
java
spark
开发语言
Spark
SQL
目录一、
Spark
SQL简介(一)从Shark说起(二)
Spark
SQL架构(三)为什么推出
Spark
SQL二、DataFrame概述三、DataFrame的创建四、DataFrame的保存五、DataFrame
Francek Chen
·
2023-12-24 16:03
Spark编程基础
spark
大数据
分布式
Spark
编程实验三:
Spark
SQL编程
目录一、目的与要求二、实验内容三、实验步骤1、
Spark
SQL基本操作2、编程实现将RDD转换为DataFrame3、编程实现利用DataFrame读写MySQL的数据四、结果分析与实验体会一、目的与要求
Francek Chen
·
2023-12-24 16:02
Spark编程基础
spark
sql
大数据
Spark
SQL
周结
免费提建议文字版(自虐版)3最重要的事件只有一件(最重要知识点)4购买注意力写作(反复确定不是一时冲动)5步入新的关系结构(加油)下周计划1坚持练声+晨跑(15)2尝试一周突破注意力写作(30)3每日记录一条最重要
知识笔记
晴了个晴
·
2023-12-24 16:46
大数据开发都要学习什么?什么是大数据平台?
大数据平台知识:是大数据开发的基础,在学习期间,往往以搭建Hadoop、
Spark
平台为主,一方面Hadoop对机器的硬件要求不高,另一方面Hadoo
金光闪闪耶
·
2023-12-24 14:49
这是测试的
异常检测机器学习算法—时间序列数据可视化数据可视化—折线图数据可视化—箱线图数据可视化—柱状图数据可视化—饼图、环形图、雷达图统计学检验箱线图筛选异常值3Sigma原则筛选离群值Python统计学检验大数据Py
Spark
数据科学知识库
·
2023-12-24 13:56
机器学习
大数据
统计学
工程应用
mac系统
spark
环境搭建
所需工具1.jdk2.scala下载地址:scala官网下载scala版本下载需注意,后期idea编译可能导致报错,scala版本和
spark
版本存在一些兼容性问题
spark
开发语言支持scala、java
Maximilian_M
·
2023-12-24 13:19
Spark学习之路
spark
idea
scala
mac
环境搭建
基于SpringBoot和
spark
的共享单车存储管理系统
文章目录项目介绍主要功能截图:部分代码展示设计总结项目获取方式作者主页:超级无敌暴龙战士塔塔开简介:Java领域优质创作者、简历模板、学习资料、面试题库【关注我,都给你】文末获取源码联系项目介绍基于SpringBoot和
spark
超级无敌暴龙战士塔塔开
·
2023-12-24 10:33
Java课设与毕设资源
spring
boot
spark
后端
《Py
Spark
大数据分析实战》-04.了解
Spark
对大数据技术栈Hadoop、Hive、
Spark
、Kafka等有深入研究,对Data
wux_labs
·
2023-12-24 10:32
PySpark大数据分析实战
数据分析
数据挖掘
大数据
数据科学
PySpark
《Py
Spark
大数据分析实战》-06.安装环境准备
对大数据技术栈Hadoop、Hive、
Spark
、Kafka等有深入研究,对Data
wux_labs
·
2023-12-24 10:32
PySpark大数据分析实战
数据分析
数据挖掘
大数据
数据科学
PySpark
《Py
Spark
大数据分析实战》-17.云服务模式Databricks介绍运行作业
对大数据技术栈Hadoop、Hive、
Spark
、Kafka等有深入研究,对Data
wux_labs
·
2023-12-24 10:32
PySpark大数据分析实战
数据分析
数据挖掘
大数据
数据科学
PySpark
《Py
Spark
大数据分析实战》-02.了解Hadoop
对大数据技术栈Hadoop、Hive、
Spark
、Kafka等有深入研究,对Data
wux_labs
·
2023-12-24 10:02
PySpark大数据分析实战
数据分析
数据挖掘
大数据
数据科学
《Py
Spark
大数据分析实战》-01.关于数据
对大数据技术栈Hadoop、Hive、
Spark
、Kafka等有深入研究,对Data
wux_labs
·
2023-12-24 10:01
PySpark大数据分析实战
数据分析
数据挖掘
大数据
数据科学
《Py
Spark
大数据分析实战》-18.什么是数据分析
对大数据技术栈Hadoop、Hive、
Spark
、Kafka等有深入研究,对Data
wux_labs
·
2023-12-24 10:01
PySpark大数据分析实战
数据分析
数据挖掘
大数据
数据科学
PySpark
Spark
资源调度与任务调度
Spark
资源任务调度一.资源调度1.集群起来后,Worker向Master汇报资源2.客户端提交application,启动Driver,创建DAGschedulerDAG调度器和TaskScheduler
乔一波一
·
2023-12-24 09:27
内容导航目录
异常检测机器学习算法—时间序列数据可视化数据可视化—折线图数据可视化—箱线图数据可视化—柱状图数据可视化—饼图、环形图、雷达图统计学检验箱线图筛选异常值3Sigma原则筛选离群值Python统计学检验大数据Py
Spark
数据科学知识库
·
2023-12-24 08:37
python
fastapi
hive
Linux---基础操作命令
异常检测机器学习算法—时间序列数据可视化数据可视化—折线图数据可视化—箱线图数据可视化—柱状图数据可视化—饼图、环形图、雷达图统计学检验箱线图筛选异常值3Sigma原则筛选离群值Python统计学检验大数据Py
Spark
数据科学知识库
·
2023-12-24 08:35
Linux环境
linux
操作命令
Linux
操作系统
利用Py
Spark
进行商业洞察与可视化
利用Py
Spark
进行商业洞察与可视化引言数据集与技术栈数据集:YELP数据集技术栈:Flask、MySQL、Echarts、Py
Spark
分析维度与功能创新点与应用引言近年来,数据分析和可视化技术在商业决策中的应用越来越广泛
爱欲无极
·
2023-12-24 08:58
数据分析与挖掘
Flask
python
spark
YELP
Spark
一、
Spark
框架概述1.1
spark
是什么Apache
Spark
是用于大规模数据(large-scaladata)处理的统一(unified)分析引擎。
weixin_50458070
·
2023-12-24 05:36
大数据
spark
windows
大数据
数据质量监控框架及解决方案总结
概述随着业务发展和数据量的增加,大数据应用开发已成为部门应用开发常用的开发方式,由于部门业务特点的关系,
spark
和hive应用开发在部门内部较为常见。
坨坨的大数据
·
2023-12-24 05:41
Java 与 Scala 使用Maven混合编译打包
在SpringBoot上使用
spark
的时候会遇到的混合编译问题,在java代码中打包会找不到scala定义的包,即可参考使用如下配置。
kikiki5
·
2023-12-24 04:27
7000字超详细讲解Hadoop、
Spark
、Storm、YARN,建议收藏!
一、Hadoop1.1.概念就是一个大数据解决方案。它提供了一套分布式系统基础架构。核心内容包含hdfs和mapreduce。hadoop2.0以后引入yarn.hdfs是提供数据存储的,mapreduce是方便数据计算的。hdfs又对应namenode和datanode.namenode负责保存元数据的基本信息,datanode直接存放数据本身;mapreduce对应jobtracker和tas
套马杆的程序员
·
2023-12-24 04:49
Spark
RDD 之持久化
1.Background当我们需要多次使用同一个RDD时,如果简单的调用Action操作,
Spark
每次都会重算RDD以及它所有的依赖,此时需要用到持久化技术。
xiaoc024
·
2023-12-24 03:50
技本功|Hive优化之
Spark
执行引擎参数调优(二)
本文主要结合实际业务情况,在使用
Spark
作为底层引擎时,通过一些常见的配置参数对报错任务进行调整优
云掣YUNCHE
·
2023-12-24 03:44
技术文档
spark
hive
Flink1.17版本安装部署
这里可以添加本文要记录的大概内容:随着实时计算需求场景的增加,对计算引擎的实时计算要求也越来越高,而在实时计算方面表现优秀的当属flink,计算引擎从第一代mapreduce到第二代的Tez,再到第三代计算引擎
spark
以茉萱
·
2023-12-24 02:18
大数据
flink
Spark
Streaming流计算框架的运行流程源码分析
1.
spark
streaming程序代码实例代码如下:objectOnlineTheTop3ItemForEachCategory2DB{defmain(args:Array[String]){valconf
尼小摩
·
2023-12-24 01:47
玉米妈的Scalers Talk第四轮新概念朗读持续力训练Day143 20190227
练习材料:Lesson24-(1):Askeletoninthecupboard任务配置:L0+L1
知识笔记
:respectableadj.值得尊重的;体面的;不错的;可观的Theculture,everyoneispolite
攀登的玉米妈
·
2023-12-24 01:26
Py
spark
的Intellij idea环境搭建
为什么需要IDE在本地搭建一个
spark
环境可以方便
spark
代码的调试,可以和一般程序一样打断点,看变量,否则可能就只能打很多日志来debug了选哪个IDEPy
spark
的IDE我用Intellijidea
祗談風月
·
2023-12-23 22:38
spark
核心概念
Application:基于
Spark
的应用程序=1driver+executorsUserprogrambuilton
Spark
.
shone_shawn
·
2023-12-23 21:45
在Linux系统中安装MySQL数据库
解决密钥异常问题4、安装MySQL服务器5、开启MySQL服务6、查看MySQL服务器中root用户的初始密码7、使用初始密码登录MySQL服务器8、修改root用户登录MySQL服务器的密码三、配置
Spark
Francek Chen
·
2023-12-23 19:14
Spark编程基础
数据库
linux
mysql
AI创作系统ChatGPT系统源码,支持Midjourney绘画,GPT语音对话+DALL-E3文生图
一、前言
Spark
Ai创作系统是基于ChatGPT进行开发的Ai智能问答系统和Midjourney绘画系统,支持OpenAI-GPT全模型+国内AI全模型。
白云如幻
·
2023-12-23 18:02
人工智能
AIGC
ChatGPT
人工智能
chatgpt
语音识别
midjourney
AI作画
Spark
Streaming和Kafka
0.一些问题
Spark
Streaming如何消费KafkaKafka的offset如何维护如何获取Kafka的offsetKafka获取offset的时候会不会消费kafka的记录Kafka的分区和
spark
task
天之見證
·
2023-12-23 16:25
Spark
Core
Spark
Core介绍
Spark
Core是
Spark
的核心计算引擎。它有着速度快和通用的特点,并且实现了
Spark
的基本功能,包含任务调度,内存管理,错误恢复,与存储交互等模块。
hipeer
·
2023-12-23 15:35
MINIO在java中的使用
对象存储可以充当主存储层,以处理
Spark
、Presto、TensorFlow、H2O.ai等各种复杂工作负载以及成为HadoopHDFS的替代品--------引自官网的话。
IT小学僧
·
2023-12-23 14:48
MinIo
Java
java
spring
boot
Hago 的
Spark
on ACK 实践
作者:华相Hago于2018年4月上线,是欢聚集团旗下的一款多人互动社交明星产品。Hago融合优质的匹配能力和多样化的垂类场景,提供互动游戏、多人语音、视频直播、3D虚拟形象互动等多种社交玩法,致力于为用户打造高效、多样、最具沉浸式的社交娱乐体验,在东南亚、中东和南美等地区拥有广泛的用户群。在技术层面,Hago提供优秀的自研音视频技术,实现更加稳定、高效和优质的数字人服务。包括3D超写实模型、真人
阿里云云原生
·
2023-12-23 13:59
spark
大数据
分布式
Spark
Shell的简单使用
简介
Spark
shell是一个特别适合快速开发
Spark
原型程序的工具,可以帮助我们熟悉Scala语言。即使你对Scala不熟悉,仍然可以使用这个工具。
necessary653
·
2023-12-23 11:12
spark
大数据
分布式
Spark
Machine Learning进行数据挖掘的简单应用(兴趣预测问题)
数据挖掘的过程数据挖掘任务主要分为以下六个步骤:1.数据预处理2.特征转换3.特征选择4.训练模型5.模型预测6.评估预测结果数据准备这里准备了20条关于不同地区、不同性别、不同身高、体重…的人的兴趣数据集(命名为hobby.csv):id,hobby,sex,address,age,height,weight1,football,male,dalian,12,168,552,pingpang,f
冲鸭嘟嘟可
·
2023-12-23 10:28
spark
机器学习
数据挖掘
多臂老虎机算法步骤
异常检测机器学习算法—时间序列数据可视化数据可视化—折线图数据可视化—箱线图数据可视化—柱状图数据可视化—饼图、环形图、雷达图统计学检验箱线图筛选异常值3Sigma原则筛选离群值Python统计学检验大数据Py
Spark
数据科学知识库
·
2023-12-23 08:57
算法
多臂老虎机
MAB
Apache Flink 进阶教程(七):网络流控及反压剖析
目录前言网络流控的概念与背景为什么需要网络流控网络流控的实现:静态限速网络流控的实现:动态反馈/自动反压案例一:Storm反压实现案例二:
Spark
Streaming反压实现疑问:为什么Flink(beforeV1.5
话数Science
·
2023-12-23 08:10
Flink
大数据
flink
大数据
Spark
Streaming学习记录
版本:
Spark
2.4.01.Overview
Spark
ingStreaming是对
Spark
API的一种扩展,用于处理实时数据流。
Jorvi
·
2023-12-23 08:49
CVE-2023-49898 Apache incubator-streampark 远程命令执行漏洞
项目介绍ApacheFlink和Apache
Spark
被广泛用作下一代大数据流计算引擎。基于大量优秀经验结合最佳实践,我们将任务部署和运行时参数提取到配置文件中。
棱镜七彩
·
2023-12-23 07:51
apache
上一页
28
29
30
31
32
33
34
35
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他