E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
spark源码编译
简单使用
Spark
、Scala完成对天气数据的指标统计
目录一、前言&什么是
Spark
?
db_lcz_2014
·
2024-02-07 18:33
spark
scala
大数据
debian12 - openssh-9.6.P1的编译安装
文章目录debian12-openssh-9.6.P1的编译安装概述笔记备注ENDdebian12-openssh-9.6.P1的编译安装概述在debian12上,
源码编译
安装了openssl3.2导致
LostSpeed
·
2024-02-07 13:12
openSSH
openSSH
openssl3.2 - update debian12‘s default openssl to openssl3.2
文章目录openssl3.2-updatedebian12'sdefaultopenssltoopenssl3.2概述笔记回到debian12自带的openssl版本从
源码编译
安装最新版的openssl
LostSpeed
·
2024-02-07 13:09
openSSL
debian
openSSL
crypto-config.yaml
cryptogen(生成组织结构和身份文件)
源码编译
方法:cd$GOPATH/src/github.com/hyperledger/fabricmakecryptogen编译完成后,二进制文件放
天地一小儒
·
2024-02-07 11:05
【Iceberg学习一】什么是Iceberg?
Iceberg为包括
Spark
、Trino、PrestoDB、Flink、Hive和Impala在内的计算引擎增加了表格功能,使用一种高性能的表格格式,其工作方式就像一个SQL表一样。
周润发的弟弟
·
2024-02-07 10:56
Iceberg
学习
ubuntu篇---ubuntu安装python3.9
ubuntu篇—ubuntu安装python3.9在ubuntu上安装Python有两种方法:在线安装和
源码编译
安装。
心惠天意
·
2024-02-07 09:07
ubuntu
linux
运维
RDD任务切分之Stage任务划分(图解和源码)
RDD任务切分中间分为:Application、Job、Stage和Task(1)Application:初始化一个
Spark
Context即生成一个Application;(2)Job:一个Action
大数据左右手
·
2024-02-07 09:34
大数据
大数据
spark
stage切分
任务划分
kyuubi 接入starrocks | doris
kyuubi接入starrocks一、环境Hadoop集群组件版本Hadoop3.1.1
spark
3.Xzookeeper3.XHive3.Xkyuubi版本1.7.1starrocks2.X 已将kyuubi
甜甜的巧克力阿
·
2024-02-07 09:48
大数据相关
大数据
kyuubi
starrocks
doris
Hive Sql优化记录
日常检查ETLjob时发现一段sql采用hiveonmr执行比hiveon
spark
要快70%,与正常的认知正好相反,所以对该sql进行了详细分析。
风筝flying
·
2024-02-07 07:40
Python代码混淆工具,Python源代码保密、加密、混
正文1.使用pyc或pyo文件代替源码文件Python可以将
源码编译
为pyc(PythonCompiledBytecode)或pyo
不写代码没饭吃
·
2024-02-07 07:56
iPhone设备
APP加固
iOS加固
python
开发语言
Spark
JDBC读写数据库实战
默认的操作代码valdf=
spark
.read.format("jdbc").option("url","jdbc:postgresql://localhost:5432/testdb").option
SunnyRivers
·
2024-02-07 07:41
Spark最佳实战与性能优化
spark
jdbc
数据库
IDEA 本地运行
Spark
IDEA本地运行
Spark
1、背景2、环境准备3、具体流程3.1IDEA创建maven项目3.2pom.xml配置3.3Demo程序示例3.4结果输出4、总结改进1、背景主要用于本地阅读
Spark
源码,
fir_dameng
·
2024-02-07 06:41
大数据开发
spark
Spark
Scala大数据编程实例
一、Scala1.1、Scala简介Scala是一门现代的多范式编程语言,平滑地集成了面向对象和函数式语言的特性,旨在以简练、优雅的方式来表达常用编程模式。Scala的设计吸收借鉴了许多种编程语言的思想,只有很少量特点是Scala自己独有的。Scala语言的名称来自于“可伸展的语言”,从写个小脚本到建立个大系统的编程任务均可胜任。Scala运行于Java平台(JVM,Java虚拟机)上,并兼容现有
一直de不完的bug
·
2024-02-07 06:38
Hadoop
spark
大数据
hadoop
win10
spark
scala 本地运行wordcount
hadoopcommon,可以从github下载zip,解包以后设置HADOOP_HOME环境变量指向它,然后在PATH里加上HADOOP_HOME\bin,特别注意,hadoopcommon的版本要和
spark
疯琴
·
2024-02-07 06:06
大数据
java/scala
flink/spark
Scala与java
目录Scala简介Scala和java的区别
Spark
选择Scala的原因Scala:Object与Class的区别Scala样例类和普通类的区别Scala中的None,Nothing,Null,NilScala
K. Bob
·
2024-02-07 06:05
Spark
Spark
scala如何本地运行
Spark
scala如何本地运行
Spark
任务调试太费时间啦
Spark
Scala本地运行
Spark
任务调试太费时间啦Apache
Spark
是一个开源的大数据处理框架,它提供了一个接口用于编程大规模分布式计算
HanhahnaH
·
2024-02-07 06:03
Spark
spark
scala
大数据
Zeppelin结合Flink查询hudi数据
目前ApacheZeppelin支持Apache
Spark
、ApacheFlink、Python、R、JDBC、
BigDataToAI
·
2024-02-07 05:38
hudi
flink
zeppelin
flink
python
big
data
Apache Zeppelin 整合
Spark
和 Hudi
一环境信息1.1组件版本组件版本
Spark
3.2.3Hudi0.14.0Zeppelin0.11.0-SNAPSHOT1.2环境准备Zeppelin整合
Spark
参考:ApacheZeppelin一文打尽
大数据AI
·
2024-02-07 05:03
大数据从入门到精通
spark
hudi
zeppelin
大数据
spark
sql上线前的调试工作实现
背景每个公司应该都有大数据的平台的吧,平台的作用就是可以在上面执行各种
spark
sql以及定时任务,不过一般来说,由于这些
spark
sql的上线不经过测试,所以可能会影响到生产的数据,这种情况下大数据平台提供一个上线前的调试功能也就非常好了
lixia0417mul2
·
2024-02-07 05:22
spark
spark
sql
大数据
Kuberntes DNS
kubectlgetendpointsNAMEENDPOINTSAGEdocker-registry172.17.0.10:500019dkubernetes10.0.2.41:844319drouter10.0.2.41:1936,10.0.2.41:80,10.0.2.41:44319d
spark
thrift-headless172.17.0.12
zhixingheyi_tian
·
2024-02-07 03:02
DNS
kubernetes
Spark
RDD的学习(JAVA)
注:本文是跟着《
Spark
快速大数据分析》一书学习的笔记式总结,不喜勿喷。RDD(ResilientDistributedDataset)弹性分布式数据集是
Spark
对数据的核心抽象。
啊其11
·
2024-02-07 02:47
Spark
Chapter 8
Spark
SQL
【参考以慕课网日志分析为例进入大数据
Spark
sql】0导读SQL:MySQL,Oracle,DB2,SQLServer在大数据平台上实现大数据计算:Hive/
Spark
SQL/
Spark
Core直接使用
深海suke
·
2024-02-07 01:34
Spark
大数据分析与实战笔记(第三章
Spark
RDD弹性分布式数据集-01)
文章目录每日一句正能量第3章
Spark
RDD弹性分布式数据集章节概要3.1RDD简介3.2RDD的创建方式3.2.1从文件系统加载数据创建RDD3.2.2通过并行集合创建RDD每日一句正能量学如积薪,后来者居上
想你依然心痛
·
2024-02-07 01:53
分布式
spark
数据分析
StarRocks入门
目录一、连接StarRocks二、建表1.创建非分区表2.创建动态分区表3.修改表字段类型三、数据导入1.
Spark
load2.Brokerload3.Streamload4.Routineload5.
jingyu鲸鱼
·
2024-02-06 22:42
doris
大数据
数据库
spark
的数据倾斜和解决方案
#数据倾斜##4.1.什么是数据倾斜,现象是什么?所谓数据倾斜(dataskew),其实说白了,由于数据分布不均匀造成计算时间差异很大,产生了一些列异常现象。常见的现象有两种:1.个别task作业运行缓慢大多数的task运行都很快速,但是极个别的task运行非常缓慢,甚至是正常task运行时间好多倍。莫名其妙的OOM异常这是一种相对比较少见的现象,正常运行的task作业,突发发生了一个OOM异常。
XLMN
·
2024-02-06 18:32
Spark
简介
Spark
作为第二代大数据处理工具,跟hadoop对比,它是基于内存的,所以在迭代计算方便速度有了很大提升。我用到的主要是
Spark
Core,
Spark
SQL,
Spark
Streaming。
麦克阿瑟99
·
2024-02-06 18:07
Linux前后端程序部署
1.总述首先安装包类型分为二进制发布包安装:找到对应自己的linux平台版本(CentOS还是redhat等),的具体压缩文件,解压修改配置
源码编译
安装:需要自己进行编译对于redhat安装包,可以使用
sunyunfei1994
·
2024-02-06 17:40
linux
运维
服务器
Spark
编程实现简例
对于两个输入文件A和B,编写
Spark
独立应用程序,对两个文件进行合并,并剔除其中重复的内容,得到一个新文件C。下面是输入文件和输出文件的一个样例,供参考。
哲子带你学编程
·
2024-02-06 16:34
spark
大数据
分布式
从
源码编译
安装启动MatrixOne
最近开始学习matrixone,从源码开始编译。官网上有编译流程,感觉非常简单,步骤很少。下面开始实践。centos7的干净虚拟机,更换yum源,安装golang这些就不再赘述。[root@localhostmatrixone]#goversiongoversiongo1.19linux/amd64首先是拉取最新代码,主线分支。我拉取的时候是0.5版本。gitclonehttps://github
badboynt
·
2024-02-06 13:01
MatrixOne
centos
数据库
sql
部署篇 | MatrixOne与MySQL全面对比
在部署方式上,MatrixOne支持
源码编译
部署、二进制包部署和Docker容器部署。各种部署方式均操作简单,快速部署后即可拥有单机不输My
MatrixOrigin
·
2024-02-06 13:31
mysql
数据库
云原生
分布式
linux学习(4)—— 在linux系统上安装软件
软件已经按照redhat的包管理规范进行打包,使用rpm命令进行安装,不能自行解决库依赖问题3.yum安装:一种在线软件安装方式,本质上还是rpm安装,自动下载安装包并安装,安装过程中自动解决库依赖问题4.
源码编译
安装
Yacht13
·
2024-02-06 13:48
linux
linux
决胜大数据时代:Hadoop&Yarn&
Spark
企业级最佳实践(8天完整版脱产式培训版本)...
Hadoop、Yarn、
Spark
是企业构建生产环境下大数据中心的关键技术,也是大数据处理的核心技术,是每个云计算大数据工程师必修课。
weixin_30273931
·
2024-02-06 09:08
java
人工智能
移动开发
Spark
视频第5期:
Spark
SQL架构和案例深入实战
Spark
SQL架构和案例深入实战视频下载:http://pan.baidu.com/share/link?
Rocky_wangjialin
·
2024-02-06 09:35
Spark培训
Spark企业内训
Spark公开课
Spark视频
王家林
RDD 依赖关系
packagecom.atguigu.bigdata.
spark
.core.rdd.depimportorg.apache.
spark
.
zmx_messi
·
2024-02-06 09:08
大数据
spark
转换算子小案例
2)需求描述统计出每一个省份每个广告被点击数量排行的Top33)需求分析4)功能实现整体思路代码实现packagecom.atguigu.bigdata.
spark
.core.rdd.operator.transformimportorg.apache.
spark
zmx_messi
·
2024-02-06 09:37
spark
大数据
Spark
SQL调优实战
1、新添参数说明//Driver和Executor内存和CPU资源相关配置--是否开启executor动态分配,开启时
spark
.executor.instances不生效
spark
.dynamicAllocation.enabled
sighting_info
·
2024-02-06 09:06
spark
sql
大数据
Python学习路线 - Python高阶技巧 - Py
Spark
案例实战
Python学习路线-Python高阶技巧-Py
Spark
案例实战前言介绍
Spark
是什么PythonOn
Spark
Py
Spark
WhyPy
Spark
基础准备Py
Spark
库的安装构建Py
Spark
执行环境入口对象
mry6
·
2024-02-06 09:34
Python
python
Python代码混淆工具,Python源代码保密、加密、混淆
正文1.使用pyc或pyo文件代替源码文件Python可以将
源码编译
为pyc(PythonCompiledBytecode)或pyo
iOS学霸
·
2024-02-06 09:33
混淆加固
iPhone设备
python
开发语言
FlinkCDC-Hudi:Mysql数据实时入湖全攻略五:FlinkSQL同时输出到kafka与hudi的几种实现
前序:FlinkCDC-Hudi系列文章:FlinkCDC-Hudi:Mysql数据实时入湖全攻略一:初试风云FlinkCDC-Hudi:Mysql数据实时入湖全攻略二:Hudi与
Spark
整合时所遇异常与解决方案
大数据点灯人
·
2024-02-06 08:25
Flink
Kafka
Hudi
kafka
mysql
spark
【Flink入门修炼】1-1 为什么要学习 Flink?
一、批处理和流处理早些年,大数据处理还主要为批处理,一般按天或小时定时处理数据,代表性的框架为MapReduce、Hive、
Spark
等。
大数据王小皮
·
2024-02-06 07:29
Flink
入门修炼
flink
学习
大数据
MSR架构:推动数据中台进入2.0时代
语义层基于业务对象视图面向业务端用户提供语义化的业务逻辑表达式,支持业务端用户自助开发业务逻辑,业务端的开发者只关注于业务逻辑本身,不需要考虑后台是何种数据计算处理框架(MR、
SPARK
、FLINK、SQL
Trident敏捷数据开发平台
·
2024-02-06 07:54
架构
大数据
数据仓库
数据库开发
PiflowX新增Apache Beam引擎支持
参考资料:ApacheBeam架构原理及应用实践-腾讯云开发者社区-腾讯云(tencent.com)在之前的文章中有介绍过,PiflowX是支持
spark
和flink计算引擎,其架构图如下所示:在piflow
PiflowX
·
2024-02-06 07:54
flink
大数据
Spark
大数据分析与实战笔记(第二章
Spark
基础-06)
文章目录每日一句正能量2.6IDEA开发WordCount程序2.6.1本地模式执行
Spark
程序2.6.2集群模式执行
Spark
程序每日一句正能量我们全都要从前辈和同辈学习到一些东西。
想你依然心痛
·
2024-02-06 07:38
#
Spark大数据分析与实战
spark
数据分析
笔记
想学大数据?先看完这几本书再说
除了这些技术领域,还有一些特定的技术和语言需要你继续研究:Hadoop,
Spark
,Python,和R等等,还有无数实现自动化的工具等等,这些工具几乎每天都会用到,这就需要你不断的学习。
yoku酱
·
2024-02-06 06:55
android sqlite加密数据库,Android Sqlite数据库加密
对几个关键的字段使用加密算法,再存入数据库2.对整个数据库进行加密SQLite数据库加密工具:收费工具:免费工具:SQLCipher使用:SQLCipher是完全开源的软件,提供256-bitAES加密
源码编译
虞子宸
·
2024-02-06 06:51
android
sqlite加密数据库
linux k8s
源码编译
及单集群测试
目录概述实践安装插件docker在线安装containerd安装二进制安装yum安装修改containder配置文件cnietcdrsyncgo设置golang代理安装CFSSL下载kubernetes代码编译启动本地单节点集群问题k8s没有被正常启动该如何k8s正常启动日志测试结束概述此文详细说明在centos7上编译k8s源码,并运行单个集群,测试用例nginx#找不到vim等这种源找不到,挂
流月up
·
2024-02-06 06:12
k8s
linux
kubernetes
k8s
源码编译
单集群
测试
Spark
SQL on K8s 在网易传媒的落地实践
网易传媒在2021年成功将
Spark
SQL部署到了K8s集群,并实现与部分在线业务的混合部署,到目前已经稳定运行了一年多。
wangyishufan
·
2024-02-06 06:02
kubernetes
大数据
数据分析
Py
Spark
(四)Py
Spark
SQL、Catalyst优化器、
Spark
SQL的执行流程
目录Py
Spark
SQL基础
Spark
Session对象DataFrame入门DataFrame构建DataFrame代码风格DSLSQL
Spark
SQLShuffle分区数目DataFrame数据写出
独憩
·
2024-02-06 03:14
PySpark
sql
数据库
python
spark
Spark
Shuffle模块详解
Shuffle,具有某种共同特征的一类数据需要最终汇聚(aggregate)到一个计算节点上进行计算。这些数据分布在各个存储节点上并且由不同节点的计算单元处理。以最简单的WordCount为例,其中数据保存在Node1、Node2和Node3;经过处理后,这些数据最终会汇聚到Nodea、Nodeb处理。这个数据重新打乱然后汇聚到不同节点的过程就是Shuffle。但是实际上,Shuffle过程可能会
晓之以理的喵~~
·
2024-02-06 03:14
大数据
Hadoop
Spark
spark
大数据
hadoop
Py
Spark
(三)RDD持久化、共享变量、
Spark
内核制度,
Spark
Shuffle
目录RDD持久化RDD的数据是过程数据RDD缓存RDDCheckPoint共享变量广播变量累加器
Spark
内核调度DAGDAG的宽窄依赖和阶段划分内存迭代计算
Spark
是怎么做内存计算的?
独憩
·
2024-02-06 03:43
PySpark
大数据
python
分布式
spark
上一页
4
5
6
7
8
9
10
11
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他