E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Spark安装部署
Spark
:
Spark
SQL与Hive on
Spark
(Shark)的比较
简要介绍了
Spark
SQL与Hiveon
Spark
的区别与联系一、关于
Spark
简介在Hadoop的整个生态系统中,
Spark
和MapReduce在同一个层级,即主要解决分布式计算框架的问题。
花和尚也有春天
·
2024-01-21 06:17
sparkSQL
SparkSQL
Hive
on
Spark
拾肆:
Spark
with Hive和Hive on
Spark
在Hive与
Spark
这对“万金油”组合中,Hive擅长元数据管理,而
Spark
的专长是高效的分布式计算,二者的结合可谓是“强强联合”。
for your wish
·
2024-01-21 06:47
hive
spark
big
data
基于kubernetes构建
spark
-thriftserver集群(Deployment模式)
继续上一篇《基于kubernetes构建
spark
集群(RC模式)》,沿用上一篇rbac配置,以及PV、PVC配置,本篇将采用Deployment方式进行部署
spark
集群,以及增加thriftserver
Moutai码哥
·
2024-01-21 06:46
大数据
云计算
企业架构
spark
thriftserver
spark
hive
Hive on
Spark
and
Spark
sql on Hive
结构上HiveOn
Spark
和
Spark
SQL都是一个翻译层,把一个SQL翻译成分布式可执行的
Spark
程序。Hive和
Spark
SQL都不负责计算。
请叫我小帅哥
·
2024-01-21 06:14
spark
spark
hive
spark
集成hive
1.集成原理说明思考:
Spark
OnHive的目的:将客户端提交的SQL语句从原来翻译MR变更为翻译为
Spark
的RDD程序(
Spark
程序),然后交给Yarn执行那么也就意味着,一旦
Spark
和HIVE
lijian972
·
2024-01-21 06:11
spark
on
hive
spark继承hive
hive
spark
big
data
spark
SQL
spark
SQL整合hive(
spark
on hive)
spark
SQL整合hive
spark
SQL整合hive
spark
SQL整合hive步骤示例数据库保存在本地和数据库保存在HDFS应用场景
spark
SQL整合hive
spark
SQL整合hive,即
spark
onhive
爱吃甜食_
·
2024-01-21 06:39
Spark
Spark
完全分布式集群下的Hive的安装和配置-安装步骤
Spark
完全分布式集群下的Hive的安装和配置-安装步骤:文章目录
Spark
完全分布式集群下的Hive的安装和配置-安装步骤:2.安装MySQL数据库3.配置MySQL相关5.设置环境变量6.修改hive
Deng872347348
·
2024-01-21 06:39
Hadoop
Hive
hive
大数据
【
Spark
分布式内存计算框架——
Spark
SQL】14. 分布式SQL引擎
第八章分布式SQL引擎回顾一下,如何使用Hive进行数据分析的,提供哪些方式交互分析???方式一:交互式命令行(CLI)bin/hive,编写SQL语句及DDL语句方式二:启动服务HiveServer2(HiveThriftServer2)将Hive当做一个服务启动(类似MySQL数据库,启动一个服务),端口为100001)、交互式命令行,bin/beeline,CDH版本HIVE建议使用此种方式
csdnGuoYuying
·
2024-01-21 06:38
spark
分布式
sql
scala
数据库
Spark
On Hive配置测试及分布式SQL ThriftServer配置
文章目录
Spark
OnHive的原理及配置配置步骤在代码中集成
Spark
OnHive
Spark
分布式SQL执行原理及配置配置步骤在代码中集成
Spark
JDBCThriftServer总结
Spark
OnHive
蜜桃上的小叮当
·
2024-01-21 06:07
Spark
分布式
spark
hive
一文让你记住Py
spark
下DataFrame的7种的Join 效果
最近看到了一片好文,虽然很简单,但是配上的插图可以让人很好的记住Py
spark
中的多种Join类型和实际的效果。
独家雨天
·
2024-01-21 06:04
data
python
spark
join
py
spark
之Structured Streaming文件file案例
#generate_file.py#生成数据生成500个文件,每个文件1000条数据#生成数据格式:eventtimenameprovinceaction()时间用户名省份动作)importosimporttimeimportshutilimporttimeFIRST_NAME=['Zhao','Qian','Sun','Li','Zhou','Wu','Zheng','Wang']SECOND_
heiqizero
·
2024-01-21 06:59
spark
mysql
python
数据库
spark
py
spark
之Structured Streaming window函数-滚动模式
#file文件使用py
spark
之StructuredStreamingfile文件案例1生成文件,以下代码主要探讨window函数使用window三种方式:滚动、滑动、会话,只有windowDuration
heiqizero
·
2024-01-21 06:59
spark
mysql
数据库
spark
python
py
spark
之Structured Streaming结果保存到Mysql数据库-socket例子统计(含批次)
frompy
spark
.sqlimport
Spark
Session,DataFramefrompy
spark
.sql.functionsimportexplode,split,lit"""实现将数据保存到
heiqizero
·
2024-01-21 06:28
数据库
mysql
spark
python
Spark
面试题
1.
spark
core1.简述hadoop和
spark
的不同点(为什么
spark
更快)♥♥♥ shuffle都是需要落盘的,因为在宽依赖中需要将上一个阶段的所有分区数据都准备好,才能进入下一个阶段,那么如果一直将数据放在内存中
韩顺平的小迷弟
·
2024-01-21 06:53
大数据面试题
spark
大数据
分布式
一文详解py
spark
中sql的join
大家好,今天分享一下py
spark
中各种sqljoin。数据准备本文以学生和班级为单位进行介绍。学生表有sid(学生id)、sname(学生姓名)、sclass(学生班级id)。
不负长风
·
2024-01-21 06:23
#
python数据分析
sql
py
spark
之Structured Streaming file文件案例1
#generate_file.py#生成数据生成500个文件,每个文件1000条数据#生成数据格式:eventtimenameprovinceaction()时间用户名省份动作)importosimporttimeimportshutilimporttimeFIRST_NAME=['Zhao','Qian','Sun','Li','Zhou','Wu','Zheng','Wang']SECOND_
heiqizero
·
2024-01-21 06:23
spark
mysql
python
数据库
spark
Spark
和Flink的区别?
Flink和
Spark
都是基于内存计算、支持实时/批处理等多种计算模式的统一框架1,技术理念不同
Spark
的技术理念是使用微批来模拟流的计算,基于Micro-batch,数据流以时间为单位被切分为一个个批次
写scala的老刘
·
2024-01-21 06:42
Flutter实现windows应用版本升级功能
可以使用auto_updater库,这个插件允许Flutter桌面应用自动更新自己(基于
spark
le和win
spark
le)地址如下:https://github.com/leanflutter/auto_updater
落华X
·
2024-01-21 05:32
Flutter
flutter
windows
一文读懂Delta Lake:大数据时代的数据湖框架新选择!
介绍:DeltaLake是一个开源存储层,为Apache
Spark
和大数据工作负载提供了ACID事务能力。这个存储层由Databricks公司推出,并已成为数据湖方案的重要组成部分。
知识分享小能手
·
2024-01-21 03:56
学习心得体会
大数据
大数据
数据分析
数据库
Ansible
ansible环境
安装部署
ansible命令行模块command模块shell模块cron模块user模块group模块copy模块file模块hostname模块ping模块yum模块service/
偷个月亮吗733
·
2024-01-21 02:18
ansible
服务器
网络
Ansible-基础模块
目录一Ansible概述1.Ansible是什么2.为什么要学Ansible(特点)二Ansible的架构及运行机制1.Ansible的架构2.Ansible的运行机制三Ansible环境
安装部署
1.控制节点安装
峡谷在逃戚风
·
2024-01-21 02:17
ansible
云计算
运维
111.Parquet表的使用
Avro,Thrift,ProtocolBuffers,POJOs查询引擎:Hive,Impala,Pig,Presto,Drill,Tajo,HAWQ,IBMBigSQL计算框架:MapReduce,
Spark
大勇任卷舒
·
2024-01-21 02:33
通过WordCount解析
Spark
RDD内部源码机制
我们通过
Spark
WordCount动手实践,编写单词计数代码;在wordcount.scala的基础上,从数据流动的视角深入分析
Spark
RDD的数据处理过程。
联旺
·
2024-01-21 01:54
spark
on Yarn 动态资源分配
配置文件:
spark
.default.parallelism=40#
spark
.executor.memory=1536m#
spark
.executor.memoryOverhead=512m#
spark
.driver.cores
金刚_30bf
·
2024-01-20 23:09
Spark
读取kafka(流式和批数据)
spark
读取kafka(批数据处理)#按照偏移量读取kafka数据frompy
spark
.sqlimport
Spark
Sessionss=
Spark
Session.builder.getOrCreate
中长跑路上crush
·
2024-01-20 23:55
Spark阶段
spark
kafka
大数据
Spark
流式读取文件数据
流式读取文件数据frompy
spark
.sqlimport
Spark
Sessionss=
Spark
Session.builder.getOrCreate()#todo注意1:流式读取目录下的文件--》一定一定要是目录
中长跑路上crush
·
2024-01-20 23:25
Spark阶段
spark
javascript
前端
Spark
Streaming通过receiver方式消费kafka数据时数据积压问题
1.问题在通过receiver方式接受kafka消息时,发现有大量消息在队列中阻塞最终导致
spark
任务执行失败。
sinat_36710456
·
2024-01-20 22:23
大数据
数据积压
Spark
Streaming
kafka
【小白向】MMDeploy
安装部署
|暗坑标注版
文章目录序言正文1安装PPLCV2TensorRT环境相关3编译MMDeploy4编译SDK结束序言本文主要针对在编译安装OpenMMLab团队的MMDeploy模型部署工具时遇到的“难以下手”的问题。由于OpenMMLab的用户中很大一部分都是具有快速开发需求的人,或者说其实相当部分OpenMMlab开源算法体系的用户都没有特别扎实的代码基础或者理论基础,比如说我,在面对MMDeploy这个相对
早上真好
·
2024-01-20 22:22
环境和报错处理
openmmlabAI实战
c++
linux
深度学习
在Centos7上进行Trino 377的集群
安装部署
目录1.集群规划2.安装依赖3.下载解压4.配置文件4.1服务器配置etc/config.properties4.2节点配置etc/node.properties4.3JVM配置etc/jvm.config4.4日志配置etc/logging.properties5.启动6.关闭7.查看WebUI1.集群规划主机名服务bigdata001coordinatorbigdata002workerbig
Bulut0907
·
2024-01-20 22:20
#
Presto/Trino
presto
trino
trino集群安装
presto集群部署
375
Spark
(一): 基本架构及原理
前言:目标:架构及生态:
Spark
与hadoop:运行流程及特点:常用术语:
Spark
运行模式:RDD运行流程:前言:Apache
Spark
是一个围绕速度、易用性和复杂分析构建的大数据处理框架,最初在2009
贝賏赑钡
·
2024-01-20 22:46
spark
架构
大数据
Docker
安装部署
MinIO
1、拉取镜像dockersearchminiodockerpullminio/minio2、创建目录mkdir-p/data/minio/configmkdir-p/data/minio/data3、启动镜像dockerrun-p9001:9000--nameminio-d--restart=always-e"MINIO_ACCESS_KEY=root"-e"MINIO_SECRET_KEY=ro
ymcaptain
·
2024-01-20 21:27
MinIO
docker
PDF如何裁剪页面,PDF裁剪页面的小技巧
使用工具:旋风PDF编辑器下载地址:http://www.679
spark
le.com/pdfeditor操作方法:1:先打开旋风PDF编辑器,点击打开文件按钮打开需要编辑的PDF文件。2:在菜单
六号_db7a
·
2024-01-20 18:09
11.Join的MapReduce实现
Join在MapReduce中的实现一、概述tips:Hive:MapReduce/
Spark
巧用explain查看语法树常见的面试题:描述如何使用MapReduce来实现join功能:考察点MapReduce
哈哈大圣
·
2024-01-20 18:40
全网最详细Centos 9 Stream
安装部署
最新Zabbix 6.4
选择安装的版本如图片所示一、信息汇总1、服务器系统Centos9stream镜像下载地址:CentOSStream2、Zabbix官网指南下载Zabbix3、服务器用户信息整合①服务器用户root123456Admin123456②MySQL用户root12456zabbixpassword③Zabbix6.4用户zabbixpassword前端WEB默认登录Adminzabbix4、网络配置根据
陪我养猪吧
·
2024-01-20 17:10
#
Zabbix
zabbix
linux
centos
服务器
运维
RabbitMQ入门篇【图文并茂,超级详细】
什么是MQ2.理解MQ3.生活案例分析与理解4.MQ的使用场景(1)解耦传统模式中间件模式(2)削峰传统模式中间件模式(3)异步传统模式中间件模式5.常见的MQ一.RabbitMQ是什么二.Docker
安装部署
是辉辉啦
·
2024-01-20 16:04
rabbitmq
分布式
Spark
在降本增效中的一些思考
背景在大环境不好的情况下,本司也开始了“降本增效”,本文探讨一下,在这种背景下
Spark
怎么做的降本增效。
鸿乃江边鸟
·
2024-01-20 14:25
spark
大数据
分布式
hive 运行报错
Error:Errorwhilecompilingstatement:FAILED:UDFArgumentTypeExceptionExactlyoneargumentisexpected.近期用
spark
圆周率的后六位
·
2024-01-20 12:35
hadoop
spark
Nginx安装和配置(yum安装和编译安装)
Nginx
安装部署
和配置管理1.Yum安装Nginx1.1.配置Nginx的Yum源1.2.安装Nginx2.Nginx编译安装与配置使用2.1.安装编译环境2.2.创建用户nginx2.3.安装Nginx2.4
TA548464
·
2024-01-20 11:56
Nginx
nginx
运维
linux
centos
http
设计模式——管道模式(并发模式)
在分布式处理领域,由于管道模式是数据驱动,而目前流行的
Spark
分布式处理平台也是数据驱动的,两者非常合拍,于是在spar
码上得天下
·
2024-01-20 11:52
设计模式
spark
big
data
spark
的jdbc接口,类似于hiveserver2
https://
spark
.apache.org/docs/2.4.0/sql-distributed-sql-engine.html#running-the-thrift-jdbcodbc-server
Spark
SQL
zdkdchao
·
2024-01-20 10:53
spark
大数据
分布式
CentOS 7 Rsync数据同步服务环境部署
使用CentOS7系统
安装部署
Rsync非常方便,安装光盘以及YUM源中都提供了rsync软件包,使用YUM方式安装即可。下面的案例演示了如何
dongkailong
·
2024-01-20 09:10
Linux运维
服务器
centos
linux
Kylin安装学习教程
Kylin安装学习教程Kylin是一个开源的分布式分析引擎,提供Hadoop/
Spark
之上的SQL接口及多维分析(OLAP)能力以支持大数据分析,最初由eBayInc.开发并贡献到开源社区。
Luo_Yang111
·
2024-01-20 09:28
kylin
spark
连接操作
将有键的数据与另一组有键的数据一起使用是对键值对数据执行的最有用的操作之一。连接数据可能是PairRDD最常用的操作之一。连接的方式多种多样:右外连接,左外连接、交叉连接以及内连接普通的join操作符表示是内连接。只有在两个键值对中都存在的键才叫输出。
追赶的程序猿
·
2024-01-20 09:45
RabbitMQ的基本使用,进行实例案例的消息队列
目录一、介绍1.概述2.作用3.工作原理二、RabbitMQ
安装部署
1.安装2.部署3.增加用户三、实现案例1.项目创建2.项目配置3.生产者代码4.消费者代码四、测试每篇一获一、介绍1.概述RabbitMQ
云小君
·
2024-01-20 08:53
rabbitmq
分布式
docker
linux
java
maven
intellij-idea
Data Bricks Delta Lake 入门
DeltaLake是一个开源存储层,它将关系数据库语义添加到基于
Spark
的数据湖处理中。
AI普惠大师
·
2024-01-20 07:03
flask
python
后端
Spark
从入门到精通30:
Spark
SQL:核心源码深度剖析
在前面一节我们讲解了
Spark
SQL的工作原理,接下来在这一节,我们对
Spark
SQL工作原理进一步地深入和加强,这一节主要讲解
Spark
SQL核心源码导读和剖析首先,我们看SQLContext.scala
勇于自信
·
2024-01-20 07:57
【
Spark
】
Spark
容错及 HA--Master 异常
一、Master配置recoveryModeMaster作为
Spark
Standalone模式中的核心,如果Master出现异常,则整个集群的运行情况和资源将无法进行管理,整个集群将处于“群龙无首”的状况
w1992wishes
·
2024-01-20 05:37
余老师带你学习大数据-
Spark
快速大数据处理第十章Kafka第八节Kafka-Connect
kafkaKafkaConnect基本概念1、KafkaConnect是Kafka流式计算的一部分,左侧是数据源包括了数据库、hadoop、文本等等,右侧是数据结果包括了文本、hadoop、数据库,中间上层就是KafkaConnect,它里面会有很多的输入,将输入的内容的读取进来转交给Kafka里,也有可能将kafka里的内容拿出来放到我们的外部数据源中。2、KafkaConnect主要用来与其他
weixin_45810046
·
2024-01-20 03:41
kafka
你在OpenStack
安装部署
中是如何排错的
OpenStack的
安装部署
对很多刚开始接触OpenStack的人来说是比较痛苦的,在各种OpenStack的qq群中问的比较多的问题也是
安装部署
的问题。
林大大.
·
2024-01-20 03:51
openstack
openstack
HA
安装
部署
云计算
Openstack
安装
部署
排错
kylin安装学习教程
ApacheKylin是一个开源的分布式分析引擎,提供Hadoop/
Spark
之上的SQL接口及多维分析(OLAP)能力以支持大数据分析,最初由eBayInc.开发并贡献到开源社区。
打工人何苦为难打工人
·
2024-01-20 03:07
kylin
上一页
17
18
19
20
21
22
23
24
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他