E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Hadoop;Spark
02-黑马程序员大数据开发:分布式计算和分布式资源调度
分布式计算模式:分散->汇总模式(MapReduce)和中心调度->步骤执行模式(Apache
Spark
,Flink;比较复杂,中间会有数据交换的过程);2.MapReduce概述MapReduce是
Hadoop
S1406793
·
2024-01-21 08:52
大数据开发
大数据
分布式
Clickhouse VS Doris 导入-并发-查询对比
clickhouse导入数据直接导入的是本地磁盘,对于分布式表,clickhouse和doris相比,clickhouse就没有本地表导入的优势,借助clickhouse进行数据排序,而doris中有
spark
Load
IT贫道
·
2024-01-21 08:21
随笔
clickhouse
doris
大数据开发之Kafka(broker、消费者、eagle监控、kraft模式)
KafkaBroker4.1KafkaBroker工作流程4.1.1Zookeeper存储的Kafka的信息1、查看zookeeper中的kafka节点所存储的信息启动Zookeeper客户端[atguigu@
hadoop
104zookeeper
Key-Key
·
2024-01-21 07:18
大数据
kafka
linq
大数据之
spark
运行模式
Apache
Spark
提供了多种运行模式,主要包括以下几种:本地模式(Local):
Spark
在本地单机上运行,主要用于开发测试阶段。
转身成为了码农
·
2024-01-21 07:11
大数据
spark
分布式
大数据之
Spark
常用的端口号
Spark
常用的端口号包括:DriverWebUI端口:4040,这是
Spark
应用程序(Driver)运行时绑定的端口,用于展示任务运行状态、执行进度、任务细节等监控信息。
转身成为了码农
·
2024-01-21 07:11
大数据
spark
分布式
Hadoop
入门概述
Hadoop
是一个开源的分布式计算框架,主要用于处理和存储大规模数据集。
转身成为了码农
·
2024-01-21 07:41
hadoop
大数据
分布式
大数据之
Spark
架构设计与工作流程
Apache
Spark
架构设计是其高效、分布式处理能力的基础。
转身成为了码农
·
2024-01-21 07:41
大数据
spark
分布式
大数据技术汇总
Hadoop
Hadoop
入门概述
Hadoop
运行模式介绍
Hadoop
HDFS的运行流程
Hadoop
MapReduce的运行流程
Hadoop
yarn的运行流程
Hadoop
内HDFS、MapReduce和YARN
转身成为了码农
·
2024-01-21 07:41
大数据
hadoop
hive
spark
数据仓库
Spark
学习(8)-
Spark
SQL的运行流程,
Spark
On Hive
1.
Spark
SQL的运行流程1.1
Spark
RDD的执行流程回顾1.2
Spark
SQL的自动优化RDD的运行会完全按照开发者的代码执行,如果开发者水平有限,RDD的执行效率也会受到影响。
技术闲聊DD
·
2024-01-21 06:50
大数据
hive
spark
学习
Hive on
Spark
和
Spark
sql on Hive,你能分的清楚么
Hiveon
Spark
和
Spark
sqlonHive,你能分的清楚么结构上HiveOn
Spark
和
Spark
SQL都是一个翻译层,把一个SQL翻译成分布式可执行的
Spark
程序。
捞起月亮的渔民丁
·
2024-01-21 06:18
hive
spark
大数据
Spark
:
Spark
SQL与Hive on
Spark
(Shark)的比较
简要介绍了
Spark
SQL与Hiveon
Spark
的区别与联系一、关于
Spark
简介在
Hadoop
的整个生态系统中,
Spark
和MapReduce在同一个层级,即主要解决分布式计算框架的问题。
花和尚也有春天
·
2024-01-21 06:17
sparkSQL
SparkSQL
Hive
on
Spark
拾肆:
Spark
with Hive和Hive on
Spark
在Hive与
Spark
这对“万金油”组合中,Hive擅长元数据管理,而
Spark
的专长是高效的分布式计算,二者的结合可谓是“强强联合”。
for your wish
·
2024-01-21 06:47
hive
spark
big
data
基于kubernetes构建
spark
-thriftserver集群(Deployment模式)
继续上一篇《基于kubernetes构建
spark
集群(RC模式)》,沿用上一篇rbac配置,以及PV、PVC配置,本篇将采用Deployment方式进行部署
spark
集群,以及增加thriftserver
Moutai码哥
·
2024-01-21 06:46
大数据
云计算
企业架构
spark
thriftserver
spark
hive
Hive on
Spark
and
Spark
sql on Hive
结构上HiveOn
Spark
和
Spark
SQL都是一个翻译层,把一个SQL翻译成分布式可执行的
Spark
程序。Hive和
Spark
SQL都不负责计算。
请叫我小帅哥
·
2024-01-21 06:14
spark
spark
hive
spark
集成hive
1.集成原理说明思考:
Spark
OnHive的目的:将客户端提交的SQL语句从原来翻译MR变更为翻译为
Spark
的RDD程序(
Spark
程序),然后交给Yarn执行那么也就意味着,一旦
Spark
和HIVE
lijian972
·
2024-01-21 06:11
spark
on
hive
spark继承hive
hive
spark
big
data
spark
SQL
spark
SQL整合hive(
spark
on hive)
spark
SQL整合hive
spark
SQL整合hive
spark
SQL整合hive步骤示例数据库保存在本地和数据库保存在HDFS应用场景
spark
SQL整合hive
spark
SQL整合hive,即
spark
onhive
爱吃甜食_
·
2024-01-21 06:39
Spark
Spark
完全分布式集群下的Hive的安装和配置-安装步骤
Spark
完全分布式集群下的Hive的安装和配置-安装步骤:文章目录
Spark
完全分布式集群下的Hive的安装和配置-安装步骤:2.安装MySQL数据库3.配置MySQL相关5.设置环境变量6.修改hive
Deng872347348
·
2024-01-21 06:39
Hadoop
Hive
hive
大数据
【
Spark
分布式内存计算框架——
Spark
SQL】14. 分布式SQL引擎
第八章分布式SQL引擎回顾一下,如何使用Hive进行数据分析的,提供哪些方式交互分析???方式一:交互式命令行(CLI)bin/hive,编写SQL语句及DDL语句方式二:启动服务HiveServer2(HiveThriftServer2)将Hive当做一个服务启动(类似MySQL数据库,启动一个服务),端口为100001)、交互式命令行,bin/beeline,CDH版本HIVE建议使用此种方式
csdnGuoYuying
·
2024-01-21 06:38
spark
分布式
sql
scala
数据库
Spark
On Hive配置测试及分布式SQL ThriftServer配置
文章目录
Spark
OnHive的原理及配置配置步骤在代码中集成
Spark
OnHive
Spark
分布式SQL执行原理及配置配置步骤在代码中集成
Spark
JDBCThriftServer总结
Spark
OnHive
蜜桃上的小叮当
·
2024-01-21 06:07
Spark
分布式
spark
hive
一文让你记住Py
spark
下DataFrame的7种的Join 效果
最近看到了一片好文,虽然很简单,但是配上的插图可以让人很好的记住Py
spark
中的多种Join类型和实际的效果。
独家雨天
·
2024-01-21 06:04
data
python
spark
join
py
spark
之Structured Streaming文件file案例
#generate_file.py#生成数据生成500个文件,每个文件1000条数据#生成数据格式:eventtimenameprovinceaction()时间用户名省份动作)importosimporttimeimportshutilimporttimeFIRST_NAME=['Zhao','Qian','Sun','Li','Zhou','Wu','Zheng','Wang']SECOND_
heiqizero
·
2024-01-21 06:59
spark
mysql
python
数据库
spark
py
spark
之Structured Streaming window函数-滚动模式
#file文件使用py
spark
之StructuredStreamingfile文件案例1生成文件,以下代码主要探讨window函数使用window三种方式:滚动、滑动、会话,只有windowDuration
heiqizero
·
2024-01-21 06:59
spark
mysql
数据库
spark
python
py
spark
之Structured Streaming结果保存到Mysql数据库-socket例子统计(含批次)
frompy
spark
.sqlimport
Spark
Session,DataFramefrompy
spark
.sql.functionsimportexplode,split,lit"""实现将数据保存到
heiqizero
·
2024-01-21 06:28
数据库
mysql
spark
python
Spark
面试题
1.
spark
core1.简述
hadoop
和
spark
的不同点(为什么
spark
更快)♥♥♥ shuffle都是需要落盘的,因为在宽依赖中需要将上一个阶段的所有分区数据都准备好,才能进入下一个阶段,那么如果一直将数据放在内存中
韩顺平的小迷弟
·
2024-01-21 06:53
大数据面试题
spark
大数据
分布式
一文详解py
spark
中sql的join
大家好,今天分享一下py
spark
中各种sqljoin。数据准备本文以学生和班级为单位进行介绍。学生表有sid(学生id)、sname(学生姓名)、sclass(学生班级id)。
不负长风
·
2024-01-21 06:23
#
python数据分析
sql
py
spark
之Structured Streaming file文件案例1
#generate_file.py#生成数据生成500个文件,每个文件1000条数据#生成数据格式:eventtimenameprovinceaction()时间用户名省份动作)importosimporttimeimportshutilimporttimeFIRST_NAME=['Zhao','Qian','Sun','Li','Zhou','Wu','Zheng','Wang']SECOND_
heiqizero
·
2024-01-21 06:23
spark
mysql
python
数据库
spark
Ubuntu安装Hbase数据库
Hbase,并修改其名称sudotar-zxfhbase-1.1.2-bin.tar.gz-C/usr/localcd/usr/localsudomvhbase-2.2.2/hbasesudochown-R
hadoop
hbase
殊迟
·
2024-01-21 06:51
大数据
hbase
hadoop
big
data
大数据
分布式
Ubuntu安装MySQL数据库
MySQLsudoapt-getinstallmysql-server输入Y后回车继续安装设置root用户密码,此处会设置两次三、启动、关闭、测试数据库servicemysqlstart#此处输入2回车选择
hadoop
殊迟
·
2024-01-21 06:51
大数据
ubuntu
mysql
服务器
linux
数据库
安装Kafka
Kafkasudotar-zxfkafka_2.11-0.10.2.0.tgz-C/usr/localcd/usr/localsudomvkafka_2.11-0.10.2.0/kafkasudochown-R
hadoop
kafka
殊迟
·
2024-01-21 06:51
大数据
kafka
java
大数据
spark
scala
Spark
和Flink的区别?
Flink和
Spark
都是基于内存计算、支持实时/批处理等多种计算模式的统一框架1,技术理念不同
Spark
的技术理念是使用微批来模拟流的计算,基于Micro-batch,数据流以时间为单位被切分为一个个批次
写scala的老刘
·
2024-01-21 06:42
Hadoop
3完全分布式搭建
一、第一台的操作搭建修改主机名使用hostnamectlset-hostname修改当前主机名关闭防火墙和SELlinux1,使用systemctlstopfirewalldsystemctldisablefirewalld关闭防火墙2,使用vim/etc/selinux/config修改为SELINUX=disabled使用NAT模式配置静态IP1,修改网络配置vim/etc/sysconfig
三木一立
·
2024-01-21 05:54
大数据
分布式
php
开发语言
Linux 部署
Hadoop
伪分布式集群教程
首先:我们需要下载一些关于
Hadoop
伪分布式集群需要的工具与tar包链接:https://pan.baidu.com/s/1oUw1jDCxfghWsnaWauSHKg提取码:6s5a接下来打开虚拟机终端
qq_61247494
·
2024-01-21 05:15
hadoop
分布式
linux
linux 部署
Hadoop
完全分布式集群教程
一、准备工作1、本次任务需要三台虚拟机,主机名分别为Master、Slave01、Slave02先在Master上安装好jdk和
Hadoop
(安装教程可以参考这两篇文章)然后为了简便我们直接克隆两台Master
qq_61247494
·
2024-01-21 05:15
hadoop
分布式
linux
Linux修改
hadoop
配置文件及启动
hadoop
集群详细步骤
目录一、配置
Hadoop
环境1.查看
Hadoop
解压位置2.配置环境变量3.编辑环境变量4.重启环境变量5.查看
Hadoop
版本,查看成功就表示
Hadoop
安装成功了二、修改配置文件1.检查三台虚拟机:
CatalinaCatherine
·
2024-01-21 05:45
Linux
linux
hadoop
运维
linux下
hadoop
集群并且配置安装百分百成功
可以去jdk官网下载8或者11版本,别用18因为
hadoop
会不兼容,先卸载本机的自带的jdk,下面我给大家带一个我在用的
hadoop
链接
hadoop
下载链接假设在你的linux上面有三个虚拟机
hadoop
102
hadoop
103
hadoop
104
新城已无旧少年_
·
2024-01-21 05:45
大数据
大数据
Linux-
Hadoop
集群配置
文章目录一、配置
Hadoop
集群1、在master虚拟机上配置
hadoop
(1)编辑
Hadoop
环境配置文件-
hadoop
-env.sh(2)编辑
Hadoop
核心配置文件-core-site.xml(3
人生苦短@我用python
·
2024-01-21 05:44
探索大数据
hadoop
linux
大数据
mapreduce
hdfs
hadoop
分布式集群配置(linux)
linux配置
hadoop
分布式集群一、前期准备二、Jdk的安装三、配置
hadoop
集群安装
hadoop
分布式集群
hadoop
-3.3.0及jdk1.8下载链接一、前期准备1.安装
hadoop
分布式之前先准备好
小-枝-丫
·
2024-01-21 05:44
linux
hadoop
hadoop
分布式
linux
linux上面
hadoop
配置集群
要在Linux上配置
Hadoop
集群,需要按照以下步骤进行操作:安装JavaDevelopmentKit(JDK):首先,确保您的Linux系统上已经安装了JDK。
酷爱码
·
2024-01-21 05:14
大数据基础教程
linux
hadoop
运维
Flutter实现windows应用版本升级功能
可以使用auto_updater库,这个插件允许Flutter桌面应用自动更新自己(基于
spark
le和win
spark
le)地址如下:https://github.com/leanflutter/auto_updater
落华X
·
2024-01-21 05:32
Flutter
flutter
windows
WARN util.NativeCodeLoader: Unable to load native-
hadoop
library for your platform... using builtin-
1.问题来源
hadoop
启动时控制台一直提示WARNutil.NativeCodeLoader:Unabletoloadnative-
hadoop
libraryforyourplatform…usingbuiltin-javaclasseswhereapplicableStartingnamenodeson
寂夜了无痕
·
2024-01-21 04:57
大数据搭建问题
hadoop
大数据
mac-
hadoop
3.3.6 源码构建以及踩坑记录
1.为什么需要构建源码因为
hadoop
的可执行文件是在专门的机器上编译的其中native库不一定能适用于每个机器导致在启动
hadoop
过程中出现烦人的警告WARNutil.NativeCodeLoader
寂夜了无痕
·
2024-01-21 04:55
大数据搭建问题
hadoop
大数据
hadoop
源码编译
HDFS中的Erasure Coding纠删码是个什么样的存在?
在
Hadoop
3.x之后就引入了纠删码技术(ErasureCoding)纠删码技术(Erasurecoding)简称EC,是一种编码容错技术。最早用于通信行业,数据传输中的数据恢复。它通过对数
小KKKKKKKK
·
2024-01-21 03:29
ElasticSearch 亿级数据检索深度优化!
一、前言数据平台已迭代三个版本,从头开始遇到很多常见的难题,终于有片段时间整理一些已完善的文档,在此分享以供所需朋友的实现参考,少走些弯路,在此篇幅中偏重于ES的优化,关于HBase,
Hadoop
的设计优化估计有很多文章可以参考
夜空_2cd3
·
2024-01-21 03:53
一文读懂Delta Lake:大数据时代的数据湖框架新选择!
介绍:DeltaLake是一个开源存储层,为Apache
Spark
和大数据工作负载提供了ACID事务能力。这个存储层由Databricks公司推出,并已成为数据湖方案的重要组成部分。
知识分享小能手
·
2024-01-21 03:56
学习心得体会
大数据
大数据
数据分析
数据库
Redis学习笔记--尚硅谷
、Tomcat、HTML、Linux、JDBC、SVNe解决扩展性的问题:Struts、Spring、SpringMVC、Hibernate、Mybatise解决性能的问题:NoSQL、Java线程、
Hadoop
Geho
·
2024-01-21 02:52
redis
数据库
nosql
java
springboot
大数据技术原理及应用课实验1 熟悉常用的Linux操作和
Hadoop
操作
实验1熟悉常用的Linux操作和
Hadoop
操作一、实验目的
Hadoop
运行在Linux系统上,因此,需要学习实践一些常用的Linux命令。
Blossom i
·
2024-01-21 02:21
大数据编程
大数据
linux
hadoop
大数据技术原理及应用课实验2 :熟悉常用的HDFS操作
实验2熟悉常用的HDFS操作目录实验2熟悉常用的HDFS操作一、实验目的二、实验平台三、实验步骤(每个步骤下均需有运行截图)(一)编程实现以下功能,并利用
Hadoop
提供的Shell命令完成相同任务:(
Blossom i
·
2024-01-21 02:21
大数据编程
大数据
hdfs
hadoop
111.Parquet表的使用
Avro,Thrift,ProtocolBuffers,POJOs查询引擎:Hive,Impala,Pig,Presto,Drill,Tajo,HAWQ,IBMBigSQL计算框架:MapReduce,
Spark
大勇任卷舒
·
2024-01-21 02:33
通过WordCount解析
Spark
RDD内部源码机制
我们通过
Spark
WordCount动手实践,编写单词计数代码;在wordcount.scala的基础上,从数据流动的视角深入分析
Spark
RDD的数据处理过程。
联旺
·
2024-01-21 01:54
客户案例|知名证券机构核心大数据平台升级之路
Hadoop
作为海量数据处理的关键技术框架,自诞生以来就改变了企业对数据的存储、处理和分析的过程,因具备开源低成本、高可靠等特性,在证券行业得到了广泛的应用。
云掣YUNCHE
·
2024-01-21 01:17
产品介绍
大数据
云原生
运维开发
上一页
24
25
26
27
28
29
30
31
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他