E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
hadoop学习之路
Azkaban各种类型的Job编写
一、概述原生的Azkaban支持的plugin类型有以下这些:command:Linuxshell命令行任务gobblin:通用数据采集工具
hadoop
Java:运行
hadoop
MR任务java:原生java
__元昊__
·
2024-03-28 21:00
Linux(centos7)部署hive
前提环境:已部署完
hadoop
(HDFS、MapReduce、YARN)1、安装元数据服务MySQL切换root用户#更新密钥rpm--importhttps://repo.mysql.com/RPM-GPG-KEY-mysqL
灯下夜无眠
·
2024-03-28 12:44
Linux
linux
hive
运维
dbeaver
hive客户端
关于HDP的20道高级运维面试题
HDP(HortonworksDataPlatform)的主要组件包括
Hadoop
框架、HDFS、MapReduce、YARN以及
Hadoop
生态系统中的其他关键工具,如Spark、Flink、Hive
编织幻境的妖
·
2024-03-26 15:34
运维
【
Hadoop
】使用Scala与Spark连接ClickHouse进行数据处理
风不懂不懂得叶的梦月不听不听闻窗里琴声意难穷水不见不曾见绿消红霜不知不知晓将别人怎道珍重落叶有风才敢做一个会飞的梦孤窗有月才敢登高在夜里从容桃花有水才怕身是客身是客此景不能久TieYann(铁阳)、薄彩生《不知晓》在大数据分析和处理领域,ApacheSpark是一个广泛使用的高性能、通用的计算框架,而ClickHouse作为一个高性能的列式数据库,特别适合在线分析处理(OLAP)。结合Scala语
音乐学家方大刚
·
2024-03-26 09:56
Scala
Hadoop
hadoop
scala
spark
hadoop
配置免密登录
1.生成密钥ssh-keygen-trsa所有节点都要执行2.所有节点执行ssh-copy-id-i~/.ssh/id_rsa.pub用户名1@主机名1ssh-copy-id-i~/.ssh/id_rsa.pub用户名2@主机名2ssh-copy-id-i~/.ssh/id_rsa.pub用户名3@主机名33.目录授权chmod700~/.sshchmod600~/.ssh/authorized_
我干开发那十年
·
2024-03-24 07:25
ssh
服务器
linux
【笔记】HDFS基础笔记
启动
hadoop
命令(未配环境变量):进入
hadoop
安装目录输入.
哇咔咔哇咔
·
2024-03-20 04:12
Hadoop
hdfs
笔记
hadoop
大数据
ubuntu
【笔记】Linux常用命令
命令含义cd/home/
hadoop
#把/home/
hadoop
设置为当前目录cd..#返回上一级目录cd~#进入到当前Linux系统登录用户的主目录(或主文件夹)。
哇咔咔哇咔
·
2024-03-20 03:11
Linux
笔记
linux
运维
ubuntu
linux安装单机版spark3.5.0
一、spark介绍是一种通用的大数据计算框架,正如传统大数据技术
Hadoop
的MapReduce、Hive引擎,以及Storm流式实时计算引擎等.Spark主要用于大数据的计算二、spark下载spark3.5.0
爱上雪茄
·
2024-03-17 18:57
大数据
JAVA知识
spark
大数据
分布式
Hadoop
简介
简介大数据简介概述大数据的说法从出现到现在,也经历了十多年时间的发展。而在这十几年的发展过程中,非常多的机构、组织都试图对大数据做出过定义,例如:研究机构Gartner给出了这样的定义:"大数据"是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。再例如根据维基百科的定义,大数据是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。
程序员小郭同学
·
2024-03-16 07:10
hadoop
Hive中的NVL函数与COALESCE函数
ReturnsdefaultvalueifvalueisnullelsereturnsvalueExample:>SELECTnvl(null,'bla')FROMsrcLIMIT1;blaFunctionclass:org.apache.
hadoop
.hive.ql.udf.generic.GenericUDFNv
独影月下酌酒
·
2024-03-15 13:13
Hadoop
大数据
hive
hadoop
数据仓库
hive库表占用空间大小的命令
hdfsdfs-du-h/user/hive/warehouse2、按占用空间大小降序排列hdfsdfs-du/user/hive/warehouse/ipms.db|sort-nr3、查某一个分区占用空间大小(单位G)
hadoop
fs-ls
刀鋒偏冷
·
2024-03-15 13:13
hive
hadoop
数据仓库
03hive数仓安装与基础使用
hiveHive概述Hive是基于
Hadoop
的一个数据仓库工具。
daydayup9527
·
2024-03-14 13:39
hadoop_hive
运维
hadoop
HDFS
(一)HDFS简介及其基本概念 HDFS(
Hadoop
DistributedFileSystem)是
hadoop
生态系统的一个重要组成部分,是
hadoop
中的的存储组件,在整个
Hadoop
中的地位非同一般
weixin_51987187
·
2024-03-12 14:32
笔记
大数据
学习之路
漫长
学习是件长久的事,不是说学习一天两天,学习一个月两个月就结束的。真的是非常佩服那些将学习当成一辈子的事,可以每天学习学习。不管多忙,都会有时间学习,不管多累,都会学习,不管多难,都会持续学习。坚持,加油,努力!
乡村算卦师
·
2024-03-12 07:55
大数据开发(
Hadoop
面试真题-卷二)
大数据开发(
Hadoop
面试真题)1、在大规模数据处理过程中使用编写MapReduce程序存在什么缺点?如何解决这些问题?
Key-Key
·
2024-03-12 02:15
大数据
hadoop
面试
zookeeper 使用
zookeeper介绍zookeeper是一个为分布式应用提供一致性服务的软件,它是开源的
Hadoop
项目中的一个子项目,并且根据google发表的论文来实现的,接下来我们首先来安装使用下这个软件,然后再来探索下其中比较重要一致性算法
SkTj
·
2024-03-10 02:15
Hive SQL 开发指南(三)优化及常见异常
在大数据领域,HiveSQL是一种常用的查询语言,用于在
Hadoop
上进行数据分析和处理。为了确保代码的可读性、维护性和性能,制定一套规范化的HiveSQL开发规范至关重要。
大数据_苡~
·
2024-03-09 14:13
003-数据开发
hive
Hive优化
数据倾斜
Hive常见异常
hive
join
大数据开发(
Hadoop
面试真题-卷九)
大数据开发(
Hadoop
面试真题)1、Hivecount(distinct)有几个reduce,海量数据会有什么问题?
Key-Key
·
2024-03-09 10:06
大数据
hadoop
面试
大数据开源框架技术汇总
目录系统平台(
Hadoop
、CDH、HDP)监控管理(CM、Hue、Ambari、Dr.Elephant、Ganglia、Zabbix、Eagle)文件系统(HDFS、GPFS、Ceph、Gluster
浪尖聊大数据-浪尖
·
2024-03-08 20:48
数据仓库
hive
flume
分布式
scipy
makefile
crm
lighttpd
【
Hadoop
】在spark读取clickhouse中数据
读取clickhouse数据库数据importscala.collection.mutable.ArrayBufferimportjava.util.Propertiesimportorg.apache.spark.sql.SaveModeimportorg.apache.spark.sql.SparkSessiondefgetCKJdbcProperties(batchSize:String="
方大刚233
·
2024-03-03 06:54
Hadoop
Scala
hadoop
spark
clickhouse
【
Hadoop
】使用Metorikku框架读取hive数据统计分析写入mysql
一、定义作业文件作业文件该文件将包括输入源、输出目标和要执行的配置文件的位置,具体内容如下metrics:-/user/xrx/qdb.yaml#此位置为hdfs文件系统目录inputs:output:jdbc:connectionUrl:"jdbc:mysql://233.233.233.233:3306/sjjc"user:"root"password:"123456"driver:"com.
方大刚233
·
2024-03-03 06:23
Hadoop
Scala
hadoop
hive
mysql
Spark-sql Adaptive Execution动态调整分区数量,调整输出文件数
看看这个参数如何运用:我们的spark-sql版本:[
hadoop
@666~]$spark-sql--versionWelcometo______/__
不想起的昵称
·
2024-03-02 15:03
hive
spark
hive
数据仓库
hadoop
里需要的lib
hadoop
.so版本不一致导致问题及解决办法
$
HADOOP
_HOME/lib/native/Linux-amd64-64(64位操作系统)$
HADOOP
_HOME/lib/native/Linux-i386-32(32位操作系统)文件夹中的lib
hadoop
.so
weixin_34304013
·
2024-03-02 09:23
大数据
操作系统
嵌入式
hadoop
启动报错处理
1.
hadoop
启动报错1.1.问题1util.NativeCodeLoader:Unabletoloadnative-
hadoop
libraryforyourplatform...usingbuiltin-javaclasseswhereapplicable
akuibpt23191
·
2024-03-02 08:51
大数据
操作系统
Spark整合hive(保姆级教程)
准备工作:1、需要安装配置好hive,如果不会安装可以跳转到Linux下编写脚本自动安装hive2、需要安装配置好spark,如果不会安装可以跳转到Spark安装与配置(单机版)3、需要安装配置好
Hadoop
万家林
·
2024-02-29 09:47
spark
hive
spark
hadoop
Hadoop
-Yarn-NodeManager是如何监控容器的
一、源码下载下面是
hadoop
官方源码下载地址,我下载的是
hadoop
-3.2.4,那就一起来看下吧Indexof/dist/
hadoop
/core二、上下文在我的博客中的ContainerLaunchprepareForLaunch
隔着天花板看星星
·
2024-02-28 06:15
hadoop
大数据
yarn
Zookeeper实现分布式锁
首先需要确保有
hadoop
102,
hadoop
103,
hadoop
104三台虚拟机并且都安装成功且配置成功了zookeeper。
正在绘制中
·
2024-02-25 23:35
分布式
zookeeper
云原生
docker搭建
hadoop
hdfs完全分布式集群
1制作
hadoop
镜像参见https://www.cnblogs.com/rmxd/p/12051866.html该博客中只参考制作镜像部分,固定IP及启动集群的部分应该跳过。
shangcunshanfu
·
2024-02-20 22:08
hadoop
docker
big
data
基于docker安装HDFS
1.docker一键安装见docker一键安装2.拉取镜像sudodockerpullkiwenlau/
hadoop
:1.03.下载启动脚本gitclonehttps://github.com/kiwenlau
core512
·
2024-02-20 22:02
大数据
虚拟机&容器
docker
hdfs
hive 的map数和reduce如何确定
的文件大小,集群设置的文件块大小(目前为128M,可在hive中通过setdfs.block.size;命令查看到,该参数不能自定义修改);2.举例:a)假设input目录下有1个文件a,大小为780M,那么
hadoop
Super乐
·
2024-02-20 20:38
hive
hive
(17)Hive ——MR任务的map与reduce个数由什么决定?
MapTask的数量由以下参数决定文件个数文件大小blocksize一般而言,对于每一个输入的文件会有一个mapsplit,每一个分片会开启一个map任务,很容易导致小文件问题(如果不进行小文件合并,极可能导致
Hadoop
爱吃辣条byte
·
2024-02-20 20:27
#
Hive
hive
数据仓库
Hadoop
生态圈
是数据分析数据引擎,也是MapReduce模型,支持SQL4.Pig也是一个数据分析引擎,不支持SQL,有自己的PigLatin数据5.Sqoop是数据采集工具,针对关系数据库6.Flume是针对文件等数据的采集7.
Hadoop
陈超Terry的技术屋
·
2024-02-20 19:47
16.用
Hadoop
命令向CDH集群提交MR作业
Redhat7.2非Kerberos集群CDH5.13,OS为CentOS6.5前置条件CDH集群运行正常本地开发环境与集群网络互通且端口放通16.2示例这里使用的代码是没有加载CDH集群的xml配置的,因为使用
hadoop
大勇任卷舒
·
2024-02-20 19:27
继续教育公需科目试题及答案,分享几个实用搜题和学习工具 #经验分享#经验分享
今天,我将向大家介绍备受大学生欢迎的日常学习工具,希望能为你们的
学习之路
添砖加瓦。1.试题易这是一个网站涵盖初高中/大学/专升本/考研/成人自考/各类资格证等等考试题目,同时支持截图搜题、语音
红色小鬼头
·
2024-02-20 19:29
学习
经验分享
cpp程序员速成rust(更新中)
前言cpper在学习rust过程中会免不得将rust的语法跟cpp做对比,所以特开此坑,在此记录下来我的rust
学习之路
,仅供参考。
_沥川往事
·
2024-02-20 18:52
rust
开发语言
【YARN】【Apache
Hadoop
YARN】【架构】
ThefundamentalideaofYARNistosplitupthefunctionalitiesofresourcemanagementandjobscheduling/monitoringintoseparatedaemons.TheideaistohaveaglobalResourceManager(RM)andper-applicationApplicationMaster(AM)
资源存储库
·
2024-02-20 18:48
apache
hadoop
大数据
记一次 Flink 作业启动缓慢
记一次Flink作业启动缓慢背景应用发现,
Hadoop
集群的hdfs较之前更加缓慢,且离线ELT任务也以前晚半个多小时才能跑完。
卢说
·
2024-02-20 18:38
Hadoop
大数据
Flink
flink
大数据
hadoop
hdfs
学习能增强勇气
自从接触“焦点”,重新走上
学习之路
以来,久而久之,我发现,面对任何一件事,即使以前从未接触过,我想,只要从心理上接受,就会想方设法去考虑它的设计方案,执行计划等相关事宜,这样,就有可能圆满完成这项工作。
快乐一生_87e8
·
2024-02-20 17:38
大数据Map Reduce (
Hadoop
) 和 MPP数据库 的区别
原理的角度出发,mapreduce其实就是二分查找的一个逆过程,不过因为计算节点有限,所以map和reduce前都预先有一个分区的步骤.二分查找要求数据是排序好的,所以MapReduce之间会有一个shuffle的过程对Map的结果排序.Reduce的输入是排好序的.MR分而治之的策略和数据库行业中另一种数据库MassivelyParallelProcessor即大规模并行处理数据库(典型代表AW
山哥Samuel
·
2024-02-20 15:05
Hadoop
大数据的入门学习
由于所做的银行项目与大数据有关,所以个人学习下
hadoop
的知识,希望能对大数据有所了解,不喜勿喷,哪里有不对的希望大神指点
Hadoop
百度百科:
Hadoop
是一个由Apache基金会所开发的分布式系统基础架构
heybo_zhang
·
2024-02-20 14:36
java
学习之路
(3)-JAVA_HOME环境变量配置
win+i>>找到高级系统设置>>环境变量>>系统变量新建path中添加'%JAVA_HOME%\bin'
ouxiaoxian
·
2024-02-20 13:11
java
学习
python
java
学习之路
(2)-编译java文件运行Java文件
创建.java后缀文本文件HelloWorld.java写入代码:publicclassHelloWorld{publicstaticvoidmain(String[]args){System.out.println("HelloWorld");}}运行cmd命令找到代码所在目录输入javac编译Java文件生成HelloWorld.class编译:javac是JDK提供的编译工具,我们可以通过这
ouxiaoxian
·
2024-02-20 13:10
Java
java
学习
开发语言
java
学习之路
(1)-隐藏桌面图标从CMD命令中打开软件
1.找到文件所在路径:2.将文件路径添加到环境变量中3.win+r打开cmd输入命令(目录后面的QQScLauncher.exe)直接可以打开QQ软件,删除桌面图标,别人就找不到了,只能通过cmd命令或者是找到安装包所在位置才能打开软件
ouxiaoxian
·
2024-02-20 13:40
Java
学习
一个00后的蜕变之路,一定要看到最后
我跟很多人聊过天,每当跟他们说起学习的时候,自己都不以为然,我一般也不反对他们说的那些话,在当今这个社会,读书很重要,我当初放弃了
学习之路
,有一部分原因是因为我自己胆小,经常收到同桌欺压不敢跟老师家长讲
薄荷味日记
·
2024-02-20 12:10
Flink理论—Flink架构设计
它集成了所有常见的集群资源管理器,例如
Hadoop
YARN,但也可以设置作为独立集群甚至库运行,例如Spark的StandaloneMode本节概述了Flink架构,并且描述了其主要组件如何交互以执行应用程序和从故障中恢复
不二人生
·
2024-02-20 12:59
#
Flink
理论
flink
大数据
我的英语
学习之路
(二)
昨晚英语课结课了。从6月26日到8月6日,周一到周四每晚两个小时,连续上了六周的课。每天下班后匆匆忙忙赶去课室,课室较偏买快餐很困难(时间不允许走得更远些去吃饭),我的晚餐基本就是一块饼两个包之类的,看到从更远的地方下班赶过来的同学争分夺秒地吃着晚餐,我不禁感慨上班族用业务时间学习真不容易。不过大家都是自愿来学习的,没人有怨言,学习气氛还是很浓的,大家经常是一边吃着面包一边讨论昨天老师布置的作业。
LydiaYY98
·
2024-02-20 11:30
Kafka核心逻辑介绍 | 京东云技术团队
分布式消息系统(kafka2.8.0版本之后接触了对zk的依赖,使用自己的kRaft做集群管理,新增内部主体@metadata存储元数据信息),它的最大的特性就是可以实时的处理大量数据以满足各种需求场景:比如基于
hadoop
·
2024-02-20 11:54
kafkaredis消息队列
大数据 - Spark系列《六》- RDD详解
Spark系列文章:大数据-Spark系列《一》-从
Hadoop
到Spark:大数据计算引擎的演进-CSDN博客大数据-Spark系列《二》-关于Spark在Idea中的一些常用配置-CSDN博客大数据
王哪跑nn
·
2024-02-20 10:55
spark
大数据
spark
分布式
大数据 - Spark系列《七》- 分区器详解
Spark系列文章:大数据-Spark系列《一》-从
Hadoop
到Spark:大数据计算引擎的演进-CSDN博客大数据-Spark系列《二》-关于Spark在Idea中的一些常用配置-CSDN博客大数据
王哪跑nn
·
2024-02-20 10:55
spark
大数据
spark
分布式
【GRU回归预测】麻雀算法优化注意力机制卷积神经网络结合双向门控循环单元SSA-Attention-CNN-BiGRU数据预测(多输入多输出)【含Matlab源码 3905期】
个人主页:海神之光代码获取方式:海神之光Matlab王者
学习之路
—代码获取方式⛳️座右铭:行百里者,半于九十。
Matlab领域
·
2024-02-20 09:14
matlab
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他