E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Hadoop集群
(17)Hive ——MR任务的map与reduce个数由什么决定?
MapTask的数量由以下参数决定文件个数文件大小blocksize一般而言,对于每一个输入的文件会有一个mapsplit,每一个分片会开启一个map任务,很容易导致小文件问题(如果不进行小文件合并,极可能导致
Hadoop
爱吃辣条byte
·
2024-02-20 20:27
#
Hive
hive
数据仓库
记一次 Flink 作业启动缓慢
记一次Flink作业启动缓慢背景应用发现,
Hadoop集群
的hdfs较之前更加缓慢,且离线ELT任务也以前晚半个多小时才能跑完。
卢说
·
2024-02-20 18:38
Hadoop
大数据
Flink
flink
大数据
hadoop
hdfs
Sqoop 入门基础
它提供了一种快速高效的方式,将数据从关系型数据库导入到
Hadoop集群
进行分析,并支持将
Hadoop集群
中的数据导出到关系型数据库中。
香菜的开发日记
·
2024-02-19 13:17
sqoop
hadoop
hive
Hadoop搭建之 start-yarn.sh 报错
在搭建伪分布式的
Hadoop集群
环境时,在配置基础环境了并成功开启了HDFS组件后,jps查看已运行的名称节点和数据节点进程,[hadoop@masterhadoop]$jps8994NameNode10396Jps9087DataNode9279SecondaryNameNode
万里长江雪
·
2024-02-19 11:58
java
hadoop
hdfs
大数据
运维
网络
MapReduce
mapreduce的核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序,并运行在一个
hadoop集群
上。
诺冰1314
·
2024-02-19 10:46
大数据
haoop
MapReduce
hadoop
mapreduce
大数据
Hive入门,Hive是什么?
Hive的本质是一个数据仓库基础设施,它提供了一种类似于SQL的查询语言,称为HiveQL,用于处理和分析存储在
Hadoop集群
中的数据。
JayGboy
·
2024-02-19 10:31
hive
hadoop
数据仓库
MapReduce的uber运行模式
背景在有些情况下,运行于
Hadoop集群
上的一些mapreduce作业本身的数据量并不是很大,如果此时的任务分片很多,那么为每个map任务或者reduce任务频繁创建Container,势必会增加
Hadoop
盗梦者_56f2
·
2024-02-11 01:42
CentOS7虚拟机 enss33没有ip地址
参考链接:CentOS7虚拟机enss33没有ip地址的解决方法_ens33没有ip地址_weixin_45307968的博客-CSDN博客在搭建
Hadoop集群
时,需要修改ip地址,但是当我查看时发现并没有显示
我想吃新疆炒米粉!
·
2024-02-10 18:31
tcp/ip
hadoop
网络协议
数据中台 pdf_数据中台到底怎么建设,有人把他说清楚了
本人断断续续从事数据仓库约有五六年经验,在移动公司前三年是负责数据仓库项目实施,后四年开发搞大数据平台,见证了从传统数据仓库转型到大数据平台的全历程,见证了大数据平台从0到1的全部过程,包括第一个MPP数据集市、第一个
Hadoop
weixin_39699121
·
2024-02-09 18:59
数据中台
pdf
Hadoop集群
所有进程查看脚本
1、在/home/atguigu/bin目录下创建脚本xcall.shcd/home/atguigu/binvimxcall.sh脚本编写如下内容#!/bin/bashforiinhadoop102hadoop103hadoop104doecho---------$i----------ssh$i"$*"done2、赋予文件运行权限chmod+xxcall.sh3、使用案例xcall.shjps相
在下区区俗物
·
2024-02-08 21:04
hadoop
大数据
linux
HDFS执行balance报错:hdfs balance java.io.IOException: Another Balancer is running.. Exiting
现象:1、大数据
Hadoop集群
,HDFS扩容后,为了使各节点数据均衡,执行balance操作。2、启动hdfsbalance时,一直出现其他的balance在执行中,其实并没有执行。
不会吐丝的蜘蛛侠。
·
2024-02-08 08:29
Hadoop
hdfs
hadoop
java
CentOS7搭建
Hadoop集群
准备工作1、准备三台虚拟机,参考:CentOS7集群环境搭建(3台)-CSDN博客2、配置虚拟机之间免密登录,参考:CentOS7集群配置免密登录-CSDN博客3、虚拟机分别安装jdk,参考:CentOS7集群安装JDK1.8-CSDN博客4、下载Hadoop安装包,下载地址:链接:https://pan.baidu.com/s/1f1DmqNNFBvBDKi5beYl3Jg?pwd=6666搭建
在下区区俗物
·
2024-02-07 12:57
Hadoop集群安装部署
hadoop
eclipse
java
hadoop集群
搭建踩坑实录
由于不可控以及不可知的原因我搭建的
hadoop集群
突然显示虚拟机出现了问题导致某一个DataNode数据丢失并且无法通过Xshell远程访问其他的DataNode主机和虚拟机无法互相ping通网上能找的解决办法基本都找了依然无法解决因此我能想到的是只能删除虚拟机重新克隆一台机器然而还是无法通过远程连接无奈之下我重启电脑发现又可以通过
温文尔雅的流氓
·
2024-02-07 10:39
Hadoop
kyuubi 接入starrocks | doris
kyuubi接入starrocks一、环境
Hadoop集群
组件版本Hadoop3.1.1spark3.Xzookeeper3.XHive3.Xkyuubi版本1.7.1starrocks2.X 已将kyuubi
甜甜的巧克力阿
·
2024-02-07 09:48
大数据相关
大数据
kyuubi
starrocks
doris
Hadoop集群
(第10期副刊)_常用MySQL数据库命令
1、系统管理1.1连接MySQL格式:mysql-h主机地址-u用户名-p用户密码举例:例1:连接到本机上的MySQL。首先在打开DOS窗口,然后进入目录mysqlbin,再键入命令"mysql–uroot–p",回车后提示你输密码,如果刚安装好MySQL,超级用户"root"是没有密码的,故直接回车即可进入到MySQL中了,MySQL的提示符是:mysql>。例2:连接到远程主机上的MYSQL。
阿布2
·
2024-02-07 00:08
Hadoop学习之道
hadoop集群
hadoop
mapreduce
集群
数据挖掘
Centos7.5+Ambari2.7.3+HDP3.1.0.0离线安装
就Ambari的作用来说,就是创建、管理、监视
Hadoop集群
,但是这里的Hadoop指的是Hadoop整个生态圈(例如Hive,Hbase,Sqoop,Zookeeper等),而并不仅是特指Had
WaiSaa
·
2024-02-06 02:53
hadoop调优-HDFS集群数据不均衡处理hdfs balancer
步骤:1、命令行设置宽带(如果在启动
Hadoop集群
前已
不会吐丝的蜘蛛侠。
·
2024-02-05 16:08
Hadoop
hadoop
hdfs
big
data
绝对完美解决hdfs datanode数据和磁盘数据分布不均调整(hdfs balancer )——经验总结
Hadoop集群
Datanode数据倾斜,个别节点hdfs空间使用率达到95%以上,于是新增加了三个Datenode节点,由于任务还在跑,数据在不断增加中,这几个节点现有的200GB空间估计最多能撑20
ZhaoYingChao88
·
2024-02-05 16:05
Hadoop
hdfs
6.Linux虚拟机下的
Hadoop集群
搭建之完全分布式配置
8u162-linux-x64本案例软件包:链接:https://pan.baidu.com/s/1ighxbTNAWqobGpsX0qkD8w提取码:lkjh(若链接失效在下面评论,我会及时更新)一、配置
Hadoop
学习BigData
·
2024-02-05 13:01
关于Hadoop的学习笔记
hadoop
分布式
linux
Hadoop一键启动脚本编写
一、问题描述针对
Hadoop集群
使用start-dfs.shstart-yarn.sh进程无法全部启动,但是使用单独启动命令可以启动的问题进行解决。
学习BigData
·
2024-02-05 13:01
关于Hadoop的学习笔记
linux
hadoop
4.Linux虚拟机下的
Hadoop集群
搭建之Xshell及Xftp的使用和SSH服务配置
Hadoop及相关组件搭建指导WeChat:h19396218469本案例软件包:链接:https://pan.baidu.com/s/1ighxbTNAWqobGpsX0qkD8w提取码:lkjh(若链接失效在下面评论,我会及时更新)一、Xshell和Xftp的使用在这里我们首先要了解两个软件,一个是Xshell另一个是Xftp。1.Xshell是一个强大的安全终端模拟软件,它支持SSH1,SS
学习BigData
·
2024-02-05 13:31
关于Hadoop的学习笔记
linux
hadoop
ssh
Flink1.18.0集成Yarn-session模式部署
上次部署了
Hadoop集群
Hadoop3.3.6(HDFS、YARN、MapReduce)完全分布式集群安装搭建这次集成下flinkYARN上部署的过程是:客户端把Flink应用提交给Yarn的ResourceManager
china-zhz
·
2024-02-04 21:34
flink
yarn
hadoop
大数据
Hadoop3.3.6(HDFS、YARN、MapReduce)完全分布式集群安装搭建
节点部署角色目录二、下载软件三、基础设施1、安装必要插件2、设置IP及主机名3、时间同步4、jdk安装5、ssh免密登录四、Hadoop部署1、目录及环境变量准备2、安装3、修改配置文件4、分发文件5、启动
hadoop
china-zhz
·
2024-02-04 21:33
hdfs
mapreduce
hadoop
yarn
Hadoop集群
搭建
搭建
Hadoop集群
涉及多个步骤,包括准备硬件环境、安装和配置Hadoop以及验证集群的安装。
终将老去的穷苦程序员
·
2024-02-04 19:53
hadoop
2021-07-02
Hadoop集群
构建配主机名vi/etc/sysconfig/networkNETWORKING=yesHOSTNAME=hadoop012.配置IP映射vi/etc/hosts127.0.0.1localhostlocalhost.localdomainlocalhost4localhost4
谢尔比比
·
2024-02-04 02:40
笔记
【livy】Spark Livy深究
的解决方案从任何地方提交job使用交互式的Scala、Python语言与远程的spark集群进行通信无需更改代码Livy的运作流程阐述Livy的安装、启动、访问Livy的启动:依次启动zookeeper集群、
Hadoop
小赵要加油
·
2024-02-02 13:07
livy
大数据
分布式
开源大数据集群部署(八)Ranger编译部署
简单说明如下:在pom.xml中更改对应
hadoop集群
组件版本。ranger2编译前提条件是python3和mvn已安装完成。
云掣YUNCHE
·
2024-02-01 16:57
开源大数据集群部署
开源
大数据
Ambari2.7.3 和HDP3.1.0搭建
Hadoop集群
一、环境及软件准备1、集群规划hadoop01/192.168.0.151hadoop02/192.168.0.152hadoop03/192.168.0.153hadoop04/192.168.0.154hadoop05/192.168.0.155ambariserver是否否否否ambariagent是是是是是namenode是是否否否datanode否否是是是resourcemanager是
大道至简非简
·
2024-01-31 13:04
安装Hive
1、提前安装mysql,确保具有远程访问的权限2、启动
hadoop集群
,确保集群正常能够访问1.上传软件使用CRT等客户端远程上传apache-hive-3.1.2-bin.tar.gz文件到/export
小王每天都在学习
·
2024-01-30 08:26
Hive
hive
hadoop必记知识点(2)
6.
hadoop集群
计算的时候,什么是集群的主要瓶颈?展开说一下,生产遇到了什么问题?在
Hadoop集群
进行计算时,可能会遇到多个瓶颈,但最主要的通常包括网络带宽、存储以及CPU处理能力。
运维仙人
·
2024-01-30 02:39
hadoop
大数据
分布式
大数据之Hadoop-MapReduce(1)
MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序,并发运行在一个
Hadoop集群
上。
jackyan163
·
2024-01-29 04:18
2021-08-10 HDFS Web报错Couldn‘t preview the file.
添加配置信息dfs.webhdfs.enabledtrue第二步:配置浏览器所在系统的hosts文件windows:在C:\Windows\System32\drivers\etc\hosts末尾增加内容(
Hadoop
学习是一种信仰_zdy
·
2024-01-28 21:28
大数据
hadoop
大数据
hdfs
Ubuntu22.04三台虚拟机
Hadoop集群
安装和搭建(全面详细的过程)
虚拟机Ubuntu22.04
Hadoop集群
安装和搭建(全面详细的过程)环境配置安装安装JDK安装Hadoop三台虚拟机设置克隆三台虚拟机设置静态IP修改虚拟机hostssh免密登录关闭防火墙Hadoop
WuRobb
·
2024-01-28 06:41
hadoop
大数据
分布式
java
Hadoop集群
部署流程
前置要求需要3台虚拟机,系统为Centos7,分别host命名为node1,node2,node3,密码均为root请确保这三台虚拟机已经完成了JDK、SSH免密、关闭防火墙、配置主机名映射等前置操作在3台虚拟机的/etc/hosts文件中,填入如下内容:(同时这也是三台虚拟机的ip地址)192.168.88.131node1192.168.88.132node2192.168.88.133nod
正在绘制中
·
2024-01-28 02:09
hadoop
大数据
分布式
Hadoop增加新节点环境配置(自用)
完成
Hadoop集群
增添一个新的节点配置(文中命名为)Hadoop106,没有进行继续为该节点分配身份职能的步骤1.在VMware中安装CentOS7新建虚拟机1.
革斤要加油
·
2024-01-27 07:50
专业课
hadoop
大数据
分布式
Hadoop3.x学习笔记
Hadoop入门1、Hadoop概述1.1简介1.2hadoop优势1.3hadoop组成1.4大数据技术生态体系2、环境准备(重点)2.1模板机配置2.2模板创建3、本地运行模式(官方WordCount)4、
Hadoop
魅Lemon
·
2024-01-26 09:24
大数据
hadoop
大数据分析组件Hive-集合数据结构
它提供了一个类似于SQL的查询语言(称为HiveQL),允许用户以类似于关系型数据库的方式查询和分析存储在
Hadoop集群
中的数据。
Aimyon_36
·
2024-01-25 15:15
Hive
数据分析
hive
数据结构
hadoop集群
部署
hadoop简介Hadoop是一个由Apache基金会所开发的分布式系统基础架构,是一个存储系统+计算框架的软件框架,主要解决海量数据存储与计算的问题,是大数据技术中的基石。Hadoop以一种可靠、高效、可伸缩的方式进行数据处理,用户可以在不了解分布式底层细节的情况下,开发分布式程序,用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。Hadoop的框架最核心的设计就是:HDFS和Ma
Cat God 007
·
2024-01-25 12:45
笔记
大数据
大数据
hdfs
Hadoop集群
的部署,安装和管理(头歌)
示例集群信息以下表格为本教程所用示例集群节点信息:我们准备了三台虚拟服务器,连接方式如下:第一步我们需要在evassh服务器初始化虚拟服务器:cd/optwrapdockerulimit-funlimiteddockerload-iubuntu16-ssh.tardocker-composeup-d注意:请不要在各个虚拟服务器之间进行ssh登录,这种操作会导致无法保存配置数据。正确方法是:在虚拟服
小坏蛋儿&
·
2024-01-25 12:14
大数据
hadoop
服务器
linux
hadoop集群
规划部署
一、集群规划三台硬件资源,部署hadoop版本,hadoop-3.3.5,部署后配置文件。Hadoop配置文件分两类:默认配置文件和自定义配置文件。hadoop102hadoop103hadoop104HDFSNameNodeDataNodeDataNodeSecondaryNameNodeDataNodeYARNNodeManagerResourceManagerNodeManagerNodeM
Snower_2022
·
2024-01-25 12:43
hadoop
hadoop
java
大数据
Hbase集群安装部署
安装好对应版本的
hadoop集群
,并启动安装好对应版本的zookeeper集群,并启动HBase集群安装部署下载安装包并上传到node01服务器安装包下载地址:http://archive.cloudera.com
我还不够强
·
2024-01-25 12:02
部署
Hadoop集群
在node1节点执行,以root身份1:在VMware虚拟机集群上部署HDFS集群1)准备好hadoop安装包;目前最新3.3.4;了解:2)上传解压hadoop①:上传hadoop到node1节点;②:解压安装包到/export/server(自己定的文件夹)中:tar-zxvfhadoop-3.3.4.tar.gz-C/export/server③:构建软连接也可改名(修改文件名用mv)cd/
%HelloWorld%
·
2024-01-24 13:27
java
开发语言
Hadoop集群
(第12期)_HBase简介及安装
HBase简介HBase是ApacheHadoop的数据库,能够对大型数据提供随机、实时的读写访问,是Google的BigTable的开源实现。HBase的目标是存储并处理大型的数据,更具体地说仅用普通的硬件配置,能够处理成千上万的行和列所组成的大型数据库。HBase是一个开源的、分布式的、多版本的、面向列的存储模型。可以直接使用本地文件系统也可使用Hadoop的HDFS文件存储系统。为了提高数据
weixin_30451709
·
2024-01-24 08:23
大数据
数据库
人工智能
HBase详细概述
不过在此之前,你可以先了解Hadoop生态系统,若想运行HBase,则需要先搭建好
Hadoop集群
环境,可以参考此文搭建5个节点的
hadoop集群
环境(CDH5)。好了,让我们来学习HBase吧!
a867901084
·
2024-01-24 08:49
大数据
数据库
运维
Hadoop集群
配置及测试
Hadoop集群
配置及测试NameNode与SecondaryNameNode最好不在同一服务器ResourceManager较为消耗资源,因而和NameNode与SecondaryNameNode最好不在同一服务器
YUuuuME_
·
2024-01-23 11:07
hadoop
大数据
分布式
hadoop之mapreduce教程+案例学习(一)
MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序,并发运行在一个
Hadoop集群
上。
菜瓜技术联盟
·
2024-01-22 19:04
Hadoop
mapreduce
hadoop
关于Hive架构原理,尚硅谷
最近学习hive时候,在做一个实操案例,具体大概是这样子的:我在dataGip里建了一个表,然后在
hadoop集群
创建一个文本文件里面存储了数据库表的数据信息,然后把他上传到hdfs后,dataGrip
大数据SQLboy
·
2024-01-22 11:41
Hive
hive
架构
hadoop
25.集群异常故障分析——HOSTS
25.1问题情况
Hadoop集群
HDFS、YARN、Hive等服务出现异常告警重启集群异常告警任然存在大量告警Cluster1HDFS可用空间抑制...NameNode运行状况抑制...HDFS金丝雀抑制
大勇任卷舒
·
2024-01-22 02:51
Linux修改hadoop配置文件及启动
hadoop集群
详细步骤
目录一、配置Hadoop环境1.查看Hadoop解压位置2.配置环境变量3.编辑环境变量4.重启环境变量5.查看Hadoop版本,查看成功就表示Hadoop安装成功了二、修改配置文件1.检查三台虚拟机:2.切换到配置文件目录3.修改hadoop-env.sh文件4.修改core-site.xml文件5.修改mapred-site.xml文件6.修改hdfs-site.xml文件7.修改yarn-s
CatalinaCatherine
·
2024-01-21 05:45
Linux
linux
hadoop
运维
linux下
hadoop集群
并且配置安装百分百成功
可以去jdk官网下载8或者11版本,别用18因为hadoop会不兼容,先卸载本机的自带的jdk,下面我给大家带一个我在用的hadoop链接hadoop下载链接假设在你的linux上面有三个虚拟机hadoop102hadoop103hadoop104然后我们打开hadoop102进行安装hadoop,将我们下载好的压缩包利用xftp移到我们的虚拟机文件夹下分别是jdk包和hadoop包,这个虚拟机的
新城已无旧少年_
·
2024-01-21 05:45
大数据
大数据
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他