E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
hadoop管理命令
HBase介绍
GFS是GoogleFileSystem,开源实现是HDFS(
Hadoop
FileSystem)。MapReduce计算框架的开源实现是
Hadoop
MapReduce。
M.Rambo
·
2024-02-01 06:09
hbase
数据库
大数据
分布式
java
2019/2/20Hbase单节点安装
hbase(hbase-2.0.0-bin.tar.gz)解压过程即为安装过程解压=》为了让hbase的存放路径指定ns这个组名(防止出先不认识“ns”的错误)[root@zhiyou01~]#cp/usr/
hadoop
阳光正好微风不燥_c509
·
2024-02-01 05:39
zookeeper集群群起脚本
所以要写个脚本,我的主机名是有规律的
hadoop
101;
hadoop
102;
hadoop
103所以创建脚本的过程如下:到/usr/local/bin目录下touch一个文件,这里我叫zkstartUtil.sh
小北觅
·
2024-02-01 05:01
Hadoop
大数据技术原理与应用
Hadoop
大数据技术原理与应用大数据概述定义特征大量,多样,高速,价值研究意义应用场景医疗,金融,零售
Hadoop
概述历史优势扩容能力强,成本低,高效率,可靠性,高容错
Hadoop
生态分布式存储系统(
kk8_
·
2024-02-01 04:33
hadoop
大数据
hdfs
[绝对要收藏]配置
hadoop
完全分布式环境
##环境:
hadoop
-2.7.2,jdk1.8.0_144,CentOS-7-x86_64-Minimal-2009.iso1先创建一个主机2修改id,hostname,hosts3关闭防火墙4连接xshell5
Java小白中的菜鸟
·
2024-02-01 03:04
centos7
hadoop
分布式
hdfs
Sqoop数据迁移工具
概述ApacheSqoop(SQL-to-
Hadoop
)项目旨在协助RDBMS与
Hadoop
之间进行高效的大数据交流。
小希 fighting
·
2024-02-01 03:55
sqoop
hadoop
hive
分布式
大数据
数据库
sql
Hadoop
生产调优 (七) --------- MapReduce 与 Yarn 生产经验
目录一、MapReduce生产经验1.MapReduce跑的慢的原因2.MapReduce常用调优参数3.MapReduce数据倾斜问题二、Yarn生产经验1.常用的调优参数2.三种调度器的使用一、MapReduce生产经验1.MapReduce跑的慢的原因MapReduce程序效率的瓶颈在于两点:计算机性能CPU、内存、磁盘、网络I/O操作优化数据倾斜Map运行时间太长,导致Reduce等待过久
在森林中麋了鹿
·
2024-02-01 03:17
Hadoop
mapreduce
hadoop
大数据
windows 下面Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.
hadoop
.io.nativei...
本地运行,注意两点,配置本地的
hadoop
环境变量,注意
hadoop
版本是windows版本,在本地跑的时候遇到Exceptioninthread"main"java.lang.UnsatisfiedLinkError
smartjiang
·
2024-02-01 02:20
大数据高频面试题一:hive和Oracle的区别
Hive和Oracle数据库最大的区别在于存储和计算方面:Hive存储在hdfs上(
Hadoop
分布式文件系统容错性高),Oracle将数保存在本地文件系统中。
半亩书田
·
2024-02-01 02:47
面试题
hive
hadoop
大数据
新手必须掌握的Linux命令---文件目录
管理命令
[TOC]新手必须掌握的Linux命令---文件目录
管理命令
掌握对文件的创建、修改、复制、剪切、更名与删除等操作1、touch命令touch命令用于创建空白文件或设置文件的时间,格式为“touch[选项
CC晨_程序小生
·
2024-02-01 02:21
解决There are 0 datanode(s) running and no node(s) are excluded in this operation.
出现上述问题可能是格式化两次
hadoop
,导致没有datanode解决方法1:重启linux,再使用start-dfs.sh和start-yarn.sh重启一下
hadoop
解决办法2:找到
hadoop
安装目录下
有一束阳光叫温暖
·
2024-01-31 23:56
Java基础-多线程(3)
如
hadoop
分布式集群。所以并发编程的目标是充分的利用处理器的每一个核,以达到最高的处理性能。36.线程和进程的区别?简而言之,进程是程序运行和资源分配的基本
C乖
·
2024-01-31 16:51
数据湖技术Iceberg0.12预研文档
trino(presto)本次预研使用组件如下:名称版本描述flink1.12.1通过parcel包部署于cdh6.3.2中cdh6.3.2开源版本hive2.3.7包含cdh中(更换jar升级替换)
hadoop
3.0.0cdh
我去探险了
·
2024-01-31 15:36
数据湖技术
hive
kafka
big
data
Ambari2.7.3 和HDP3.1.0搭建
Hadoop
集群
一、环境及软件准备1、集群规划
hadoop
01/192.168.0.151
hadoop
02/192.168.0.152
hadoop
03/192.168.0.153
hadoop
04/192.168.0.154
hadoop
05
大道至简非简
·
2024-01-31 13:04
04:容器技术概述|镜像与容器|docker配置管理
docker配置管理什么是容器优点缺点docker与容器跳板机yum源添加docker软件在node节点验证软件包开启路由转发镜像管理&容器管理如何获取镜像镜像备份与恢复运行容器查看镜像的启动信息镜像
管理命令
容器
管理命令
容器内部署应用什么是容器就是将软件打包成标准化单元
桑_榆
·
2024-01-31 12:12
云计算
docker
容器
运维
Hadoop
Windows10上用idea进行
hadoop
客户端远程操作
1.idea上访问
Hadoop
客户端的uri地址要和core-site.xml中fs.defaultFS的参数一致2.执行自定义的程序之前,要启动
Hadoop
,否则会报错:Causedby:java.net.ConnectException
大数据新新菜鸟
·
2024-01-31 12:41
hadoop
intellij-idea
大数据
IDEA中
Hadoop
的环境配置
没有配置
Hadoop
Home:在Windows下解压一份
Hadoop
安装包
Hadoop
使用log4j进行日志输出,明显没有配置log4j再次运行,显示了作业的运行情况
hhhhhhhhhhhnb
·
2024-01-31 12:36
intellij-idea
java
intellij
idea
hadoop
linux
Intelj IDEA 配置
Hadoop
远程调试环境
远程
hadoop
版本:
Hadoop
3.0.0+cdh6.3.2一、设置本地
hadoop
环境1、下载
hadoop
下载
hadoop
-3.0.0.tar.gz,并解压到D:\BigData\并重命名为
hadoop
跟着大数据和AI去旅行
·
2024-01-31 12:34
大数据从入门到精通
hadoop
intellij
idea
systemd:service与target使用及相关命令
2.1.2[Service]区块2.1.3[Install]区块2.1.4示例介绍2.2service常用命令三、target3.1tartget有关命令四、其他系统命令4.1systemctl相关系统
管理命令
hello_ludy
·
2024-01-31 11:52
#
linux操作系统
systemd
target
journalctl
systemctl
service
java进阶
1.大数据史上最全Flink面试题,高薪必备,大数据面试宝典史上最全
Hadoop
面试题:尼恩大数据面试宝典专题1史上最全HBase面试题,高薪必备,架构必备史上最全Hive面试题,高薪必备,架构必备绝密
don't_know
·
2024-01-31 09:44
java
企业级大数据安全架构(七)服务安全
认证机制,目前直接对接kerberos使用较多,这里我们使用FreeIPA来集成kerberosFreeIPA官网下载地址:https://www.freeipa.org/page/Downloads
Hadoop
云掣YUNCHE
·
2024-01-31 08:08
企业级大数据安全架构
安全
大数据
安全架构
WARNING:
HADOOP
_SECURE_DN_USER has been replaced by HDFS_DATANODE_SECURE_USER. Using value of
HADOOP
Hadoop
启动时报错WARNING:
HADOOP
_SECURE_DN_USERhasbeenreplacedbyHDFS_DATANODE_SECURE_USER.Usingvalueof
HADOOP
_SECURE_DN_USER
W_yhhh
·
2024-01-31 08:44
hadoop
hdfs
大数据
hadoop
-hdfs-site.xml配置文件详解
hadoop
:hdfs-site.xml配置文件详解hdfs-site.xml配置文件j介绍
hadoop
-hdfs相关的配置信息hdfs-site.xml配置文件namevaluedescription
hadoop
.hdfs.configuration.version1versionofthisconfigurationfiledfs.namenode.logging.levelinfoThelo
许喜朝
·
2024-01-31 08:13
笔记
hdfs
hadoop
关于
Hadoop
全分布构建no HDFS_NAMENODE_USER 错误解决
在
Hadoop
全分布构建中,常常会出现以下错误[root@
Hadoop
c1
hadoop
]#start-all.shStartingnamenodeson[192.168.13.245]ERROR:AttemptingtooperateonhdfsnamenodeasrootERROR
(((φ(◎ロ◎;)φ)))云凡
·
2024-01-31 08:43
笔记
Hadoop
hadoop
hdfs
big
data
WARNING:
HADOOP
_SECURE_DN_USER has been replaced by HDFS_DATANODE_SECURE_USER.
hadoop
启动时WARNING:
HADOOP
_SECURE_DN_USERhasbeenreplacedbyHDFS_DATANODE_SECURE_USER.Usingvalueof
HADOOP
_SECURE_DN_USER
北朽暖栀24
·
2024-01-31 08:41
linux系统
hadoop
hdfs
linux
ubuntu
Hadoop
_HDFS_hdfs 文件系统操作指令
本地做个备份,下面的文章摘自
Hadoop
官网Link:http://
hadoop
.apache.org/docs/r2.7.3/
hadoop
-project-dist/
hadoop
-common/FileSystemShell.html
高达一号
·
2024-01-31 08:11
Hadoop
hadoop
hdfs操作指令
hdfs
启动集群时遇到WARNING:
HADOOP
_SECURE_DN_USER做替换
启动集群时遇到WARNING:
HADOOP
_SECURE_DN_USERhasbeenreplacedbyHDFS_DATANODE_SECURE_USER.Usingvalueof
HADOOP
_SECURE_DN_USER
Dirth.
·
2024-01-31 08:40
大数据
hadoop
org/apache/
hadoop
/hive/shims/ShimLoader
Exceptioninthread"main"java.lang.NoClassDefFoundError:org/apache/
hadoop
/hive/shims/ShimLoaderatorg.apache.
hadoop
.hive.conf.HiveConf
木生火18624
·
2024-01-31 08:38
异常错误
大数据实战
【大数据入门核心技术-Tez】(三)Tez与Hive整合
一、准备工作1、
Hadoop
和Hive安装【大数据入门核心技术-
Hadoop
】(五)
Hadoop
3.2.1非高可用集群搭建【大数据入门核心技术-
Hadoop
】(六)
Hadoop
3.2.1高可用集群搭建【
forest_long
·
2024-01-31 08:06
大数据技术入门到21天通关
hive
大数据
hadoop
hbase
mapreduce
大数据[1] -- 安装
hadoop
文章目录
Hadoop
安装以及配置一、安装1.安装SSH,设置SSH无密码登录2.安装jdk3.安装
Hadoop
二、配置三、其他配置四、出现的问题五参考文章
Hadoop
安装以及配置一、安装1.安装SSH,
天下一般
·
2024-01-31 08:06
环境的配置与软件的使用
操作系统
大数据
linux
Hadoop
搭建集群中输入hdfs namenode -format格式化节点时,提示:hdfs command not found 解决办法
分析原因:
hadoop
的安装路径没有加入到当前路径中解决办法:方法1:进入
hadoop
的安装目录,在执行
hadoop
命令时在前面加上:./bin.
drhrht
·
2024-01-31 08:05
java
java
后端
Hadoop
中hdfs-default.xml的位置
在
hadoop
安装包中
hadoop
-2.7.2\share\
hadoop
\hdfs\
hadoop
-hdfs-2.7.jar里面
BugEveryday
·
2024-01-31 08:31
Hadoop
hadoop
Hadoop
3.x hdfs-site.xml HDFS最小化配置参数
dfs.namenode.http-addressc101:9870dfs.namenode.secondary.http-addressc102:9868########################################################配置文件修改后,启动./start-dfs.sh的时候会提示找不到JAVA_HOME的报错,虽然配置了jdk的环境。还需要配置had
ChengRuoFei
·
2024-01-31 08:31
Hadoop
hadoop
hdfs
xml
如何通过Hive/tez与
Hadoop
的整合快速实现大数据开发
一、Hive的功能Hive是基于
Hadoop
的一个外围数据仓库分析组件,可以把Hive理解为一个数据仓库,但这和传统的数据库是有差别的。
小枫@码
·
2024-01-31 08:00
大数据架构师
hadoop
大数据
hive
2024-01-30(
Hadoop
_HDFS)
1.什么是大数据狭义(技术思维):使用分布式技术完成海量数据的处理,得到数据背后蕴含的价值。广义:大数据是数字化时代,信息化时代的基础(技术)支撑,以数据为生活赋能。大数据的核心工作:从海量的高增长、多类别、低信息密度的数据中挖掘出高质量的结果。(海量数据存储、海量数据传输、海量数据计算)2.大数据的核心工作存储:妥善保存海量待处理数据计算:完成海量数据的价值挖掘传输:协助各个环节的数据传输3.大
陈xr
·
2024-01-31 08:30
随记日志
hadoop
大数据
hdfs
Hadoop
-MapReduce-源码跟读-MapTask阶段篇
一、源码下载下面是
hadoop
官方源码下载地址,我下载的是
hadoop
-3.2.4,那就一起来看下吧Indexof/dist/
hadoop
/core二、Mapper类我们先看下我们写的map所继承的Mapper
隔着天花板看星星
·
2024-01-31 07:29
hadoop
mapreduce
eclipse
Hadoop
生态系统中一些关键组件的详细解析
1.
Hadoop
核心组件HDFS(
Hadoop
DistributedFileSystem):分布式文件存储系统。提供高吞吐量的数据访问,非常适合用于大规模数据集。
薛定谔的zhu
·
2024-01-31 07:27
hadoop
大数据
大数据从入门到实战-
hadoop
开发环境搭建
配置JavaJDK1.下载JDK前往Oracle的官网下载JDK:JavaDownloads|Oracle我们可以先下载到本地,然后从Windows中将文件传入到虚拟机中。也可以复制链接地址,在Linux系统中下载,不过复制链接地址不能直接下载,因为Oracle做了限制,地址后缀需要加上它随机生成的随机码,才能下载到资源所以我们可以点击下载,然后暂停,最后在下载管理中复制链接地址就可以在Linux
是草莓熊吖
·
2024-01-31 07:25
hadoop
java
大数据
大数据系列教程003-
hadoop
伪分布式环境搭建步骤
声明:大数据系列教程文章由Java潘老师辛苦原创,免费公开供java爱好者学习。如需转载请获得潘老师授权并保留原文链接,如有疑问或建议,可以联系潘老师:Q:1562691348V:A1562691348本教程学习知识储备:JavaSE基础、Linux基础、数据库基础步骤:直接点击链接查看1.安装vmware122.设置vmware虚拟网络编辑器3.安装虚拟机CentOS74.设置静态ip5.永久修
Java潘老师
·
2024-01-31 07:53
大数据系列教程
大数据
hadoop
伪分布式环境搭建
Springboot快速教程---Docker搭建与整合Hbase
Hbase简介HBase是
Hadoop
的生态系统,是建立在
Hadoop
文件系统(HDFS)之上的分布式、面向列的数据库,通过利用
Hadoop
的文件系统提供容错能力。
爆米花机枪手
·
2024-01-31 07:53
JAVA
Maven
Docker
springboot
hbase
docker
docker搭建hbase环境
hbase是
hadoop
生态中的一员,最早搭建hbase,需要先安装
hadoop
,然后安装zookeeper,再安装hbase。
luffy5459
·
2024-01-31 07:52
hadoop
云计算
docker
hbase
springboot
hbaseadmin
table
大数据环境搭建(一)-
Hadoop
1.服务器环境准备Linux镜像:centos7.9JDK:jdk1.8.0_212
Hadoop
:apache-
hadoop
-3.3.4创建虚拟Linux服务器配置虚拟机,每台主机名与ip如下主机名ipbd-centos01192.168.159.101bd-centos02192.168.159.102bd-centos03192.168.159.103
xfchn多多学习学习
·
2024-01-31 07:20
#
Hadoop
大数据
大数据
hadoop
分布式
大数据存储与管理
大数据存储与管理本节主要讲述大数据存储与管理技术的概念和原理,包括
Hadoop
分布式文件系统(HDFS)和分布式数据库(Hbase);体系结构:一、分布式文件系统HDFS1.HDFS体系结构2.HDFS
Kris林
·
2024-01-31 07:25
大数据-
Hadoop
概论
1、大数据概念2、大数据特点1、Volume(大量)2、Velocity(高速)3、Variety(多样)4、Value(低价值密度)3、大数据应用场景4、大数据部门业务流程分析5、大数据部门组织机构
Hadoop
1
Mr.史
·
2024-01-31 06:21
Hadoop
hadoop
大数据
大数据----4.
hadoop
分布式框架搭建
hadoop
分布式框架搭建一、
Hadoop
的三种运行模式(启动模式)1.1、单机模式(独立模式)(Local或StandaloneMode)-默认情况下,
Hadoop
即处于该模式,用于开发和调式。
学无止境的大象
·
2024-01-31 06:49
#
大数据
hadoop
大数据----12.MapReduce计算框架
1.2
Hadoop
的MapReduce的并行编程模型如下图2所示,
Hadoop
的MapReduce先将数据划分为多个key/value键值对。然后输
学无止境的大象
·
2024-01-31 06:49
#
大数据
hadoop
大数据
分布式
zookeeper
hbase
二百二十一、HiveSQL报错:return code 2 from org.apache.
hadoop
.hive.ql.exec.mr.MapRedTask
一、目的在运行HiveSQL时,执行报错tatement:FAILED:ExecutionError,returncode2fromorg.apache.
hadoop
.hive.ql.exec.mr.MapRedTask
天地风雷水火山泽
·
2024-01-31 06:48
Hive
hive
Python+大数据-
hadoop
(四)-
Hadoop
MapReduce、YARN、HA
Python+大数据-
hadoop
(四)-
Hadoop
MapReduce、YARN、HA今日课程学习目标理解分布式计算分而治之的思想学会提交MapReduce程序掌握MapReduce执行流程掌握YARN
呆猛的呆呆小哥
·
2024-01-31 06:16
python+大数据
linux
大数据
hadoop
python
apache
大数据技术
Hadoop
之分布式计算框架MapReduce
Hadoop
作为一种分布式计算框架,被广泛应用于大数据处理领域。其中,MapReduce是
Hadoop
中最重要的组件之一。
大马猴写bug
·
2024-01-31 06:11
hadoop
大数据
mapreduce
Hadoop
系列之-4、MapReduce分布式计算
大数据系列文章目录目录MapReduce计算模型介绍理解MapReduce思想
Hadoop
MapReduce设计构思MapReduce编程规范及示例编写编程规范编程步骤WordCount示例编写MapReduce
技术武器库
·
2024-01-31 06:10
大数据专栏
hadoop
mapreduce
上一页
7
8
9
10
11
12
13
14
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他