E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
hadoop整理总结
Hadoop
基础情况回顾
大数据开源技术发展了这么多年,从
Hadoop
开源框架开始,陆陆续续出现了很多框架技术,把
Hadoop
框架中的模块部件取代了,但是
Hadoop
依然是值得回顾学习的,一个是
Hadoop
的三驾马车是经典技术思想
鬓戈
·
2023-12-19 22:30
大数据
hadoop
大数据
分布式
Hadoop
伪分布式集群安装
平时我们学习
Hadoop
技术时,可不一直沉溺于理论学习,一定要理论和实践相结合,所以就必须有一个
Hadoop
环境,我们能在这个
Hadoop
环境里进行各种操作,来验证我们在书本上学到的知识。
鬓戈
·
2023-12-19 22:28
大数据
分布式
hadoop
大数据
Hive学习新天地一站式掌握Hive技能,让你成为大数据领域的佼佼者!
介绍:Hive是一个构建在
Hadoop
顶层的数据仓库工具,起源于Facebook为了解决海量数据的统计分析需求。
知识分享小能手
·
2023-12-19 22:56
大数据
大数据
hive
学习
从零开始学
Hadoop
,这些网站助你轻松掌握大数据技能!
介绍:
Hadoop
是一个开源框架,允许使用简单的编程模型在跨计算机集群的分布式环境中存储和处理大数据。它的设计旨在从单个服务器扩展到数千台机器,每台机器都提供本地计算和存储。
知识分享小能手
·
2023-12-19 22:56
大数据
大数据
hadoop
分布式
Hbase2.1 集群搭建
>Hbase在大数据的体系中扮演着DB角色,不得不说是重要的一员,在上一篇,大猪已经给大家演示了[
Hadoop
3.2集群搭建](https://www.jianshu.com/p/3182aaff918d
kikiki5
·
2023-12-19 20:39
HBase shell 基础实操
目录1查看HBase状态2查看帮助命令3查看版本号4命名空间操作5创建表6列出所有的表7获取表描述8删除列族9其他DDL操作1查看HBase状态进入HBase客户端命令行:(base)[root@
hadoop
01
Stars.Sky
·
2023-12-19 19:21
HBase
hbase
数据库
大数据
Hadoop
3.x完全分布式模式下slaveDataNode节点未启动调整
目录前言一、问题重现1、查询
Hadoop
版本2、集群启动
Hadoop
二、问题分析三、
Hadoop
3.x的集群配置1、停止
Hadoop
服务2、配置workers3、从节点检测4、WebUI监控总结前言在大数据的世界里
夜郎king
·
2023-12-19 17:35
数据库技术
分布式
Hive底层如何和数据库进行交互
Hivehive是
hadoop
底层用于管理和查询结构化数据的系统。hive的功能实现是由HDFS+Mapreduce结合起来使用的。
旅僧
·
2023-12-19 17:31
hive
数据库
hadoop
熟悉HDFS
(一)熟悉HDFS操作常用的Shell命令(1)使用
hadoop
用户登录Linux系统,启动
Hadoop
(
Hadoop
的安装目录为“/usr/local/
hadoop
”),为
hadoop
用户在HDFS中创建用户目录
ngc2244
·
2023-12-19 16:26
大数据
hdfs
从零开始了解大数据(二):
Hadoop
篇
目录前言一、
Hadoop
集群整体概述1.HDFS集群(分布式存储):(1)HDFS集群角色构成:(2)HDFS集群功能:2.YARN集群(资源管理、调度):(1)YARN集群角色构成:(2)YARN集群功能
橘子-青衫
·
2023-12-19 13:23
大数据
从零开始了解大数据
大数据
hadoop
分布式
Flume 安装与部署
apache-flume-1.9.0-bin.tar.gz上传到linux的/opt/software目录下(2)解压apache-flume-1.9.0-bin.tar.gz到/opt/module/目录下huwei@
hadoop
101
夏木夕
·
2023-12-19 12:06
#
大数据
flume
大数据
Kafka 安装与部署
目录Kafka下载(1)将kafka_2.11-2.4.1.tgz上传至/opt/software/(2)解压安装包至/opt/module/[huwei@
hadoop
101~]$cd/opt/software
夏木夕
·
2023-12-19 12:05
#
大数据
kafka
分布式
大数据
【
Hadoop
】HDFS的体系架构
整体上说HDFS框架结构一HDFS框架结构二(HDFSHighAvailability)整体上说HDFS采用Master/Slave架构。一个HDFS集群是由一个NameNode和一定数目的DataNodes组成。其中NameNode是一个中心服务器,负责文件系统的名字空间(namespace)管理以及客户端对文件的访问。集群中的DataNode一般是一个节点一个,负责管理它所在节点上的存储。从内
不怕娜
·
2023-12-19 11:29
hadoop
hdfs
架构
Aloudata 余俊:数据虚拟化技术如何实现敏捷高效的逻辑数据集成与链路编排
当提到数据仓库时,许多从事数据工作的人可能会想到ETL(抽取、转换、加载)和一些技术工具,如Hive、
Hadoop
和Spark。
Aloudata
·
2023-12-19 11:43
etl工程师
etl
fabric
【已解决】Atlas 导入 Hive 元数据,执行 import-hive.sh 报错
执行import-hive.sh报错[omc@
hadoop
102apache-atlas-2.2.0]$hook-bin/import-hive.shUsingHiveconfigurationdirectory
mba1398
·
2023-12-19 10:29
atlas
hive
大数据学习笔记-MapReduce(一) 入门基础理论
1、
Hadoop
MapReduce介绍mapreduce的思想:分而治之,先分再和,分而治之,把复杂的问题分解,然后逐个解决,分别计算出结果。
天码村
·
2023-12-19 10:36
大数据
mapreduce
大数据
学习
Hadoop
学习(3)-mapreduce快速入门加yarn的安装
mapreduce是一个运算框架,让多台机器进行并行进行运算,他把所有的计算都分为两个阶段,一个是map阶段,一个是reduce阶段map阶段:读取hdfs中的文件,分给多个机器上的maptask,分文件的时候是按照文件的大小分的比如每个maptask都会处理128M的文件大小,然后有个500M的文件,就会启动ceil(500/128)个maptask每读取文件的一行的处理,需要自己去写,注意每个
weixin_30323961
·
2023-12-19 10:05
大数据
操作系统
java
大数据入门二(YARN部署)
1.入门HDFS存储MapReduce计算SparkFlinkYarn资源作业调度伪分布式部署要求环境配置文件参数文件ssh无密码启动jps命令[
hadoop
@
hadoop
002~]$jps28288NameNodeNN27120Jps28410DataNodeDN28575SecondaryNameNodeSNN1
倾白首
·
2023-12-19 10:04
3.1
Hadoop
MapReduce与
Hadoop
YARN -
Hadoop
MapReduce
文章目录
Hadoop
MapReduce(计算)一、理解MapReduce思想二、
Hadoop
MapReduce设计构思(1)如何对付大数据处理场景(2)构建抽象编程模型(3)统一架构、隐藏底层细节三、
Hadoop
MapReduce
周纠纠
·
2023-12-19 10:04
#
大数据Hadoop入门
mapreduce
hadoop
big
data
MapReduce和Yarn部署+入门
mapred-env.shmapred-site.xmlyarn-env.shyarn-site.xml分发到另外两个节点启动YARN启动WEBUI页面3.提交自带MapReduce示例程序到YARN运行wordcount求圆周率1.入门知识点明天2.部署在node1以
hadoop
Y蓝田大海
·
2023-12-19 10:30
大数据开发
mapreduce
大数据
hadoop
操作
文件操作注意当前所在的路径,创建一个mytest文件夹创建一个1.txt文件将1.txt文件移动到mytest中,通过mv改名字,然后查看mytest文件夹的txt文件变成了test.txt删除文件上传下载文件新建1.txt然后编辑它随便输入什么上传然后看看网站里是否有删了本地1.txt的,然后再从网站上通过get下载回来到本地查看网站上存的文件的内容将1.txt改成2.txt然后使用新命令上传通
kkoneone11
·
2023-12-19 09:12
虚拟机
运维
伪集群配置
编辑core-site配置core-site配置hdfs-site将以下的文件配置进去启动一下
hadoop
产生tmp文件产生这个叫namenode的文件并格式化回到~目录再配置以下信息配置以下信息重启文件再重新格式化配置
kkoneone11
·
2023-12-19 09:42
虚拟机
java
开发语言
运维
Shell脚本实现MapReduce统计单词数程序
一、原理介绍概述
Hadoop
Streaming是
Hadoop
提供的一个编程工具,它允许用户使用任何可执行文件或者脚本文件作为Mapper和Reducer,例如:采用shell脚本语言中的一些命令作为mapper
鹅鹅鹅_
·
2023-12-19 08:32
第八章 常见Linux命令
了解磁盘分区类命令第一节文件目录类命令(1)pwd(printworkingdirectory)打印当前目录的绝对路径基本语法pwd(功能描述:显示当前工作目录的绝对路径)案例实操显示当前工作目录的绝对路径[root@
hadoop
1
丁总学Java
·
2023-12-19 06:11
Linux
文件目录类命令
用户管理命令
组管理命令
文件权限类命令
搜索查找类命令
压缩和解压缩命令
进程线程类命令
ClickHouse初级 - 第六章 副本
clickhouse.tech/docs/en/engines/table-engines/mergetree-family/replication/一、副本写入流程二、配置步骤1)启动zookeeper集群2)在在
hadoop
102
懒惰的小白521
·
2023-12-19 05:36
大数据
clickhouse
java
数据库
【大数据面试】YARN常见问题与答案
YARN的改进之处,
Hadoop
3.x相对于
Hadoop
2.x?
话数Science
·
2023-12-19 05:32
面试
大数据
Hadoop
hadoop
大数据
面试
2018-10-25
Zookeeper是一个分布式的,开放源码的分布式应用程序的协调服务组件,是谷歌和Chubby一个开源的实现,是
Hadoop
和Hbase的重要组件,他是一个为分布式应用提供一致性服务的软件,提供的功能包括
极客123
·
2023-12-19 02:13
hadoop
集群二之
hadoop
安装
上一篇我们已经准备好三台虚拟机,计划一主两从搭建
hadoop
集群。没安装的可以参考一下。
皮皮虾不皮呀
·
2023-12-19 00:29
大数据
hadoop
hadoop
安装
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录1.linux下新建文件夹2.安装jdk3.安装
hadoop
1.linux下新建文件夹1、在/opt目录下创建software文件夹
汤·橘子
·
2023-12-19 00:29
dadoop集群搭建
hadoop
linux
大数据
Hadoop
相关安装包上传到目录并完成安装
1.指定一个安装的目录/usr/local/自己的名字(mkdircdhong、rm-rf*)[root@cdhong01~]#cd/usr/local/[root@cdhong01local]#rm-rf*[root@cdhong01local]#mkdircdhong[root@cdhong01local]#cdcdhong/[root@cdhong01cdhong]#pwd/usr/loca
余生跟他走
·
2023-12-19 00:59
数据仓库
linux下安装
hadoop
时解压
hadoop
没有etc文件夹
当你遇到这个问题时,在网上能搜到唯一的答案就是不是source而是binary,我第一次看到的时候也是很懵逼,其实是下载的时候下载错了安装包对没错,虽然我觉得可能只有我会犯这个错,但我还是写这里,毕竟我找哪里出错找了一个多小时。
阿嚏piu
·
2023-12-19 00:58
hadoop
学习笔记
Hadoop
(七)——
Hadoop
集群的安装与部署(4)—— 配置
Hadoop
集群
四、配置
Hadoop
集群
Hadoop
集群总体规划
Hadoop
集群安装采用下面步骤:在Master节点:上传并解压
Hadoop
安装包。
别呀
·
2023-12-19 00:58
hadoop
big
data
spark
怎么下载
hadoop
安装包,并在eclipse上引入
hadoop
外部依赖jar包
有时候在eclipse上运行项目,需要引用的
Hadoop
的jar包,这里总结了一个很有用的小技巧(如果已经有所需jar包,要看怎么使用,直接跳到博客最后面看)首先需要下载
Hadoop
的安装包这里我直接分享一个官网
我欲乘风归去...
·
2023-12-19 00:28
大数据
hadoop
Windows下安装
hadoop
文章目录1.第一步:下载安装包2.第二步:解压下载的压缩包3.第三步:为
hadoop
配置环境变量4.第四步:验证是否安装成功5.如果还不能成功,则看看用户名是否含有空格或特殊符号1.第一步:下载安装包到官网去下载安装包
ElegantCodingWH
·
2023-12-19 00:28
#
Hadoop
hadoop
java
大数据
Hadoop
学习(二)自己编译
Hadoop
安装包
CentOS-6.7编译
hadoop
-2.6.5(只需输入命令即可)目录1、阅读编译文档2、准备编译环境3、安装gcc4、安装gcc-c++5、安装make6、安装maven(必须)7、安装jdk(必须
匿名啊啊啊
·
2023-12-19 00:58
HDFS
Hadoop
集群搭建 - 解压tar.gz包 - 基于CentOS7 -【连载中】
续上一篇文章:7.
Hadoop
集群搭建-上传应用/软件-基于CentOS7-【连载中】目录扩展解压文件解压jdk到指定文件夹解压
Hadoop
到指定文件夹进入到解压后的目录查看是否解压成功扩展说明:以下表格中红色标
AdminLog
·
2023-12-19 00:58
linux
centos
大数据
gzip
hadoop
Hadoop
3.2.*安装
CentOS8系统安装
Hadoop
-3.2.1伪分布式配置
Hadoop
3.2.1版本的环境搭建-Java提升营-博客园[TOC]实验目的在Linux(VM15pro/CentOS8)环境下完成
Hadoop
hzp666
·
2023-12-19 00:57
Hadoop
hadoop
Hadoop
的安装
安装前准备创建一台虚拟机创建过程不再展示,可以看之前的文章关闭防火墙,设置开机自动关闭修改主机名修改hosts文件设置免密登录执行ssh-keygen执行操作ssh-copy-idroot@
hadoop
01
m0_67392409
·
2023-12-19 00:57
java
hadoop
大数据
hdfs
java
开发语言
Hadoop
3.2.0 安装---安装
Hadoop
1.下载最新的
Hadoop
安装包https://www.apache.org/dyn/closer.cgi/
hadoop
/common/
hadoop
-3.2.0/
hadoop
-3.2.0.tar.gz2
m0_67401228
·
2023-12-19 00:57
java
java
后端
实验一、
Hadoop
安装与配置管理
hadoop
安装与配置目标:掌握
Hadoop
安装过程原理Linux环境准备:伪分布式模式的安装和配置步骤:一、准备与配置安装环境:安装虚拟机和linux二、安装jdk三、安装
hadoop
四、HDFS系统初体验五
Lilianac
·
2023-12-19 00:57
Hadoop
hadoop
linux
Hadoop
学习笔记(7)
Hadoop
解压安装以及配置
一、安装
Hadoop
之前说明安装
Hadoop
需要在官网把
Hadoop
文件下载好,并且上传到Linux中。
柏冉看世界
·
2023-12-19 00:57
hadoop
hadoop
安装包解压之后的操作
Hadoop
解压完成之后配置流程修改
hadoop
-env.sh和yarn-env.sh进入
hadoop
-3.2.4/etc/
hadoop
/修改这两个文件增加:JAVA_HOME={java的路径}修改配置文件
冲鸭嘟嘟可
·
2023-12-19 00:55
hadoop
大数据
分布式
集群概念,帮你快速理解集群是什么
一、Cluster常见集群类型在生成环境中使用最多的是LB和HA集群,而HPC也开始活跃起来,例如
hadoop
就是并行处理集群1、LB:LoadBalancing,负载均衡(增加处理能力),有高可用能力
weixin_34202952
·
2023-12-18 23:29
后端
前端
运维
ViewUI
【Apache-StreamPark】Flink 开发利器 StreamPark 的介绍、安装、使用
StreamPark的介绍、安装、使用1)框架介绍与引入1.1.什么是StreamPark1.2.Features1.3.组成部分1.4.引入StreamPark2)安装部署2.1.环境要求2.2.
Hadoop
2.3
bmyyyyyy
·
2023-12-18 23:50
其他
apache
flink
大数据
Hadoop
升级和回滚
现在软件更新非常快,当在一个已有集群上升级
Hadoop
时,像其他的软件升级一样,可能会有新的bug或一些会影响到现有应用的非兼容性变更出现。
Summer_1981
·
2023-12-18 22:43
大数据技术11:
Hadoop
原理与运行机制
前言:HDFS(
Hadoop
DistributedFileSystem)是
Hadoop
下的分布式文件系统,具有高容错、高吞吐量等特性,可以部署在低成本的硬件上。
Java架构何哥
·
2023-12-18 21:56
大数据治理
hadoop
大数据
分布式
Hadoop分布式系统基础框架
基于
Hadoop
的农产品价格信息检测分析系统
基于
Hadoop
的农产品价格信息检测分析系统前言数据处理模块1.数据爬取2.数据清洗与处理3.数据存储数据分析与检测模块1.农产品价格趋势分析2.农产品价格检索3.不同市场价格对比创新点前言为了更好地了解农产品市场价格趋势和不同市场之间的价格差异
爱欲无极
·
2023-12-18 21:24
数据分析与挖掘
数据可视化
hadoop
大数据
分布式
hdfs文件复制方法
hdfs文件复制,并拷贝修复数据--1、复制表结构createtablet1liket2;--2、复制文件数据
hadoop
distcp-update-skipcrccheck-m300hdfs://ns1
菜鸟冲锋号
·
2023-12-18 20:54
数据仓库
hdfs
hadoop
HBase查询的一些限制与解决方案
ApacheHBase是一个开源的、非关系型、分布式数据库,它是
Hadoop
生态系统的一部分,用于存储和处理大量的稀疏数据。
KevinAha
·
2023-12-18 19:05
hbase
数据库
大数据
Hadoop
Single Node Cluster的安装
Hadoop
SingleNodeCluster的安装安装JDK查看java-version更新本地软件包安装JDK查看java安装位置设置SSH无密码登录安装
hadoop
下载安装设置
hadoop
环境变量修改
艾醒(AiXing-w)
·
2023-12-18 16:50
hadoop
hadoop
大数据
分布式
上一页
32
33
34
35
36
37
38
39
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他