Hadoop学习笔记

C# Hadoop学习笔记

记录一下学习地址http://www.360doc.com/content/14/0607/22/3218170_384675141.shtml转载于:https://www.cnblogs.com/TF12138/p/4170558.html
第八个猴子·2024-02-14 07:37

hadoop学习笔记

下载安装伪分布式：1.国内源下载地址：https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/Indexof/apache/hadoop/commonhttps://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/https://mirrors.tuna.tsinghua.edu.cn/
草琳情·2024-02-08 08:54

第一章 大数据Hadoop学习笔记(一）

一、存储单位按顺序给出数据存储单位:bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB。一般TB、PB、EB为单位的数据为大数据。1Byte=8bit1K=1024Byte1MB=1024K1G=1024M1T=1024G1P=1024T二、大数据主要解决海量数据的采集、存储和分析计算问题。三、大数据特点(4V)Volume(大量)、Velocity(高速)、Var
Thanks.·2024-01-09 22:17

【大数据进阶第三阶段之Hive学习笔记】Hive安装

1、环境准备安装hadoop以及zookeeper、mysql【大数据进阶第二阶段之Hadoop学习笔记】Hadoop运行环境搭建-CSDN博客《zookeeper的安装与配置》自行百度《Linux环境配置
伊达·2024-01-06 07:07

大数据高级开发工程师——Hadoop学习笔记（4）

文章目录Hadoop进阶篇MapReduce：Hadoop分布式并行计算框架MapReduce的理解MapReduce的核心思想MapReduce编程模型MapReduce编程指导思想【八大步骤】Map阶段2个步骤shuffle阶段4个步骤reduce阶段2个步骤MapReduce编程入门——单词统计hadoop当中常用的数据类型词频统计MapReduce的运行模式1.本地模式2.集群运行模式Ma
讲文明的喜羊羊拒绝pua·2024-01-05 08:20

【大数据进阶第二阶段之Hadoop学习笔记】Hadoop 概述

【大数据进阶第二阶段之Hadoop学习笔记】Hadoop概述-CSDN博客【大数据进阶第二阶段之Hadoop学习笔记】Hadoop运行环境搭建-CSDN博客【大数据进阶第二阶段之Hadoop学习笔记】Hadoop
伊达·2024-01-05 08:12

【大数据进阶第二阶段之Hadoop学习笔记】Hadoop 运行环境搭建

【大数据进阶第二阶段之Hadoop学习笔记】Hadoop概述-CSDN博客【大数据进阶第二阶段之Hadoop学习笔记】Hadoop运行环境搭建-CSDN博客【大数据进阶第二阶段之Hadoop学习笔记】Hadoop
伊达·2024-01-05 08:08

【大数据进阶第二阶段之Hadoop学习笔记】Hadoop 运行模式

【大数据进阶第二阶段之Hadoop学习笔记】Hadoop概述-CSDN博客【大数据进阶第二阶段之Hadoop学习笔记】Hadoop运行环境搭建-CSDN博客【大数据进阶第二阶段之Hadoop学习笔记】Hadoop
伊达·2024-01-05 08:08

Hadoop学习笔记[6]-MapReduce与Yarn安装部署流程

Hadoop学习笔记[6]-MapReduce与Yarn安装部署流程  前面的文章已经对MR和Yarn做了基本介绍，本文主要介绍MR和Yarn的安装部署流程1、角色划分  NodeManager和DataNode
kinglinch·2023-12-25 19:09

【Hadoop学习笔记】（二）——Hive的原理及使用

一、Hive概述Hive是一个在Hadoop中用来处理结构化数据的数据仓库基础工具。它架构在Hadoop之上，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive数据仓库工具能为HDFS上的数据提供类似SQL的查询语言（HiveQL），并将SQL语句转变成MapReduce任务来执行。Hive明显降低了Hadoop的使用门槛，任何熟悉SQL的用
wanger61·2023-12-24 23:25

四、Hadoop学习笔记————各种工具用法

hive基本hql语法Sqoop(发音：skup)是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如：MySQL,Oracle,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。数据传递转载于:https://www.cnblogs.com/
weixin_30528371·2023-12-24 23:25

Hadoop学习笔记（17）Hive的数据类型和文件编码

一、Hive的常用内部命令1、有好几种方式可以与Hive进行交互。此处主要是命令行界面（CLI）。2、$HIVE_HOME/bin目录下包含了可以执行各种各样Hive服务的可执行文件，包括hive命令行界面（CLI是使用Hive的最常用方式）。[admin@master~]$cdapache-hive-1.2.2-bin/bin[admin@masterbin]$lsbeelineexthiveh
柏冉看世界·2023-12-24 23:24

大数据高级开发工程师——Hadoop学习笔记（7）

文章目录Hadoop进阶篇YARN：Hadoop资源调度系统什么是YARNYARN架构剖析1.ResourceManager2.NodeManager3.Container4.ApplicationMaster5.JobHistoryServer6.TimelineServerYARN应用运行原理1.YARN应用提交过程2.MapReduceonYARN提交作业初始化作业Task任务分配Task任
讲文明的喜羊羊拒绝pua·2023-12-24 08:24

Hadoop学习笔记（一）分布式文件存储系统 —— HDFS

概念HDFS（HadoopDistributedFileSystem），Hadoop分布式文件系统，用来存超大文件的。HDFS遵循主/从架构，由单个NameNode(NN)和多个DataNode(DN)组成：NameNode:负责执行有关文件系统命名空间的操作，例如打开，关闭、重命名文件和目录等。它同时还负责集群元数据的存储，记录着文件中各个数据块的位置信息。管理员，负责协调。DataNode：负
zhang35·2023-12-24 08:54

大数据高级开发工程师——Hadoop学习笔记（1）

文章目录Hadoop基础篇Hadoop集群安装环境准备服务器准备设置时钟同步三台虚拟机添加普通用户三台虚拟机定义统一目录三台虚拟机hadoop用户设置免密登录三台虚拟机安装jdkhadoop集群安装环境部署规划安装包下载查看hadoop支持的压缩方式以及本地库修改配置文件修改hadoop-env.sh修改core-site.xml修改hdfs-site.xml修改mapred-site.xml修改
讲文明的喜羊羊拒绝pua·2023-12-24 08:53

Hadoop学习笔记(3)——MapReduce入门

一、MapReduce介绍MapReduce思想在生活中处处可见。或多或少都曾接触过这种思想。MapReduce的思想核心是“分而治之”，适用于大量复杂的任务处理场景（大规模数据处理场景）。”map"负责分，即把复杂的任务分解为若干简单的任务来处理。前提是这些小任务可以并行计算，彼此间几乎没有依赖关系“Redude”负责合，即对map阶段的结果进行全局汇总1.MapReduce设计构思MapRed
今天有没有写代码·2023-12-24 08:53

hadoop学习笔记(五)Hive安装部署

Hive安装部署Hive安装及配置配置已经完成,在此处启动hadoop集群Hive常用命令将本地文件导入Hive案例安装MySqlHive元数据配置到MySqlHive安装及配置下载地址:https://pan.baidu.com/s/1_7g8Bw85Nw03t40H67sLfQ提取码:gj4n把apache-hive-1.2.1-bin.tar.gz上传到linux的/opt/software
So.j·2023-12-24 08:22

Hadoop学习笔记（7）Hadoop解压安装以及配置

上传步骤请参考：Hadoop学习笔记（6）如何使用Xshell从Windows向Linux上传文件二、解压安装Hadoop输入命令查看文件存放[admin@master~]$lshadoop-2.5.2
柏冉看世界·2023-12-19 00:57

hadoop学习笔记--1３.hive 属性配置、交互式命令行和文件系统交互

一、hive配置文件常见属性1.在cli命令行上显示当前的数据库名以及查询的行头信息在hive-site.xml中添加以下配置hive.cli.print.headertrueWhethertoprintthenamesofthecolumnsinqueryoutput.hive.cli.print.current.dbtrueWhethertoincludethecurrentdatabasei
liuzebin9·2023-12-17 05:58

hadoop学习笔记——NO.4_HADOOP集群搭建与使用初步

HADOOP集群搭建与使用初步HADOOP集群搭建集群简介HADOOP集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起HDFS集群：负责海量数据的存储，集群中的角色主要有NameNode/DataNodeYARN集群：负责海量数据运算时的资源调度，集群中的角色主要有ResourceManager/NodeManager本集群搭建案例，以5节点为例进行搭建，角色
蔡茂昌·2023-12-02 19:20

Hadoop学习笔记---大数据概论入门

第一章：大数据概念大数据是指无法在一定时间范围内，用常用的工具软件进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。大数据主要解决海量数据的采集、存储和分析计算问题。按顺序给出存储单位：bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB。1Byte=8bit1KB=1024MB1MB=102
沉迷技术不能自拔·2023-11-30 05:14

Hadoop入门+组成学习笔记

Hadoop学习笔记Hadoop的优势（4高）1.高可靠性—Hadoop底层有多个数副本，保存再不同的服务器里，即使一台计算机出现故障，也不会丢失数据2.高扩展性—可以添加多个节点3.高效性—再MapReduce
Fan_Coder·2023-11-30 05:14

Hadoop学习笔记：运行wordcount对文件字符串进行统计案例

文/朱季谦我最近使用四台Centos虚拟机搭建了一套分布式hadoop环境，简单模拟了线上上的hadoop真实分布式集群，主要用于业余学习大数据相关体系。其中，一台服务器作为NameNode，一台作为SecondaryNameNode，剩下两台当做DataNodes节点服务器，类似下面这样一个架构——NameNodeSecondaryNameNodeDataNodesmaster1(192.168
朱季谦·2023-11-23 13:38

Hadoop学习笔记

HDFS、YARN、MapReduce概述及三者之间的关系一、Hadoop组成（面试重点）1.1Hadoop1.x、2.x、3.x区别在Hadoop1.x时代，Hadoop中的MapReduce同时处理业务逻辑运算和资源的调度，耦合性较大。在Hadoop2.x时代，增加了Yarn。Yarn只负责资源的调度，MapReduce只负责运算Hadoop3.x在组成上没有变化。1.2HDFS架构概述HDF
怕被各位卷死·2023-11-23 03:16

Hadoop学习笔记——入门基础

Hadoop优势高可靠性：Hadoop底层维护多个数据副本，所以即使Hadoop某个计算元素或存储出现故障，也不会导致数据的丢失。高扩展性：在集群间分配任务数据，可方便的扩展数以千计的节点高效性：在MapReduced的思想下，Hadoop是并行工作的，以加快任务处理速度。高容错性：能够自动将失败的任务重新分配。Hadoop各版本区别在Hadoop1.x时代Hadoop中的MapReduce同时处
枫落@·2023-11-19 00:40

hadoop学习笔记1了解流程大概

海量数据的存储hdfs海量数据的计算：mapreducehdfs概述namenode：元数据，存储在哪个节点，存储什么信息datanode：存储数据2nn：备份namenode的信息yarn概述负责集群资源的管理ResourceManger：服务器运行的老大nodemanger：单个服务器运行的老大MapReduce架构概述mapreduce将计算分为两个阶段：map阶段把任务分下去reduce阶
小美元·2023-11-18 20:06

hbase的学习逻辑_Hadoop学习笔记之十六——HBase框架学习（基础知识篇）

HBase是ApacheHadoop的数据库，能够对大型数据提供随机、实时的读写访问。HBase的目标是存储并处理大型的数据。HBase是一个开源的，分布式的，多版本的，面向列的存储模型，它存储的是松散型数据。一、HBase：BigTable的开源实现1.1HBase出现的背景(1)随着数据规模越来越大，大量业务场景开始考虑数据存储水平扩展，使得存储服务可以增加/删除，而目前的关系型数据库更专注于
weixin_39574140·2023-11-17 16:02

Hadoop学习笔记

文章目录前言这是关于Hadoop的学习笔记，仅供个人使用-----2022.8.12当前企业数据分析方向：1.现状分析（分析当下的数据）：现阶段的整体情况，各个部分的构成占比，发展，变动2.原因分析（分析过去的数据）：某一现状为什么发生，确定原因，做出调整优化3.预测分析（结合数据预测未来）：结合已有数据预测未来发展趋势1.原因分析：离线分析（BatchProcessing）：面向过去，面向历史，
泥地小白菜·2023-11-10 20:26

HBase/Hadoop学习笔记 (转)

HBase/Hadoop学习笔记学习目标：至少掌握五点：1.深入理解HTable，掌握如何结合业务涉及高性能的HTable。
wbj0110·2023-11-10 02:56

HBase/Hadoop学习笔记

学习目标：至少掌握五点：1.深入理解HTable，掌握如何结合业务涉及高性能的HTable。2.掌握与HBase的交互，通过HBaseShell命令及JavaAPI进行数据的增删改查。3.掌握如何用MapReduce分析HBase里的数据4.掌握如何测试HBaseMapReduce。HBase简介：HBase在产品中还包含了Jetty，在HBase启动时采用嵌入式的方式来启动Jetty，因此可以通
codepython·2023-11-10 02:25

Hadoop学习笔记（持续更新中）

文章目录HadoopHadoop的组成HDFS特点NameNode和DataNode文件系统命名空间数据块块缓存MapReducejob、task、inputsplitcombiner其他示例HadoopHadoop的组成Hadoop1.xMapReduce（计算+资源调度）HDFS（数据存储）Common（辅助工具）Hadoop2.x、3.xYarn（资源调度）:Aframeworkforjob
东河西·2023-11-09 09:19

hadoop学习笔记之-NFS配置

分类：hadooplinux系统2013-03-0713:48406人阅读评论(0)收藏举报一、实验环境：系统版本：RedHatEnterpriseLinuxServerrelease5.6主机名别名IP系统版本共享目录/挂载点hotel01hotel01.licz.com192.168.2.111OEL5.6共享目录/home/gridhotel02hotel02.licz.com192.168
m0_66557301·2023-11-04 09:39

Hadoop学习笔记（3）－搭建Hadoop伪分布式

0.前言搭建伪分布式要先搭建本地模式。请参照上一个博客：http://blog.csdn.net/xummgg/article/details/51172933参考资料（官网为主，网络资料为铺）：http://hadoop.apache.org/docs/r2.6.4/hadoop-project-dist/hadoop-common/SingleCluster.html#Standalone_O
XianMing的博客·2023-10-24 16:18

Hadoop学习笔记（二）完全分布式运行模式

Hadoop入门——完全分布式运行模式一、SSH无密登录配置再Hadoop的使用过程中，无论是服务期间传输数据，还是快速启动集群的各个模块，都需要用到SSH协议，若是每次使用都输入密码，将大大降低效率。所以必须配置SSH无密登录。SSH基本语法：ssh[另一台服务器的IP地址]免密登录原理1、生成公钥和私钥ssh-keygen-trsa如果不做其他配置，将会在用户目录的.ssh文件夹下生成两个文件
梧桐1233·2023-10-24 16:41

Hadoop学习笔记（2）Hadoop节点部署

一、Hadoop分布式架构在hadoop架构中，有两种节点角色：Master主节点NameNode（NN）SecondaryNameNode（SNN）ResourceManager（RM）Slave从节点NodeManager（NM）DataNode（DN）
柏冉看世界·2023-10-24 16:37

Hadoop学习笔记: MapReduce(1)

一.MapReduce核心思想1)分布式运算程序往往需要分成Map和Reduce两个阶段2)第一个阶段的MapTask并发实例,完全并行运行,互不相干3)第二个阶段的ReduceTask并发实例同样互不相干,但它们的数据依赖于上一个阶段的所有MapTask并发实例的输出4)MapReduce编程模型只能包含一个Map和一个Reduce阶段,如果用户的业务逻辑非常复杂,那就只能多个MapReudce
X6ZT·2023-10-15 12:24

hadoop学习笔记-搭建环境

这几天乘着工作之余，学习了一下hadoop技术，跌跌撞撞的几天，终于完成了一个初步的hadoop的安装及测试，具体如下：动力：工作中遇到的数据量太大，服务器已经很吃力，sql语句运行老半天，故想用大数据技术来改善一下环境：centos5.11+jdk1.7+hadoop2.5.21.伪分布安装步骤关闭防火墙修改ip修改hostname设置ssh自动登录安装jdk安装hadoop注：此部分涉及到的L
励志重写JDK·2023-10-10 16:30

Hadoop学习笔记（六）——分布式文件系统

一简介HDFS,它是一个文件系统，用于存储文件，通过目录树来定位文件：其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。HDFS的设计适合一次写入，多次读出的场景，且不支持文件的修改。适合用来做数据分析，并不适合用来做网盘应用。二体系结构和基本概念1特点：可拓展容错：有备份高可用：对于多个Master高吞吐：多台机器并发读2设计分布式文件系统思路1系统架构HDFS有多
L先生_c77f·2023-08-30 18:47

Hadoop学习笔记（一）——（使用java API操作HDFS中遇到的问题）

1、文件树中缺少文件（1）关于创建Mavenproject后文件树下没有MavenDependencies文件主要原因：pom.xml文件中的开头报错错误提示：Missingartifactjdk.tools:jdk.tools:jar:1.8如图：image分析：tools.jar包是JDK自带的，pom.xml中以来的包隐式依赖tools.jar包，而tools.jar并未在库中，只需要将to
JCLightZZ·2023-08-21 13:50

【大数据】黑马hadoop学习笔记 集群搭建

搭建配置hadoop环境安装编译相关的依赖yuminstallgccgcc-c++makeautoconfautomakelibtoolcurllzo-develzlib-developensslopenssl-develncurses-develsnappysnappy-develbzip2bzip2-devellzolzo-devellzoplibXtstzlib-yyuminstall-yd
飞鸟malred·2023-07-31 07:04

Hadoop学习笔记之flume Nginx日志收集到HBase

概述Nginx访问日志形式:$remote_addr–$remote_user[$time_local]“$request”$status$body_bytes_sent“$http_referer””$http_user_agent”例如:192.168.241.1--[02/Mar/2017:15:22:57+0800]“GET/favicon.icoHTTP/1.1”404209“http:
潜流surging·2023-07-30 22:48

Hadoop学习笔记--HBase相关操作指令

文章目录引言0.HBase的启动与停止1.创建表2.删除表3.表的其他操作3.1修改表结构3.2查看表结构3.3显示所有用户定义的表3.4查询表是否存在3.5查询表是否可用3.6查询表中记录数4.插入数据4.1插入单条数据4.2插入多行数据5.删除数据5.1删除单行数据5.2删除表内所有数据6.修改数据7.查询数据7.1查询单行数据7.2查看指定时间戳范围的数据7.3查询多行数据总结引言本篇文章主
官乐·2023-06-08 22:33

# Hadoop学习笔记（二）——Linux常用命令

参考：https://www.runoob.com/linux/linux-command-manual.htmlifconfigLinuxifconfig命令用于显示或设置网络设备。ifconfig可设置网络设备的状态，或是显示目前的设置。ifconfig.png语法ifconfig[网络设备][downup-allmulti-arp-promisc][add][del][][io_addr][
L先生_c77f·2023-04-17 13:09

【Hadoop学习笔记】

文章目录Hadoop概述MapReduce概述MapReduce优点MapReduce缺点MapReduce大致流程：举一个简单的例子：HDFS概述HDFS的优点HDFS的缺点HDFS的数据读写过程YARN概述YARN的体系结构YARN的工作流程Hadoop概述Hadoop官网Hadoop的核心分为MapReduce、HDFS、YARN。Hadoop生态还包括ZooKeeper（分布式协调服务）、
枯鱼过河泣·2023-04-14 07:00

hadoop学习笔记：HDFS框架原理

学习大数据技术，就不可能避开hadoop，因为hadoop框架是分布式系统的基础。Hadoop是一个由Apache基金会所开发的分布式系统基础架构。Hadoop实现了一个分布式文件系统（HadoopDistributedFileSystem），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（highthroughput）来访问应用程序
奋斗的瘦胖子·2023-04-14 07:56

Hadoop学习笔记

一、Hadoop基础知识：（主要解决海量数据存储和海量数据分析计算）1、Hadoop的优势：1）高可靠性：因为Hadoop假设计算元素和存储会出现故障，因为它维护多个工作数据副本，在出现故障时可以对失败的节点重新分布处理。2）高扩展性：在集群间分配任务数据，可方便的扩展数以千计的节点。3）高效性：在MapReduce的思想下，Hadoop是并行工作的，以加快任务处理速度。4）高容错性：自动保存多份
静宸丶水默含声·2023-04-10 22:44

hadoop学习笔记之一步一步部署hadoop分布式集群

一、准备工作同一个局域网中的三台linux虚拟机，我用的是redhat6.4,如果主机是windows操作系统，可以先安装vmwareworkstation,然后在workstation中装上3台虚拟机，这样就形成了一个以物理机为DNS服务器的局域网，物理机和虚拟机都有一个局域网IP，互相之间可以通信。因为hadoop是一个java开发者写的开源软件，所以你懂得，肯定用的是java语言编写的，所以
weixin_34336292·2023-04-04 09:29

Hadoop学习笔记--HDFS

文章目录引言1.基本特征1.1高容错性1.2数据容量大1.3可扩展性1.4高吞吐量1.5就近计算2.体系架构2.1NameNode2.2DataNode3.存储机制3.1Block3.2副本管理策略4.数据读写过程4.1数据的读取过程4.2数据的写入过程5.JavaAPI编程6.HDFS的高可靠性机制6.1心跳机制6.2SecondaryNameNode6.3HDFSNameNodeHA的高可用机
官乐·2023-04-02 19:39

Hadoop学习笔记--Hadoop生态系统、体系架构及特点

文章目录引言1.Hadoop的特点1.1高可用性1.2高扩展性1.3高效性1.4高容错性1.5低成本1.6支持多种平台1.7支持多种编程语言2.Hadoop的生态系统2.1HDFS2.2MapReduce2.3YARN3.Hadoop的体系架构总结引言Hadoop是Apache基金会旗下的一个可靠的、可扩展的分布式计算开源软件框架，旨在从单一服务器扩展到成千上万台机器，每台机器都提供本地计算和存储
官乐·2023-04-02 06:09

hadoop学习笔记（一）RemoteException:could only be replicated to 0 nodes instead of minReplication (=1)

最近在学习hadoop的使用从开始使用到现在一直都没出现过这种报错只是想要在hadoop上新建一个文件夹就报错namenodeisinsafemode属实给我整懵逼了我以为是我的集群最近开启-关闭的次数太多了出现了问题于是又坚持不懈的再次开启然后再次关闭（鬼知道我怎么想的，因为重启太多次导致的问题，我就要用重启来解决他？！！可能以毒攻毒的信念感太强了吧，就好像手机出问题了，我就会觉得重启手机，所有
甜美腿毛怪·2023-02-18 07:55
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他