hadoop学习

Hadoop学习指南：探索大数据时代的重要组成——HDFS(上)

HDFSHDFS概述1.1HDFS产出背景及定义1）HDFS产生背景2）HDFS定义1.2HDFS优缺点1.3HDFS组成架构1.4HDFS文件块大小（面试重点）2.HDFS的Shell操作（开发重点）2.1基本语法2.2命令大全2.3常用命令实操3.HDFS的API操作3.1客户端环境准备3.2HDFS的API案例实操题外话HDFS概述1.1HDFS产出背景及定义1）HDFS产生背景随着数据量越
老虎也淘气·2023-08-05 13:09

Hadoop学习指南：探索大数据时代的重要组成——运行环境搭建

Hadoop运行环境搭建（开发重点）模板虚拟机环境准备数据来源层安装模板虚拟机，IP地址192.168.10.100、主机名称hadoop100、内存4G、硬盘50Ghadoop100虚拟机配置要求如下（本文Linux系统全部以CentOS-7.5-x86-1804为例）使用yum安装需要虚拟机可以正常上网，yum安装前可以先测试下虚拟机联网情况[root@hadoop100~]#pingwww.
老虎也淘气·2023-08-05 13:38

Hadoop学习指南：探索大数据时代的重要组成——Hadoop运行模式(上）

Hadoop运行模式前言Hadoop运行模式1本地运行模式（官方WordCount）2完全分布式运行模式（开发重点）2.1虚拟机准备2.2编写集群分发脚本xsync1）scp（securecopy）安全拷贝2）rsync远程同步工具3）xsync集群分发脚本2.3SSH无密登录配置1）配置ssh2）无密钥配置3）.ssh文件夹下（~/.ssh）的文件功能解释2.4集群配置1）集群部署规划2）配置文
老虎也淘气·2023-08-05 13:38

Hadoop学习指南：探索大数据时代的重要组成——HDFS(下)

这里写目录标题HDFS的读写流程（面试重点）HDFS写数据流程1.2网络拓扑-节点距离计算机架感知（副本存储节点选择）HDFS读数据流程NameNode和SecondaryNameNode1NN和2NN工作机制2Fsimage和Edits解析3CheckPoint时间设置DataNode1DataNode工作机制2数据完整性3掉线时限参数设置题外话HDFS的读写流程（面试重点）HDFS写数据流程1
老虎也淘气·2023-08-05 13:38

【大数据】黑马hadoop学习笔记 集群搭建

搭建配置hadoop环境安装编译相关的依赖yuminstallgccgcc-c++makeautoconfautomakelibtoolcurllzo-develzlib-developensslopenssl-develncurses-develsnappysnappy-develbzip2bzip2-devellzolzo-devellzoplibXtstzlib-yyuminstall-yd
飞鸟malred·2023-07-31 07:04

Hadoop学习指南：探索大数据时代的重要组成——Hadoop概述

前言在当今大数据时代，处理海量数据成为了一项关键任务。Hadoop作为一种开源的分布式计算框架，为大规模数据处理和存储提供了强大的解决方案。本文将介绍Hadoop的组成和其在大数据处理中的重要作用，让我们一同踏上学习Hadoop的旅程。Hadoop概述Hadoop是什么1）Hadoop是一个由Apache基金会所开发的分布式系统基础架构。2）主要解决，海量数据的存储和海量数据的分析计算问题。3）广
老虎也淘气·2023-07-31 05:41

Hadoop学习笔记之flume Nginx日志收集到HBase

概述Nginx访问日志形式:$remote_addr–$remote_user[$time_local]“$request”$status$body_bytes_sent“$http_referer””$http_user_agent”例如:192.168.241.1--[02/Mar/2017:15:22:57+0800]“GET/favicon.icoHTTP/1.1”404209“http:
潜流surging·2023-07-30 22:48

Hadoop学习日记-YARN组件

YARN(YetAnotherResourceNegotiator)作为一种新的Hadoop资源管理器，是另一种资源协调者。YARN是一个通用的资源管理系统和调度平台，可为上层应用提供统一的资源管理和调度YARN架构图YARN3大组件：（物理层面）ResourceManager(RM)：YARN集群中的主角色，决定系统所有应用程序之间资源分配的最终权限，即最终仲裁者。通过NM分配管理各个机器上的计
好的！文西·2023-07-29 12:14

Hadoop (一) Hadoop学习

Hadoop(一)Hadoop学习1.Hadoop简介1.1单独的Hadoop软件Hadoop是Apache软件基金会开源的一款开源Java软件，用户编写简单的编程模型实现跨机器对海量数据分布式计算处理的框架
C0oOder·2023-07-25 07:52

Hadoop学习整理

前言吃水不忘挖井人，我看的课是这个，课程带着安装，搞虚拟机，很详细，推荐一波思维导图环境Hadoop102:cd/表示的是返回/cd～表示的是返回/home/fools$HADOOP_HOME配置的位置为/opt/module/hadoop-3.1.3集群出现问题如果某个集群namenode或datanode等出现异常，这时候只要先停掉每个集群sbin/stop-xxxxx.sh，删除每个服务器的
Foools·2023-07-25 07:48

Hadoop学习-3-HDFS简介及Python操作HDFS

HDFS(分布式文件系统)HDFS简介分布式文件系统解决大数据存储的问题，横跨多台计算机上的存储系统是一种能够在普通硬件上运行的分布式文件系统，高容错，适用于具有大数据集的应用程序提供统一的访问接口一次写入，多次读取；用于批处理，不是交互式的分析主要以流式读取数据适合场景：大文件流式读取高容错HDFS架构一主多从（master/slave），一个namenode和一定数量的dataNode分块存储
数说兴趣·2023-07-21 12:35

hadoop学习之hdfs学习

HDFS文件系统,可以说是分布式数据库吧结构是目录树适用场景:一次写入,多次读出.好像不太支持改删优点:1.高容错:因为他会备份,所以一份出问题了,并不影响其他几份如果副本丢失后,定时恢复.应该是定时检查然后恢复每次启动,DN向NN汇报备份的存储情况.默认每个6个小时重新汇报2.要求比较低不需要对服务器有特定要求(如高级服务器有负载均衡功能1台20W多)缺点:1.不适合低延时数据访问,2.无法高效
叫我莫言鸭·2023-07-17 23:38

第三节 Hadoop学习案例——MapReduce课程设计 好友推荐功能

提示：文章内容主要以案例为主目录前言项目说明一，程序需求1.需求2.数据二，编码操作1.项目建包目录2.FriendsRecommend.java3.FriendsRecommendMapper.java4.FriendsRecommendReduce.java三，Xshell运行的步骤1.创建目录2.上传程序3.分布式文件系统上传测试数据4.执行程序5.查看结果总结前言项目说明互为推荐关系非好友
羙橘·2023-07-16 23:13

第三周之Hadoop学习（三）

从上周的这篇教程中继续hadoop的安装过程：http://dblab.xmu.edu.cn/blog/install-hadoop-in-centos/上节课安装到对hadoop中的输出的文件夹的进行了清空操作，现在接着对hadoop中的配置进行设置（这里设置的是伪分布式的过程）首先打开虚拟机吧centos6.4开机在终端中输入相应命令用gedit配置~/.bashrc中的设置添加教程中所给的命
baleizhong820870·2023-07-15 22:59

大数据技术之Hadoop学习(七)——Hive数据仓库

目录素材一、数据仓库简介1、数据仓库的认识（1）数据仓库是面向主题的。（2）数据仓库是随时间变化的。（3）数据仓库相对稳定（4）OLTP和OLAP2、数据仓库的结构（1）数据源（2）数据存储及管理（3）OLAP服务器（4）前端工具3、数据仓库的数据模型（1）星状模型（2）雪花模型（3）事物表和维度表的认识二、Hive的简介1、Hive的认识2、Hive系统架构（1）用户接口（2）跨语言服务(Thr
雨诺风·2023-07-15 07:48

Hadoop学习之MapReduce分布式计算框架

目录一、本地模式1.新建一个本地maven项目2.修改prom依赖（maven）3.新建一个包mapreduce，在该包中新建三个包4.写mapper组件5.写Reducer组件6.写Driver组件7.运行结果二、集群模式词频统计1.准备用于单词计数的文件夹和文件2.上传至hadoop集群3.打包成jar包4.jar包上传至centerOS下5.提交至hadoop集群运行6.查看结果三、倒排索引
平平无奇秃头小天才·2023-06-20 01:27

hadoop学习中遇到的问题：hadoop拒绝连接

hadoop学习中遇到的问题：hadoop拒绝连接hadoop安装好之后，在本地浏览器输入地址http://192.168.29.134:9870，提示拒绝连接。
焦虑的说说·2023-06-13 19:34

Hadoop学习---9、Yarn

1、Yarn资源调度器Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行在于操作系统之上的应用程序。1.1Yarn基础架构Yarn主要由ResourceManager、NodeManager、ApplicationMaster和Container等组件构成。1、ResourceManager（RM）主要作用：（1
星光下的赶路人star·2023-06-10 10:32

Hadoop学习笔记--HBase相关操作指令

文章目录引言0.HBase的启动与停止1.创建表2.删除表3.表的其他操作3.1修改表结构3.2查看表结构3.3显示所有用户定义的表3.4查询表是否存在3.5查询表是否可用3.6查询表中记录数4.插入数据4.1插入单条数据4.2插入多行数据5.删除数据5.1删除单行数据5.2删除表内所有数据6.修改数据7.查询数据7.1查询单行数据7.2查看指定时间戳范围的数据7.3查询多行数据总结引言本篇文章主
官乐·2023-06-08 22:33

Hadoop学习---11、HA高可用

1、HadoopHA高可用1.1HA概述1、所谓HA（HighAvailablity），即高可用（7*24小时不中断服务）。2、实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的HA机制：HDFS的HA和YARN的HA。3、NameNode主要在以下两个方面影响HDFS集群（1）NameNode机器发生意外，如宕机，集群将无法使用，直到管理员重启。（2）NameNode机器需要升
星光下的赶路人star·2023-06-08 20:52

Hadoop学习（7）-- Hadoop YARN

HadoopYARN介绍YARN简介ApacheHadoopYARN（YetAnotherResourceNegotiator，另一种资源协调者）是一种新的Hadoop资源管理器。YARN是一个通用资源管理系统和调度平台，可为上层应用提供统一的资源管理和调度。它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。YARN功能说明资源管理系统：集群的硬件资源，和程序运行相关，比如内存、
一个人的江湖237463·2023-06-07 09:50

大数据学习的各个阶段（详细篇）

摘要：第一阶段:Linux课程讲解Linux基础操作,讲的是在命令行下进行文件系统的操作,这是Hadoop学习的基础,后面的所有视频都是基于linux操作的。
大数据开发交流·2023-04-21 10:55

Hadoop学习内容概述day02

一、各章概述（Hadoop部分）(一)、Hadoop的起源与背景知识1、什么是大数据、大数据的核心问题是什么?举例：（1）商品推荐：问题1：大量的订单如何存储问题2：大量的订单如何计算（2）天气预报：问题1：大量的天气数据如何存储问题2：大量的天气数据如何计算大数据的核心问题：（1）数据的存储：分布式文件系统（分布式存储）（2）数据的计算：分布式计算2、概念：数据仓库（Datawarehouse）
weixin_30764771·2023-04-19 03:11

Hadoop学习day02

1.分布式文件系统HDFS1.HDFS的来源HDFS:HadoopDistributedFilesystem(hadoop分布式文件系统)HDFS起源于Google的GFS论文（GFS，Mapreduce，BigTable为google的旧的三驾马车）HBASE（1）发表于2003年10月（2）HDFS是GFS的克隆版（3）易于扩展的分布式文件系统（4）运行在大量普通廉价机器上，提供容错机制（5）
qq_39861620·2023-04-19 03:10

Hadoop学习_day01_基础概念

HadoopHadoop是Apache软件基金会旗下的一款Java开源软件框架，提供了大数据存储、计算的一套解决方案。HadoopHDFS分布式文件系统：解决海量数据存储HadoopMAPREDUCE分布式运算编程框架：解决海量数据计算HadoopYARN作业调度和集群资源管理框架：解决集群资源任务调度海量数据如何存储？分布式存储海量数据如何计算？分布式计算1.大数据导论1.1大数据概念数据：是事
mango660·2023-04-19 03:39

# Hadoop学习笔记（二）——Linux常用命令

参考：https://www.runoob.com/linux/linux-command-manual.htmlifconfigLinuxifconfig命令用于显示或设置网络设备。ifconfig可设置网络设备的状态，或是显示目前的设置。ifconfig.png语法ifconfig[网络设备][downup-allmulti-arp-promisc][add][del][][io_addr][
L先生_c77f·2023-04-17 13:09

最新hadoop大数据零基础入门新手学习视频教程

最新在学习hadoop、storm大数据相关技术，发现网上hadoop、storm相关学习视频少之又少，我这里整理了传智播客段海涛老师的hadoop学习视频，给大家学习。
山泥若丶·2023-04-16 16:39

【Hadoop学习笔记】

文章目录Hadoop概述MapReduce概述MapReduce优点MapReduce缺点MapReduce大致流程：举一个简单的例子：HDFS概述HDFS的优点HDFS的缺点HDFS的数据读写过程YARN概述YARN的体系结构YARN的工作流程Hadoop概述Hadoop官网Hadoop的核心分为MapReduce、HDFS、YARN。Hadoop生态还包括ZooKeeper（分布式协调服务）、
枯鱼过河泣·2023-04-14 07:00

hadoop学习笔记：HDFS框架原理

学习大数据技术，就不可能避开hadoop，因为hadoop框架是分布式系统的基础。Hadoop是一个由Apache基金会所开发的分布式系统基础架构。Hadoop实现了一个分布式文件系统（HadoopDistributedFileSystem），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（highthroughput）来访问应用程序
奋斗的瘦胖子·2023-04-14 07:56

大数据技术之Hadoop学习(六)——高可用集群搭建

目录一、Hadoop2.0改进与提升二、YARN资源管理框架1、YARN体系结构（1）ResourceManager（2）NodeManager（3）ApplicationMaster2、YARN工作流程三、HDFS的高可用1、HDFS的高可用架构四、Hadoop高可用集群的搭建1、部署集群节点五、配置高可用集群1、修改hadoop-env.sh文件2、修改core-site.xml文件3、修改h
雨诺风·2023-04-14 03:45

Hadoop学习笔记

一、Hadoop基础知识：（主要解决海量数据存储和海量数据分析计算）1、Hadoop的优势：1）高可靠性：因为Hadoop假设计算元素和存储会出现故障，因为它维护多个工作数据副本，在出现故障时可以对失败的节点重新分布处理。2）高扩展性：在集群间分配任务数据，可方便的扩展数以千计的节点。3）高效性：在MapReduce的思想下，Hadoop是并行工作的，以加快任务处理速度。4）高容错性：自动保存多份
静宸丶水默含声·2023-04-10 22:44

Hadoop集群完全分布式搭建

本人也只是hadoop学习的一个萌新，在这段时间内因为课程的需要，安装了一下hadoop集群，里面遇到了一些问题，找到了一些解决办法，如果文章内有什么错误，欢迎大家与我交流，下面就开始搭建hadoop集群吧
巇橙·2023-04-08 18:06

ES-Hadoop学习之ES和HDFS数据交换

ES作为强大的搜索引擎，HDFS是分布式文件系统。ES可以将自身的Document导入到HDFS中用作备份，ES也可以将存储在HDFS上的结构化文件导入为ES的中的Document。而ES-Hadoop正是这两者之间的一个connector1，将数据从ES导出到HDFS1.1，数据准备，在ES中创建Index和Type，并创建document。在我的例子中，Index是mydata，type是pe
wangjinming1976·2023-04-08 04:44

【Hadoop学习之HDFS】_05HDFS文件块大小

一、HDFS文件块大小HDFS中的文件在物理上是分块（Block）存储的，块的大小可以通过配置参数（dfs.blocksize）来规定，默认大小在Hadoop2.x版本中为128M，老版本中是64M寻址时间为传输时间的1%时，为最佳状态二、为什么块大小不能设置太小，也不能设置太大？若HDFS的块设置太小，会增加寻址时间，程序一直在找块的开始位置；若HDFS的块设置太大，从磁盘传输数据的时间会明显大
easy_sir·2023-04-05 18:03

hadoop学习笔记之一步一步部署hadoop分布式集群

一、准备工作同一个局域网中的三台linux虚拟机，我用的是redhat6.4,如果主机是windows操作系统，可以先安装vmwareworkstation,然后在workstation中装上3台虚拟机，这样就形成了一个以物理机为DNS服务器的局域网，物理机和虚拟机都有一个局域网IP，互相之间可以通信。因为hadoop是一个java开发者写的开源软件，所以你懂得，肯定用的是java语言编写的，所以
weixin_34336292·2023-04-04 09:29

Hadoop学习教程（YARN）（五）

YARN1、YARN资源调度器1.1、Yarn基础架构1.2、Yarn工作机制1.3、作业提交全过程1.4、Yarn调度器和算法1.4.1、先进先出调度器（FIFO）1.4.2、容量调度器（CapacityScheduler）1.4.3、公平调度器（FairScheduler）1.4.3.1、公平调度器队列资源分配方式1.4.3.2、公平调度器资源分配算法1.5、Yarn常用命令1.5.2、yar
90后的包子·2023-04-03 20:54

大数据开发之Hadoop学习1---从Hadoop框架讨论大数据生态

从Hadoop框架讨论大数据生态目录从Hadoop框架讨论大数据生态2.1Hadoop是什么2.2Hadoop发展历史（了解）2.3Hadoop三大发行版本（了解）2.4Hadoop的优势（4高）2.5Hadoop组成（面试重点）2.5.1HDFS架构概述2.5.2YARN架构概述2.5.3MapReduce架构概述2.6大数据技术生态体系2.7推荐系统框架图2.1Hadoop是什么2.2Hado
Lcreator·2023-04-03 20:56

Hadoop学习笔记--HDFS

文章目录引言1.基本特征1.1高容错性1.2数据容量大1.3可扩展性1.4高吞吐量1.5就近计算2.体系架构2.1NameNode2.2DataNode3.存储机制3.1Block3.2副本管理策略4.数据读写过程4.1数据的读取过程4.2数据的写入过程5.JavaAPI编程6.HDFS的高可靠性机制6.1心跳机制6.2SecondaryNameNode6.3HDFSNameNodeHA的高可用机
官乐·2023-04-02 19:39

Hadoop学习6：HDFS基本概念

1HDFS产出背景及定义1.1产出背景1.2定义1.3适用场景2HDFS优缺点2.1优点2.2缺点3HDFS组成架构3.1架构详解3.2架构角色详解3.3扩展4HDFS文件块大小4.1块大小设置原理简析1HDFS产出背景及定义1.1产出背景随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是
愿你被这个世界温暖相待·2023-04-02 19:17

Hadoop学习——HDFS系统架构

Hadoop的分布式文件系统HDFS主要是借鉴了Google发表的论文：TheGoogleFileSystem。该文件系统最大的优点是可以利用很多低配的计算机搭建高扩展和高容错性的分布式文件系统，另外，HDFS放宽了POSIX关于I/O的规定，因为HDFS需要解决的是write-once-read-many问题，所以串行化和流处理技术被应用到HDFS中。HDFS的设计目的主要是下面几个方面：硬件故
yangning5850·2023-04-02 06:42

Hadoop学习笔记--Hadoop生态系统、体系架构及特点

文章目录引言1.Hadoop的特点1.1高可用性1.2高扩展性1.3高效性1.4高容错性1.5低成本1.6支持多种平台1.7支持多种编程语言2.Hadoop的生态系统2.1HDFS2.2MapReduce2.3YARN3.Hadoop的体系架构总结引言Hadoop是Apache基金会旗下的一个可靠的、可扩展的分布式计算开源软件框架，旨在从单一服务器扩展到成千上万台机器，每台机器都提供本地计算和存储
官乐·2023-04-02 06:09

Hadoop大数据技术原理与运用学习笔记

Hadoop学习过程中的一些笔记参考书籍《Hadoop大数据技术原理与应用》清华大学出版社黑马程序员/编著1.什么是大数据？大数据的四个特征是什么？
Jones_aj·2023-03-30 23:05

大数据Hadoop学习记录（4）----基于JAVA的HDFS文件操作

大数据Hadoop学习记录（4）----基于JAVA的HDFS文件操作一、准备文件数据二、编写程序1、向HDFS上传任意文本文件，如果指定的文件在HDFS中已经存在，由用户指定是追加到原有文件末尾还是覆盖原有的文件
白码王子小张·2023-03-30 05:09

大数据开发之Hadoop学习3--Hadoop运行模式

Hadoop运行模式目录Hadoop运行模式4.1本地运行模式（官方wordcount）4.2完全分布式运行模式4.2.1虚拟机准备4.2.2编写集群分发脚本xsync4.2.3SSH无密登录配置4.2.4集群配置4.2.5群起集群4.2.6集群启动/停止方式总结4.2.7配置历史服务器4.2.8配置日志的聚集4.2.9集群时间同步Hadoop运行模式包括：本地模式、伪分布式模式以及完全分布式模式
Lcreator·2023-03-30 03:37

Hadoop学习总结（一）

1.SNNcheckpoint多久？什么参数配置？参数在哪？3600s参数：dfs.namenode.checkpoint.period:3600秒hdfs-default.xml2.ZooKeeper是做什么的？统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理、Leader选举、队列管理等3.ZooKeeper的作用？Zookeeper分布式服务框架是ApacheHadoop的一个子
奇怪的大象·2023-03-28 20:09

hadoop大数据教程 hadoop视频教程培训 hadoop最新实战教程

最新在学习hadoop、storm大数据相关技术，发现网上hadoop、storm相关学习视频少之又少，我这里整理了传智播客段海涛老师的hadoop学习视频，给大家学习。
天涯海角的小水滴·2023-03-28 11:02

hadoop学习---运行第一个hadoop实例

hadoop环境搭建好后，运行第wordcount示例1.首先启动hadoop：sbin/start-dfs.sh,sbin/start-yarn.sh（必须能够正常运行）2.进入到hadoop的安装目录下（我的是/usr/hadoop）3.新建hadoophdfs文件系统上的input文件夹（输入文件存放）：hadoopfs-mkdir/input4.传入测试文件：hadoopfs-puttes
Alukar·2023-03-24 05:17

sqoop导出solr数据_超详细的大数据学习的各个阶段

摘要：第一阶段:Linux课程讲解Linux基础操作,讲的是在命令行下进行文件系统的操作,这是Hadoop学习的基础,后面的所有视频都是基于linux操作的。
weixin_39986741·2023-03-23 02:50

hadoop学习参考

dataunion.org/13562.htmlwww.oracle.com/technetwork/cn/community/java/apache-maven-getting-started-1-406235-zhs.htmlhadoop.apache.org/docs/r1.0.4/cn/quickstart.htmlhadoop.apache.org/docs/current/hadoop
刘嘻哈哈·2023-03-17 14:02

Hadoop学习-HDFS

Hdoop之HDFS什么是HDFS背景及意义背景随着数据量的增加，一个操作系统存不下所有数据，就需要分配到更多的操作系统磁盘中，为了方便管理和维护，需要一种系统来管理多台机器上的文件，这就是分布式文件系统，HDFS只是分布式文件系统中的一种，其他的如：fastdfs等定义HDFS分布式文件系统，用来管理和存储文件的，由于是分布式的，是由多台服务器组成特性HDFS适合一次写入，多次读出的场景，不支持
数据的小伙伴·2023-03-14 22:29
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他