hadoop篇

从零开始了解大数据(七)：总结

系列文章目录从零开始了解大数据(一)：数据分析入门篇-CSDN博客从零开始了解大数据(二)：Hadoop篇-CSDN博客从零开始了解大数据(三)：HDFS分布式文件系统篇-CSDN博客从零开始了解大数据
橘子-青衫·2024-01-04 02:19

【Hadoop篇08】Hadoop数据压缩

简洁而不简单Hadoop数据压缩数据压缩优点和缺点压缩技术能够有效减少底层存储系统（HDFS）读写字节数。压缩提高了网络带宽和磁盘空间的效率。在Hadoop下，尤其是数据规模很大和工作负载密集的情况下，使用数据压缩显得非常重要。在这种情况下，IO操作和网络数据传输要花大量的时间。还有，Shuffle与Merge过程同样也面临着巨大的IO压力鳘于磁盘IO和网络带宽是Hadoop的宝贵资源，数据压缩对
focusbigdata·2023-12-24 10:00

从零开始了解大数据(二)：Hadoop篇

目录前言一、Hadoop集群整体概述1.HDFS集群（分布式存储）：(1)HDFS集群角色构成：(2)HDFS集群功能：2.YARN集群（资源管理、调度）：(1)YARN集群角色构成：(2)YARN集群功能：二、Hadoop集群启停命令、webUI1.手动逐个进程启停：2.shell脚本一键启停：(1)HDFS集群：(2)YARN集群：(3)Hadoop集群：3.进程状态、日志查看：4.WebUI
橘子-青衫·2023-12-19 13:23

从零开始学python（十五）大厂必用feapder框架

编程语法必修篇2.网络编程篇3.多线程/多进程/协程篇4.MySQL数据库篇5.Redis数据库篇6.MongoDB数据库篇7.机器学习篇8.全栈开发篇9.Numpy/pandas/matplotlib篇10.Hadoop
天天不吃饭阿·2023-08-11 05:14

从零开始学python（十六）爬虫集群部署

编程语法必修篇2.网络编程篇3.多线程/多进程/协程篇4.MySQL数据库篇5.Redis数据库篇6.MongoDB数据库篇7.机器学习篇8.全栈开发篇9.Numpy/pandas/matplotlib篇10.Hadoop
天天不吃饭阿·2023-08-11 05:13

大数据-重新学习hadoop篇-完成

前言：首先这次重新学习为了后面校招，我会把我每天复习学到的一些觉得重要的知识点进行总结下来，持续更新，为实习做准备，加深记忆，从今天开始可能就不会法leetcode的相关题解了，但是每天还是会做每日一题的，加油。hadoop优势1.高可靠性：Hadoop底层的hdfs会进行副本存储，当一台机器挂了的时候，它有副本就可以重新启动恢复2.高扩展性：当双11这种网络拥堵情况出现的时候，可以扩充机器进行负
时间幻象·2023-08-05 02:39

一起重新开始学大数据-hadoop篇-Day44-Hadoop、hdfs概述架构简析，Hadoop集群搭建

一起重新开始学大数据-hadoop篇-Day44-Hadoop、hdfs概述架构简析，Hadoop集群搭建     科普环节概念、名词科普Apache基金会是专门为支持开源软件项目而办的一个非盈利性组织服务器
你的动作太慢了！·2023-04-19 03:40

数据仓库环境准备-Hadoop篇

大数据软件版本说明:hadoop-3.1.4、zookeeper-3.5.8、kafka_2.12-2.6.0、flume-1.9.0、sqoop-1.4.6、hive-3.1.2、mysql-5.7.31-1.el7、spark-3.0.0一、JDK安装1.移除OpenJDK命令:sudorpm-qa|grep-ijava|xargs-n1sudorpm-e--nodeps2.修改/opt目录权
枫叶无言_1997·2023-04-18 01:44

《Hadoop篇》------HDFS与MapReduce

目录一、HDFS角色职责总结二、CheckPoint机制三、Mapreduce序列化四、Mapper4.1、官方介绍4.2、Split计算4.3、Split和block对应关系4.4、启发式算法五、MapTask整体的流程六、压缩算法6.1、压缩算法适用场景6.2、压缩算法选择6.2.1、Gzip压缩6.2.2、Bzips压缩6.2.3、Lzo压缩七、ResourceManager八、Yarn角色
清忖灬·2023-04-10 03:40

《Hadoop篇》------大数据及Hadoop入门

目录一、大数据及Hadoop入门1.1单节点、分布式、集群1.1.1大数据的概念1.1.2大数据的本质二、HDFSShell命令2.1、常用相关命令2.2、上传文件2.2.1、上传文件介绍2.2.2上传文件操作2.3、下载文件2.4、删除文件2.5、创建目录2.6、查看文件系统2.7、拷贝文件三、分布式系统原理3.1、数据块四、HDFS架构五、Datanode服役（上线）和退役（下线）5.1分发到
清忖灬·2023-04-10 03:39

大数据必备面试题Hadoop篇

1、简述下HDFS的组织架构。HDFS的组织架构主要分为Client、NameNode、DataNode和SecondaryNameNode四个部分：（1）Client：A、切分文件。文件上传HDFS的时候，Client将文件切分成一个一个的Block，然后进行存储；B、与NameNode交互，获取文件的位置信息；C、与DataNode交互，读取或者写入数据；D、Client提供一些命令来管理HD
技术人小柒·2023-04-07 20:16

高性能计算--HPCC--HPCC vs Hadoop篇

原文：http://hpccsystems.com/Why-HPCC/HPCC-vs-Hadoop翻译：那海蓝蓝，译文请见“【】”中的部分ReadhowtheHPCCPlatformcomparestoHadoop说明：HPCC的相关部分，如果没有翻译，则参见：ttp://blog.163.com/li_hx/blog/static/183991413201163104244293/ItemHPC
那海蓝蓝·2023-04-02 20:37

大数据技术原理与应用Hadoop篇-初始hadoop

hadoop发行版本1.apachehadoophttp://hadoop.apache.org/2.clouderahadoop(CDH)https://www.cloudera.com/3.hortonworkshadoop(HDP)https://hortonworks.com4.MapRhttps://mapr.com/5.fusionInsighthadoop（华为大数据平台hadoop
诺特兰德·2023-03-30 23:50

【千里之行，始于足下】大数据高频面试题——Hadoop篇（一）

制作不易，各位大佬们给点鼓励！点赞➕收藏⭐➕关注✅欢迎各位大佬指教，一键三连走起！1、Hadoop常用端口➢dfs.namenode.http-address:50070➢dfs.datanode.http-address:50075➢SecondaryNameNode辅助名称节点端口号：50090➢dfs.datanode.address:50010➢fs.defaultFS:8020或者900
北慕辰·2022-11-29 16:36

hadoop put命令的格式_【Hadoop篇】--Hadoop常用命令总结

一、前述分享一篇hadoop的常用命令的总结，将常用的Hadoop命令总结如下。二、具体1、启动hadoop所有进程start-all.sh等价于start-dfs.sh+start-yarn.sh但是一般不推荐使用start-all.sh(因为开源框架中内部命令启动有很多问题)。2、单进程启动。sbin/start-dfs.sh---------------sbin/hadoop-daemons
孟海丽·2022-07-13 13:57

第一章 常用Liunx—Hadoop篇

以后网络连接不上注意查看服务：VMware的服务小娜搜索服务--》找到VMware开头的五个服务，全部开启网络设置三要素：在虚拟机上选择编辑--》虚拟网络编辑器--》VMnet8--》查看其中的IP地址及网关IP地址：照抄VMnet8中的IP地址前三组，最后一组选择11-255之间任意数字如：192.168.130.115子网掩码：所有人都一样：255.255.255.0网关IP：一般在虚拟机中是
565420164146·2021-06-19 10:06

终章：蜕变，破茧成蝶！

关注专栏《破茧成蝶——大数据篇》查看相关系列文章~【未完、待续……持续更新中……】【未完、待续……持续更新中……】【未完、待续……持续更新中……】一、Hadoop篇一、Hadoop框架介绍二、Linux
象在舞·2021-01-05 16:37

二十四、案例：分析日志数据，降序输出TopN

咱们Hadoop篇正文内容就这么多了，接下来的三篇是三个MapReduce的案例，以代码为主，实现过程相对简单。
象在舞·2020-12-07 15:56

大数据开发之Hadoop篇----hadoop和lzo结合使用

hadoop-lzo经过我上一篇博文的介绍，大家都知道在我们大数据开发的过程中，其实我们都会对数据进行压缩的，但不同的压缩方式会有不同的效果，今天我来介绍一下lzo这种hadoop原生并不支持的压缩方式的配置和使用，最后我们将跑一次基于lzo的压缩的文件的wordcount。hadoop支持lzo由于hadoop原生并不支持lzo，所以即使我们使用了编译版的hadoop好像也不能使用lzo这中压缩
豆豆总·2020-09-12 07:48

大数据面试集锦---Hadoop篇

新手大数据开发一枚，之前也做了一些MR、Spark、Storm的项目，但是有些框架本身的东西还不是很懂，毕业季找工作，就顺手整理一些东西。希望在这个过程中能把只是融会贯通。不会很细的去面面俱到的写框架，只会写一写自己遇到的问题。HDFS的设计思想(1)一次写入，多次读取(2)hdfs是对搞数据吞吐量优化的，以提高时间延时为代价(3)namenode存储着文件系统的元数据(每个目录、每个文件和数据块
向阳争渡·2020-08-24 05:17

【Hadoop篇08】Hadoop数据压缩

简洁而不简单Hadoop数据压缩数据压缩优点和缺点压缩技术能够有效减少底层存储系统（HDFS）读写字节数。压缩提高了网络带宽和磁盘空间的效率。在Hadoop下，尤其是数据规模很大和工作负载密集的情况下，使用数据压缩显得非常重要。在这种情况下，IO操作和网络数据传输要花大量的时间。还有，Shuffle与Merge过程同样也面临着巨大的IO压力鳘于磁盘IO和网络带宽是Hadoop的宝贵资源，数据压缩对
focusbigdata·2020-08-20 17:06

【Hadoop篇08】Hadoop数据压缩

简洁而不简单Hadoop数据压缩数据压缩优点和缺点压缩技术能够有效减少底层存储系统（HDFS）读写字节数。压缩提高了网络带宽和磁盘空间的效率。在Hadoop下，尤其是数据规模很大和工作负载密集的情况下，使用数据压缩显得非常重要。在这种情况下，IO操作和网络数据传输要花大量的时间。还有，Shuffle与Merge过程同样也面临着巨大的IO压力鳘于磁盘IO和网络带宽是Hadoop的宝贵资源，数据压缩对
focusbigdata·2020-08-20 17:05

【Hadoop篇07】Hadoop集群脚本编写

积极乐观的态度是解决任何问题和战胜任何困难的第一步Hadoop集群脚本编写编写分发文件脚本应用场景如下：比如有三台主机master1,slave1,slave2如果简历完全分布式的集群就需要将文件从master1拷贝到slave从机上那么可以使用rsync命令分发单个文件，也可以使用如下脚本分发文件夹或者文件#!/bin/bash#1获取输入参数个数，如果没有参数，直接退出#$#代表获得命令行参数
focusbigdata·2020-08-20 17:30

【Hadoop篇07】Hadoop集群脚本编写

积极乐观的态度是解决任何问题和战胜任何困难的第一步Hadoop集群脚本编写编写分发文件脚本应用场景如下：比如有三台主机master1,slave1,slave2如果简历完全分布式的集群就需要将文件从master1拷贝到slave从机上那么可以使用rsync命令分发单个文件，也可以使用如下脚本分发文件夹或者文件#!/bin/bash#1获取输入参数个数，如果没有参数，直接退出#$#代表获得命令行参数
focusbigdata·2020-08-20 17:30

【Hadoop篇06】Hadoop源码编译

没有谁必须要帮助你，任何事情都得靠自己去完成Hadoop源码编译准备工作（1）CentOS联网配置CentOS能连接外网。Linux虚拟机ping是畅通的注意：采用root角色编译，减少文件夹权限出现问题（2）jar包准备(hadoop源码、JDK8、maven、ant、protobuf)（1）hadoop-2.7.2-src.tar.gz（2）jdk-8u144-linux-x64.tar.gz
focusbigdata·2020-08-20 17:56

【Hadoop篇06】Hadoop源码编译

没有谁必须要帮助你，任何事情都得靠自己去完成Hadoop源码编译准备工作（1）CentOS联网配置CentOS能连接外网。Linux虚拟机ping是畅通的注意：采用root角色编译，减少文件夹权限出现问题（2）jar包准备(hadoop源码、JDK8、maven、ant、protobuf)（1）hadoop-2.7.2-src.tar.gz（2）jdk-8u144-linux-x64.tar.gz
focusbigdata·2020-08-20 17:56

【Hadoop篇05】Hadoop配置集群时间同步

做任何事都要经受得挫折，要有恒心和毅力，满怀信心坚持到底Hadoop配置集群事件同步时间同步方式找一台机器，作为时间服务器，所有的机器与这台集群时间进行定时的同步，比如，每隔十分钟，同步一次时间配置时间同步步骤1.时间服务器配置（必须root用户）rpm-qa|grepntp2.修改ntp配置文件vi/etc/ntp.conf修改内容如下a）修改1（授权192.168.1.0网段上的所有机器可以从
focusbigdata·2020-08-20 17:54

【Hadoop篇05】Hadoop配置集群时间同步

做任何事都要经受得挫折，要有恒心和毅力，满怀信心坚持到底Hadoop配置集群事件同步时间同步方式找一台机器，作为时间服务器，所有的机器与这台集群时间进行定时的同步，比如，每隔十分钟，同步一次时间配置时间同步步骤1.时间服务器配置（必须root用户）rpm-qa|grepntp2.修改ntp配置文件vi/etc/ntp.conf修改内容如下a）修改1（授权192.168.1.0网段上的所有机器可以从
focusbigdata·2020-08-20 17:54

【Hadoop篇04】Hadoop配置日志聚集

成长这一路就是懂得闭嘴努力，知道低调谦逊，学会强大自己，在每一个值得珍惜的日子里，拼命去成为自己想成为的人Hadoop配置日志聚集应用场景为了让应用运行完成以后，将程序运行日志信息上传到HDFS系统上，有了日志之后就可以查看程序中的报错信息，从而调试程序配置步骤1.配置yarn-site.xmlyarn.log-aggregation-enabletrueyarn.log-aggregation.
focusbigdata·2020-08-20 17:54

【Hadoop篇04】Hadoop配置日志聚集

成长这一路就是懂得闭嘴努力，知道低调谦逊，学会强大自己，在每一个值得珍惜的日子里，拼命去成为自己想成为的人Hadoop配置日志聚集应用场景为了让应用运行完成以后，将程序运行日志信息上传到HDFS系统上，有了日志之后就可以查看程序中的报错信息，从而调试程序配置步骤1.配置yarn-site.xmlyarn.log-aggregation-enabletrueyarn.log-aggregation.
focusbigdata·2020-08-20 17:53

十一、MapReduce中的InputFormat

关注专栏《fromzerotohero（Hadoop篇）》查看相关系列的文章~目录一、切片与MapTask并行度二、FileInputFormat切片三、CombineTextInputFormat切片四
象在舞·2020-08-14 17:21

大数据各框架的原理与知识点

以下是根据自己的总结和梳理,建议入过门大数据的人看.写的很片面,没有图片,我仅仅想把握学的东西梳理下.Hadoop篇数据仓库数据仓库,简写DW,是为企业级所有级别的决策制定过程,提供所有类型数据支持的战略集合
Going_sky·2020-08-13 10:56

大数据Hadoop篇：源码编译

一、环境配置CentOS联网配置CentOS能连接外网。Linux虚拟机pingwww.baidu.com是畅通的注意：采用root角色编译，减少文件夹权限出现问题jar包准备(hadoop源码、JDK8、maven、ant、protobuf)（1）hadoop-2.7.2-src.tar.gz（2）jdk-8u144-linux-x64.tar.gz（3）apache-ant-1.9.9-bin
犇犇_D·2020-08-12 12:29

Hadoop大数据面试--Hadoop篇

本篇大部分内容参考网上，其中性能部分参考：http://blog.cloudera.com/blog/2009/12/7-tips-for-improving-mapreduce-performance/、http://www.idryman.org/blog/2014/03/05/hadoop-performance-tuning-best-practices/原理篇：1.Hadoop2.X的各
fansy1990·2020-08-01 12:39

一、Hadoop框架介绍

OK~从今天开始，我们就开始我们的fromzerotohero大数据系列的博客编写，今天是第一篇，开篇为《Hadoop框架介绍》，Hadoop系列将会收录在《fromzerotohero（Hadoop篇
象在舞·2020-08-01 09:21

十、Hadoop的序列化

上篇博客介绍了Hadoop核心组件之MapReduce，本篇主要介绍Hadoop的序列化，关注专栏《fromzerotohero（Hadoop篇）》查看相关系列的文章~目录一、序列化概述二、序列化实例2.1
象在舞·2020-07-30 13:59

九、Hadoop核心组件之MapReduce

前面几篇文章我们呢着重介绍了HDFS，从这篇开始，我们开始介绍MapReduce，关注专栏《fromzerotohero（Hadoop篇）》查看相关系列的文章~目录一、MapReduce的定义二、MapReduce
象在舞·2020-07-30 13:58

二、Linux下搭建Hadoop的运行环境

上一篇文章简单的介绍了一下Hadoop，本篇主要目的是搭建Hadoop的运行环境，关注专栏《fromzerotohero（Hadoop篇）》查看相关系列的文章~目录一、虚拟机准备二、安装JDK三、安装Hadoop
象在舞·2020-07-27 22:56

八、HDFS中的DataNode

上篇博客介绍了Hadoop源码编译，本篇主要介绍HDFS中的DataNode，关注专栏《fromzerotohero（Hadoop篇）》查看相关系列的文章~目录一、DataNode的工作机制二、掉线时限参数三
象在舞·2020-07-27 11:53

三、Hadoop运行模式（本地模式、伪分布模式）

上篇博客介绍了Linux下搭建Hadoop运行环境，本篇主要介绍Hadoop的本地运行模式和伪分布式模式，关注专栏《fromzerotohero（Hadoop篇）》查看相关系列的文章~目录一、本地模式1.1
象在舞·2020-07-27 11:52

四、Hadoop的运行模式（完全分布式）

上篇博客介绍了Hadoop的本地模式和伪分布式，本篇主要介绍Hadoop的完全分布式，关注专栏《fromzerotohero（Hadoop篇）》查看相关系列的文章~目录一、分发命令以及分发脚本1.1scp
象在舞·2020-07-27 11:52

五、Hadoop核心组件之HDFS

上篇博客介绍了Hadoop的本地模式和伪分布式，本篇主要介绍Hadoop的核心组件HDFS，关注专栏《fromzerotohero（Hadoop篇）》查看相关系列的文章~目录一、HDFS的产生背景二、HDFS
象在舞·2020-07-27 10:57

六、HDFS中的NameNode和SecondaryNameNode

上篇博客介绍了Hadoop的核心组件HDFS，本篇主要介绍HDFS中的NameNode和SecondaryNameNode，关注专栏《fromzerotohero（Hadoop篇）》查看相关系列的文章~
象在舞·2020-07-27 10:57

LINUX下单机安装HADOOP+HIVE手册

HADOOP篇HADOOP安装1.tar-zvxfhadoop-0.19.2.tar.gz2.HADOOP的安装路径添加到环境文件/etc/profile中：exportHADOOP_HOME=/home
w98degrees·2020-07-15 02:13

企业级Hadoop大数据平台实战（3）——Hadoop分布式的实现

Namenode（master）server6(172.25.8.6)Datanode(slave)server7(172.25.8.7)Datanode(slave)真机（172.25.8.250）测试Hadoop
AmourHai·2020-07-14 19:00

大数据开发之Hadoop篇----hdfs dfsadmin命令

今天我们来了解一下hdfsdfsadmin这个命令，前面我们已经多次使用了hdfsdfs这个命令来对hdfs上的文件进行操作了。而是在生产上面我们还是会遇到不同的情况。今天我们简单讲解一下hdfsdfsadmin中的两个命令，以及他们在生产当中是怎样使用的1，hdfsdfsadmin-report这个命令其实是用来查看整个hdfs的健康情况的，因为我们现在是使用cdh的版本，他已经封装好了一个用户
豆豆总·2020-07-10 09:20

大数据开发之Hadoop篇----hdfs基础架构

开篇之前我们在这里先明确下hdfs是一个分布式文件存储系统，其和linux是相似的，linux也能算是一个文件存储系统(当然严格意思上是一个操作系统，但其所有的配置和命令都是以文件的形式存储，所以我们在这里就全当他是文件系统理解吧)，但不是分布式的。其次，在我们日常的学习过程当中，我们使用的是伪分布式，就是我们的NameNode，DataNode和SecondaryNameNode是被部署到同一台
豆豆总·2020-07-10 09:20

大数据开发之Hadoop篇----hdfs垃圾回收机制配置

其实要启动hdfs上的垃圾回收机制只需要配置两个参数就可以了，也是在core-site.xml上配置就好了，我们先去官网看下这个两参数的解释。官网的解释是：Numberofminutesafterwhichthecheckpointgetsdeleted.Ifzero,thetrashfeatureisdisabled.Thisoptionmaybeconfiguredbothontheserve
豆豆总·2020-07-09 09:49

【Hadoop篇08】Hadoop数据压缩

简洁而不简单Hadoop数据压缩数据压缩优点和缺点压缩技术能够有效减少底层存储系统（HDFS）读写字节数。压缩提高了网络带宽和磁盘空间的效率。在Hadoop下，尤其是数据规模很大和工作负载密集的情况下，使用数据压缩显得非常重要。在这种情况下，IO操作和网络数据传输要花大量的时间。还有，Shuffle与Merge过程同样也面临着巨大的IO压力鳘于磁盘IO和网络带宽是Hadoop的宝贵资源，数据压缩对
focusbigdata·2020-07-05 01:28

LINUX下单机安装HADOOP+HIVE手册

HADOOP篇HADOOP安装1.tar-zvxfhadoop-0.19.2.tar.gz2.HADOOP的安装路径添加到环境文件/etc/profile中：exportHADOOP_HOME=/home
iteye_13339·2020-07-04 18:47
上一页 1 2 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他