Hadoop小记

深入解析HDFS：定义、架构、原理、应用场景及常用命令

引言Hadoop分布式文件系统（HDFS，HadoopDistributedFileSystem）是Hadoop框架的核心组件之一，它提供了高可靠性、高可用性和高吞吐量的大规模数据存储和管理能力。
CloudJourney·2024-09-10 12:39

Hadoop的搭建流程

文章目录一、配置IP二、配置主机名三、配置主机映射四、关闭防火墙五、配置免密六、安装jdk1、第一步：2、第二步：3、第三步：4、第四步：5、第五步：七、安装hadoop1、上传2、解压3、重命名4、开始配置环境变量
lzhlizihang·2024-09-10 07:06

hive搭建 -----内嵌模式和本地模式

文章目录一、内嵌模式（使用较少）1、上传、解压、重命名2、配置环境变量3、配置conf下的hive-env.sh4、修改conf下的hive-site.xml5、启动hadoop集群6、给hdfs创建文件夹
lzhlizihang·2024-09-10 07:06

Hadoop之mapreduce -- WrodCount案例以及各种概念

文章目录一、MapReduce的优缺点二、MapReduce案例--WordCount1、导包2、Mapper方法3、Partitioner方法（自定义分区器）4、reducer方法5、driver（main方法）6、Writable（手机流量统计案例的实体类）三、关于片和块1、什么是片，什么是块？2、mapreduce启动多少个MapTask任务？四、MapReduce的原理五、Shuffle过
lzhlizihang·2024-09-10 07:06

小记XML写sql的聚合函数用法

一、GROUP_CONCAT手动查出需要用于查询、展示的字段用法：(需要GROUPBY)将每个岗位下的姓名合并为一个以逗号分隔的字符串SELECTGROUP_CONCAT(DISTINCTu.nickNameSEPARATOR',')FROMsystem_postASpostJOINsystem_user_postASupONpost.id=up.post_idWHERE.......--DIST
J总裁的小芒果·2024-09-10 07:02

Collectors.toMap 报错 NullPointerException

最近线上偶尔会报一个NPE，是Collectors.toMap导致的，这里小记一下，防止再次踩坑。
赵丙双·2024-09-10 06:55

IAAS: IT公司去IOE-Alibaba系统构架解读

从Hadoop到自主研发，技术解读阿里去IOE后的系统架构原地址：......................云计算阿里飞天摘要：从IOE时代，到Hadoop与飞天并行，再到飞天单集群5000节点的实现
wishchin·2024-09-10 04:18

Hadoop HDFS中的NameNode、SecondaryNameNode和DataNode

HadoopHDFS中的NameNode、SecondaryNameNode和DataNode目录1.定义2.主要作用3.官方链接1.定义在HadoopHDFS（Hadoop分布式文件系统）中，有三个关键的组件
BigDataMLApplication·2024-09-10 00:38

当开始敲键盘，我心里便只有我自己|6.29日记

午：午睡，上街，看感恩群聊天晚：一、今日小记01.补日记成了惯例。有时一次补好几篇。现实不允许我日更。每晚哄孩子睡觉往往自己就睡过去了。如果挣扎挣扎，其实是可以起来的。
五妹妹·2024-09-10 00:03

【Hadoop|HDFS篇】NameNode和SecondaryNameNode

1.NN和2NN的工作机制思考：NameNode中的元数据是存储在哪里的？首先，我们做个假设，如果存储在NameNode节点的磁盘中，因为经常需要进行随机访问，还有响应客户请求，必然是效率过低。因此，元数据需要存放在内存中。但如果只存在内存中，一旦断电，元数据丢失，整个集群就无法工作了。因此产生在磁盘中备份元数据的Fslmage。这样又会带来新的问题，当在内存中的元数据更新时，如果同时更新FsIm
Vez'nan的幸福生活·2024-09-09 23:00

Yarn介绍 - 大数据框架

YARN的概述YARN是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序YARN是Hadoop2.x
why do not·2024-09-09 23:58

浅析大数据Hadoop之YARN架构

YARN提供了资源管理和资源调度等机制1.1原HadoopMapReduce框架对于业界的大数据存储及分布式处理系统来说，Hadoop是耳熟能详的卓越开源分布式文件存储及处理框架，对于Hadoop框架的介绍在此不再累述
haotian1685·2024-09-09 22:26

Hadoop YARN【一】

YARN概念YARN是一种新的Hadoop资源管理器，它是一个通用的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。内部组件Client:负责提交应用程序。
冷雨夜下的星空·2024-09-09 22:26

大数据知识总结（三）：Hadoop之Yarn重点架构原理

文章目录Hadoop之Yarn重点架构原理一、Yarn介绍二、Yarn架构三、Yarn任务运行流程四、Yarn三种资源调度器特点及使用场景Hadoop之Yarn重点架构原理一、Yarn介绍ApacheHadoopYarn
Lansonli·2024-09-09 22:22

starrocks和clickhouse数据库比较

支持多种数据源的集成，并且可以与其他大数据技术（如Hadoop、Spark）协同工作。C
CodeMaster_37714848·2024-09-09 16:12

大数据（Hbase简单示例）

importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.hbase.HBaseConfiguration;importorg.apache.hadoop.hbase.TableName
BL小二·2024-09-09 13:18

Hbase的简单使用示例

HBase是基于HadoopHDFS构建的分布式、列式存储的NoSQL数据库，适用于存储和检索超大规模的非结构化数据。它支持随机读写，并且能够处理PB级数据。
傲雪凌霜，松柏长青·2024-09-09 11:40

今日小记

今天气温很高，阳光正艳，适合洗衣服。洗好的衣服晾晒在露台上，尽情地吸收着阳光的气息，晒过阳光的衣物，穿在身上感觉才健康。在阳光正好的时候晾晒衣物，自己的身体也一样沐浴着阳光，享受着阳光的消毒，吸收太阳的阳气，感觉身体充满了正能量。高温的天气，花草树木的泥土已经很干燥，浇水时需要费更多的功夫。1个多小时的劳作，也是一个很好的运动，汗流浃背，身体在劳动中得到了锻炼。每天的生活制造出各种各样的家务活，这
如雨季节过来人·2024-09-09 08:51

鼓励践行打卡第8天

本来替他报了小记者集体生日活动。可儿子一百个不乐意，比起一大帮不想干的人在一起热闹，他更愿邀请一两好友低调庆祝。我给他做了很多思想工作。
春天里的紫苏·2024-09-09 06:14

随心小记

这几天大概都只能写“随心小记”啦，最近实在是有些忙，忙得我也没有什么特别的思考，就随心写些日常，记录一下平凡的生活吧。
君怡w·2024-09-09 04:02

Hbase、hive以及ClickHouse的介绍和区别？

一、Hbase介绍：HBase是一个分布式的、面向列的开源数据库，由ApacheSoftwareFoundation开发，是Hadoop生态系统中的一个重要组件。
damokelisijian866·2024-09-08 23:43

Flink - CEP

Hadoop3.2集群新版本的搭建详细讲解过程，从下面第一张官方的图来看，最新版是3.2，所以大猪将使用3.2的版本来演示，过程中遇到的坑留给自己，把路留给你们，IT之路还有大猪。
kikiki1·2024-09-08 21:46

181004 今天关键词：小偷的升级 晨间小记第613天

现在这个时代，啥不升级就会被淘汰，小偷这个行业也不例外。不信你仔细观察，在这个大家都依赖微信、支付宝支付，几乎无现金的时代，小偷，这个存在了几千年的职业也在升级，不然就会被淘汰的没了饭碗。那天骑自行车在公司附近的十字路上等红绿灯，一对年轻情侣骑着辆时髦的电动车停在我旁边，我因离她俩很近，她俩的私语被我听到。女生说：“你知道么？最近xx说他都很少偷了？”男生问：：“为啥？”女生毫不顾及的轻声说：“现
营养私教西西·2024-09-08 20:45

chapter01 Java语言概述 知识点Note

JavaSEJavaEEJavaME大数据Java基础常用技术栈mysqlJDBCSSMspring+springmvc+mybatisLinuxnacosHadoopFlinkJAVAEE消息队列rabbitMQdocker
月下绯烟·2024-09-08 18:42

Hive和Hbase的区别

Hive和HBase都是Hadoop生态系统中的重要组件，它们都能处理大规模数据，但各自有不同的适用场景和设计理念。
傲雪凌霜，松柏长青·2024-09-08 17:37

HBase

ApacheHBase是一个基于Hadoop分布式文件系统（HDFS）构建的分布式、面向列的NoSQL数据库，主要用于处理大规模、稀疏的表结构数据。
傲雪凌霜，松柏长青·2024-09-08 17:07

Hive的优势与使用场景

Hive的优势Hive作为一个构建在Hadoop上的数据仓库工具，具有许多优势，特别是在处理大规模数据分析任务时。
傲雪凌霜，松柏长青·2024-09-08 17:07

大数据技术之Hadoop（一）

Hadoop概述1.1Hadoop是什么Hadoop是什么1）Hadoop是一个由Apache基金会所开发的分布式系统基础架构。2）主要解决，海量数据的存储和海量数据的分析计算问题。
pauls·2024-09-08 16:30

大数据面试题：说下为什么要使用Hive？Hive的优缺点？Hive的作用是什么？

Hive是Hadoop生态系统中比不可少的一个工具，它提供了一种SQL(结构化查询语言)方言，可以查询存储在Hadoop分布式文件系统（HDFS）中的数据或其他和Hadoop集成的文件系统，如MapR-FS
蓦然_·2024-09-08 15:50

HCIA学习日志-eNSP学习小记

eNSP配置一、配置视图配置视图大概可以分四类（不是）：用户视图、系统视图、接口视图、路由视图用户视图：:#用户视图系统视图：:system-view/sys#用户视图进系统视图[Huawei]:#系统视图接口视图：:system-view/sys#用户视图进系统视图[Huawei]:interface/intEthernet0/0/1#系统视图进接口视图[Huawei-Ethernet0/0/1
不渡云山·2024-09-08 10:14

ERROR:master启动报错： Attempting to operate on hdfs namenode as root

[root@masterhadoop]#sbin/start-all.shStartingnamenodeson[master]ERROR:AttemptingtooperateonhdfsnamenodeasrootERROR
CourageLee·2024-09-08 07:55

今日小记

2020年12月23日星期三晴晚饭后在单位活动室打了会儿球，准备回家时去办公室拿包。用钥匙开门时发现办公室的门是开着的，推开一看，有一同事在加班做年报。他家孩子盖着棉衣就在两张拼在一起的椅子上睡着了，两只脚还在椅子外面呢。孩子昨晚因扁桃体发炎有些发烧，今天看过医生后就没有去学校。同事的爱人带着前几天就生病了的小女儿住回娘家去了，怕生病的小女儿给大女儿传染上，所以把两孩子隔离开来。夫妻俩各带一个孩子
zero007·2024-09-08 05:48

八三小记

我打算以后日记都打算下班回家的车上写了，因为这两天的结果告诉我，等我躺下准备睡觉时再写已经没有精力去写了，也许白天精力充沛斗劲十足，可到了那一刻已经描写不出来了。今天穿了裙子去上班，相对之前来说穿的还算精致的一天，感觉自己美了不少。这两天想穿高跟鞋的想法特别深刻，认识到高跟鞋提升气质不说还增高，像我这种矮子怎么不穿呢，曾经以为脚踏实地勤勤恳恳也会过得不错，殊不知人都喜欢自己得不到的东西，越是遥不可
明天会不会更好·2024-09-07 20:19

雨天小记

与朋友公园小聚闲逛，忽逢乌云压境，大雨侵城，不得已与众游客避雨于凉亭。坐在我旁边的是一对父子。这位父亲不放过一丁点闲暇时间，随手打开英语教学APP，教起儿子英文来。这世道，鸡娃压力真是无处不在。而另一旁，我的朋友，她絮絮叨叨地聊起自己的各种不如意，与丈夫关系的恶化，求职的诸多不顺。她的心情一度低落，眼前的愁风愁雨更是直入愁肠，连她倾诉的话语中都多了几分戚然。负能量总是比正能量易于吸收。我听着听着，
爱写文的苏西坡·2024-09-07 18:15

Python大数据：深入探索Hadoop库的使用

在大数据的世界中，Python和Hadoop结合使用，为处理庞大数据集提供了强大的工具。本文将详细探讨如何在Python中使用Hadoop，特别是通过实例来展示这一过程。
t0_54coder·2024-09-07 17:22

Python 操作大数据使用 Hadoop

参考：https://blog.csdn.net/wuShiJingZuo/article/details/135620018fromhdfsimportInsecureClienthdfs_client=InsecureClient("http://localhost:9000",user="xiaokkk")#测试连接print(hdfs_client.status("/")){'access
静听山水·2024-09-07 17:47

flink 问题记录

文章目录1.Causedby:java.lang.UnsatisfiedLinkError:org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSums
Jhon_yh·2024-09-07 15:34

今日小记 | 520的浪漫日

今天和昨天没有多大差别，却因为其拥有了特殊的含义，变得被情侣，夫妻，表白的小伙子，姑娘们期待且关心的日子。从昨晚的凌晨的朋友圈，到今天公司各层大佬都在诉说着这个日子的特殊，在朋友圈，有人表达爱意，有人诉说感激，有人心悦于花，心爱于送花的人。而也有很多的人，在这个特殊的日子里，早起排队，等待民政局上班，然后领一个在特殊日子里的结婚证，释以爱意。有人狂秀老公，而有的老公疯狂的说服媳妇儿，这是商家的营销
墨野书香·2024-09-07 14:41

一天小记

今天语文我们学习了课文《荷叶圆圆》，老师让我们做了笔记，今天有听课的老师。还学习了形容词。数学今天讲了试卷，还做了黑板上的题。今天还上了美术课，老师教我们画了小汽车？
李嘉琦同学·2024-09-07 13:44

Spark概念知识笔记

最近总结了个人的各项能力，发现在大数据这方面几乎没有涉及，因此想补充这方面的知识，丰富自己的知识体系，大数据生态主要包含：Hadoop和Spark两个部分，Spark作用相当于MapReduceMapReduce
kuntoria·2024-09-07 05:21

【Hadoop】- MapReduce & YARN 初体验[9]

目录提交MapReduce程序至YARN运行1、提交wordcount示例程序1.1、先准备words.txt文件上传到hdfs，文件内容如下：1.2、在hdfs中创建两个文件夹，分别为/input、/output1.3、将创建好的words.txt文件上传到hdfs中/input1.4、提交MapReduce程序至YARN1.5、可通过node1:8088查看1.6、返回我们的服务器，检查输出文
星星法术嗲人·2024-09-07 04:21

Apache Storm：入门了解

前言Storm是一个开源的分布式实时计算系统，它能够处理无边界的数据流，类似于Hadoop对于批量数据处理的作用，但是Storm更侧重于实时数据流的处理。
布说在见·2024-09-07 03:43

画画小记（之五）

图片发自App现在的高科技越来越发达，这是一个什么软件不知道了，反正只要你拍一张照片，就可以给你换上好几套服装，张张都是好漂亮的，皮肤也好，气质也出来了。那天姐姐发过来几张照片，我一眼就喜欢上这张了，绘画激情一下被点燃！马上摆好画架，重新根据照片的色彩挤好颜料，立马动手，用我喜欢的油画刀画了起来。我画画没有章法，起笔从哪里下手得看当时的心情，一般来说我画人的话，都是从眼睛开始的，然后头部，衣服，这
彬彬画画·2024-09-07 03:36

如何做大数据测试

2、测试工具：大数据测试需要使用专门的测试工具和框架，如HadoopUnit、ApacheBigTop、JMeter、LoadRunner等，而普通测试则可以使用通用的测试工具和框架，如JUnit、TestNG
测试界潇潇·2024-09-06 18:47

基于Hadoop的学习行为数据云存储平台的设计与实现

基于Hadoop的学习行为数据云存储平台的设计与实现DesignandImplementationofaHadoop-BasedLearningBehavioralDataCloudStoragePlatform
usp1994·2024-09-06 16:03

20201218听书笔记：什么是数据思维？

报社里有个小记者，叫萨莉·克斯汀。我们就叫她萨莉吧[1]。在2011年的时候，萨莉注意到一个新闻——当地一名退休警察超速行驶，造成了恶性交通事故。萨莉查阅了近10年的记录，发现这样的事情不少。
幸运星小燕子·2024-09-06 14:42

小孩子记性好是真的（11）

对于学习，我闺女的记性我觉得还有待探究，但对于生活中，这小记性绝对厉害。
薏米阳光·2024-09-06 14:40

小诗‖《盼归》

夜轻柔不见月的离愁猫咪在墙瓦屋顶肆意的开口枯木恰逢雨水又把新芽抽谁家灯光微暖却只身守候在旧楼是在等待何人的身影翘首久久（小记：等待的过程，或许漫长；等待的结果，或许糟糕；但是，等待的经历，却是年华逝去之后
留瑕·2024-09-06 05:51

2022-01-20---小记

节选：《所思》一个人总有他逃不脱的禀受。一个人总有他洗不净的习染。一个人总有他打不破的迷信独断。一个人总有他不自觉的成见预期。据我的禀受，依我的习染，照我的迷信独断，或者再顺着我的成见预期，我确信，要把世界人类生活的一段，弄得不再像现在这个样子，“说实话”乃是一个非常必要不可缺的条件。必须把人类自觉或不自觉的种种动作，真情实况，统通赤裸裸地揭露出来，再不容什么东西有所逃技，人生乃有出路。必须人人胆
甜心嘎的大草莓·2024-09-06 05:39

DAG (directed acyclic graph) 作为大数据执行引擎的优点

DR-ConceptuallyDAGmodelisastrictgeneralizationofMapReducemodel.DAG-basedsystemslikeSparkandTezthatareawareofthewholeDAGofoperationscandobetterglobaloptimizationsthansystemslikeHadoopMapReducewhicha
joeywen·2024-09-06 04:43
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他