Hadoop小记

spark启动命令

hadoop启动：cd/root/toolssstart-dfs.sh，只需在hadoop01上启动stop-dfs.sh日志查看：cat/root/toolss/hadoop/logs/hadoop-root-datanode-hadoop03
学不会又听不懂·2024-09-13 10:36

有感小记

新《三国演义》第73集魏王临终托付大业曹操说：世人，昨日看错我曹操，今日又看错了，也许明日还会看错。可是我，仍然是我。我从来不怕别人看错我。没有错，就不要怕别人看错你，更不要去无辜地承认错误。如果全世界人都错了，你反而更应该去坚持正确的观点。曹操是一个受社会各界人士争议很大的人物，为什么大多数人说他是奸雄呢？因为曹操是一个被太平盛世所不容的人物，在太平盛世里乱世英雄是一直被丑化的，在忠君思想下洗脑
洛伊子昂·2024-09-13 07:04

2018-11-04

到是写了一首小诗《生日偶感》，以作小记，竟也过了诗专题。附小诗：生日偶感生肖属猴如今却生成了一颗猪的心曾经的跃跃欲试攀登高峰的勇气已在月光下搁浅任由车马从门前疾驰而过
晓风冷月之云水禅心·2024-09-13 06:57

今日小记

在有几天过完二月二龙抬头，这个年也就过完了，孩子也开学了，一切又步入正轨了，又回到了，家—单位—孩子。感觉没准备好呢？过年了。感觉还没好好休息呢？年过完了。感觉时间快的，不曾来过。生活肯定还是那个样，岁月静好就好，但自己要给生活惊喜，要给生活仪式感，做为已经3开口了的我，要学会沉稳，学会思前想后。每年都能有一个全新的我。时间得规划，日子得积极。希望每个人都能找到人生方向，都有正能量，都有自己的梦想
静静_ee7f·2024-09-13 03:10

编程常用命令总结

编程命令大全1.软件环境变量的配置JavaScalaSparkHadoopHive2.大数据软件常用命令Spark基本命令Spark-SQL命令Hive命令HDFS命令YARN命令Zookeeper命令
Yellow0523·2024-09-13 02:42

住院小记1112

01晒太阳我住院的病房在医院1楼，从1楼走到门外的大草坪只需要两三分钟时间。我每天都会去晒太阳，有时候一天去个两三次，早上一次，中午一次，下午再一次。草坪很大，草坪上和草坪边缘都有人在晒太阳。在草坪的边缘，立了两个白色的雕像，一个是白求恩，一个是南丁格尔。在雕像的中间是一块石碑，写着医院的名称。草坪像一把大大的扇子，这扇子的尽头就是医院的大门口。几天阳光好，总是看见一些人毫无顾忌地坐着躺着趴着。昨
每日心流·2024-09-12 23:01

随心小记

生活总有无何奈何之处，但是每个人又都在向往诗和远方的田野。在寻求内心深处的净土时又总是期待宁静中的一丝烟火气。可我们一直生活在验货之中呢不是吗？或许某个时刻我们曾浅显的怀疑人生，或许某个时段我们曾认真地思考过生活，或许是与一次次的否定和一次次的肯定。我读过梭伦的《瓦尔登湖》，远离城市喧嚣去寻找内心的依靠，它的写作背景是污染环境下，作者去瓦尔登湖居住了三年，每天都有鸟语和蔚蓝的天空作伴。这是无数诗人
赵冲希望粑粑·2024-09-12 23:22

昨日反思5/13

>>每日小记<<项目状态坚持开心词场141天坚持英语流利说141天流利说打卡完成坚持日更11天流利说真人对话1201gofluent3天不抱怨21.今天新加的事02.今天遗憾的事情呼叫中心运营书没看完3
Liz_Li·2024-09-12 22:21

Hadoop常见面试题整理及解答

Hadoop常见面试题整理及解答一、基础知识篇：1.把数据仓库从传统关系型数据库转到hadoop有什么优势？答：（1）关系型数据库成本高，且存储空间有限。
叶青舟·2024-09-12 19:24

2018.8.25痛苦的小记

今天中元节，我一个人在家，老妈专门打电话来提醒我，让我晚上不要出门。本来我都不记得了，倒没觉得害怕，她一提醒，反倒还把我弄得神经质的，本来开完雄鹰组的小组会快11点了，也快忘记这码事了，她又发来一条消息，说让我11点之前赶紧睡觉，要不然就带着帽子……我……哪壶不开提哪壶啊！！！我知道她是好心，我这一个人在家，本来就胆小，她一再提醒我，弄得我觉也不敢睡，也不敢不睡，看了微信一圈也想出来一个夜猫子，还
廖忱瑶·2024-09-11 23:15

今日小记

文|白喻晚最近不想写文章。没有灵感了。写了几篇去投稿，全部退回来了。现在好像很少有公众号会收纯故事文了。大多都喜欢夹叙夹议的情感文。然而，我最不擅长写了。没什么情感经验，也没什么观点。更没什么干货。公众号的运营也暂停了，一天能涨1，2个粉差不多。不想去宣传了。就佛系更新吧。也没人投稿。现在的主要经历都放在了另一个征稿号上，不需要花什么精力。也能赚点小钱。今天就到这吧。
白喻晚·2024-09-11 20:29

2025毕业设计指南：如何用Hadoop构建超市进货推荐系统？大数据分析助力精准采购

⚡⚡Java实战|SpringBoot/SSMPython实战项目|Django微信小程序/安卓实战项目大数据实战项目⚡⚡文末获取源码文章目录⚡⚡文末获取源码基于hadoop的超市进货推荐系
计算机编程指导师·2024-09-11 18:08

小记

最近忙着给二年级的训练，几天没给一年级的娃娃上课了。课间去班上刚到门口几个学生跑过来抱着我说：老师，你去哪了？你好久没给我们上课了，好想你呀！其他学生看到了都跑过来围着像小猴子挂在身上……小刘同学也摇着我的手臂说了几句我没听懂的话，但他让我感知到了见到我他是开心的。另一个刚开学很内向的孩子看到我来了也往我身边蹭，腼腆的仰着头冲我笑，虽然经常为了纠正他的坏毛病凶他，有时甚至把他批评哭了，但从来不记仇
笑响点亮了四面wind·2024-09-11 12:54

期中作文：感受“光亮”

洛社初中小记者走进梁溪之声不小心摔倒时，路人的搀扶温暖了你；寒气逼人的凌晨，清洁工人忙碌的身影感动了你；迷茫困惑时，一本好书启发了你；平淡生活中，父母的言传身教影响了你；考试失利时，同学的安慰鼓励了你；
小苹果树·2024-09-11 10:05

Hadoop Common 之序列化机制小解

这不过此种序列化虽然跨病态兼容性强，但是因为存储过多的信息，但是传输效率比较低，所以hadoop弃用它。
猫君之上·2024-09-11 08:59

深入理解hadoop(一)----Common的实现----Configuration

一,hadoop的配置管理a,hadoop通过独有的Configuration处理配置信息Configurationconf=newConfiguration();conf.addResource("core-default.xml
maoxiao_jsd·2024-09-11 08:59

生活小记录

2021年8月12日，周四，多云有雨。灵艳早早的跟着二姨妈去摘小番茄，早饭后，王斌到庄上送楠楠外婆的身份证，良斌开车从楚雄回来，直接到我家来吃饭。那我基本就是在家里带娃了，3个孩子，玩的时候陪他们玩，下午点，楠楠坐在沙发上吸着奶瓶睡着了，王斌抱她到房间里面睡，我带着可可和弟弟在客厅看电视，我哄小宝睡觉，过了会儿，可可趴在沙发上睡着了，小家伙还没睡，自个儿玩玩这个，拿拿那个，这里翻翻，那里爬爬，我都
紫岚兮·2024-09-11 05:19

2021-10-23

今日小记今晚夜班，白天转班休息半天，由于昨晚睡得早，早上四点多就醒了睡不着。从早上醒来到晚上上班一直没睡，白天本来打算睡一下的，睡不着。把手机放在一边，躺了半天还是睡不着。
Reallove·2024-09-11 04:39

hadoop 0.22.0 部署笔记

hbase是部署在hadoop平台上的NOSql数据库，因此在部署hbase之前需要先部署hadoop。
weixin_33701564·2024-09-10 17:41

解决Windows环境下hadoop集群的运行_window运行hadoop,unknown hadoop01(4)

org.apache.hadoophadoop-com
2401_84160087·2024-09-10 16:34

解决Windows环境下hadoop集群的运行_window运行hadoop,unknown hadoop01(3)

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化资料的朋友，可以戳这里获取一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！xmlns:xsi="http://www.w3.or
2401_84160087·2024-09-10 16:04

深入解析HDFS：定义、架构、原理、应用场景及常用命令

引言Hadoop分布式文件系统（HDFS，HadoopDistributedFileSystem）是Hadoop框架的核心组件之一，它提供了高可靠性、高可用性和高吞吐量的大规模数据存储和管理能力。
CloudJourney·2024-09-10 12:39

Hadoop的搭建流程

文章目录一、配置IP二、配置主机名三、配置主机映射四、关闭防火墙五、配置免密六、安装jdk1、第一步：2、第二步：3、第三步：4、第四步：5、第五步：七、安装hadoop1、上传2、解压3、重命名4、开始配置环境变量
lzhlizihang·2024-09-10 07:06

hive搭建 -----内嵌模式和本地模式

文章目录一、内嵌模式（使用较少）1、上传、解压、重命名2、配置环境变量3、配置conf下的hive-env.sh4、修改conf下的hive-site.xml5、启动hadoop集群6、给hdfs创建文件夹
lzhlizihang·2024-09-10 07:06

Hadoop之mapreduce -- WrodCount案例以及各种概念

文章目录一、MapReduce的优缺点二、MapReduce案例--WordCount1、导包2、Mapper方法3、Partitioner方法（自定义分区器）4、reducer方法5、driver（main方法）6、Writable（手机流量统计案例的实体类）三、关于片和块1、什么是片，什么是块？2、mapreduce启动多少个MapTask任务？四、MapReduce的原理五、Shuffle过
lzhlizihang·2024-09-10 07:06

小记XML写sql的聚合函数用法

一、GROUP_CONCAT手动查出需要用于查询、展示的字段用法：(需要GROUPBY)将每个岗位下的姓名合并为一个以逗号分隔的字符串SELECTGROUP_CONCAT(DISTINCTu.nickNameSEPARATOR',')FROMsystem_postASpostJOINsystem_user_postASupONpost.id=up.post_idWHERE.......--DIST
J总裁的小芒果·2024-09-10 07:02

Collectors.toMap 报错 NullPointerException

最近线上偶尔会报一个NPE，是Collectors.toMap导致的，这里小记一下，防止再次踩坑。
赵丙双·2024-09-10 06:55

IAAS: IT公司去IOE-Alibaba系统构架解读

从Hadoop到自主研发，技术解读阿里去IOE后的系统架构原地址：......................云计算阿里飞天摘要：从IOE时代，到Hadoop与飞天并行，再到飞天单集群5000节点的实现
wishchin·2024-09-10 04:18

Hadoop HDFS中的NameNode、SecondaryNameNode和DataNode

HadoopHDFS中的NameNode、SecondaryNameNode和DataNode目录1.定义2.主要作用3.官方链接1.定义在HadoopHDFS（Hadoop分布式文件系统）中，有三个关键的组件
BigDataMLApplication·2024-09-10 00:38

当开始敲键盘，我心里便只有我自己|6.29日记

午：午睡，上街，看感恩群聊天晚：一、今日小记01.补日记成了惯例。有时一次补好几篇。现实不允许我日更。每晚哄孩子睡觉往往自己就睡过去了。如果挣扎挣扎，其实是可以起来的。
五妹妹·2024-09-10 00:03

【Hadoop|HDFS篇】NameNode和SecondaryNameNode

1.NN和2NN的工作机制思考：NameNode中的元数据是存储在哪里的？首先，我们做个假设，如果存储在NameNode节点的磁盘中，因为经常需要进行随机访问，还有响应客户请求，必然是效率过低。因此，元数据需要存放在内存中。但如果只存在内存中，一旦断电，元数据丢失，整个集群就无法工作了。因此产生在磁盘中备份元数据的Fslmage。这样又会带来新的问题，当在内存中的元数据更新时，如果同时更新FsIm
Vez'nan的幸福生活·2024-09-09 23:00

Yarn介绍 - 大数据框架

YARN的概述YARN是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序YARN是Hadoop2.x
why do not·2024-09-09 23:58

浅析大数据Hadoop之YARN架构

YARN提供了资源管理和资源调度等机制1.1原HadoopMapReduce框架对于业界的大数据存储及分布式处理系统来说，Hadoop是耳熟能详的卓越开源分布式文件存储及处理框架，对于Hadoop框架的介绍在此不再累述
haotian1685·2024-09-09 22:26

Hadoop YARN【一】

YARN概念YARN是一种新的Hadoop资源管理器，它是一个通用的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。内部组件Client:负责提交应用程序。
冷雨夜下的星空·2024-09-09 22:26

大数据知识总结（三）：Hadoop之Yarn重点架构原理

文章目录Hadoop之Yarn重点架构原理一、Yarn介绍二、Yarn架构三、Yarn任务运行流程四、Yarn三种资源调度器特点及使用场景Hadoop之Yarn重点架构原理一、Yarn介绍ApacheHadoopYarn
Lansonli·2024-09-09 22:22

starrocks和clickhouse数据库比较

支持多种数据源的集成，并且可以与其他大数据技术（如Hadoop、Spark）协同工作。C
CodeMaster_37714848·2024-09-09 16:12

大数据（Hbase简单示例）

importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.hbase.HBaseConfiguration;importorg.apache.hadoop.hbase.TableName
BL小二·2024-09-09 13:18

Hbase的简单使用示例

HBase是基于HadoopHDFS构建的分布式、列式存储的NoSQL数据库，适用于存储和检索超大规模的非结构化数据。它支持随机读写，并且能够处理PB级数据。
傲雪凌霜，松柏长青·2024-09-09 11:40

今日小记

今天气温很高，阳光正艳，适合洗衣服。洗好的衣服晾晒在露台上，尽情地吸收着阳光的气息，晒过阳光的衣物，穿在身上感觉才健康。在阳光正好的时候晾晒衣物，自己的身体也一样沐浴着阳光，享受着阳光的消毒，吸收太阳的阳气，感觉身体充满了正能量。高温的天气，花草树木的泥土已经很干燥，浇水时需要费更多的功夫。1个多小时的劳作，也是一个很好的运动，汗流浃背，身体在劳动中得到了锻炼。每天的生活制造出各种各样的家务活，这
如雨季节过来人·2024-09-09 08:51

鼓励践行打卡第8天

本来替他报了小记者集体生日活动。可儿子一百个不乐意，比起一大帮不想干的人在一起热闹，他更愿邀请一两好友低调庆祝。我给他做了很多思想工作。
春天里的紫苏·2024-09-09 06:14

随心小记

这几天大概都只能写“随心小记”啦，最近实在是有些忙，忙得我也没有什么特别的思考，就随心写些日常，记录一下平凡的生活吧。
君怡w·2024-09-09 04:02

Hbase、hive以及ClickHouse的介绍和区别？

一、Hbase介绍：HBase是一个分布式的、面向列的开源数据库，由ApacheSoftwareFoundation开发，是Hadoop生态系统中的一个重要组件。
damokelisijian866·2024-09-08 23:43

Flink - CEP

Hadoop3.2集群新版本的搭建详细讲解过程，从下面第一张官方的图来看，最新版是3.2，所以大猪将使用3.2的版本来演示，过程中遇到的坑留给自己，把路留给你们，IT之路还有大猪。
kikiki1·2024-09-08 21:46

181004 今天关键词：小偷的升级 晨间小记第613天

现在这个时代，啥不升级就会被淘汰，小偷这个行业也不例外。不信你仔细观察，在这个大家都依赖微信、支付宝支付，几乎无现金的时代，小偷，这个存在了几千年的职业也在升级，不然就会被淘汰的没了饭碗。那天骑自行车在公司附近的十字路上等红绿灯，一对年轻情侣骑着辆时髦的电动车停在我旁边，我因离她俩很近，她俩的私语被我听到。女生说：“你知道么？最近xx说他都很少偷了？”男生问：：“为啥？”女生毫不顾及的轻声说：“现
营养私教西西·2024-09-08 20:45

chapter01 Java语言概述 知识点Note

JavaSEJavaEEJavaME大数据Java基础常用技术栈mysqlJDBCSSMspring+springmvc+mybatisLinuxnacosHadoopFlinkJAVAEE消息队列rabbitMQdocker
月下绯烟·2024-09-08 18:42

Hive和Hbase的区别

Hive和HBase都是Hadoop生态系统中的重要组件，它们都能处理大规模数据，但各自有不同的适用场景和设计理念。
傲雪凌霜，松柏长青·2024-09-08 17:37

HBase

ApacheHBase是一个基于Hadoop分布式文件系统（HDFS）构建的分布式、面向列的NoSQL数据库，主要用于处理大规模、稀疏的表结构数据。
傲雪凌霜，松柏长青·2024-09-08 17:07

Hive的优势与使用场景

Hive的优势Hive作为一个构建在Hadoop上的数据仓库工具，具有许多优势，特别是在处理大规模数据分析任务时。
傲雪凌霜，松柏长青·2024-09-08 17:07

大数据技术之Hadoop（一）

Hadoop概述1.1Hadoop是什么Hadoop是什么1）Hadoop是一个由Apache基金会所开发的分布式系统基础架构。2）主要解决，海量数据的存储和海量数据的分析计算问题。
pauls·2024-09-08 16:30

大数据面试题：说下为什么要使用Hive？Hive的优缺点？Hive的作用是什么？

Hive是Hadoop生态系统中比不可少的一个工具，它提供了一种SQL(结构化查询语言)方言，可以查询存储在Hadoop分布式文件系统（HDFS）中的数据或其他和Hadoop集成的文件系统，如MapR-FS
蓦然_·2024-09-08 15:50
上一页 4 5 6 7 8 9 10 11 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他