Hadoop小记第12页

Java transient关键字使用小记

原文1.transient的作用及使用方法我们都知道一个对象只要实现了Serilizable接口，这个对象就可以被序列化，java的这种序列化模式为开发者提供了很多便利，我们可以不必关系具体序列化的过程，只要这个类实现了Serilizable接口，这个类的所有属性和方法都会自动序列化。然而在实际开发过程中，我们常常会遇到这样的问题，这个类的有些属性需要序列化，而其他属性不需要被序列化，打个比方，如

一_贫·2024-02-20 07:43

【Flink】ClassNotFoundException: org.apache.hadoop.conf.Configuration

问题背景在Flink的sql-client客户端中执行连接hive的sql代码时出现如下错误，版本Flink1.13.6FlinkSQL>createcatalogtestwith(>'type'='hive',>'default-database'='default',>'hive-conf-dir'='/opt/hive/conf');[ERROR]CouldnotexecuteSQLstat

一杯咖啡半杯糖·2024-02-20 07:38

生产环境下，应用模式部署flink任务，通过hdfs提交

通过通过yarn.provided.lib.dirs配置选项指定位置，将flink的依赖上传到hdfs文件管理系统1.实践（1）生产集群为cdh集群，从cm上下载配置文件，设置环境exportHADOOP_CONF_DIR

但行益事莫问前程·2024-02-20 07:04

考核小记：第一次被奖钱！

这俩周，一直在和奥迪的发动机过不去，没办法，高端班，玩的就要高端，拆发动机也要拆最好的——EA888，这可是现在普遍使用的汽车发动机中的顶级！当然难度系数也不低，这不安装个正时，折腾了一个星期，还好，一个个测试通过，都会了，这个大难关终于战胜了！准备今天休息一下，整点轻松的项目。昨天上午预热了一下，告诉他们要搞一个小测试——用手指发动机外部零部件说名称——说对指对20个及格；20至30个，每错一个

凌朵·2024-02-20 06:57

先秦小记19/28 | 儒家思想的形成和发展历程

儒家思想是先秦诸子百家学说的重要组成部分，相比其他学派，儒家思想的经世致用特点极为明显。儒家思想也称为儒教或儒学，由孔子创立，最初指的是司仪，后来以此为基础逐渐形成完整的儒家思想体系，成为中国传统文化的主流，影响深远。儒家思想是中国传统文化的内核，也是维护封建君主专制统治的理论基础。在这2500年漫长的历史长河里，随着社会的发展，历史的演进，儒家学说从内容到形式都得到了不断地丰富与发展，其社会功能

乔木晨曦·2024-02-20 05:04

以内存为核心的开源分布式存储系统

Tachyon为不同的大数据计算框架（如ApacheSpark，HadoopMapReduce,ApacheFlink等）提供可靠的内存级的数据共享服务。

这次靠你了·2024-02-20 05:26

思妈生活小记(26):1个小时之内完成不了的事

前天和昨天，我在很努力地做着10月份增值税纳税申报的准备工作，比如将10月份实际勾选认证的进项税与10月份账面进项税进行核对、将10月份金税盘里实际开票的税额与10月份账面销项税进行核对，看是否一致，如果不一致，找出原因。同时填张程帮我设计的《10月份简易计税项目的扣除明细表》：将“简易计税”科目的借方发生额还原成含税价按项目名称填进《扣除明细表》里的“分包发票”栏，将“简易计税”科目的贷方发生额

思妈2012·2024-02-20 04:28

Zookeeper(1):入门

/bin/bashcase$1in"start"){foriinhadoop100hadoop101hadoop102doecho----------zookeeper$i启动------------ssh

叶惠美zz·2024-02-20 04:33

五一假期小记（1）

今天十二点十分从南京南到达徐州新沂，在大娘家和姐夫他们一块吃了一顿相对丰盛的中午饭。感谢大娘的辛苦劳动。新沂一角吃完饭去表哥店里串门，天气热了还有疫情还没结束等各种原因，店里生意不好，表哥为此有点担忧。小嫂子预产期还有十二天，现在正是离不开人的时候，姑姑和姑父今天来新沂，下午乘他们的车回到阿湖。爷爷种的小花吃过晚饭八点多了，出门又转了一圈，看还有没有闭门的一家巢牌店，点了一份，乔帮主因为跟爷爷喝酒

乔帮主夫人·2024-02-20 03:35

读书小记----润泽的教室

打开《静悄悄的革命》，细细品读，原来诸多的困惑并不是我一人所有。“日本的教师也在边体验改革过程中的各种混乱状况，边摸索着新的学习方式，这一切与我国教育的现实状况是何等的相似！”认真读完着这本书，自己的心灵也得到了一次洗涤，自己教育实践中的一些疑惑，也找到了答案。作为一线教师，更关注课堂里的革命。佐藤学在书中对教室的阐述让人心生向往：“润泽的教室能使每个人的呼吸和节律是那么地柔和，大家安心地、简单自

静待花开_4559·2024-02-20 02:06

【Linux】指令【scp】

scphadoop.tar.gzdatanode:/software这条命令的含义是将本地的hadoop.tar.gz文件复制到远程主机datanode的/software目录下。

giao客·2024-02-20 01:31

感冒小记

一周岁4个月零1天，感冒，咳嗽，开始吃点中成药，吸雾，一直坚决不想打针，上次来医院还是急疹的时候，发烧7天，妈妈急坏了，没有任何症状，就是高烧，查了血项……一切正常，放心了，回家，最终退烧，出了疹子，这次，你又不吃药，不喝水，家里暖气热，干燥，你的烧一直持续没退，晚上出车回来1点，还是发烧，戳你起来喝水，一直喂不进去，打开冰箱，帮你换了退烧贴。一直没敢深睡，3点半妈妈起来喂你药，用尽了一切办法，算

睿康宝贝·2024-02-19 23:57

无依赖单机尝鲜 Nebula Exchange 的 SST 导入

无依赖单机尝鲜NebulaExchange的SST导入本文尝试分享下以最小方式（单机、容器化Spark、Hadoop、NebulaGraph），快速趟一下NebulaExchange中SST写入方式的步骤

NebulaGraph·2024-02-19 23:51

伦敦游学半载小记

直到我坐上返京的飞机，在文档中敲下这第一行字，我才真正意识到我的伦敦游学生活是真的结束了——2023年9月5日启程，2024年2月18日回程，整整166天的时间，无比繁忙、疲惫，但也非常充实、快乐。如果用一句话概括这半年时光，我想决定到伦敦游学大概是在我迈进30岁这年，做下的最正确的决定。缘起：每年一个小目标早在申请入读北大光华MBA前，我就聆听过学长学姐关于国际交流项目的分享。彼时，我并没有明确

·2024-02-19 23:33

疫情隔离小记（7）：抢菜

大家好！小区继续处于封控状态，坐等解封中。今天我们一起来聊一聊疫情中的“抢菜”吧。在此次上海疫情的多点散发中，“抢菜”成为每个人的专属必修课，很多家庭更是全员出动，守在各种APP的预约开放时间上，不断重复着刷新和下单的行为。与此同时，各种抢菜攻略、抢菜心得在网上也是层出不穷，让我觉得“抢菜”颇像是一种值得学习的全新技能。的确，如果单单以当前的疫情现状来看，这一技能确确实实是全新的，也是我们所必须掌

Meta烟中雯城·2024-02-19 22:25

生活小记录

2021年7月21日，周三，晴。昨晚8点多就哄小宝睡觉了，睡的早，到晚上十二点多的时候，小家伙睡醒了，他想起来玩，可我想睡觉。小家伙起来自个儿玩，把另外一张床上的东西翻出来，他想玩的就搬到这张床上，虽然关灯了，但他还是自个儿摆弄摆弄她搬过来的“玩具”，不哭不闹，自个儿玩，玩困了就自个儿睡觉。早上起来的时候，小家伙还在睡，背对我侧身睡着，两只手里还拿着昨晚的“玩具”，一只手拿着一个瓶子，一只手拿着蚊

紫岚兮·2024-02-19 22:12

【读书小记】《鲜衣怒马少年时》：唐宋名家的那些事儿

怀着对唐宋诗人的种种崇敬，之前我翻开了这本书，放在读书碗里，一直没有动它，最近有不少闲暇时间，又恰巧找不到写作的灵感，无意中翻看，颇有趣味。这本书主要讲述了一些唐宋八大家话，唐初四节等一些有名的诗人的奇闻异事，用白话的形式交代了很多时代背景和诗人的生平介绍，其中不乏波澜壮阔的诗词鉴赏，读来十分享受。

雪高老师·2024-02-19 21:37

[日常小记]因为充实，所以幸福

晚安从早上五点到现在，忙忙碌碌也是收获满满~当在计划表上划上一个个小勾，当forest里种满一棵棵五彩的小树，这大概就是幸福吧~因为充实。※最开心的事情:英语学习大丰收※突破自己：早起运动+啃掉难题※需要提升：做事再果断一些，不要拖沓※吸收新观点：（1）《吃掉那只青蛙》把每天核心的、重要的、困难的事情比做一只青蛙！每天起来的第一件事情就是把这只青蛙先干掉！当一天中最重要的事情解决完成之后，你的心情

青色叭·2024-02-19 21:56

日子小记

今天早上天阴沉沉下雨了。躺在床上睡觉真的很舒服。一直想等侄子来，却一直没有来。等到两点多我就赴约去了。今天做公交车，感觉很不舒服，以至于一下车我就很难受。整个人的精神状态很懵，眼睛总处于放空状态，这样很不好。阿韩带了我去林和西吃东北，那个餐厅的环境还不错，宁静安谥，里面的东西也实惠，我想有机会我会再去的。

有爱有钱有欢乐·2024-02-19 21:20

mv: 无法获取“/opt/module/hadoop/logs/hadoop-atguigu-nodemanager-hadoop102.out.1“ 的文件状态(stat): 没有那个文件或目录

最近在回顾之前做过的离线数仓项目，在启动hadoop时出现了如下错误：hadoop102:mv:无法获取"/opt/module/hadoop/logs/hadoop-atguigu-nodemanager-hadoop102

时代新人0-0·2024-02-19 21:53

马士兵 day4_Yarn和Map/Reduce配置启动和原理讲解

分布式计算原则：移动计算，而不是移动数据hadoop默认包含了hdfs、yarn、mapReduce三个组件yarn（YetAnotherResourceNegotiater）是资源调度系统，yarn调配的是内存和

PC_Repair·2024-02-19 20:28

Flink-部署实践

1)修改flink/conf/flink-conf.yaml文件:jobmanager.rpc.address:hadoop1132)修改/conf/masters文件:hadoop1133)修改/conf

魔笛Love·2024-02-19 20:52

主流开发语言和开发环境?

Java被广泛应用于企业级应用开发、移动应用（特别是Android应用）、游戏开发、大数据处理（如Hadoop生态系统）、云计算服务端开发等场景。C++简介：C+

dami_king·2024-02-19 20:50

高中小记——来自一个普通的女孩

whoaml？我经常在某个时刻、某个地方这样问自己。我从何处来，我将去往哪里，我在意的人有哪些，在意我的人又有多许？我是一名刚毕业的高中生，正值欲盼很久的假期，在即将步入大学之际，我想，应该好好地回忆高中三年。（一）这是刚刚中考完，当时似乎是很兴奋以至于很多东西都记不太清了。在回当地的初中到班主任那里知道了成绩之后，也是一阵唏嘘，怎么差两分五就进了宏志班了。拿到那红红的通知书心里还是很荡漾的，毕竟

ad1c4e50d5ee·2024-02-19 15:33

Quick introduction to Apache Spark

Spark使用Hadoop的客户端库来

Liam_ml·2024-02-19 13:29

Hadoop Shuffle

Whentherearemultiplereducers,themaptaskspartitiontheiroutput,eachcreatingonepartitionforeachreducetask.Therecanbemanykeys(andtheirassociatedvalues)ineachpartition,buttherecordsforeverykeyareallinasing

SharlotteZZZ·2024-02-19 13:22

Flink 细粒度滑动窗口性能优化

大数据技术AIFlink/Spark/Hadoop/数仓，数据分析、面试，源码解读等干货学习资料118篇原创内容公众号1、概述1.1细粒度滑动的影响当使用细粒度的滑动窗口（窗口长度远远大于滑动步长）时，

hyunbar·2024-02-19 13:39

【大数据面试题】006介绍一下Parquet存储格式的优势

同时一般查询使用时不会使用所有列，而是只用到几列，所以查询速度会更快压缩比例高因为是列式存储，所以可以对同一类型的一段做压缩，压缩比例高支持的平台和框架多在Hadoop,Spark,Presto,Python

Jiweilai1·2024-02-19 13:34

Sqoop 入门基础

简介Sqoop（SQLtoHadoop）是一个开源工具，用于在关系型数据库和Hadoop之间传输数据。

香菜的开发日记·2024-02-19 13:17

hadoop硬件配置高可用 datanode namenode硬件配置

每个分布式文件系统分块在NameNode的内存中大小约为250个字节，此外还要加上文件和目录所需的250字节空间。500字节一个块假设我们有5000个平均大小为20GB的文件并且使用默认的分布式文件系统分块大小（64MB）同时副本因子为3，5000*20GB=102400000M=97T那么NameNode需要保存5千万个分块的信息，这些分块的大小加上文件系统的开销总共需要1.5GB的内存。但是一

xcagy·2024-02-19 13:07

日复盘 | 我的子弹笔记 18/31 （5.18）

每日小记事—情绪缓一缓，也就结束了。—事情做一做，也就开始了。—没有付出的时光，连成绩都舍不得给你。—你所创造的价值，也是源于更好的自己。—休息过后，别忘了更好的出发。

Vicco134340·2024-02-19 12:16

【喜悦茶修】文静小记第266天

【喜悦茶修】文静小记第266天今日姣龙姐分享了一篇公众号。写的是关于茶的功效。想想我们平时也常喝茶，但是知道我们所喝的茶有哪些功效吗？比如说普洱茶，普洱茶分生普和熟普。它们的功效大不相同。

是鲸吖·2024-02-19 12:20

生活小记

上班的时候路过一条街,被这句话给吸引住了。感觉它很有落地感，确实财富可以始你幸福快乐，在追寻的路上也有很多的苦难不幸。加油，平凡的自己图片发自App

最安静的墙角·2024-02-19 12:47

【大数据】HADOOP-YARN-ContainerExecutor容器启动器详解

在NodeManager中，有三种运行Container的方式，它们分别是:DefaultContainerExecutorLinuxContainerExecutorDockerContainerExecutor从它们的名字中，我们就能看得出来，默认情况下，一定使用的是DefaultContainerExecutor。而一般情况下，DefaultContainerExecutor也确实能够满足我

笑起来贼好看·2024-02-19 11:38

学习篇-Hadoop-YARN-环境搭建

文章目录一、Hadoop-YARN-环境搭建一、Hadoop-YARN-环境搭建官网参考：https://hadoop.apache.org/docs/stable/hadoop-project-dist

东东爱编码·2024-02-19 11:08

【大数据】HADOOP-Yarn集群界面UI指标项详解（建议收藏哦）

目录首页（Cluster）节点信息SchedulerMetrics：集群调度信息节点信息详解（Nodes）应用列表信息（applications）队列详情页（Scheduler）指标详细说明（非常重要）首页（Cluster）集群监控信息指标详解AppsSubmitted：已提交的应用AppsCompleted：已完成的应用AppsRunning：正在运行的应用ContainersRunning：正

笑起来贼好看·2024-02-19 11:08

Hadoop-Yarn-NodeManager都做了什么

一、源码下载下面是hadoop官方源码下载地址，我下载的是hadoop-3.2.4，那就一起来看下吧Indexof/dist/hadoop/core二、上下文在我的博客中已经简要的分析了NodeManager

隔着天花板看星星·2024-02-19 11:00

【2019-04-28】Hadoop分布式文件系统

Hadoop自带HDFS(hadoopdistributefilesystem)。HDFS默认数据块128M。

BigBigFlower·2024-02-19 11:56

Hadoop搭建之 start-yarn.sh 报错

在搭建伪分布式的Hadoop集群环境时，在配置基础环境了并成功开启了HDFS组件后，jps查看已运行的名称节点和数据节点进程，[hadoop@masterhadoop]$jps8994NameNode10396Jps9087DataNode9279SecondaryNameNode

万里长江雪·2024-02-19 11:58

hadoop-2.7.4-nodemanager无法启动问题解决方案

近期新配了hadoop-274版本的集群，发现有一个小问题，DataNode无法顺利启动。

半肉哥·2024-02-19 11:27

hadoop-yarn资源分配介绍-以及推荐常用优化参数

如果有什么不正确的欢迎大家一起交流学习~Yarn前言作为Hadoop2.x的一部分，YARN采用MapReduce中的资源管理功能并对其进行打包，以便新引擎可以使用它们。

Winhole·2024-02-19 11:26

Hadoop-Yarn-NodeManager如何计算Linux系统上的资源信息

NodeResourceMonitorImpl）时只是提了下SysInfoLinux，下面我们展开讲下SysInfoLinux是用于计算Linux系统上的资源信息的插件二、SysInfoLinux源码packageorg.apache.hadoop.util

隔着天花板看星星·2024-02-19 11:48

node命令yarn --version指向了java

问题描述本地安装了java、hadoop和nodejs，并配置了环境变量，但是hadoop的bin目录下存在yarn命令，所以使用nodejs的yarn命令启动项目会出现找不到类，此时键入yarn-version

码学弟·2024-02-19 11:43

企业级大数据安全架构（一）平台安全隐患

1缺乏统一的访问控制机制大数据平台由Hadoop生态体系众多组件组成，而每个组件都会提供相应的WebUI界面和RESTful接口，例如Nam

·2024-02-19 11:48

MapReduce

MapReduce定义mapReduce是一个分布式运算程序的编程框架，是用户开发基于hadoop的数据分析应用的核心框架。

诺冰1314·2024-02-19 10:46

Hive入门，Hive是什么？

它是建立在Hadoop生态系统之上的，利用Hadoop的分布式存储和计算能力来处理和分析数据。

JayGboy·2024-02-19 10:31

Hive on Spark配置

pwd=66663、将Spark安装包通过xftp上传到/opt/software安装部署Spark1、解压spark-3.3.1-bin-without-hadoop.tgz进入安装包所在目录cd/opt

在下区区俗物·2024-02-15 10:51

配置hive on spark

hdfsdfs-mkdir/spark-jarshdfsdfs-put/opt/spark/jars/*/spark-jars2、修改hive-site.xml文件，添加如下配置：spark.yarn.jarshdfs://hadoop

空白格2519·2024-02-15 10:51

hive on spark配置经验

常规配置配置完，开启hadoop，开启spark（如果在hdfs上上传了纯净版的spark则不需要开启），开启hive注：当前节点一定要是namenode的active节点，因为hadoop长时间不用namenode

小五冲冲冲·2024-02-15 10:21

（三十八）大数据实战——Atlas元数据管理平台的部署安装

本节内容是关于ApacheAtlas的部署安装，在开始安装Atlas之前我们需要提前安装好Atlas需要集成的组件，如hadoop、zo

厉害哥哥吖·2024-02-15 09:09

推荐频道

Hadoop小记