hadoop学习心得

spark常用命令

hadoop@wyy:/app/hadoop/spark100$bin/spark-submit--
我是浣熊的微笑·2024-09-13 10:38

spark启动命令

hadoop启动：cd/root/toolssstart-dfs.sh，只需在hadoop01上启动stop-dfs.sh日志查看：cat/root/toolss/hadoop/logs/hadoop-root-datanode-hadoop03
学不会又听不懂·2024-09-13 10:36

编程常用命令总结

编程命令大全1.软件环境变量的配置JavaScalaSparkHadoopHive2.大数据软件常用命令Spark基本命令Spark-SQL命令Hive命令HDFS命令YARN命令Zookeeper命令
Yellow0523·2024-09-13 02:42

8.18下午学习心得（宋丽娟）

下午听了吴波老师《历史学科德育实践与案例分析》，收获如下：1.对于核心素养的理解更加透彻，唯物史观，时空定位，史料实证，历史解释，家国情怀它们个体以及整体之间的联系有一个深入了解！2.终于知道怎么完整做一份教学设计，包括教学分析（课标分析，内容分析（本课知识结构，本课单元地位，在知识体系中的地位，对于学生发展的作用））学情分析（分析学生的已学知识和基本状况）自我分析，资源分析，教学目标，教学重难点
无为_72a4·2024-09-12 22:35

Hadoop常见面试题整理及解答

Hadoop常见面试题整理及解答一、基础知识篇：1.把数据仓库从传统关系型数据库转到hadoop有什么优势？答：（1）关系型数据库成本高，且存储空间有限。
叶青舟·2024-09-12 19:24

IDP-L17学习心得

今天我们要谈的关键词是经验管理。你知道经验到底是什么吗？如何有效的积累经验呢？我来忙猜一下，经验应该就是沟通力等职场软实力吧，有效积累经验就需要我们经常性的复盘。接下来我们就带着这些问题一起来看看。已经在岗位上干了好些年的洪力，照道理来说应该是职场老手，但在他手下干活的人却都是怨声载道，要么吐槽他反馈意见不明确，要么感叹在他下面学不到什么东西。而在他自己看来，上次给他分配的人都是些菜鸟，他也没有耐
swag_ae02·2024-09-12 13:18

你会在原地等我吗（4）

他先是默不作声地望着刚和他一起交流学习心得的同事一眼，然后，视线就直直地停留在窗外。窗外如水的月光忽然暗了几分，渐渐地
君子兰_fcb0·2024-09-12 11:02

2018.9.21感恩日记

感恩能与她一起聊天，我把近期收获和学习心得与她分享，她也与我分享生活体验和感悟，感恩我有这么好的知心朋友，感恩我们都很上进，有一颗不断追求进步和提升自己的心，有这样的好朋友这的很
心无旁骛_3030·2024-09-12 02:52

2025毕业设计指南：如何用Hadoop构建超市进货推荐系统？大数据分析助力精准采购

⚡⚡Java实战|SpringBoot/SSMPython实战项目|Django微信小程序/安卓实战项目大数据实战项目⚡⚡文末获取源码文章目录⚡⚡文末获取源码基于hadoop的超市进货推荐系
计算机编程指导师·2024-09-11 18:08

前端基础知识点

以后会分享一些学习心得，程序代码，以及我的一些学习计划，还有每天学习后的知识总结。如果你和我一样，不甘于平凡，那么，就请给我点一个关注，我们互相交流，共同进步。
der..·2024-09-11 09:05

Hadoop Common 之序列化机制小解

这不过此种序列化虽然跨病态兼容性强，但是因为存储过多的信息，但是传输效率比较低，所以hadoop弃用它。
猫君之上·2024-09-11 08:59

深入理解hadoop(一)----Common的实现----Configuration

一,hadoop的配置管理a,hadoop通过独有的Configuration处理配置信息Configurationconf=newConfiguration();conf.addResource("core-default.xml
maoxiao_jsd·2024-09-11 08:59

《道德经》吟诵学习心得

我是2020年5月17日开始接触《道德经》吟诵的。清楚地记得那天的情景，赵飞燕老师邀我进入“河南省《道德经》吟诵学习群”，开卷在即，学员们可以自己选报篇章在开卷礼上展示，不会吟诵的可以朗诵。作为灵宝人，家乡函谷关是老子注经地，读书时就知道老子。但令人汗颜的是我对《道德经》的解读却非常肤浅。不是不喜欢，是觉得这部巨著高深玄妙，读不懂，靠自学总是坚持不下来。现在有这么好的机会，可以和大家一起学习《道德
朱雀_1ff5·2024-09-11 08:16

hadoop 0.22.0 部署笔记

hbase是部署在hadoop平台上的NOSql数据库，因此在部署hbase之前需要先部署hadoop。
weixin_33701564·2024-09-10 17:41

解决Windows环境下hadoop集群的运行_window运行hadoop,unknown hadoop01(4)

org.apache.hadoophadoop-com
2401_84160087·2024-09-10 16:34

解决Windows环境下hadoop集群的运行_window运行hadoop,unknown hadoop01(3)

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化资料的朋友，可以戳这里获取一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！xmlns:xsi="http://www.w3.or
2401_84160087·2024-09-10 16:04

深入解析HDFS：定义、架构、原理、应用场景及常用命令

引言Hadoop分布式文件系统（HDFS，HadoopDistributedFileSystem）是Hadoop框架的核心组件之一，它提供了高可靠性、高可用性和高吞吐量的大规模数据存储和管理能力。
CloudJourney·2024-09-10 12:39

Hadoop的搭建流程

文章目录一、配置IP二、配置主机名三、配置主机映射四、关闭防火墙五、配置免密六、安装jdk1、第一步：2、第二步：3、第三步：4、第四步：5、第五步：七、安装hadoop1、上传2、解压3、重命名4、开始配置环境变量
lzhlizihang·2024-09-10 07:06

hive搭建 -----内嵌模式和本地模式

文章目录一、内嵌模式（使用较少）1、上传、解压、重命名2、配置环境变量3、配置conf下的hive-env.sh4、修改conf下的hive-site.xml5、启动hadoop集群6、给hdfs创建文件夹
lzhlizihang·2024-09-10 07:06

Hadoop之mapreduce -- WrodCount案例以及各种概念

文章目录一、MapReduce的优缺点二、MapReduce案例--WordCount1、导包2、Mapper方法3、Partitioner方法（自定义分区器）4、reducer方法5、driver（main方法）6、Writable（手机流量统计案例的实体类）三、关于片和块1、什么是片，什么是块？2、mapreduce启动多少个MapTask任务？四、MapReduce的原理五、Shuffle过
lzhlizihang·2024-09-10 07:06

IAAS: IT公司去IOE-Alibaba系统构架解读

从Hadoop到自主研发，技术解读阿里去IOE后的系统架构原地址：......................云计算阿里飞天摘要：从IOE时代，到Hadoop与飞天并行，再到飞天单集群5000节点的实现
wishchin·2024-09-10 04:18

Hadoop HDFS中的NameNode、SecondaryNameNode和DataNode

HadoopHDFS中的NameNode、SecondaryNameNode和DataNode目录1.定义2.主要作用3.官方链接1.定义在HadoopHDFS（Hadoop分布式文件系统）中，有三个关键的组件
BigDataMLApplication·2024-09-10 00:38

【Hadoop|HDFS篇】NameNode和SecondaryNameNode

1.NN和2NN的工作机制思考：NameNode中的元数据是存储在哪里的？首先，我们做个假设，如果存储在NameNode节点的磁盘中，因为经常需要进行随机访问，还有响应客户请求，必然是效率过低。因此，元数据需要存放在内存中。但如果只存在内存中，一旦断电，元数据丢失，整个集群就无法工作了。因此产生在磁盘中备份元数据的Fslmage。这样又会带来新的问题，当在内存中的元数据更新时，如果同时更新FsIm
Vez'nan的幸福生活·2024-09-09 23:00

Yarn介绍 - 大数据框架

YARN的概述YARN是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序YARN是Hadoop2.x
why do not·2024-09-09 23:58

浅析大数据Hadoop之YARN架构

YARN提供了资源管理和资源调度等机制1.1原HadoopMapReduce框架对于业界的大数据存储及分布式处理系统来说，Hadoop是耳熟能详的卓越开源分布式文件存储及处理框架，对于Hadoop框架的介绍在此不再累述
haotian1685·2024-09-09 22:26

Hadoop YARN【一】

YARN概念YARN是一种新的Hadoop资源管理器，它是一个通用的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。内部组件Client:负责提交应用程序。
冷雨夜下的星空·2024-09-09 22:26

大数据知识总结（三）：Hadoop之Yarn重点架构原理

文章目录Hadoop之Yarn重点架构原理一、Yarn介绍二、Yarn架构三、Yarn任务运行流程四、Yarn三种资源调度器特点及使用场景Hadoop之Yarn重点架构原理一、Yarn介绍ApacheHadoopYarn
Lansonli·2024-09-09 22:22

《分科学习总结暨学员分享会》之感

图片发自App今晚，很荣幸可以在线上跟全国各地的青椒伙伴们分享自己的学习心得。很兴奋，也很紧张。图片发自App这，是一份认可，是一种荣誉，同时也是一股压力。
肖丽好·2024-09-09 18:39

starrocks和clickhouse数据库比较

支持多种数据源的集成，并且可以与其他大数据技术（如Hadoop、Spark）协同工作。C
CodeMaster_37714848·2024-09-09 16:12

大数据（Hbase简单示例）

importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.hbase.HBaseConfiguration;importorg.apache.hadoop.hbase.TableName
BL小二·2024-09-09 13:18

Hbase的简单使用示例

HBase是基于HadoopHDFS构建的分布式、列式存储的NoSQL数据库，适用于存储和检索超大规模的非结构化数据。它支持随机读写，并且能够处理PB级数据。
傲雪凌霜，松柏长青·2024-09-09 11:40

Hbase、hive以及ClickHouse的介绍和区别？

一、Hbase介绍：HBase是一个分布式的、面向列的开源数据库，由ApacheSoftwareFoundation开发，是Hadoop生态系统中的一个重要组件。
damokelisijian866·2024-09-08 23:43

Flink - CEP

Hadoop3.2集群新版本的搭建详细讲解过程，从下面第一张官方的图来看，最新版是3.2，所以大猪将使用3.2的版本来演示，过程中遇到的坑留给自己，把路留给你们，IT之路还有大猪。
kikiki1·2024-09-08 21:46

chapter01 Java语言概述 知识点Note

JavaSEJavaEEJavaME大数据Java基础常用技术栈mysqlJDBCSSMspring+springmvc+mybatisLinuxnacosHadoopFlinkJAVAEE消息队列rabbitMQdocker
月下绯烟·2024-09-08 18:42

2019-01-05晨间日记及学习心得

今天是什么日子起床：6:20就寝：22:30天气：阵雨温度：3-9日出：7:42日落：18:13任务清单昨日反思：找到自己的不足然后改进它，即使是根深蒂固的坏习惯也能通过一次一点点的改变，慢慢松动，消失。习惯养成：早起、锻炼、日反思学习·信息·阅读时间管理100讲:第25讲心得U=（EV）/（ID），U是效率，E是对成功的信心，V是对任务和事情感到愉悦的程度，I是多容易会分心，D是多久会产生回报。
小小效能·2024-09-08 18:19

Hive和Hbase的区别

Hive和HBase都是Hadoop生态系统中的重要组件，它们都能处理大规模数据，但各自有不同的适用场景和设计理念。
傲雪凌霜，松柏长青·2024-09-08 17:37

HBase

ApacheHBase是一个基于Hadoop分布式文件系统（HDFS）构建的分布式、面向列的NoSQL数据库，主要用于处理大规模、稀疏的表结构数据。
傲雪凌霜，松柏长青·2024-09-08 17:07

Hive的优势与使用场景

Hive的优势Hive作为一个构建在Hadoop上的数据仓库工具，具有许多优势，特别是在处理大规模数据分析任务时。
傲雪凌霜，松柏长青·2024-09-08 17:07

大数据技术之Hadoop（一）

Hadoop概述1.1Hadoop是什么Hadoop是什么1）Hadoop是一个由Apache基金会所开发的分布式系统基础架构。2）主要解决，海量数据的存储和海量数据的分析计算问题。
pauls·2024-09-08 16:30

大数据面试题：说下为什么要使用Hive？Hive的优缺点？Hive的作用是什么？

Hive是Hadoop生态系统中比不可少的一个工具，它提供了一种SQL(结构化查询语言)方言，可以查询存储在Hadoop分布式文件系统（HDFS）中的数据或其他和Hadoop集成的文件系统，如MapR-FS
蓦然_·2024-09-08 15:50

#学习心得#越优秀越努力

参加省名师工作室联盟会议，我的任务有两个一是在篮球传切单元教学时做解说，二是给工作室编排一个开幕式表演的节目。我们节目定的主题为《阳光体育伴我每一天》，从早操、上课、社团活动三个层面展现工作室体育教师的风采。整个表演用上下课的铃声串联，第一环节我从中小学广播操、中小学武术操中各选了一节进行重新编排；第二环节展示了上课的队列队形、口令、肩肘倒立和素质练习；第三环节展示了足球、武术、竞技体操和街舞。在
守慧工作室·2024-09-08 14:15

ERROR:master启动报错： Attempting to operate on hdfs namenode as root

[root@masterhadoop]#sbin/start-all.shStartingnamenodeson[master]ERROR:AttemptingtooperateonhdfsnamenodeasrootERROR
CourageLee·2024-09-08 07:55

通往数据分析之路——第一章 数据基础操作

适合于零基础小白，本篇文章是我自己的学习心得和理解，仅供供大家参考一.数据基础操作本章节讲述如何加载数据，查看数据，及pandas的一些基础操作1.数据载入及初步观察1.1加载数据1.1.1导入numpy
柒小毓·2024-09-07 19:00

Python大数据：深入探索Hadoop库的使用

在大数据的世界中，Python和Hadoop结合使用，为处理庞大数据集提供了强大的工具。本文将详细探讨如何在Python中使用Hadoop，特别是通过实例来展示这一过程。
t0_54coder·2024-09-07 17:22

Python 操作大数据使用 Hadoop

参考：https://blog.csdn.net/wuShiJingZuo/article/details/135620018fromhdfsimportInsecureClienthdfs_client=InsecureClient("http://localhost:9000",user="xiaokkk")#测试连接print(hdfs_client.status("/")){'access
静听山水·2024-09-07 17:47

flink 问题记录

文章目录1.Causedby:java.lang.UnsatisfiedLinkError:org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSums
Jhon_yh·2024-09-07 15:34

Spark概念知识笔记

最近总结了个人的各项能力，发现在大数据这方面几乎没有涉及，因此想补充这方面的知识，丰富自己的知识体系，大数据生态主要包含：Hadoop和Spark两个部分，Spark作用相当于MapReduceMapReduce
kuntoria·2024-09-07 05:21

【Hadoop】- MapReduce & YARN 初体验[9]

目录提交MapReduce程序至YARN运行1、提交wordcount示例程序1.1、先准备words.txt文件上传到hdfs，文件内容如下：1.2、在hdfs中创建两个文件夹，分别为/input、/output1.3、将创建好的words.txt文件上传到hdfs中/input1.4、提交MapReduce程序至YARN1.5、可通过node1:8088查看1.6、返回我们的服务器，检查输出文
星星法术嗲人·2024-09-07 04:21

Apache Storm：入门了解

前言Storm是一个开源的分布式实时计算系统，它能够处理无边界的数据流，类似于Hadoop对于批量数据处理的作用，但是Storm更侧重于实时数据流的处理。
布说在见·2024-09-07 03:43

学习心得六

学习内容：赵老师课程：价值投资三阶下感想：一、今日学习感悟1.学会三阶的基础：对公司进行估值。2.成长价值投资的核心：估算公司的成长率。3.对公司成长最重要的公式：股价*总股本=总市值=净利润*市盈率4.有很多优秀的龙头公司正在从三阶标的成长为二阶标的，在筛选的时候要灵活做好二三阶的转换，只要成长率＜8，但是其他条件符合，这个公司可以考虑正在转变为二阶的标的，需要对公司进行全面的分析。5.今天用铁
小雅dd·2024-09-07 01:32
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他