Hadoop学习分享

Hadoop-HDFS写流程（从命令行到完成）

一、简单回顾下HDFS的架构如果不了解HDFS的可以看下我写的一篇博客，这里先贴下官网架构图：二、源码分析源码中写的肯定是最真实的，下面是hadoop官方源码下载地址，我下载的是hadoop-3.2.4
隔着天花板看星星·2024-01-25 09:23

Hadoop-HDFS高可用

原理参考官网介绍：ApacheHadoop3.3.6–HDFSHighAvailabilityUsingtheQuorumJournalManager二、背景在Hadoop2.0.0之前，NameNode
隔着天花板看星星·2024-01-25 09:52

Hadoop-MapReduce使用说明

下面让我们跟着官网来学习下吧ApacheHadoop3.3.6–MapReduceTutorial二、运行流程大致描述1、用户通过jo
隔着天花板看星星·2024-01-25 09:52

Hadoop-YARN概览

一、什么是YARNYetAnotherResourceNegotiator，另一种资源协调者，简称YARN。基本思想是将资源管理和作业调度/监视的功能拆分为单独的守护进程。其想法是拥有一个全局ResourceManager（RM）和每个应用程序的ApplicationMaster（AM）。可以支持单个作业，也可以支持多个作业的DAG。被称为另一种资源协调者，那就证明有一种比YARN更早的资源协调者
隔着天花板看星星·2024-01-25 09:52

Hadoop-HDFS读流程（从输入命令到回显）

一、简单回顾下HDFS的架构如果不了解HDFS的可以看下我写的一篇博客，这里先贴下官网架构图：二、静静的思考一会儿爱因斯坦说过：想象力比知识更重要。想象力推动世界，是知识进化的源泉。我们先不看源码，先通过官方架构图和我们对HDFS的了解来想象下读流程是什么样的。我要读HDFS上的一份文件，首先需要知道它在哪台节点上，HDFS上存储的文件都是以块的形式存放在各个DataNode节点上。因此需要知道这
隔着天花板看星星·2024-01-25 09:52

Hadoop-MapReduce-源码跟读-客户端篇

一、源码下载下面是hadoop官方源码下载地址，我下载的是hadoop-3.2.4，那就一起来看下吧Indexof/dist/hadoop/core二、从WordCount进入源码用idea将源码加载进来后
隔着天花板看星星·2024-01-25 09:52

hadoop 三种运行方式

一、本地运行方式1创建在hadoop-3.3.5文件下面创建一个wcinput文件夹[antares@hadoop1hadoop-3.3.5]$mkdirwcinput[antares@hadoop1hadoop
Snower_2022·2024-01-25 09:51

Hadoop-MapReduce-跟着日志理解整体流程

一、数据准备viinput_01.txtviinput_02.txtviinput_03.txt文本内容如下：-----------------input_01.txt----------------javascalapythonc++javajsgogovbaccc++javascalapythonphpcsshtmljsjavajavascalavbac#.netRRRjava--------
隔着天花板看星星·2024-01-25 09:49

HBase学习五：运维排障之备份与恢复

HBase的所有文件都存储在HDFS上，因此只要使用Hadoop提供的文件复制工具distcp将HBASE目录复制到同一HDFS或者其他HDFS的另一个目录中，就可以完成对源HBase集群的备份工作copyTable
Studying！！！·2024-01-25 09:49

浅谈WPF之UI布局

本文以一些简单的小例子，简述WPF中布局面板控件的使用，仅供学习分享使用，如有不足之处，还请指正。
老码识途呀·2024-01-25 09:59

大数据平台组件日常运维操作说明（Hadoop/Zookeeper/Kafa/ES/Mysql/Spark/Flume/Logstash/Tomcat）

Hadoop日常运维操作说明hdfs生产环境hadoop为30台服务器组成的集群，统一安装配置，版本号为2.7.7部署路径：/opt/hadoop启动用户：hadoop配置文件：/opt/hadoop/
love6a6·2024-01-25 07:12

基于CentOS7 Hadoop-2.7.2伪分布式部署

1、基本环境Linux版本：CentOS7.0JDK版本：jdk-7u79-linux-x64.tar.gzHadoop版本：hadoop-2.7.2.tar.gzjdk以及Hadoop安装在/usr目录下
程序员小H·2024-01-25 07:23

Hadoop HDFS 实现原理图文详解

一、HDFS体系结构1.1HDFS简介Hadoop分布式文件系统(HDFS)是运行在通用硬件(commodityhardware)上的分布式文件系统（DistributedFileSystem）。
禅与计算机程序设计艺术·2024-01-25 07:49

2022.11.26中原焦点网络中级第三十三期常巧茹学习分享第328天摘录

增加气场的三个方法：一，说话语速平缓，语气坚定；二，说话时，眼神坚定，不要闪躲；三，说话时要有满不在乎的心态，凡事云淡风轻。情绪稳定的三个方法一，千万别和身边的人去较劲，没有任何人是符合你心意的，你只要做好你自己就可以了。二，千万不要和过去较劲。过去的事情，无论多么糟糕，都让它过去吧，不要放大它，更不要过分在意它，你只要做好现在就可以了。三，千万不要做自己不喜欢的事情。面对自己不喜欢的事情，无论别
温暖的家·2024-01-25 06:52

Hive运行机制与使用

hive介绍hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。
小猪Harry·2024-01-25 05:09

家庭教育学习分享-怎样进行有效的亲子沟通？

1.亲子沟通的管道，这个概念来自于李洁博士，她是中国十大创新人物，也是为新中国教育作出突出贡献的教育家，她首次提出了亲子关系中沟通“管道”的观点，认为良好的亲子关系，应该建立在良好的亲子沟通之上，而良好的亲子沟通需要一个特殊的“管道”。2.沟通三要素：①尊重的态度②正向的语言③肯定的动作从管道的角度来看，父母是否尊重孩子是亲子管道是否衔接上的关键，真正的沟通，应该是你说我听，我说你听。双方在平等的
不断成长·2024-01-25 04:58

坚持学习分享第454天 用积极心理学正确地感染孩子(第十一课上)

积极心理学又叫幸福力。《哈佛幸福课》一，只懂一点积极心理学反而有害太过执着于积极与幸福等词汇积极心理学错误的打开方式一：×是否幸福决定了我是否有价值幸福与苦难都是生活的一部分×如果我不幸福，我心态不积极就说明我这个人是有问题的。我必须每天有笑容，必须每天用积极的心态面对他人。×即使觉得幸福，我也在担心我的幸福指数×学了幸福课之后还不幸福我真是太笨了，我不是个好学生。(自我指责)难受或者痛苦是白费吗
把酒临风_6e5a·2024-01-25 00:32

20220731（学习分享第99天）应对问句的作用

应对问句是SFBT“知觉转移”的介入方式之一，能把焦点转移到当事人的应对策略上来。1、激起生命的能量。①可引发当事人及咨询师共同探讨与发掘当事人对抗问题与承接困境所做的努力与挣扎；②从晤谈对话中提取当事人微小且不可否认的成功之处。③会成为拓展其他策略的重大基础。④对于危机中的当事人，可邀请当事人看到自己如何存活下来，如何持续承受与对抗此的小小资源、方法与力量。2、强化日常行动，应对问句常着眼于非常
杨晓艳17·2024-01-25 00:27

Spark基本架构及原理

Hadoop和Spark的关系Spark运算比Hadoop的MapReduce框架快的原因是因为Hadoop在一次MapReduce运算之后,会将数据的运算结果从内存写入到磁盘中,第二次Mapredue
李飞_fd28·2024-01-24 20:50

美好清晨2020108——育儿育己：凡事预则立，不预则废。

图片发自App图片发自App凝飞早练晨读2020108家庭教育学习分享——制定好计划，做事情才能有条不紊凡事预则立，不预则废。学会制定计划，学会自我规划，这也是衡量一个孩子自我管理能力的重要标准。
凝飞呀·2024-01-24 18:12

当孩子遇到恃强凌弱的问题。

坚持学习分享第298天，2018年6月5日星期二。当孩子走进学校的时候，恃强凌弱的问题就已经伴随着孩子了。孩子遇到了这种问题，该怎么处理呢。
奇峰_5114·2024-01-24 17:08

美好清晨191012——育儿育己：多给孩子一点空间，拥有自己的秘密。

图片发自App图片发自App《为何家会伤人》学习分享：孩子总考砸，可能有内情用考砸表达对老师、母亲的不满——最常见的表达方式是“被动攻击”，即孩子有意无意地做错一些事情，然后惹得父母生气。
凝飞呀·2024-01-24 17:20

2019-05-15

主流程1.关闭防火墙2.机器间实现免密3.zk部署4.hadoop部署实现流程2.免密登录ssh-keygen回车一直到最后（有3次）生成本机秘钥后，同步到自己机器和其他机器ssh-copy-idhostxshell
泡泡_bbb9·2024-01-24 15:54

美好清晨20210209——育儿育己：爱是一个孩子向前的全部力量，教育的秘诀就是爱。

凝飞早练晨读20210209家庭教育学习分享——给
凝飞呀·2024-01-24 14:04

springCloud - 第1篇 - 服务的注册 Eureka

PS：这个系列不定时更新，只是个人的学习分享，内容全程参考书目：《SpringCloud与Docker微服务架构空实战》、《SpringCloud微服务实战》及此书作者博客：http://blog.didispace.com
微风--轻许--·2024-01-24 14:51

20200422李晓飞学习分享

一、今日第一励语：I’dratherattempttodosomethinggreatandfail,thantoattemptnothingandsucceed.第二励语：祝福深深，情谊浓浓，纯美的情谊，永远珍惜，把最美的祝福送给大家，祝大家开心快乐！幸福安康，一路精彩，一路芬芳，一生平安！不要爱在心口难开。爱就要真诚的付出，家庭的维系不是分工明确，拿出实际行动吧。二、师父的十大人生哲学我乐于与
飞常开心·2024-01-24 14:47

通过hadoop jar命令运行提交MapReduce到YARN中

实现Wordcount大概流程：给定数据输入的路径，给定结果输出的路径；将输入路径内的数据中的单词进行计数，将结果写到输出路径如下：在hadoop下找hadoop-mapreduce-examples-
%HelloWorld%·2024-01-24 13:28

MapReduce配置 & YARN集群部署

1：编辑mapred-env.sh；添加如下配置#设置jdk路径exportJAVA_HOME=/opt/module/jdk#设置JobHistoryServer进程内存为1GexportHADOOP_JOB_HISTORYSERVER_HEAPSIZE
%HelloWorld%·2024-01-24 13:28

部署Hadoop集群

在node1节点执行，以root身份1：在VMware虚拟机集群上部署HDFS集群1）准备好hadoop安装包；目前最新3.3.4；了解：2）上传解压hadoop①：上传hadoop到node1节点；②
%HelloWorld%·2024-01-24 13:27

Hive在VMware中部署

会在日志文件中生成root用户的一个随机密码，使用下面命令查看密码：如果你想设置简单密码，需要设置mysql密码安全级别：(进入mysql中实行)然后就可以简单密码了：(进入mysql中实行)步骤二：配置hadoop
%HelloWorld%·2024-01-24 13:27

Kafka集群的安装与配置（二）

2.2.2生产者命令行操作1）查看操作生产者命令参数[atguigu@hadoop102kafka]$bin/kafka-console-producer.sh2）发送消息[atguigu@hadoop102kafka
ole_triangle_java·2024-01-24 12:59

在果上觉察 在因上努力 吴海潇 漯河焦点学习分享266天2021.7.78

在果上觉察在因上努力孩子上语文补习班时，开始学习文言文，背诵时不是太顺利，总是磕磕巴巴的，老师要求比较严格，背诵一个走一个，并且有积分制，这开始的第三节课，孩子都是最后一个走的，孩子也非常努力，但就是不能顺利通过。我觉察到孩子学习的吃力，好在目前还没有抵触情绪，能坚持下去，这样就是好事，许多事情只要坚持就能收获。我怕孩子明天晚上的课又背诵不通过，今天下午就督促孩子赶快完成作业，并好好预习课文，我感
握一把塔拉的红土·2024-01-24 12:09

Windows下hive中insert语句报错

报错信息我的hadoop和hive版本都是3.0版本(建议hadoop3.x版本、hive2.x版本，我在使用中发现有些问题)[08S01][2]Errorwhileprocessingstatement
林园857·2024-01-24 10:27

行为是由个人观念驱使的。

坚持学习分享第283天。2018年5月21日星期一。小雨在这一整天时不时的给人们提醒他的存在。在我们班有个孩子。在和他聊天的时候，他说：“老师你不要和我计较太多东西，我有病。以前的老师都说我有多动症。
奇峰_5114·2024-01-24 09:09

hbase 总结

HBase什么是HBasehbase是一个基于java、开源、NoSql、非关系型、面向列的、构建与hadoop分布式文件系统（HDFS）上的、仿照谷歌的BigTable的论文开发的分布式数据库。
l靠近一点点l·2024-01-24 08:24

Hbase原理、基本概念、基本架构

概述HBase是一个构建在HDFS上的分布式列存储系统；HBase是基于GoogleBigTable模型开发的，典型的key/value系统；HBase是ApacheHadoop生态系统中的重要一员，主要用于海量结构化数据存储
wyl9527·2024-01-24 08:24

HBase介绍及简易安装（转）

HBase介绍及简易安装（转）HBase简介HBase是ApacheHadoop的数据库，能够对大型数据提供随机、实时的读写访问，是Google的BigTable的开源实现。
weixin_33711647·2024-01-24 08:23

Hadoop集群（第12期)_HBase简介及安装

HBase简介HBase是ApacheHadoop的数据库，能够对大型数据提供随机、实时的读写访问，是Google的BigTable的开源实现。
weixin_30451709·2024-01-24 08:23

HBase学习

HBase简介HBase是ApacheHadoop的数据库，能够对大型数据提供随机、实时的读写访问，是Google的BigTable的开源实现。
mm_bit·2024-01-24 08:20

HBase详细概述

不过在此之前，你可以先了解Hadoop生态系统，若想运行HBase，则需要先搭建好Hadoop集群环境，可以参考此文搭建5个节点的hadoop集群环境（CDH5）。好了，让我们来学习HBase吧！
a867901084·2024-01-24 08:49

HBase简易安装和简介

HBase简介HBase是ApacheHadoop的数据库，能够对大型数据提供随机、实时的读写访问，是Google的BigTable的开源实现。
滑过的板砖·2024-01-24 08:49

Hbase 基础理论

Hbase本身是属于NoSQL在hadoop的大数据集群框架中可以用来做数据的存储。Hbase本身是Google的Bigtable理论的开源实现。本篇文章
Allocator·2024-01-24 08:48

H. Linux查找文件 whereis locate which

[root@hadoop01~]#whereiscatcat:/bin/cat/usr/share/man/man1/cat.1.gz[root@hadoop01~]#yuminstallmlocate
小猪Harry·2024-01-24 08:06

Flink（十五）【Flink SQL Connector、savepoint、CateLog、Table API】

1、常用Connector读写之前我们已经用过了一些简单的内置连接器，比如'datagen'、'print'，其它的可以查看官网：Overview|ApacheFlink环境准备：#1.先启动hadoopmyhadoopstart
让线程再跑一会·2024-01-24 07:17

MySQL数据库在CentOS 6.8环境下的安装

二、步骤1、检查本地YUM源检查本地YUM中可用的与mysql相关的软件包[root@hadoop00~]#yumlist|grepmysql出现如图所示错误，需要重新挂载一下系统安装镜像[root@hadoop00
m0_69595107·2024-01-24 06:10

Hadoop安装配置HBase

2、安装切换目录[root@hadoop00~]#cd/usr/local新建文件夹[root@hadoop00local]#mkdirhbase解压文件[root@hadoop00local]#tarzxvf
m0_69595107·2024-01-24 06:10

Hadoop伪分布式安装配置

A、添加hadoop用户1、添加用户组[root@hadoop00~]#groupaddhadoop2、添加用户并分配用户组[root@hadoop00~]#useradd-ghadoophadoop3
m0_69595107·2024-01-24 06:09

虚拟机网络配置及Moba工具的使用

A、设置IP和网关1、设置IP[root@hadoop00~]#vi/etc/sysconfig/network-scripts/ifcfg-eth0（修改如下标红内容，没有的就添加）DEVICE=eth0HWADDR
m0_69595107·2024-01-24 06:09

Hadoop中HBase命令行操作

HBase提供了Shell命令行，功能类似于Oracle、MySQL等关系库的SQLPlus窗口那样，用户可以通过命令行模式进行创建表、新增和更新数据，以及删除表的操作。采用的底层存储为HDFS。使用Hbase客户端操作，执行查看Hbase版本、状态、查看帮助命令。创建表、修改表、插入数据、删除数据、查询数据，清空表、退出Hbase命令行、停止HDFS服务。1.启动HDFS服务进程和hbase服务
m0_69595107·2024-01-24 06:05

大数据基础设施搭建 - Hbase

文章目录一、解压压缩包二、配置环境变量三、修改配置文件3.1修改hbase-env.sh3.2修改hbase-site.xml3.3修改regionservers四、解决HBase和Hadoop的log4j
m0_46218511·2024-01-24 06:04
上一页 15 16 17 18 19 20 21 22 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他