hdfs集群搭建

21、MapReduce读写SequenceFile、MapFile、ORCFile和ParquetFile文件

Hadoop系列文章目录1、hadoop3.1.4简单介绍及部署、简单验证2、HDFS操作-shell客户端3、HDFS的使用（读写、上传、下载、遍历、查找文件、整个目录拷贝、只拷贝文件、列出文件夹下文件
一瓢一瓢的饮 alanchan·2023-11-20 13:18

三十分钟学会Hive

Hive的概念与运用Hive是一个构建在Hadoop之上的数据分析工具（Hive没有存储数据的能力，只有使用数据的能力），底层由HDFS来提供数据存储，可以将结构化的数据文件映射为一张数据库表，并且提供类似
地球魔·2023-11-20 12:11

让你彻底学会HBase

利用HadoopHDFS作为其文件存储系统，利用ZooKeeper作为其分布式协同服务。主要用来存储非结构化和半结构化的松散数据（列式存储NoSQL数据库）。
地球魔·2023-11-20 12:11

HDFS完全分布式集群搭建与配置及常见问题总结

思路：1.准备3台虚拟机（静态IP，IP映射，主机名称，防火墙关闭，普通用户创建等等）2.安装JDK，配置环境变量3.安装Hadoop，配置环境变量4.配置免密登录5.编写同步脚本，配置集群(前三步已完成)搭建集群步骤1.首先要关闭防火墙systemctlstopfirewalldsystemctldisablefirewalldsystemctlstatusfirewalld2.还要关闭SELi
HUNG4050·2023-11-20 12:03

HDFS常见面试题

HDFS小文件问题小文件过多有什么坏处？主要是NameNode内存会受限。由于NameNode会将文件系统的元数据都存储在内存中，因此所能存储的文件总量受限于NameNode的内存总容量。
海中大咸鱼·2023-11-20 12:02

dfs hdfs 修改文件名称_第五讲：hadoop的分布式存储HDFS常见操作

HDFS是一个分布式文件系统，像任何其它文件系统，允许用户使用shell命令操作文件系统。
西岸先生·2023-11-20 12:31

HDFS常见API操作

HDFS常见API操作一个刚开始学习大数据的小白，愿意和大家分享所学所得。
_小张要敲代码·2023-11-20 12:58

HDFS权限管理以及ACL介绍

一篇文章搞懂HDFS权限管理HDFS承载了公司内多个部门几十条业务线的几十PB数据，这些数据有些是安全级别非常高的用户隐私数据，也有被广泛被多个业务线使用的基础数据，不同的业务之间有着复杂的数据依赖。
Hellooorld·2023-11-20 12:57

hdfs集群启动的常见问题

hdfs集群启动的常见问题1、用浏览器访问namenode的50070端口，不正常，需要诊断问题出在哪里：a、在服务器的终端命令行使用jps查看相关进程观察节点是否存活b、如果已经知道了启动失败的服务进程
一溪云~·2023-11-20 12:27

*HDFS完全分布式集群搭建与配置及常见问题总结*

小组介绍：哈喽大家好！我们是---哈了个Doop小组，接下来为大家做一下小组介绍。一共有六个成员。主要特点是由一名男生和五名女生组成，又称为“一汉娘子组”，由无所不能且帅气的文组长带领。成员有：优秀的诺同学和芝同学、有创意的灵同学、两位颜值担当的杰同学和张同学。组员介绍已完毕。使用电脑时很多朋友会发现一台计算机虽然可以安装多个操作系统，但是对电脑的硬件有着极大的要求，而虚拟机的出现则完美的解决了这
哈了个Doop·2023-11-20 12:26

HDFS 常见的异常处理方式汇总

ERRORorg.apache.hadoop.hdfs.server.datanode.DataNode:jav
Shockang·2023-11-20 12:21

四、hdfs文件系统基础操作-保姆级教程

1、启动Hadoop集群想要使用hdfs文件系统，就先要启动Hadoop集群。
弦之森·2023-11-20 12:20

五、hdfs常见权限问题

1、常见问题2、案例（1）问题（2）hdfs的超级管理员（3）原因没有使用Hadoop用户对hdfs文件系统进行操作。
弦之森·2023-11-20 12:48

HDFS 命令操作

常用命令一、hadoopfs（hdfsdfs）文件操作1)ls显示目录下的所有文件或者文件夹使用方法：hadoopfs-ls[uri形式目录]示例:hadoopfs–ls/显示根目录下的所有文件和目录显示目录下的所有文件可以加
ly稻草·2023-11-20 12:55

浅谈交互式查询⼯工具Impala(一)

一、Impala概述（Impala是什什么，优势，劣势，与Hive对⽐）Impala是什什么Impala是Cloudera提供的⼀一款开源的针对HDFS和HBASE中的PB级别数据进⾏行行交互式实时查询
顾子豪·2023-11-20 11:14

[docker-compose中间件集群系列] - 6 redis 哨兵模式的原理简单介绍以及集群搭建

redis的作用就不多介绍了，redis的原理相信也有很多文章。我这边的分享就直接分享一下实际业务使用的哨兵模式和集群模式。还有他们有什么不同，哪种业务场景应该用哪一种模式。这一篇先来说哨兵模式，集群模式放在第7集。开始聊这个之前，有一个点比较重要，要保证各位的redis版本在6.0以上，因为有一个非常重要的配置，关乎到你运维的配置是高版本才有的，就是redis对于hostname配置的处理方式。
HoZanDung·2023-11-20 09:36

Zookeeper学习笔记（2）—— Zookeeper API简单操作

前置知识：Zookeeper学习笔记（1）——基础知识-CSDN博客Zookeeper集群搭建部分前提：保证zookeeper集群处于启动状态环境搭建依赖配置junitjunitRELEASEorg.apache.logging.log4jlog4j-core2.8.2org.apache.zookeeperzookeeper3.5.7log4j.propertieslog4j.rootLogge
THE WHY·2023-11-20 07:26

HDFS、MapReduce原理--学习笔记

（2）狭义解释从狭义上来说，Hadoop是指Hadoop这个开源框架，它的核心组件有：a）HDFS（分布式文件系统）：解决海量数据存储；b）MapReduce（分布式计算）：解决海
祈愿lucky·2023-11-20 06:33

hadoop关于hdfs详细解答

HDFS内容大数据的概念及其特征Hadoop简介及其生态圈HDFS的内部组件介绍HDFS的安装模式介绍独立模式伪分布式模式完全分布式的搭建HDFS的常用命令HDFS的设计思想HDFS的体系结构HDFS的工作机制
一个人的小样·2023-11-20 04:58

Hive 剖析

Hive分区表分区为HDFS上表目录的子目录，数据按照分区存储在子目录中。
zhixingheyi_tian·2023-11-20 03:33

Hive效率优化记录

Hive是工作中常用的数据仓库工具，提供存储在HDFS文件系统，将结构化数据映射为一张张表以及提供查询和分析功能。
Forge_ahead·2023-11-20 03:26

大数据基础——HDFS（分布式文件系统）

分布式文件系统——HDFS文章目录分布式文件系统——HDFSHDFS概述HDFS发展历史HDFS的设计目标HDSF应用场景适合的应用场景不适合的应用场景HDFS架构HDFS的基本原理NameNode概念
我菜的要死·2023-11-20 02:49

Mongodb副本集集群搭建+用户认证（详细步骤）

各位biu贝~~~初次见面，多多指教。目录1.下载Mongodb压缩包1.1.下载压缩包1.2.解压并重命名3.Mongodb安装配置3.1.创建目录、文件3.Mongodb集群配置3.1.目录拷贝3.2.启动并初始化服务4.Mongodb添加身份验证4.1.创建用户4.2.服务重启服务器资源：192.168.45.131192.168.45.132192.168.45.1331.下载Mongod
小杜小杜小杜·2023-11-20 01:50

大数据研发工程师面试

9.HDFS的理解?10.hadoop对put一个文件
ChlinRei·2023-11-20 01:43

MongoDB副本集集群搭建

软件下载进去这个网站，选择自己想要的版本、要安装的系统，还有格式，我选的是tgz格式https://www.mongodb.com/try/download/community安装以下配置三台机器都要运行将下载好的文件上传到centons,并解压重命名放置到指定目录tar-zvxfmongodb-linux-x86_64-rhel80-4.4.18.tgzmvmongodb-linux-x86_6
G_scsd·2023-11-20 01:13

大数据开发面试（一）

适用于需要将大量数据发送到HDFS、HBase等存储系统的场景。具有较强的可靠性、可扩
ChlinRei·2023-11-20 01:41

9 HDFS架构剖析

HDFS集群有两类节点：一个namenode(管理节点)和多个datanode(工作节点）。namenode管理文件系统的命名空间。它维
水无痕simon·2023-11-19 23:41

大数据安全 测试

测试1、用户hive/[email protected]和nn/1.common2.hadoop.fql.com分别对Hive进行查询（1）HDFS配置vim/usr/
bigdata-余建新·2023-11-19 22:50

Python大数据之linux学习总结——day10_hadoop原理

Hadoop原理Hadoop基础分布式和集群Hadoop框架概述生态圈版本更新hadoop架构[重点]官方示例圆周率练习词频统计[重点]需求:步骤:Hadoop-HDFS特点hdfs架构块和副本shell
笨小孩124·2023-11-19 20:38

ClickHouse基础知识(个人总结)

本文为我的个人复习总结,并非那种从零基础开始普及知识内容详细全面,言辞官方的文章2.由于是个人总结,所以用最精简的话语来写文章3.若有错误不当之处,请指出特点:列式存储,使用LSMTree结构,OLAP分析引擎,不依赖于HDFS
hellosrc | forward·2023-11-19 18:28

Spark数据倾斜解决思路

1.避免数据源倾斜-HDFSSpark通过textFile(path,minPartitions)方法读取文件时，使用TextInputFormat。
小小大数据·2023-11-19 17:13

4️⃣Hive

（Hive没有存储数据的能力，只有使用数据的能力）2.Hive本质将HQL转化成MapReduce程序Hive处理的数据存储在HDFSHive分析数据底层的实现是MapReduce执行程序运行在Yarn
WovJf·2023-11-19 17:39

Hadoop词频统计

这里写自定义目录标题前提制作JAR包启动Hadoop将wordfile1.txt上传到HDFS重新上传文件进行词频统计和注意事项HDFS常用命令前提1.安装了Linux系统，并且安装了Hadoop下的两个组件
weixin_49670340·2023-11-19 16:29

Hadoop第五章：词频统计

系列文章目录Hadoop第一章：环境搭建Hadoop第二章：集群搭建（上）Hadoop第二章：集群搭建（中）Hadoop第二章：集群搭建（下）Hadoop第三章：Shell命令Hadoop第四章：Client
超哥--·2023-11-19 16:29

HDFS 使用Hadoop 中自带的词频统计程序，对数据集进行词频统计

实验题目：词频统计假设HDFS上有两个文件wordfile1.txt和wordfile2.txt(其他文件也行），运行Hadoop中自带的词频统计程序，对数据集进行词频统计。
码猿小菜鸡·2023-11-19 16:28

Hadoop调用MapReduce进行词频统计

.前置准备1.传输文本文件2.环境搭建(1)使用VirtualBox虚拟机软件安装Ubuntu(2)在Ubuntu中安装Hadoop和Eclipse三.具体步骤1.下载保存文本文件2.将文本文件传输至HDFS3
MidnightFancy·2023-11-19 16:17

HIVE与HDFS映射关系

问题1：Hive一条Select语句，底层是如何读取HDFS文件的？
Eqo·2023-11-19 15:40

复杂类型，查询--学习笔记

namestring,city_arrayarray)rowformatdelimitedfieldsterminatedby"\t"collectionitemsterminatedby",";--2.上传数据到hdfs
祈愿lucky·2023-11-19 15:29

Python大数据之linux学习总结——day06_hive02

知识点:示例:查看/修改表示例:默认分隔符示例:快速映射表[练习]知识点:示例:数据导入和导出文件数据加载导入1.直接上传文件window页面上传linux本地put上传2.load加载文件:load移动HDFS
笨小孩124·2023-11-19 15:58

解决公网下，k8s calico master节点无法访问node节点创建的pod

目的：解决pod部署成功后，只能在node节点访问，而master节点无法访问原因：集群搭建时，没有配置公网进行kubectl操作，从而导致系统默认node节点，使用内网IP加入k8s集群！
睡竹·2023-11-19 15:43

sqoop hdfs入mysql_sqoop将hdfs下的数据导入到mysql如何去重？

sqoop执行的脚本我是这样写的sqoopexport–connectjdbc:mysql://localhost:3306/movie–usernameroot–passwordwelcome1–tablemovieRecommend–fields-terminated-by‘,’–export-dir/recommendoutrecommendout是我mapreduce程序处理后的输出目录，
唉唉唉哒·2023-11-19 14:05

elasticsearch 备份与恢复

本地备份一创建仓库首先需要创建一个仓库,仓库的类型支持Sharedfilesystem,AmazonS3,HDFS和AzureCloud,暂时只掌握了文件系统备份方式一：通过命令方式创建备份仓库a.修改
不会写诗的程序猿·2023-11-19 14:13

2023-Hive调优最全指南

性能优化之数据倾斜专题五、HiveSQL优化十二板斧六、Hive面试题(一)七、Hive/Hadoop高频面试点集合(二)01-基于Hadoop的数据仓库Hive基础知识Hive是基于Hadoop的数据仓库工具，可对存储在HDFS
000X000·2023-11-19 13:43

Docker——阿里云搭建Docker Swarm集群

阿里云搭建DockerSwarm集群DockerSwarm概念环境部署Swarm集群搭建安装Docker配置阿里云镜像加速搭建集群Raft一致性算法Swarm集群弹性创建服务（扩缩容）概念总结服务副本与全局服务
611#·2023-11-19 11:59

RabbitMQ 集群和镜像队列

文章目录一、clustering(集群)1、使用集群的原因2、搭建步骤2.1、拉取镜像2.2、创建三个RabbitMQ容器节点2.3、集群搭建二、镜像队列1、使用镜像的原因2、搭建步骤总结一、clustering
哥的时代·2023-11-19 11:55

大数据之hadoop-hdfs知识通俗详解

目录疑问存储模型（重要）架构设计角色功能NameNodeDataNode元数据持久化安全模式HDFS中的SNNSecondaryNameNode（SNN）Block的副本放置策略HDFS写流程HDFS读流程总结疑问分布式文件系统那么多
shw12357·2023-11-19 10:27

05-Hadoop01之HDFS

一、Hadoop介绍Hadoop分为三部分：Common、HDFS、Yarn、MapReduce(有点过时了)Hadoop生态圈：除了hadoop技术以外，还有hive、zookeeper、flume、
YuPangZa·2023-11-19 10:54

大数据基础设施搭建 - Hadoop

案例5.2.1创建wordcount输入文本信息5.2.2执行程序5.2.3查看结果六、分发压缩包到集群中其他机器6.1分发压缩包6.2解压压缩包6.3配置环境变量七、配置集群7.1核心配置文件7.2HDFS
m0_46218511·2023-11-19 10:33

hdfs多用户读写权限设置

多个用户都能对文件有操作(读写)权限.1》在hdfs中设置umask为002,则新目录的权限为775,新文件的权限为664,只要都是supergroup组的用户都有权限进行读写2》在namenode上创建
飞有飞言·2023-11-19 09:35

大数据开发：kafka集群搭建步骤示例

基于Hadoop的大数据技术生态当中，kafka在日志采集这个环节，提供重要的支持。今天的大数据开发学习分享，我们主要来讲讲在Hadoop集群上如何搭建和配置kafka集群。一、集群规划首先看一下集群规划，3台节点都搭建kafka,并且每个节点都需要提前安装有zookeeper集群。二、kafka安装和配置1、下载安装包并解压缩下载地址：http://kafka.apache.org/downlo
成都加米谷大数据·2023-11-19 08:53
上一页 31 32 33 34 35 36 37 38 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他