hdfs集群搭建第24页

[spark] DataFrame 的 checkpoint

具体来说，checkpoint方法执行以下操作：将DataFrame的物理计划执行，并将结果存储到指定的分布式文件系统（例如HDFS）上的检查点目录中。用新的DataFrame代替原始的Da

言之。·2023-12-27 06:29

hive学习笔记

一、Hive基本概念1.1hive是什么hive是基于hadoop的一个数仓分析工具，hive可以将hdfs上存储的结构化的数据，映射成一张表，然后让用户写HQL(类SQL)来分析数据telupdown138383843813451567138383843953451567138383844012411657713838384413453157571383838434353551567567

不爱吃鱼的馋猫·2023-12-27 06:05

[使用Python操作Hadoop，Python-MapReduce

环境环境使用：hadoop3.1，Python3.6，ubuntu18.04Hadoop是使用Java开发的，推荐使用Java操作HDFS。有时候也需要我们使用Python操作HDFS。

叫我老村长·2023-12-27 05:35

Rancher小白学习之路

load-balancer/_indexhttp://docs.rancher.cn/docs/rancher1/rancher-service/load-balancer/_indexRancher2.5集群搭建

weixin_42124960·2023-12-27 01:07

orc小文件合并趣谈

之前做到存储和计算的管理，后续做了简单hdfs画像（其中，就有小文件趋势监控）。最近，集群中namenode压力有所显现。于是，针对小文件多的目录进行了排查和治理。

艾伦_alan·2023-12-27 01:02

分布式系统面试连环炮

他们有共同的一个问题，就是都没怎么搞过分布式系统，现在互联网公司，一般都是做分布式的系统，大家都不是做底层的分布式系统、分布式存储系统hadoophdfs、分布式计算系统hadoopmapreduce/

Java机械师·2023-12-26 23:13

YARN知识点总结

如果把大数据Hadoop集群当作一台计算机,那么HDFS=磁盘YARN=任务调度器+资源管理器所有任务都是运行在Yarn上Yarn分为两个大的模块:ResourceManagerNodeManagerResourceManager

飞有飞言·2023-12-26 23:16

Hadoop大数据实战系列文章之HDFS文件系统

Hadoop附带了一个名为HDFS(Hadoop分布式文件系统)的分布式文件系统，专门存储超大数据文件，为整个Hadoop生态圈提供了基础的存储服务。

测试帮日记·2023-12-26 21:39

借助 KMS (Hadoop Key Management Server) 实现 HDFS 数据加密

对HDFS的读写性能会有一定的降低，但应该不会太严重（未测试），HDFS优先使用native的libcrypto.so完成加解密（默认算法AES-CTR，支持128位AES加密），新版本的

xudong1991·2023-12-26 18:55

【Spark-HDFS小文件合并】使用 Spark 实现 HDFS 小文件合并

【Spark-HDFS小文件合并】使用Spark实现HDFS小文件合并1）导入依赖2）代码实现2.1.HDFSUtils2.2.MergeFilesApplication需求描述：1、使用Spark做小文件合并压缩处理

bmyyyyyy·2023-12-26 17:15

datasophon组件安装时踩坑记录

*to'root'@'%'identifiedby'xxxx';1.安装hdfs后有一个namenode进程未启动解决：在那个未启动的节点上执行hdfsnamenode-bootstrapStandby

州周·2023-12-26 17:56

【HBase】——简介

1HBase定义 ApacheHBase™是以hdfs为数据存储的，一种分布式、可扩展的NoSQL数据库。

那时的样子_·2023-12-26 15:42

Hadoop集群部署

模板虚拟机安装JDK3模板虚拟机安装Hadoop4克隆虚拟机5虚拟机配置主机名称映射6集群分发脚本7SSH无密登陆配置8Hadoop集群配置8.1集群部署规划8.2修改配置文件8.2.1核心配置文件配置8.2.2HDFS

程序员储物箱·2023-12-26 12:23

Windows搭建HDFS 2.6.0(附加搭建Hadoop)

1.环境操作系统:Windows7JDK版本:1.8.0_221Hadoop版本:2.6.02.下载Hadoop官网下载image.pngimage.png3.前期准备3.1.配置JAVA环境变量image.pngimage.png4.安装部署4.1.解压，提示报有错误发生不影响image.png4.2.更改配置文件hadoop-env.cmd-添加JAVA_HOME环境变量排坑:Windows环

夹胡碰·2023-12-26 11:20

Hadoop基础操作（学习笔记二）

本笔记按照以下四步进行：1、查看hadoop集群的基本信息http://master:50070/HDFS监控服务http://master:8088/cluster/nodes集群的计算资源信息http

Mecury_·2023-12-26 10:32

hadoop3.0x 后要比spark快10倍！

smileyboy2009·2023-12-26 10:56

Hive04_DDL操作

HiveDDL操作1DDL数据定义1.1创建数据库CREATEDATABASE[IFNOTEXISTS]database_name[COMMENTdatabase_comment][LOCATIONhdfs_path

程序喵猴·2023-12-26 08:39

Hive05_DML 操作

overwrite]intotablestudent[partition(partcol1=val1,…)];（1）loaddata:表示加载数据（2）local:表示从本地加载数据到hive表；否则从HDFS

程序喵猴·2023-12-26 08:02

Linux下配置伪分布式的Hadoop

安装jdk1.8，注意，jdk版本太高会导致hadoop无法正常启动和运行2下载hadoop3.1.3，并上传至服务器解压3编辑etc/hadoop/core-site.xmlfs.defaultFShdfs

qq_34324703·2023-12-26 05:49

Flume采集日志存储到HDFS

1日志服务器上配置Flume,采集本地日志文件，发送到172.19.115.96的flume上进行聚合，如日志服务器有多组，则在多台服务器上配置相同的配置#Namethecomponentsonthisagenta1.sources=r1a1.sinks=k1a1.channels=c1#Describe/configurethesourcea1.sources.r1.type=TAILDIRa1

qq_34324703·2023-12-26 05:46

Kubernetes-通过Rancher从Harbor私有仓库拉取镜像

引言前一篇文章详细描述了如何使用rancher搭建Kubernetes高可用集群，集群搭建好了后，我们就需要开始部署应用了，那么如何从私有镜像仓库拉取镜像呢？

Statmoon·2023-12-26 04:03

CDH框架搭建【小白易上手】

CDH框架搭建Vmware安装CentOS虚拟机java环境搭建mysql环境搭建CDH集群搭建遇到的问题1.磁盘空间不够2.centOS版本过低3.连接虚拟机ip失败4.node0节点无法加入集群Vmware

刀锋0001·2023-12-26 02:14

大数据技术——处理架构Hadoop

软件基金会旗下的一个开源分布式计算平台，为用户提供了系统底层细节透明的分布式基础架构•Hadoop是基于Java语言开发的，具有很好的跨平台特性，并且可以部署在廉价的计算机集群中•Hadoop的核心是分布式文件系统HDFS

Imrea·2023-12-26 01:55

大数据——手把手教你HDFS搭建

第一步：在虚拟机上安装hadoop环境使用XFTP工具，将hadoop的linux版本压缩包导进linux系统的/opt文件夹下。第二步：解压hadoop命令：cd/opttar-zxvfhadoop*******-C/usr/local/解压hadoop压缩包到/usr/local/路径下解压成功以后看一下local下面的所有文件第三步：删除解压包里面的doc文档安装包在local文件夹下，需要

安安DE爸爸·2023-12-25 23:31

RocketMQ

MQ的优缺点各种MQ产品的比较RockeetMQ快速入门准备工作下载RocketMQ安装RocketMQ启动RocketMQ测试RocketMQ发送消息接收消息RocketMQ集群搭建角色介绍集群搭建方式集群特点集群模式

Xiaolei.Shi·2023-12-25 23:52

04_hadoop_读取hdfs在本地统计单词并将结果放回hdfs

1文件目录image.png2wordConfig.properties配置文件CLASS_BUSINESS=com.looc.D04HDFS单词计数.WordCountRealizeHDFS_URL=

会摄影的程序员·2023-12-25 22:10

Hadoop学习笔记[6]-MapReduce与Yarn安装部署流程

NodeManager和DataNode一般都是1:1，主要是为了计算向数据移动，如果NM和DN分开，就得用网路拷贝数据，在Yarn的体系里NM也是从节点，既然其和DN是1:1的关系，所以配置中和HDFS

kinglinch·2023-12-25 19:09

RabbitMq学习笔记11（小滴课堂）

讲解RabbitMQ高可用普通集群模式介绍讲解RabbitMQ高可用mirror镜像集群模式介绍讲解RabbitMQ高可用普通集群搭建基础准备停止节点：删除单节点：我们已经查不到之前的容器了。

抹茶味的西瓜汁·2023-12-25 19:36

HBase 集群搭建

文章目录安装前准备兼容性官方网址集群搭建搭建Hadoop集群搭建Zookeeper集群解压缩安装配置文件高可用配置分发HBase文件服务的启停启动顺序停止顺序验证进程查看Web端页面安装前准备兼容性1）

撕得失败的标签·2023-12-25 19:05

flume 中sink用hdfs sink报拒绝连接错误hdfs-io

m0_58310854·2023-12-25 16:38

云计算与大数据之间的羁绊（期末不挂科版）：云计算 | 大数据 | Hadoop | HDFS | MapReduce | Hive | Spark

文章目录前言：一、云计算1.1云计算的基本思想1.2云计算概述——什么是云计算？1.3云计算的基本特征1.4云计算的部署模式1.5云服务1.6云计算的关键技术——虚拟化技术1.6.1虚拟化的好处1.6.2虚拟化技术的应用——12306使用阿里云避免了高峰期的崩溃1.6.3虚拟化的关键特征1.6.4虚拟化的HA指的是什么？1.6.5服务器虚拟化1.6.6虚拟机迁移1.6.6.1虚拟机实时迁移对云计算

春人.·2023-12-25 14:59

spark log4j日志配置

1.spark启动参数先把log4j配置文件放到hdfs：hdfs://R2/projects/log4j-debug.properties--confspark.yarn.dist.files=hdfs

Mint6·2023-12-25 12:33

hadoop 3.3大数据集群搭建系列2-安装zookeeper

一.下载并解压cd/home/softwarewgethttps://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.6.3/apache-zookeeper-3.6.3-bin.tar.gz--no-check-certificatetar-xvfapache-zookeeper-3.6.3-bin.tar.gz-C/home二

只是甲·2023-12-25 11:04

【美团大数据面试】大数据面试题附答案

目录1.hdfs读写流程解析2.hdfs副本机制，三副本原因，副本存放策略3.hdfs容错机制原理4.MapReduce执行流程详解5.spark和mr的区别6.TopN求法，大数据量无法完全写入内存解决方案

话数Science·2023-12-25 11:19

Kafka下沉到HDFS报错

错误信息24十二月202312:38:25,127INFO[SinkRunner-PollingRunner-DefaultSinkProcessor](org.apache.flume.sink.hdfs.HDFSCompressedDataStream.configure

Stephen6Yang·2023-12-25 07:12

安装Hadoop 3.3.5

常识科普：Kafka的存储与安装不依赖于hdfs/spark，从下边安装过程你可以得知这个信息。备注：

IT WorryFree·2023-12-25 06:03

YARN Hadoop2.0 区别

Hadoop2.0与HAdoop1.0的区别：Hadoop1.0主要由HDFS和MapReduce两个系统够长，但在Hadoop2.0中主要由HadoopCommon、HDFS、HadoopYARN和HadoopMapReduce2.0

omygodvv·2023-12-24 23:01

【Hadoop学习笔记】（二）——Hive的原理及使用

Hive数据仓库工具能为HDFS上的数据提供类似SQL的查询语言（HiveQL），并将SQL语句转变成MapReduce任务来执行。Hive明显降低了Hadoop的使用门槛，任何熟悉SQL的用

wanger61·2023-12-24 23:25

四、Hadoop学习笔记————各种工具用法

Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如：MySQL,Oracle,Postgres等）中的数据导进到Hadoop的HDFS

weixin_30528371·2023-12-24 23:25

Hive学习笔记（1）——Hive原理初探

文章目录前言一、hive的特点二、hive体系架构及基本原理三、Hive的存储四、总结前言相信大家通过学习MapReduce，已经认识到hadoop利用多台廉价机器集群进行并行计算的优势，了解了HDFS

Zhou.Y.M·2023-12-24 23:55

【Hive笔记】1——Hive入门

本质：将HQL转化为Mapreduce程序Hive处理的数据存储在HDFS，HIve分析数据底层的实现是Mapreduce，执行程序运行在Yarn上2.Hive的优缺点优点：操作接口采用类sql语法，提供快速开发能

sdut菜鸟·2023-12-24 23:55

零基础搭建k8s集群（一）- 基础准备

基础准备零基础搭建k8s集群（二）-依赖软件安装零基础搭建k8s集群（三）-提前放行相关的网络端口零基础搭建k8s集群（四）-构建k8s集群一、前言本栏目主题会讲解k8s集群的零基础构建，从环境准备、防火墙管理、集群搭建

不认输的猴·2023-12-24 23:53

hadoop集群坏块处理

hadoop之hdfs数据块修复方法：1、手动修复#检查集群的健康状态hdfsfsck/#修复指定的hdfs数据块。也就是关闭打开的文件。

运维仙人·2023-12-24 21:39

Redis集群

二、Redis集群能干什么三、Redis集群槽位四、Redis集群的分片1、哈希取余分区算法3、哈希槽分区算法五、集群搭建1、3主3从redis集群配置2、3主3从redis集群读写3、主从容错切换迁移

Poetry-Distance·2023-12-24 19:26

【Hadoop】HDFS shell操作与管理工具

HDFSshell操作HDFS管理工具dfsadminfsck均衡器HDFSshell操作HDFS是存取数据的分布式文件系统，对HDFS的操作就是文件系统的基本操作，如文件的创建、修改、删除、修改权限，

不怕娜·2023-12-24 18:41

【Hadoop】YARN简介（YARN产生的技术需求/YARN的基本架构）

YARN产生的技术需求YARN的基本架构ResourceManagerNodeManagerApplicationMasterContainerHDFS与YARNYARN产生的技术需求YARN是Hadoopv2.0