********HDFS

Hadoop 系列（七）—— HDFS Java API

一、简介想要使用HDFSAPI，需要导入依赖hadoop-client。
heibaiying·2023-10-22 01:01

初识Hive

其本质是将SQL转换为MapReduce的任务进行运算，底层由HDFS来提供数据的存储，Hive可以理解为一个将SQL转换为MapReduce任务的工具，甚至更进一步可以说Hive就是一个MapReduce
康俊1024·2023-10-22 01:27

HBase：大数据中的NoSQL

HBase概述Hbase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，用于存储海量的结构化或者半结构化，非结构化的数据，底层上的数据是以二进制流的形式存储在HDFS上的数据块中的HBase应用场景写密集型应用
CoLiuRs·2023-10-21 19:54

hadoop完全分布式搭建与集群测试

Hadoop实现了一个分布式文件系统（DistributedFileSystem），其中一个组件是HDFS（HadoopDistributed
青春的样子1·2023-10-21 19:39

修炼k8s+flink+hdfs+dlink（四：k8s（二）架构）

一：节点。1.1为什么使用节点。kubertnetes通过将容器存放在节点（node）上的Pod来执行你的工作负载。所以我们需要提前注册节点。1.2定义。一组工作机器，称为节点，会运行容器化应用程序。每个集群至少有一个工作节点。1.3怎么使用node节点1.3.1增加节点。节点上的kubelet向控制面板自注册。–register-node为true可选参数--kubeconfig-用于向API服
宇智波云·2023-10-21 18:00

iceberg-flink 十一：在dlink代码中建表增加catalog地址。

表的时候，增加了地址，就会成功映射到表CREATECATALOGdk_empowerWITH('type'='iceberg','catalog-type'='hadoop','warehouse'='hdfs
宇智波云·2023-10-21 18:29

k8s No Route to Host from xxx to xxx failed on socket timeout exception

NoRoutetoHostfromxxxtoxxxfailedonsockettimeoutexception，但两个pod相互ping的通，并且通过脚本/opt/flink/bin/flinkrun-myarn-cluster-ynmV2xRTDataPersistenceToHDFS-shdfs
胖胖胖胖胖虎·2023-10-21 18:26

修炼k8s+flink+hdfs+dlink（六：学习k8s）

一：增（创建）。直接进行创建。kubectlrunnginx--image=nginx使用yaml清单方式进行创建。二：删除。kubectldeletepods/nginx三：修改。kubectlexec-itmy-nginx–/bin/bash四：查看。查看所有pod。`kubectlgetpods`.kubectlgetpod-owide查看某个pod的创建信息。kubectldescribe
宇智波云·2023-10-21 18:54

大数据总结

知识点文章目录知识点0.介绍1.HDFS1.1读数据1.2写数据1.3块大小1.4Yarn调度1.4.1Job提交流程1.4.2调度器2.MapReduce、Hive2.1运行过程2.1切片大小2.2CombineTextInputFormat2.3
美美的大猪蹄子·2023-10-21 12:38

hadoop复习题

1.hadoop常用端口号hadoop2.xhadoop3.x访问hdfs端口500709870访问MR执行情况端口80888088历史服务器1988819888客户访问集群端口900080202.HDFS2.1hdfs
梧桐林.·2023-10-21 12:37

SparkStreaming入门

SparkStreaming简介支持的输入源：Kafka,Flume,HDFS等数据输入后，可以用RDD处理数据结果可以保存在很多地方，比如HDFS，数据库等SparkStre
十七✧ᐦ̤·2023-10-21 11:21

Hive用户中文使用手册系列（三）

RemoteHiveServer2模式建议用于production使用，因为它更安全，不需要为用户授予直接HDFS/metastore访问权限。
日复一日伐树的熊哥·2023-10-21 08:32

搭建HBase分布式集群

PrerequisiteThereare3VMs-hadoop3/hadoop4/hadoop5forfully-distributedHBasecluster,thesetupplanlookslike:hadoop3hadoop4hadoop5HadoophdfsNameNode
sun_xo·2023-10-21 07:23

HDFS dfs 操作命令

查看文件常用命令命令格式1.hdfsdfs-lspath查看文件列表2.hdfsdfs-lsrpath递归查看文件列表3.hdfsdfs-dupath查看path下的磁盘情况，单位字节使用示例1.hdfsdfs-ls
Sven_qi·2023-10-21 07:15

HDFS之联邦

文章目录jvm瓶颈常规HDFS联邦MultipleNamenodes/Namespaces：独立的blockpool共用存储联邦的优势FederationConfigurationConfigurationBalancerDecommissoningClusterWebconsolejvm
zincooo·2023-10-21 07:44

大数据平台开发经验

数据存储和处理：精通大数据存储系统，如HDFS，以及数据处理框架，如SparkSQL、Hive等。实时数据处理：了解实时数据处理
三思而后行，慎承诺·2023-10-21 07:04

00-开源离线同步工具DataX3.0重磅详解！

1概览DataX是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。
JavaEdge.·2023-10-21 03:46

Hadoop源码分析-HDFS写数据之申请block

4.申请block下面我们应该再去从dataQueue中读取packet了。而从dataQueue读取packet是Datastream线程,所以我们直接看它的run方法Datastream.run()，代码比较多，分开看看。1.1这里看while的判断条件，如果dataQueue的size=0，那么就等待image1.21:错误判断，pass;2:空判断pass;3:在这里获取了第一个packe
晨磊的微博·2023-10-21 03:06

Java查询HDFS文件系统

1、文件元数据FileStatusimportorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.FileStatus;importorg.apache.hadoop.fs.FileSystem;importorg.apache.hadoop.fs.FsStatus;importorg.apache.hadoop.fs.P
主君_05c4·2023-10-21 02:08

4-MapReduce+Spark(分布式计算框架)

，在介绍大数据编年史时有提到Google最早在04年发表论文MapReduce，之后DougCutting基于这篇论文通过Java做了开源实现，Mapredce如今是作为Hadoop的核心组件之一，而HDFS
小帅明3号·2023-10-21 01:00

Hadoop 概览

两大神兽HDFSHDFS是Hadoop提供的一个分布式存储的文件系统，基本思想就是分而存之，让多台计算机分别存储一个大文件的一部分，这样就解决了大文件无法在单台计算机上存储和无法在单台计算机上快速计算的问题
越过山丘xyz·2023-10-21 00:18

HIVE Row Formats和SerDe

HiveusesSerDe(andFileFormat)toreadandwritetablerows.HDFSfiles-->InputFileFormat--
尼小摩·2023-10-21 00:55

hadoop基础结构

1.hadoop几个点HADOOP免费CDH收费HDP收费后2者合并成为CDP2.结构图HDFS就是分布式存储，包含NameNode（nn）、DataNode(dn)、SecondaryNameNode
阿里纳斯_0097·2023-10-20 20:09

sparkSql外部数据源

1、读取json2、读取csv和tsv3、ObjectFile4、读取hdfs中的数据5、读取Parquet文件6、读取Hive和mysql读取json文件defmain(args:Array[String
Aluha_f289·2023-10-20 19:25

大数据学习路线+Java转行大数据最新最全的必备第一手资料

学习路线：（一）Linux理论（Linux基础Linux-shell编程高并发:lvs负载均衡高可用&反向代理）（二）Hadoop理论（hadoop-hdfs理论hadoop
大数据客栈i·2023-10-20 19:16

hdfs dfsadmin -safemode无法退出安全模式

退出安全模式第一种：正常退出安全模式hdfsdfsadmin-safemodeleave如提示SafemodeisOFF，那就说明退出成功，但有时候这个命令也没办法退出安全模式，就需要使用强制退出第二种
Knight_AL·2023-10-20 19:13

大数据学习（五）Mapreduce详解

Client，JobTracker，TaskTracker，Task：1.Client：每一个Job都会在用户端通过Client类将应用程序以及参数配置Configuration打包成Jar文件存储在HDFS
阿齐（努力打工版）·2023-10-20 18:40

一百九十一、Flume——Flume配置文件各参数含义（持续完善中）

Kafka主题的数据规模、数据频率，需要配置不同的Flume参数，而这一切的调试、配置工作，都要建立在对Flume配置文件各参数含义的基础上二、Flume各参数及其含义（一）filePrefix1、含义：写入hdfs
天地风雷水火山泽·2023-10-20 17:20

hive中操作hdfs命令

版本：Hadoop2.7.4–查看dfs帮助信息[root@hadp-mastersbin]#dfsUsage:dfs[genericoptions][-appendToFile…][-cat[-ignoreCrc]…][-checksum…][-chgrp[-R]GROUPPATH…][-chmod[-R]PATH…][-chown[-R][OWNER][:[GROUP]]PATH…][-cop
侠客刀·2023-10-20 17:48

Hive不可见字符的处理

指定查询结果的分隔符将查询结果放到hdfs目录上，默认的分隔符为不可见字符\001，可以追加参数指定分隔符insertoverwritedirectory'/path/xxx'rowformatdelimitedfieldsterminatedby
大闪电啊·2023-10-20 12:38

Sqoop技术文档笔记

它可以将结构化数据从关系型数据库（如MySQL、Oracle、SQLServer等）导入到Hadoop的分布式文件系统（HDFS）或hive中，并且可以将数据从HDFS、hive导出到关系型数据库中。
小辉懂编程·2023-10-20 11:30

windows 配置kerberos访问启用spnego的CDH 集群web UI页面

一问题描述CDH集群启用HTTPWeb控制台的Kerberos身份验证后，FireFox下HTTP访问HDFS、Yarn、Hive、HBase等Hadoop服务的WebUI(如Namenode的50070
weixin_34038652·2023-10-20 08:18

Windows 配置kerberos访问并启动访问CDH 集群web UI页面

1、问题描述：CDH集群启用HTTPWeb控制台的Kerberos身份验证后，FireFox下HTTP访问HDFS、Yarn、Hive、HBase等Hadoop服务的WebUI(如Namenode的50070
大大大大大大太阳·2023-10-20 08:14

CDH启用Kerberos导致hdfs,yarn等页面无法访问解决

CDH启用Kerberos，导致namenode和resourcemanager等页面无法访问，访问页面的时候报错Problemaccessing/cluster.Reason解决方案：将hdfs/yarn
me凡·2023-10-20 08:13

大数据开发实战教程目录

2）大数据系统的架构设计及功能目标设计（3）大数据系统程序开发、企业大数据案例分析的内容利用真机实验环节以及大数据实训一体机来提升学生对大数据开发的实践能力；本课程重点让学生掌握五个方面的内容：（1）HDFS
AI_Bao·2023-10-20 08:51

【大数据开发技术】实验06-SequenceFile、元数据操作与MapReduce单词计数

元数据操作与MapReduce单词计数一、实验目标二、实验要求三、实验内容四、实验步骤附：系列文章SequenceFile、元数据操作与MapReduce单词计数一、实验目标熟练掌握hadoop操作指令及HDFS
Want595·2023-10-20 08:48

Hadoop HA集群部署 - A - 详解

HDFS概述基
仗剑江湖.红尘笑·2023-10-20 07:28

Hive数据分析案例——汽车销售数据分析

3.2创建外部表（1）在hdfs上创建一个空目录work_ca
lambda33·2023-10-20 06:20

必看的11个开源项目

SagooIOT-轻量级的物联网平台管理系统Mars3D-三维地球平台软件系统JuiceFS-为云环境设计，兼容POSIX、HDFS和S3协议的分布式文件系统fsr-集资产管理系统+监控系统+简单自愈系统为一体的运维管理故障自愈系统
少壮不努力老大敲代码·2023-10-20 06:46

Hive编程指南

Hive提供了一个被称为Hive查询语言(简称HiveQL或HQL)的SQL语言，来查询存储在Hadoop集群中的数据；Hive可以将大多数的查询转换为MapReduce任务；Hive的缺点：Hadoop和HDFS
weixin_43177696·2023-10-20 06:04

hdfs orc格式_大数据：Hive - ORC 文件存储格式

一、ORCFile文件结构ORC的全称是(OptimizedRowColumnar)，ORC文件格式是一种Hadoop生态圈中的列式存储格式，它的产生早在2013年初，最初产生自ApacheHive，用于降低Hadoop数据存储空间和加速Hive查询速度。和Parquet类似，它并不是一个单纯的列式存储格式，仍然是首先根据行组分割整个表，在每一个行组内进行按列存储。ORC文件是自描述的，它的元数据
weixin_39854369·2023-10-20 03:35

Java动态生成parquet格式数据并导入Hive

1.Java动态生成Parquet文件本样例是根据动态传参在本地（也可以直接在HDFS上）生成Parquet文件，具体原理
Slience_92·2023-10-20 03:35

Java API 写 Hive Orc文件

下面的代码将三行数据：张三,20李四,22王五,30写入HDFS上的/tmp/lxw1234/orcoutput/lxw1234.com.orc文件中。
赶路人儿·2023-10-20 03:31

Java API连接HDFS并创建Orc文件

参考之前文章：JavaAPI操作HA方式下的HadoopstaticStringClusterName="nsstargate";privatestaticfinalStringHADOOP_URL="hdfs
空山苦水禅人·2023-10-20 03:31

orc文件的读写及整合hive

1.使用dataxhdfsreader的时候有时候hdfswriter的写速度过慢，针对的我之前的splitpk，可以一定程度减少这个耗时，但是他慢就是慢，就好像a干活很慢，你现在用10个a干活，比之前肯定快
cclovezbf·2023-10-20 03:00

Parquet文件测试（一）——使用Java方式生成Parqeut格式文件并直接入库的Hive中

生成Parquet格式文件并同步到Hive中验证目标Parquet格式是否可以直接将上传到Hdfs中的文件，加载到目标数据表中（Hive）。生成Parquet格式文件，并上传到Hdfs中。
lyanjun·2023-10-20 03:29

JAVA生成ORC格式文件

一、背景由于需要用到用java生成hdfs文件并上传到指定目录中，在Hive中即可查询到数据，基于此背景，开发此工具类ORC官方网站：https://orc.apache.org/二、支持数据类型三、工具开发
数据的小伙伴·2023-10-20 03:28

大数据开发之Hive篇4-Hive数据操作语言

备注:Hive版本2.1.1文章目录一.Hive的DML(数据操作语言)概述二.Load命令2.1数据准备2.2将服务器文件加载到hive表2.3将HDFS文件加载到hive表三.INSERTINTOTABLEFROMQuery3.1Insertintoselect
只是甲·2023-10-20 01:22

基于Delta Lake的Upserts数据湖方案

导读基于HDFS的传统数据存储方案由于HDFS等存储平台的限制，只能增加文件不能修改文件中的内容。想要实现某条记录的变更，就需要读取对应的文件并进行重写，效率极低，而且容易引起数据不一致和冲突。
AllenGd·2023-10-20 01:50

Apache Doris 02|导入数据遇到的问题

1、brokerload数据导入失败loadlabelexample_db.stuscore(datainfile("hdfs://devtest4.com:50070/tmp/testdata/stuscore.txt
爱吃鱼的荔果果·2023-10-20 00:55
上一页 31 32 33 34 35 36 37 38 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他