HDFS写入文件

hdfs.DataStreamer: Exception in createBlockOutputStream XXXXX

java.io.IOException:Goterror,status=ERROR,statusmessage,ackwithfirstBadLinkas192.168.100.13:9866atorg.apache.hadoop.hdfs.protocol.datatransfer.DataTransferProtoUtil.checkBlockOpStatus
玖玖1704·2023-12-24 12:28

HBase基础知识（三）：HBase架构进阶、读写流程、MemStoreFlush、StoreFile Compaction、Region Split

1.架构原理1）StoreFile保存实际数据的物理文件，StoreFile以HFile的形式存储在HDFS上。
依晴无旧·2023-12-24 11:59

【Hadoop篇08】Hadoop数据压缩

简洁而不简单Hadoop数据压缩数据压缩优点和缺点压缩技术能够有效减少底层存储系统（HDFS）读写字节数。压缩提高了网络带宽和磁盘空间的效率。
focusbigdata·2023-12-24 10:00

Hadoop学习笔记（一）分布式文件存储系统 —— HDFS

概念HDFS（HadoopDistributedFileSystem），Hadoop分布式文件系统，用来存超大文件的。
zhang35·2023-12-24 08:54

大数据高级开发工程师——Hadoop学习笔记（1）

hadoop用户设置免密登录三台虚拟机安装jdkhadoop集群安装环境部署规划安装包下载查看hadoop支持的压缩方式以及本地库修改配置文件修改hadoop-env.sh修改core-site.xml修改hdfs-site.xml
讲文明的喜羊羊拒绝pua·2023-12-24 08:53

Hadoop入门学习笔记——二、在虚拟机里部署HDFS集群

pwd=5ay8Hadoop入门学习笔记（汇总）目录二、在虚拟机里部署HDFS集群2.1.部署node1虚拟机2.2.部署node2和node3虚拟机2.3.初始化并启动Hadoop集群（格
faith瑞诚·2023-12-24 08:23

hadoop大数据学习笔记

或者说将多台计算机组织成了一台计算机，让他们做同一件事，在这其中HDFS就相当于这台计算机的硬盘，而MapReduce就是这台计算机的CPU控制器。
驰宇爱吃鱼·2023-12-24 08:53

Hadoop学习之HDFS——小白入门笔记

（此处的计算机为普通计算机）3.分布式文件系统的多个节点分为两类：名称节点（主节点）：文件、目录的操作（创建、删除、重命名等），数据节点与文件块的映射关系数据节点（从节点）：数据的读取与存储二、HDFS
cainiao22222·2023-12-24 08:52

hive企业级调优策略之CBO,谓词下推等优化

在Hive中，计算成本模型考虑到了：数据的行数、CPU、本地IO、HDFSIO、网络IO
Appreciate(欣赏)·2023-12-24 07:26

Hadoop入门学习笔记——三、使用HDFS文件系统

pwd=5ay8Hadoop入门学习笔记（汇总）目录三、使用HDFS文件系统3.1.使用命令操作HDFS文件系统3.1.1.HDFS文件系统基本信息3.1.2.HDFS文件系统的2套命令体系
faith瑞诚·2023-12-24 07:39

7000字超详细讲解Hadoop、Spark、Storm、YARN，建议收藏！

核心内容包含hdfs和mapreduce。hadoop2.0以后引入yarn.hdfs是提供数据存储的，mapreduce是方便数据计算的。
套马杆的程序员·2023-12-24 04:49

Hive优化

Hive优化Hive的存储层依托于HDFS，Hive的计算层依托于MapReduce，一般Hive的执行效率主要取决于SQL语句的执行效率，因此，Hive的优化的核心思想是MapReduce的优化。
新鲜氧气·2023-12-23 22:26

ClickHouse(19)ClickHouse集成Hive表引擎详细解析

文章目录Hive集成表引擎创建表使用示例如何使用HDFS文件系统的本地缓存查询ORC输入格式的Hive表在Hive中建表在ClickHouse中建表查询Parquest输入格式的Hive表在Hive中建表在
张飞的猪大数据·2023-12-23 20:37

[node] Node.js的文件系统

[node]Node.js的文件系统文件系统的使用异步和同步input.txt示例常用方法打开文件语法示例获取文件信息语法示例写入文件语法示例读取文件语法示例关闭文件语法示例截取文件语法示例删除文件语法示例创建目录语法示例读取目录语法示例删除目录语法示例文件模块方法
三知之灵·2023-12-23 17:16

浅谈Hadoop容错机制

简单介绍一下Hadoop中数据存储的可靠性和完整性，其中包括HDFS的容错机制、NameNode(元数据结点)的单点失效解决机制、Block数据块的多副本存储机制、NameNode与DataNode之间的心跳检测机制
小小少年Boy·2023-12-23 15:19

MINIO在java中的使用

对象存储可以充当主存储层，以处理Spark、Presto、TensorFlow、H2O.ai等各种复杂工作负载以及成为HadoopHDFS的替代品--------引自官网的话。
IT小学僧·2023-12-23 14:48

通过HDFS API进行HDFS操作

HDFSJavaAPI位于org.apache.hadoop.fs包中，这些API能够支持的操作包括打开文件、读写文件、删除文件等。Hadoop类库中最终面向用户提供的接口类是FileSystem。
CDHong.it·2023-12-23 14:30

Hadoop _HDFS_API 创建文件夹

在项目中src/main/java目录下，新建一个文件，命名为com.atguigu.hdfs创建文件夹在文件夹里输入代码，创建文件夹客户端代码常用套路1、获取一个客户端对象2、执行相关的操作指令3、关闭资源代码如下
笨鸟先-森·2023-12-23 14:29

Hadoop之HDFS的API操作

1、环境准备1.1、下载window版本的hadoop-3.1.01.2、配置HADOOP_HOME环境变量1.2、配置Path环境变量2、代码演示2.1、创建maven项目，导入pom坐标org.apache.hadoophadoop-client3.1.3junitjunit4.12org.slf4jslf4j-log4j121.7.302.2、日志配置log4j.rootLogger=INF
后端技术那点事·2023-12-23 14:28

Hadoop学习之HDFS（HDFS客户端及API操作）心得

HDFS客户端及API操作：一、准备条件：1.配置环境变量HADOOP_HOME(路径要求非中文)2.验证环境变量，双击winutils.exe（报错可能是缺少微软运行库MSVCR120.dll）3.在
顺其自然的济帅哈·2023-12-23 14:58

大数据—Hadoop（四）_ HDFS_03、客户端API

文章目录1、客户端环境准备1.1idea1.2window依赖2、HDFS的API案例实操2.1HDFS文件上传（测试参数优先级）2.1.1客户端代码常用套路2.1.2普通版2.1.3优化后2.1.4上传文件
大数据之负·2023-12-23 14:58

HDFS的API操作

的环境变量（1）设置MAVEN_HOME为maven文件夹的路径（2）在path中添加“%MAVEN_HOME%\bin”（3）在idea中创建maven项目（注意在编写代码前应修改“pom.xml”，hdfs
七玥a·2023-12-23 14:58

Hadoop中HDFS的API操作、客户端环境准备、配置HADOOP_HOME环境变量

文章目录7.HDFS的API操作7.1客户端环境准备7.1.1下载下面的Windows依赖文件夹，拷贝hadoop-3.1.0到非中文路径（比如d:\）7.1.2配置HADOOP_HOME环境变量7.1.3
Redamancy_06·2023-12-23 14:27

hadoop02_HDFS的API操作

HDFS的API操作1HDFS核心类简介Configuration类：处理HDFS配置的核心类。
程序喵猴·2023-12-23 14:57

大数据---35.HBase 常用的api的具体解释

Hbase是一个分布式的、面向列的开源数据库，HDFS文件操作常有两种方式，一种是命令行方式，即Hbase提供了一套与Linux文件命令类似的命令行工具。
学无止境的大象·2023-12-23 13:00

perl写入文件时中文乱码终极解决方案

perl写入文件时中文乱码终极解决方案在用perl写爬虫时，网页内容如果是英文可以正常写入文件，一旦网页中包含中文，文件是全部是乱码。
坏脾气的猪·2023-12-23 13:58

DBeaver连接hive

1.新建hive连接其中主机填写hive所在节点地址，端口10000为默认，数据库名不填则是默认default数据库，用户名密码填写hadoop集群中能操作hdfs的用户和密码。
sunweiking·2023-12-23 12:38

【数仓_01】用户行为采集平台

2.1目标数据2.2埋点3、模拟数据3.1使用说明3.2集群日志生成脚本4、用户行为数据采集模块4.1数据通道4.2环境准备4.2.1集群所有进程查看脚本4.3Hadoop项目经验4.3.1项目经验之HDFS
温欣2030·2023-12-23 10:43

hadoop(十二)——自定义分区Partitioner

我们先来看看DataCount这个程序最终的执行结果是什么样子的，在查看之前我们需要先启动hdfs和ya
文子轩·2023-12-23 08:05

JAVA期末复习编程题

@Java期末复习编程题一、请编写一个Java程序，随机生成20个不重复的[1,100]之间的整数，将这20个整数排序（按从小到大的顺序）以后，以文本文件的格式写入文件”data.txt”中，数字之间用空格间隔代码如下
wy_54159351·2023-12-23 08:04

[LitCTF 2023]PHP是世界上最好的语言！！

执行PHP代码测试将PHP一句话木马写入文件为了蚁剑能连上，直接执行木马是不行的，要将木马写入文件中。
妙尽璇机·2023-12-23 06:46

4.3【共享源】克隆实战开发之截屏（一）

然后可以根据需要操纵缓冲区；它可以简单地写入文件，也可以在其他窗口或显示器中使用。ScreenAPI从源中读取像素，并将其复制到提供的缓冲区中以捕获截屏。
高桐@BILL·2023-12-23 04:11

DataX安装与原理

一、简介与安装DataX是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能
大数据点滴·2023-12-22 14:05

python纯文本文件读写方法（读写 .txt 和 .py 文件的函数）#扎克伯格演讲

打开文件open()函数使用读取文件内容read()函数的使用写入文件写模式添加模式写一个程序什么是纯文本文件？
Daniel16464·2023-12-22 14:18

centos spark单机版伪分布式模式

1.2Spark部署依赖SparkStandalone的运行依赖于JDK、Scala，本来是不依赖于Hadoop的，但Spark自带的许多演示程序都依赖于HadoopHDFS，因此我们也部署了伪分布式的
数据萌新·2023-12-22 07:17

HDFS NFS Gateway(环境配置，超级详细！！)

HDFSNFSGateway简介:HDFSNFSGateway是HadoopDistributedFileSystem（HDFS）中的一个组件，它允许客户端通过NFS（NetworkFileSystem
syst1m'·2023-12-22 07:41

解决There are 0 datanode(s) running and no node(s) are excluded in this operation.

参考来源：https://blog.csdn.net/weixin_41374755/article/details/107146445解释：出现本问题是在本人在hdfs上传本地文件夹过程中出现一大串错误
什么都不太会的研究生·2023-12-22 07:08

hbase用shell命令新建表报错ERROR: KeeperErrorCode = NoNode for /hbase/master

HMaster,如果没有，开启一下hbase,稍微等一会儿，再看一下HMaster,如果仍和下图一样没有，就基本找到问题了本人问题原因：hbase-site.xml的配置中，例如：hbase.rootdirhdfs
什么都不太会的研究生·2023-12-22 07:32

"sysctl.conf" E212: 无法打开并写入文件

vim编辑文件后，无法保存，原因没有加sudo。。如果更改不多的话，最好就是关闭终端，root用户重新进入编辑
忘川丿·2023-12-22 07:46

大数据技术探索

1.1HDFS1）HDFS集群包括：NameNode和DataNode以及SecondaryNamenode。
三翼鸟数字化技术团队·2023-12-22 06:32

Hbase--面试题整理-01

01-Hbase的特点以下五点需要准确说出的，如果可以还可以将一下Hbase的写入比读取快的原因(1)Hbase一个分布式的基于列式存储的数据库,基于Hadoop的hdfs存储，zookeeper进行管理
李小李的路·2023-12-22 03:51

spark架构

Spark中的计算可以简单抽象为对RDD的创建、转换和返回操作结果的过程：创建通过加载外部物理存储（如HDFS）
allin8116·2023-12-22 01:47

字符流和字节流

_字节流写入文件-CSDN博客
迷茫的羔羊羊·2023-12-21 19:21

大数据----32.hbase高可用的演示

1、概述：Hbase的优缺点和适用场景优点：HBase底层基于HDFS存储，高可用、高扩展、强一致性，支持上亿级别数据。
学无止境的大象·2023-12-21 19:10

大数据---33.HBase数据结构

一、HBase简介HBase是一个开源的、分布式的、版本化的NoSQL数据库（即非关系型数据库），依托Hadoop分布式文件系统HDFS提供分布式数据存储，利用MapReduce来处理海量数据，用Zookeeper
学无止境的大象·2023-12-21 19:07

计算机毕业设计hadoop+spark+hive直播可视化分析大屏 直播推荐系统 数据仓库 体育赛事分析 足球分析 推荐系统 体育赛事推荐系统 大数据毕业设计

爬虫)、spark、hadoop、scala、hive、sqoop、Flask、echarts、mysql分析流程：python爬取直播数据存到.csv文件、mysql数据库(备份数据集)，上传CSV到hdfs
计算机毕业设计大神·2023-12-21 19:26

Hadoop进阶2-Hadoop权威指南C1-C6阅读笔记

C1初识HadoopRAID-冗余硬盘阵列Hadoop提供了一个可靠的共享存储和分析系统HDFS-实现数据的存储MapReduce-实现数据的分析和处理寻址是将磁头移动到特定硬盘位置进行读写操作的过程-
neo_ng·2023-12-21 18:02

采用Flume-kafka-Flume将数据导入到HDFS中

首先先去官网下载flumehttp://flume.apache.org/download.html安装Flume，然后进行配置下载完成后，解压tar-zxvfapache-flume-1.9.0-bin解压完成之后，进入conf目录下面，把flume-env.sh.template文件更改为flume-env.sh，然后进入flume-env.sh配置jdk的路径。exportJAVA_HOME
坠机的舒克·2023-12-21 17:55

Kafka | Flume Sink日志到Kafka&HDFS

记录下将服务端AC设备产生的数据采集到Flume中，然后基于FlumeSink把数据日志同时写入到Kafka与HDFS中，对于Kafka中的数据保存到指定的Topic中，然后后续基于SparkStreaming
点滴笔记·2023-12-21 17:53

Flume多路复用模式把接收数据注入kafka 的同时，将数据备份到HDFS目录

启动hadoop、在hdfs中创建需要访问的目录配置Hadoop的核心配置文件core-site.xml：设置Hadoop的核心配置参数，例如NameNode的地址、数据块大小、副本数量等。
HaveAGoodDay.·2023-12-21 17:52
上一页 17 18 19 20 21 22 23 24 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他