********HDFS

hadoop 3.x 案例3:datanode 异常

一.问题描述hdfsweb页面显示有的文件是损坏的，需要使用fsck来检查image.png二.解决方案通过fsck检查根目录，看是否有损坏的文件hdfsfsck/image.png将检查到的损坏的文件进行删除
只是甲·2023-10-28 01:17

flink 在idea中编写的wordcount 重新启动后没有从检查点恢复之前的数据，为什么？

启用了检查点和状态后端，看hdfs目录确实有内容，然而重新启动后并没有从检查点恢复数据，这是为什么？？
Jaming R·2023-10-27 22:18

Presto-交互式计算引擎

为了实现高性能数据处理，交互式极端引擎采用mmp架构，并将充分使用内存加速presto的出现时为了应对hadoop的一些缺点：1、io密集，因为mepreduce作业之间的交互是用hdfs作为中介的2、
一个喜欢烧砖的人·2023-10-27 15:18

发布人：夏小权 发布时间：2018-12-17

是ApacheHadoop的数据库，是建立在HDFS之上，被设计用来提供高可靠性、高性能、列存储、可伸缩、多版本的NoSQL的分布式数据存储系统，实现对大型数据的实时、随机的读写访问。
黑权·2023-10-27 14:12

Flink savepoint | checkpoint 恢复

/flinksavepoint0d69ad4b526c7d7e491357bc842b1e75hdfs://hdfs-namenode-service:9000/flink-savepoints...Triggeringsavepointforjob0d69ad4b526c7
胖胖胖胖胖虎·2023-10-27 11:55

Hive的内部表/外部表/分区表/分桶表

内部表：普通表，相当于mysql的物理表，对应hdfs数据，删除时同时删除元数据和hdfs表数据外部表：关键字external，指向已存在的hdfs数据，删除时只删除元数据（表结构），指向的hdfs表数据依然存在分区表
DancingBUG·2023-10-27 09:20

Linux安装Mycat1.6.7.6实现Mysql数据库读写分离

简介一个彻底开源的，面向企业应用开发的大数据库集群支持事务、ACID、可以替代MySQL的加强版数据库一个可以视为MySQL集群的企业级数据库，用来替代昂贵的Oracle集群一个融合内存缓存技术、NoSQL技术、HDFS
GeekXuShuo·2023-10-27 09:36

数据仓库Hive

HIveDDL详解HiveDML详解MapReduce编程的不便性传统RDBMS人员的需求由Facebook开源，用于解决海量结构化日志的数据统计问题构建在Hadoop之上的数据仓库（Hive的数据存放在HDFS
V_6619·2023-10-27 07:43

Hadoop-Hdfs-添加节点

tags:[Hadoop,Hdfs,大数据]1.添加白名单创建白名单文件hadoop3.x/etc/hadoop这个目录下创建白名单文件vimdfs.hosts向白名单文件中添加允许访问NameNode
_Unique_楠楠·2023-10-27 06:09

hive笔记

Hive介绍：1.sql2.udf官网：hive.apache.org由Facebook提出的开源=》去解决海量结构化数据的数据统计问题构建在hadoop之上的数据仓库hdfs：hive的数据是存储在hdfs
qq_47721411·2023-10-27 04:41

Hive安装笔记

一、安装元数据库MySQLHive的元数据和数据是分开存放的，数据存放在HDFS上，而元数据默认是存放在Hive自带的Derby数据库，但由于Derby只支持同时一个用户访问Hive，所以不推荐使用。
碣石观海·2023-10-27 04:11

HIVE1.2.1配置

文章目录HIVE1.2.1配置hive配置在hdfs建立hive仓库目录启动单例hive测试配置mysql5.6编辑hive-site.xml使用MySQL做元数据管理HIVE1.2.1配置hive配置
学习做笔记·2023-10-27 04:39

【现场问题】CDH文件权限，Permission denied: user=root, access=WRITE, inode=“/user“:hdfs:supergroup:drwxr-xr

Hive执行语句的时候提示/user权限不够hive>>selectcount(*)fromfact_sale;QueryID=root_20201119152619_16f496b5-2482-4efb-a26c-e18117b2f10cTotaljobs=1LaunchingJob1outof1Numberofreducetasksdeterminedatcompiletime:1Inorde
吃素的哈士奇·2023-10-26 23:09

云计算中的大数据处理：尝试HDFS和MapReduce的应用

云计算中的大数据处理：尝试HDFS和MapReduce的应用文章目录云计算中的大数据处理：尝试HDFS和MapReduce的应用一、前言二、第一题1、命令方式2、javaAPI方式三、第二题1、创建CSV
-北天-·2023-10-26 19:48

【智能大数据分析】实验1 MapReduce实验：单词计数

1MapReduce实验：单词计数文章目录【智能大数据分析】实验1MapReduce实验：单词计数一、实验目的二、实验要求三、实验原理1MapReduce编程2JavaAPI解析四、实验步骤1启动Hadoop2验证HDFS
-北天-·2023-10-26 19:05

尚硅谷Flume（仅有基础）

Flume最主要的作用就是，实时读取服务器本地磁盘的数据，将数据写入到HDFS。1.2架构1.2.1AgentAgent是一个JVM进程，它以事件的形式将数据从源头送至目的。
Int mian[]·2023-10-26 19:43

Windows下利用Eclipse连接HDFS

将hadoop-eclipse插件复制到Eclipse下的plugins目录中image.png解压Windows环境下的Hadoop压缩包image.png将解压后的hadoop-3.1.1中bin目录下的hadoop.dll拷贝到C:\Windows\System32image.png配置环境变量新建：HADOOP_HOME=D:\Document\Hadoop\hadoop-3.1.1新建：
上杉丶零·2023-10-26 17:22

Hadoop所有命令详解

对HDFS文件系统，scheme是hdfs，对本地文件系统，scheme是file。其中scheme和authority参数都是可选的，如果未加指定，就会使用配置中指定的默认scheme。
FantJ·2023-10-26 16:00

大数据架构：flume-ng+Kafka+Storm+HDFS 实时系统组合

转载至:http://www.aboutyun.com/thread-6855-1-1.html个人观点：大数据我们都知道hadoop，但并不都是hadoop.我们该如何构建大数据库项目。对于离线处理，hadoop还是比较适合的，但是对于实时性比较强的，数据量比较大的，我们可以采用Storm，那么Storm和什么技术搭配，才能够做一个适合自己的项目。下面给大家可以参考。可以带着下面问题来阅读本文章
向往的生活Life·2023-10-26 15:06

来看看年薪80W的大数据大牛是如何理解 hbase 的架构及设计原理

它是Apache软件基金会Hadoop项目的一部分，运行于HDFS文件系统之上，为Hadoop提供类似于BigTable规模的服务。
Java程序员YY·2023-10-26 13:13

Flink写入HDFS（文本，parquet，parquet+snappy）

flink版本：1.10.0code://构建env环境valenv=StreamExecutionEnvironment.getExecutionEnvironmentenv.enableCheckpointing(1000*60)//1000*60s一个checkpointenv.getCheckpointConfig.setCheckpointingMode(CheckpointingMod
乖乖猪001·2023-10-26 12:43

【Flink 实战系列】Flink SQL 使用 filesystem connector 同步 Kafka 数据到 HDFS（parquet 格式 + snappy 压缩）

FlinkSQL同步Kafka数据到HDFS（parquet+snappy）在上一篇文章中，我们用datastreamAPI实现了从Kafka读取数据写到HDFS并且用snappy压缩，今天这篇文章我们来实现一个
JasonLee实时计算·2023-10-26 12:12

修炼k8s+flink+hdfs+dlink（六：学习namespace，service）

一：什么是namespace？你可以认为namespaces是你kubernetes集群中的虚拟化集群。在一个Kubernetes集群中可以拥有多个命名空间，它们在逻辑上彼此隔离。他们可以为您和您的团队提供组织，安全甚至性能方面的帮助！二：怎么创建绑定namespace？1.创建。cat>>product_namespaces.yaml<
宇智波云·2023-10-26 12:36

Hadoop HDFS 数据流

HDFS写数据流程HDFS写数据流程.png客户端通过DistributedFileSystem模块向NameNode请求上传文件，NameNode检查目标文件是否已存在，父目录是否存在。
yljphp·2023-10-26 09:51

HDFS集群NameNode高可用改造

文章目录背景高可用改造方案实施环境准备配置文件修改应用配置集群状态验证高可用验证背景假定目前有3台zookeeper服务器，分别为zk-01/02/03，DataNode服务器若干；目前HDFS集群的Namenode
qq184861643·2023-10-26 07:25

Hadoop3.0大数据处理学习2（HDFS）

一、简介HDFS：HadoopDistributedFileSystem。Hadoop分布式存储系统一种允许文件通过网络在多台主机上分享的文件系统，可以让多机器上的用户分享文件和存储空间。
Huathy-雨落江南，浮生若梦·2023-10-26 07:25

大数据测试v 1.0

本次测试从6-12到7-12号整整历时1个月，除去休息，真正大约20个工作日，在这20个工作日里面，中途周末加过几次班，满打满算应该20多天，接触并经历了大数据功能测试、一体机性能测试、大数据HadoopHDFS
武晓兵·2023-10-26 06:17

第五课 Hbase存储详解

是建立的hdfs之上，提供高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统。它介于nosql和RDBMS之间，仅能通过主键(rowkey)和主键的range来检索数据，仅支持单行事务。
Arroganter·2023-10-26 05:38

大数据系列之Spark集群环境部署

Spark作为一种大数据分布式计算框架，已经构建SparkStreaming、SparkSQL、SparkML等组件，与文件系统HDFS、资源调度YARN一起，构建了Spark生态体系，如下图所示：以下部分将主要介绍
solihawk·2023-10-26 04:51

HBase 压缩策略DateTieredCompactionPolicy

HBase是采用Log-StructuredMergeTree的架构，随着Flush阶段的不断触发，生成许多的HFile（默认128M），而不管是对于HDFS还是现有的HDD磁盘，大量的文件都会产生许多的问题
凡尔Issac·2023-10-26 03:44

linux查询日志命令加过滤,Linux记录-筛选日志sed、find、tail，du，awk命令

1.查看某一段时间的日志#cathdfs-audit.log|sed-n'/2018-04-1110:00:00/,/2018-04-1110:01:00/p'|more---直接使用时间段#cathdfs-audit.log
长亮不灭·2023-10-26 02:44

hadoop集群搭建

hadoop有三种部署方式1、Local(Standalone)Mode（单机模式）数据存储在本地2、Pseudo-DistributedMode（伪集群模式）数据存储在HDFS3、Fully-DistributedMode
有人看我吗·2023-10-25 16:51

MR——worldcount案例

junitjunitRELEASEorg.apache.logging.log4jlog4j-core2.8.2org.apache.hadoophadoop-common2.6.0org.apache.hadoophadoop-client2.6.0org.apache.hadoophadoop-hdfs2.6.02
尘缘未了-·2023-10-25 13:57

Spark-Core

依赖关系2.1查看血缘关系2.2查看依赖关系2.3窄依赖2.4宽依赖2.5Stage任务划分3、RDD持久化3.1Cache缓存3.2CheckPoint检查点3.3缓存和检查点区别3.4检查点存储到HDFS
ha_lydms·2023-10-25 09:56

Hadoop核心机制详细解析

Hadoop核心机制详细解析Hadoop的核心机制是通过HDFS文件系统和MapReduce算法进行存储资源、内存和程序的有效利用与管理。
Amao_come_on·2023-10-25 09:18

【大数据】Hadoop

文章目录概述Hadoop组成HDFSMapReduce写MapReduce程序（Hadoopstreaming）YARNHadoop启动工作方式Hadoop的主从工作方式Hadoop的守护进程运行模式本地运行模式伪分布式运行模式完全分布式运行模式
软泡芙·2023-10-25 06:22

大数据 - （六-2）- HBase

2）⽀持好多列HBase的特点海量存储：底层基于HDFS存储海量数据列式存储：HBase表的数据是基于列族进⾏存储的，⼀个列族包含若⼲列极易扩展：底层依赖HDFS，当磁盘空间不⾜的时候，只需要动态增加DataNode
啦啦啦喽啰·2023-10-25 04:38

未找到 ‘hdfs‘ 命令，您要输入的是否是： 命令 ‘hfs‘ 来自于包 ‘hfsutils-tcltk‘ (universe) 命令 ‘hdfls‘ 来自于包 ‘hdf4-tools‘ ....

在学习中碰到这个问题，问了老师，老师说是要配置bin的路径，找到了方法：Firstofall，在这之前，一定要做好备份！！！：直接复制你的虚拟机，粘贴在D盘里，然后打开粘贴后的虚拟机来修改，如果后面出错可以打开你那个原来的虚拟机。then，你需要：vim~/.bashrc你需要在开头加入【但，先将你这里面原先的内容复制一份txt到桌面，以防万一。并且记住你修改的这个文件的位置在哪里。】：expor
ZYT＿庄彦涛·2023-10-25 03:31

你想了解的分布式文件系统HDFS，看这一篇就够了

1、分布式文件系统计算机集群结构分布式文件系统把文件分布存储到多个节点（计算机）上，成千上万的计算机节点构成计算机集群。分布式文件系统使用的计算机集群，其配置都是由普通硬件构成的，与用多个处理器和专用高级硬件的并行化处理装置相比，前者大大降低了硬件上的开销。分布式文件系统的结构分布式文件系统在物理结构上是由众多阶段及节点构成的，而这些节点中分为两类。一类是主节点（MasterNode），又被称为名
与李_han·2023-10-25 01:48

hive知识点总结

Hive一、Hive简介什么是HiveHive由FaceBook实现并开源基于Hadoop的数据仓库工具可以将结构化的数据映射为一张数据库表并提供HQL（HiveSql）查询功能底层数据是存储在HDFS
看着天上飞的猪·2023-10-25 01:53

Hadoop+Hive+Spark+Hbase开发环境练习

1.练习一1.数据准备在hdfs上创建文件夹，上传csv文件[root@kb129~]#hdfsdfs-mkdir-p/app/data/exam查看csv文件行数[root@kb129~]#hdfsdfs-cat
不吃香菜lw·2023-10-24 23:45

HDFS分布式文件系统设计原理

Hadoop分布式文件系统(HDFS)是一种被设计成适合运行在通用硬件上的分布式文件系统。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。
zhaohong_bo·2023-10-24 19:34

<官网学大数据>Hive

Hive简介Hive是简历在HadoopHDFS上的数据仓库基础架构Hive可以用来进行数据提取转化加载(ETL),通过sqoop加载数据Hive定义了简单的sql查询语言HqlHive是SQL解析引擎
kangapp·2023-10-24 16:48

2021年 全网最细大数据学习笔记（二）：Hadoop 伪分布式安装

伪分布式安装1、Ubuntu20.04.2.0安装jdk2、配置SSH无密码登录3、Hadoop的下载与安装4、Hadoop环境配置5、启动与关闭Hadoop6、查看Hadoop的基本信息6.1、查看HDFSWeb
Amo Xiang·2023-10-24 16:17

hadoop 伪分布式模式学习笔记

我采用的是hadoop-2.8.0,它主要包含3大块：hdfs:分布式存储系统HDFS(HadoopDistributedFileSystem)分布式存储层map
金曜软件工程师·2023-10-24 16:44

day_01小笔记----本地运行Hadoop 案例、伪分布式运行Hadoop 案例

0、hadoop1.x和hadoop2.x区别Hadoop1.x的核心组件与Hadoop2.x核心组件不一样Hadoop1.x：hdfs、common、mapreduce（mapreduce同时处理业务逻辑运算和资源调度
web15285868498·2023-10-24 16:12

Hadoop伪分布式集群笔记

1、基本介绍以下是从其他地方抄过来了,目的是对即将要学的东西做一个基本的了解HDFS(分布式文件系统):解决海量数据存储YARN(作业调度和集群资源管理框架):解决资源任务调度MAPREDUCE(分布式运算变成框架
爆炒八酱·2023-10-24 16:40

分布式集群上安装hive及问题解决

因为hive是数据仓库，它主要就是将执行的sql语句转化为mapreduce任务，存储结构化数据，其实数据还是存储在hdfs上的，所以依赖hadoop集群，在此我们将hive安装到master节点。
技多不压身·2023-10-24 15:10

【hadoop——HDFS操作常用的Shell命令】

1.Hadoop分布式文件系统（HadoopDistributedFileSystem,HDFS）是Hadoop核心组件之一，我们已经安装好了Hadoop2.7.1，其中已经包含了HDFS组件，不需要另外安装最基本的
所 爱·2023-10-24 14:34

Hadoop单点安装FAQ

安装源：yuminstallepel-release-yQ1:Startingnamenodeson[localhost]ERROR:AttemptingtolaunchhdfsnamenodeasrootERROR
DoNotStop·2023-10-24 11:08
上一页 29 30 31 32 33 34 35 36 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他