hdfs透明加密

hadoop大数据学习笔记

或者说将多台计算机组织成了一台计算机，让他们做同一件事，在这其中HDFS就相当于这台计算机的硬盘，而MapReduce就是这台计算机的CPU控制器。
驰宇爱吃鱼·2023-12-24 08:53

Hadoop学习之HDFS——小白入门笔记

（此处的计算机为普通计算机）3.分布式文件系统的多个节点分为两类：名称节点（主节点）：文件、目录的操作（创建、删除、重命名等），数据节点与文件块的映射关系数据节点（从节点）：数据的读取与存储二、HDFS
cainiao22222·2023-12-24 08:52

hive企业级调优策略之CBO,谓词下推等优化

在Hive中，计算成本模型考虑到了：数据的行数、CPU、本地IO、HDFSIO、网络IO
Appreciate(欣赏)·2023-12-24 07:26

Hadoop入门学习笔记——三、使用HDFS文件系统

pwd=5ay8Hadoop入门学习笔记（汇总）目录三、使用HDFS文件系统3.1.使用命令操作HDFS文件系统3.1.1.HDFS文件系统基本信息3.1.2.HDFS文件系统的2套命令体系
faith瑞诚·2023-12-24 07:39

7000字超详细讲解Hadoop、Spark、Storm、YARN，建议收藏！

核心内容包含hdfs和mapreduce。hadoop2.0以后引入yarn.hdfs是提供数据存储的，mapreduce是方便数据计算的。
套马杆的程序员·2023-12-24 04:49

Hive优化

Hive优化Hive的存储层依托于HDFS，Hive的计算层依托于MapReduce，一般Hive的执行效率主要取决于SQL语句的执行效率，因此，Hive的优化的核心思想是MapReduce的优化。
新鲜氧气·2023-12-23 22:26

ClickHouse(19)ClickHouse集成Hive表引擎详细解析

文章目录Hive集成表引擎创建表使用示例如何使用HDFS文件系统的本地缓存查询ORC输入格式的Hive表在Hive中建表在ClickHouse中建表查询Parquest输入格式的Hive表在Hive中建表在
张飞的猪大数据·2023-12-23 20:37

浅谈Hadoop容错机制

简单介绍一下Hadoop中数据存储的可靠性和完整性，其中包括HDFS的容错机制、NameNode(元数据结点)的单点失效解决机制、Block数据块的多副本存储机制、NameNode与DataNode之间的心跳检测机制
小小少年Boy·2023-12-23 15:19

MINIO在java中的使用

对象存储可以充当主存储层，以处理Spark、Presto、TensorFlow、H2O.ai等各种复杂工作负载以及成为HadoopHDFS的替代品--------引自官网的话。
IT小学僧·2023-12-23 14:48

通过HDFS API进行HDFS操作

HDFSJavaAPI位于org.apache.hadoop.fs包中，这些API能够支持的操作包括打开文件、读写文件、删除文件等。Hadoop类库中最终面向用户提供的接口类是FileSystem。
CDHong.it·2023-12-23 14:30

Hadoop _HDFS_API 创建文件夹

在项目中src/main/java目录下，新建一个文件，命名为com.atguigu.hdfs创建文件夹在文件夹里输入代码，创建文件夹客户端代码常用套路1、获取一个客户端对象2、执行相关的操作指令3、关闭资源代码如下
笨鸟先-森·2023-12-23 14:29

Hadoop之HDFS的API操作

1、环境准备1.1、下载window版本的hadoop-3.1.01.2、配置HADOOP_HOME环境变量1.2、配置Path环境变量2、代码演示2.1、创建maven项目，导入pom坐标org.apache.hadoophadoop-client3.1.3junitjunit4.12org.slf4jslf4j-log4j121.7.302.2、日志配置log4j.rootLogger=INF
后端技术那点事·2023-12-23 14:28

Hadoop学习之HDFS（HDFS客户端及API操作）心得

HDFS客户端及API操作：一、准备条件：1.配置环境变量HADOOP_HOME(路径要求非中文)2.验证环境变量，双击winutils.exe（报错可能是缺少微软运行库MSVCR120.dll）3.在
顺其自然的济帅哈·2023-12-23 14:58

大数据—Hadoop（四）_ HDFS_03、客户端API

文章目录1、客户端环境准备1.1idea1.2window依赖2、HDFS的API案例实操2.1HDFS文件上传（测试参数优先级）2.1.1客户端代码常用套路2.1.2普通版2.1.3优化后2.1.4上传文件
大数据之负·2023-12-23 14:58

HDFS的API操作

的环境变量（1）设置MAVEN_HOME为maven文件夹的路径（2）在path中添加“%MAVEN_HOME%\bin”（3）在idea中创建maven项目（注意在编写代码前应修改“pom.xml”，hdfs
七玥a·2023-12-23 14:58

Hadoop中HDFS的API操作、客户端环境准备、配置HADOOP_HOME环境变量

文章目录7.HDFS的API操作7.1客户端环境准备7.1.1下载下面的Windows依赖文件夹，拷贝hadoop-3.1.0到非中文路径（比如d:\）7.1.2配置HADOOP_HOME环境变量7.1.3
Redamancy_06·2023-12-23 14:27

hadoop02_HDFS的API操作

HDFS的API操作1HDFS核心类简介Configuration类：处理HDFS配置的核心类。
程序喵猴·2023-12-23 14:57

大数据---35.HBase 常用的api的具体解释

Hbase是一个分布式的、面向列的开源数据库，HDFS文件操作常有两种方式，一种是命令行方式，即Hbase提供了一套与Linux文件命令类似的命令行工具。
学无止境的大象·2023-12-23 13:00

DBeaver连接hive

1.新建hive连接其中主机填写hive所在节点地址，端口10000为默认，数据库名不填则是默认default数据库，用户名密码填写hadoop集群中能操作hdfs的用户和密码。
sunweiking·2023-12-23 12:38

【数仓_01】用户行为采集平台

2.1目标数据2.2埋点3、模拟数据3.1使用说明3.2集群日志生成脚本4、用户行为数据采集模块4.1数据通道4.2环境准备4.2.1集群所有进程查看脚本4.3Hadoop项目经验4.3.1项目经验之HDFS
温欣2030·2023-12-23 10:43

hadoop(十二)——自定义分区Partitioner

我们先来看看DataCount这个程序最终的执行结果是什么样子的，在查看之前我们需要先启动hdfs和ya
文子轩·2023-12-23 08:05

DataX安装与原理

一、简介与安装DataX是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能
大数据点滴·2023-12-22 14:05

centos spark单机版伪分布式模式

1.2Spark部署依赖SparkStandalone的运行依赖于JDK、Scala，本来是不依赖于Hadoop的，但Spark自带的许多演示程序都依赖于HadoopHDFS，因此我们也部署了伪分布式的
数据萌新·2023-12-22 07:17

HDFS NFS Gateway(环境配置，超级详细！！)

HDFSNFSGateway简介:HDFSNFSGateway是HadoopDistributedFileSystem（HDFS）中的一个组件，它允许客户端通过NFS（NetworkFileSystem
syst1m'·2023-12-22 07:41

解决There are 0 datanode(s) running and no node(s) are excluded in this operation.

参考来源：https://blog.csdn.net/weixin_41374755/article/details/107146445解释：出现本问题是在本人在hdfs上传本地文件夹过程中出现一大串错误
什么都不太会的研究生·2023-12-22 07:08

hbase用shell命令新建表报错ERROR: KeeperErrorCode = NoNode for /hbase/master

HMaster,如果没有，开启一下hbase,稍微等一会儿，再看一下HMaster,如果仍和下图一样没有，就基本找到问题了本人问题原因：hbase-site.xml的配置中，例如：hbase.rootdirhdfs
什么都不太会的研究生·2023-12-22 07:32

大数据技术探索

1.1HDFS1）HDFS集群包括：NameNode和DataNode以及SecondaryNamenode。
三翼鸟数字化技术团队·2023-12-22 06:32

透明加密 | 半透明加密 \ 智能加密的区别

透明加密、半透明加密和智能加密都是数据加密技术，但它们在应用方式、加密效果和使用场景上存在一些区别。
Tianrui Green Shield·2023-12-22 06:19

德人合科技 | 设计公司文件加密系统——天锐绿盾自动智能透明加密防泄密系统

设计公司文件加密系统——天锐绿盾自动智能透明加密防泄密系统PC端访问地址：www.drhchina.com一、背景介绍设计公司通常涉及到大量的创意作品、设计方案、客户资料等重要文件，这些文件往往包含公司的核心价值和商业机密
Tianrui Green Shield·2023-12-22 06:43

Hbase--面试题整理-01

01-Hbase的特点以下五点需要准确说出的，如果可以还可以将一下Hbase的写入比读取快的原因(1)Hbase一个分布式的基于列式存储的数据库,基于Hadoop的hdfs存储，zookeeper进行管理
李小李的路·2023-12-22 03:51

spark架构

Spark中的计算可以简单抽象为对RDD的创建、转换和返回操作结果的过程：创建通过加载外部物理存储（如HDFS）
allin8116·2023-12-22 01:47

大数据----32.hbase高可用的演示

1、概述：Hbase的优缺点和适用场景优点：HBase底层基于HDFS存储，高可用、高扩展、强一致性，支持上亿级别数据。
学无止境的大象·2023-12-21 19:10

大数据---33.HBase数据结构

一、HBase简介HBase是一个开源的、分布式的、版本化的NoSQL数据库（即非关系型数据库），依托Hadoop分布式文件系统HDFS提供分布式数据存储，利用MapReduce来处理海量数据，用Zookeeper
学无止境的大象·2023-12-21 19:07

计算机毕业设计hadoop+spark+hive直播可视化分析大屏 直播推荐系统 数据仓库 体育赛事分析 足球分析 推荐系统 体育赛事推荐系统 大数据毕业设计

爬虫)、spark、hadoop、scala、hive、sqoop、Flask、echarts、mysql分析流程：python爬取直播数据存到.csv文件、mysql数据库(备份数据集)，上传CSV到hdfs
计算机毕业设计大神·2023-12-21 19:26

Hadoop进阶2-Hadoop权威指南C1-C6阅读笔记

C1初识HadoopRAID-冗余硬盘阵列Hadoop提供了一个可靠的共享存储和分析系统HDFS-实现数据的存储MapReduce-实现数据的分析和处理寻址是将磁头移动到特定硬盘位置进行读写操作的过程-
neo_ng·2023-12-21 18:02

采用Flume-kafka-Flume将数据导入到HDFS中

首先先去官网下载flumehttp://flume.apache.org/download.html安装Flume，然后进行配置下载完成后，解压tar-zxvfapache-flume-1.9.0-bin解压完成之后，进入conf目录下面，把flume-env.sh.template文件更改为flume-env.sh，然后进入flume-env.sh配置jdk的路径。exportJAVA_HOME
坠机的舒克·2023-12-21 17:55

Kafka | Flume Sink日志到Kafka&HDFS

记录下将服务端AC设备产生的数据采集到Flume中，然后基于FlumeSink把数据日志同时写入到Kafka与HDFS中，对于Kafka中的数据保存到指定的Topic中，然后后续基于SparkStreaming
点滴笔记·2023-12-21 17:53

Flume多路复用模式把接收数据注入kafka 的同时，将数据备份到HDFS目录

启动hadoop、在hdfs中创建需要访问的目录配置Hadoop的核心配置文件core-site.xml：设置Hadoop的核心配置参数，例如NameNode的地址、数据块大小、副本数量等。
HaveAGoodDay.·2023-12-21 17:52

Hive入门＋部署

5.配置Hive6.初始化元数据库7.启动Hive（使用Hadoop用户）实例查看HDFS上表中存储的内容在mysql中查看表的相关信息在WEB上查看MapReduce总结概念1.基本概述数据的统计分析
Y蓝田大海·2023-12-21 14:32

hdfs如何把一整个目录都复制到本地, 包括目录中的子目录和子文件

在Hadoop分布式文件系统（HDFS）中，你可以使用hadoopfs-copyToLocal命令将整个目录复制到本地。该命令支持递归复制，包括目录中的子目录和子文件。
言之。·2023-12-21 14:27

【大数据存储与处理】第二次作业

A.EXT3B.HDFSC.Zookeepe
friklogff·2023-12-21 12:18

德人合科技 | 公司电脑文件加密系统

它使用驱动层透明加密技术，能够在用户无感知的情况下对文件进行加密，从源头上保障数据安全和使用安全。
Tianrui Green Shield·2023-12-21 06:13

计算机毕业设计吊打导师hadoop+spark+hive知识图谱股票推荐系统 股票数据分析可视化大屏 股票基金爬虫 股票基金大数据 机器学习 大数据毕业设计

开发技术：sparkhadoophive装杯显摆虚拟机Linux敲命令炫酷吊打flaskechartssqoopscalahdfsyarnmysqlselenium爬虫框架等；1.png2.png5.png6
计算机毕业设计大神·2023-12-21 05:47

数据结构与算法之美学习笔记：38 | 分治算法：谈一谈大规模计算框架MapReduce中的分治思想

分治算法应用举例分析分治思想在海量数据处理中的应用解答开篇内容小结前言本节课程思维导图：MapReduce是Google大数据处理的三驾马车之一，另外两个是GFS（hdfs）和Bigtable(hbase
浊酒南街·2023-12-21 03:51

HDFS

优缺点优点：高容错性：数据自动保存多个副本；副本丢失后，自动恢复适合批处理：移动计算而数据；数据位置暴露给计算框架适合大数据处理：GB、TB、PB级数据；百万规模以上的文件数量；10K+节点可构建在廉价机器上：通过多副本提高可靠性；提供了容错和恢复机制缺点：不适合低延迟数据访问（订单）：毫秒级；低延迟与高吞吐率不适合小文件存取：占用NameNode大量内存；寻道时间超过读取时间并发写入、文件随机修
PlayfulGerry·2023-12-20 17:13

彻底解决Hive小文件问题

我去hdfs目录查看了一下该目录：image发现确实有很多小文件，有480个小文件，我觉得我找到了问题所在，那么合并一下小文件吧：insertintotestselect*fromtabled
大数据技术派·2023-12-20 15:59

某电子文档安全管理系统 SQL注入漏洞复现

漏洞介绍亿赛通电子文档安全管理系统(简称:CDG)是一款电子文档安全加密软件，该系统利用驱动层透明加密技术，通过对电子文档的加密保护，防止内部员工泄密和外部人员非法窃取企业核心重要数据资产，对电子文档进行全生命周期防护
keepb1ue·2023-12-20 15:04

HDFS工作机制和原理

HDFS是一种分部式的文件系统，在他出现以前就已经存在了很多中分布式文件系统，但是他们都是部署在服务器上，需要高的POSIX接口，同时他们默认服务器是稳定的可以提供大量资源。
Tim在路上·2023-12-20 15:36

sqoop简介及安装配置

导入数据：MySQL，Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统；导出数据：从Hadoop的文件系统中导出数据到关系数据库1.png工作机制将导入或导出命令翻译成mapreduce
一个人一匹马·2023-12-20 11:30

大数据集群增加数据盘，平衡数据盘HDFS Disk Balancer

大数据集群增加数据盘，平衡数据盘HDFSDiskBalancer官网：https://hadoop.apache.org/docs/r3.3.6/hadoop-project-dist/hadoop-hdfs
墨卿风竹·2023-12-20 09:48
上一页 13 14 15 16 17 18 19 20 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他