********HDFS

大数据笔记--Hive（第一篇）

Hive运行日志4、参数配置一、Hive1、概述Hive原本时有Facebook公司开发后来贡献给了Apache的一套用于进行数据仓库管理的机制Hive提供了类SQL（HQL，HiveQL）语句来管理HDFS
是小先生·2023-10-12 05:02

Hadoop使用hdfs指令查看hdfs目录的根目录显示被拒

背景分布式部署hadoop,服务机只有namenode节点,主机包含其他所有节点主机关机后,没有停止所有节点,导致服务机namenode继续保存再次开启主机hadoop,使用hdfs查看hdfs根目录的时候显示访问被拒解决方案
JSU_曾是此间年少·2023-10-12 04:56

sqoop 脚本密码管理

1：背景生产上很多sqoop脚本的密码都是铭文，很不安全，找了一些帖子，自己尝试了下，记录下细节，使用的方式是将密码存在hdfs上然后在脚本里用别名来替代。2：正文第一步：创建密码对应的别名。
hankl1990·2023-10-12 04:13

hive抽取mysql里的表，如果mysql表没有时间字段如何做增量抽取数据

可以将该主键值存储在Hive外部系统，如HDFS文件、Zookeeper等。示例：--假设id为自增主键SELECTCOALESCE(MAX(id),0)ASma
蘑菇丁·2023-10-11 21:46

数据湖系列(1) - Hudi 核心功能原理剖析

随着互联网业务的逐步成熟，数仓和模型训练的基本盘逐步稳固，越来越多的工程师从业务开发需求转移到了工程的架构升级，而常用的Hudi和Iceberg往往会成为替代Hive/Hdfs等架构升级的选型。
小晨说数据·2023-10-11 20:49

分布式群起zookeeper脚本、群起HDFS与YARN脚本、查看集群jpsall脚本、shell群起脚本代码、Linux群起服务、群起集群后立即关闭安全模式

一下是尚硅谷的util.sh脚本代码：注意：用户名、主机名、文件目录名根据自己的来群起zookeeper脚本代码echo"================正在启动Zookeeper==========="foriinatguigu@hadoop102atguigu@hadoop103atguigu@hadoop104dossh$i'/opt/module/zookeeper-3.4.10/bin/
DougLeaMrConcurrency·2023-10-11 20:09

hadoop的补充配置与常用脚本

目录历史服务器的配置：添加配置：分发集群：日志聚集功能的配置：添加配置：分发配置给集群其他服务器：集群的启动与停止：整体启动和停止hdfs：整体启动/停止YARN启动与停止某个服务组件：常用脚本：脚本1
小唐同学爱学习·2023-10-11 20:05

修炼k8s+flink+hdfs+dlink（四：k8s（一）概念）

一：概念1.概述1.1kubernetes对象.k8s对象包含俩个嵌套对象字段。spec（规约）：期望状态status（状态）：当前状态当创建对象的时候，会按照spec的状态进行创建，如果这些实例中有些失败了。那么会重新启动一个新的来替换这个实例。对象样例按照规定，app要求主体是json格式。但是也可以使用YAML清单格式，后续通过http访问app的时候，会将信息转化位JSON格式或者其他受支
宇智波云·2023-10-11 18:05

hadoop-3.1.0启动hadoop集群时还有可能可能会报如下错误

[root@localhostsbin]#start-all.shStartingnamenodeson[hadoop]ERROR:AttemptingtooperateonhdfsnamenodeasrootERROR
回忆de天空·2023-10-11 16:40

3 Hadoop-HDFS

Hadoop3.1.2编译环境的准备3.2Hadoop安装3.2.1上传apacheHadoop包并压缩3.2.2修改配置文件3.2.3配置Hadoop的环境3.2.4启动集群3.3Hadoop核心-HDFS3.3.1HDFS
PhoenixLuo··2023-10-11 16:39

《Elasticsearch技术解析与实战》Chapter 1.1：Elasticsearch入门和倒排索引

分片机制提供更好的分布性：同一个索引分成多个分片，类似于HDFS的
后端小哥·2023-10-11 15:08

修炼k8s+flink+hdfs+dlink（四：k8s（二）组件）

一：控制平面组件。控制平面组件会为集群做出全局决策，比如资源的调度。以及检测和响应集群事件，例如当不满足部署的replicas字段时，要启动新的pod）。1.kube-apiserver。该组件负责公开了KubernetesAPI，负责处理接受请求的工作。API服务器是Kubernetes控制平面的前端。2.kube-controller-manager。负责运行控制器进程。从逻辑上讲，每个控制器
宇智波云·2023-10-11 10:54

python数据导入hive_hive常用功能：Hive数据导入导出方式

一、Hive数据导入方式这里主要介绍四种：从本地文件系统中导入数据到Hive表；从HDFS上导入数据到Hive表；从别的表中查询出相应的数据并导入到Hive表中；在创建表的时候通过从别的表中查询出相应的
摆摊卖爱情·2023-10-11 06:04

hive 数据导入 导出

数据导入hive本地文件1.加载本地文件studet.txt到hive默认数据库student表中(拷贝+追加)2.加载本地文件studet.txt到hive默认数据库student表中(拷贝+覆盖)hdfs3
塞上江南o·2023-10-11 06:03

HIVE数据导入导出

HIVE数据导入导出导入数据1、location(1)将数据上传到到hdfs上的一目录中#将table_a.txt上传到HDFS的/demo/data/table_a目录中hdfsdfs-puttable_a.txt
心流啊·2023-10-11 06:33

Hive数据导入和导出

overwrite]intotablestudent[partition(partcol1=val1,…)];（1）loaddata:表示加载数据（2）local:表示从本地加载数据到hive表；否则从HDFS
动若脱兔--·2023-10-11 06:03

Hive数据导入导出

1.5创建表时指定location1.6export导出与import导入hive表数据（内部表操作）2.Hive数据导出2.1insert导出2.2HiveShell命令导出2.3export导出到HDFS
莫叫石榴姐·2023-10-11 06:32

Hive导入导出数据方式总结

一，导入数据1，load1.1从本地磁盘导入：loaddatalocalinpath‘/localpath’intotabletable1;1.2从HDFS导入(无关键字local)：loaddatainpath
大数据男·2023-10-11 06:02

Hive 数据导入导出方式小结

opt/module/datas/test.txt'[overwrite]intotablestudent[partition(partcol1=val1,…)];local：从本地导入加上local，从hdfs
天涯问路·2023-10-11 06:30

hive数据的导入导出

覆盖添加--intotable追加从linux本地导入数据到表中loaddatalocalinpath'/home/test2/emp_data.txt'overwriteintotableemp;从HDFS
枯河垂钓·2023-10-11 06:30

spark原理和实践

数据生成后，需要存储元数据信息，选择合适的存储格式，像Parquet、ORC是两种高性能的列式存储，Hudi数据存储的中间件，优化存储的读写，也可以存储到分布式文件存储系统HDFS，分布式消息系统kafka
头顶假发·2023-10-11 04:13

Apache Ranger KMS 部署

details/103930388https://blog.csdn.net/wank1259162/article/details/1224381751.背景需要一个高可用的KMS服务用于数据静态加密（HDFS
这个操蛋的人生！！！·2023-10-11 02:40

hive插件 ranger_Ranger安装部署 - 扩展组件安装

1.ranger-hdfsplugin安装1.1安装rangerhdfsplugin软件包#pwd/opt/app/ranger-release-ranger-1.2.0/target#tar-zxvfranger
weixin_39669638·2023-10-11 02:09

Apache ranger 简介、原理、安装部署

它可以对Hadoop生态的组件如HDFS、Yarn、Hive、Hbase等进行细粒度的数据访问控制。通过操作Ranger控制台,管理员可以轻松的通过配置策略来控制用户访问权限。
dingweijson·2023-10-11 02:08

Apache Ranger的安装及部署

通过操作Ranger控制台，管理员可以轻松的通过配置策略来控制用户访问HDFS文件夹、HDFS文件
jianmin0920·2023-10-11 02:08

Apache Ranger：(一)安装部署

它可以对Hadoop生态的组件如HDFS、Yarn、Hive、Hbase等进行细粒度的数据访问控制。通过操作Ranger控制台,管理员可以轻松的通过配置策略来控制用户访问权限。
只爱大锅饭·2023-10-11 02:37

大数据编程实验3 熟悉常用的HBase操作前期准备

一、实验目的（1）理解HDFS在Hadoop体系结构中的角色；（2）熟练使用HDFS操作常用的Shell命令；（3）熟悉HDFS操作常用的JavaAPI。
Blossom i·2023-10-11 01:25

大数据学习(3)-hive分区表与分桶表

1.分区表：分区表在Hive中，对应于在HDFS上指定目录，按照某个字段的值将表数据分到不同的文件夹。假设我们有一个包含日期的字段，我们可以按照这个日期字段将数据分区为不同的文件夹，例如按年、月
viperrrrrrr·2023-10-11 00:00

大数据学习(1)-Hadoop

Hadoop的核心组件包括：HDFS（HadoopDistributedFileSystem）MapReduce和Yarn。Hadoop的运行机制基于分布式计算的概念，即将大规模的计算任务分解为多个
viperrrrrrr·2023-10-11 00:29

配置Hive使用Spark执行引擎

配置Hive使用Spark执行引擎Hive引擎概述兼容问题安装SparkSpark配置Hive配置HDFS上传Spark的jar包执行测试速度对比Hive引擎概述在Hive中，可以通过配置来指定使用不同的执行引擎
CodeDevMaster·2023-10-11 00:49

Hadoop2.0探讨

文章目录8.Hadoop再探讨8.1Hadoop的优化与发展8.2HDFS的FA和Federation(Hadoop2.0新特性)8.2.1HDFSHA8.2.2HDFSFederation8.3YARN8.3.1MapReduce1.0
几窗花鸢·2023-10-10 23:16

林子雨 慕课答案2021新版

博客第二章大数据技术原理与应用—第2讲大数据处理架构Hadoop（林子雨老师）课后习题_努力搬砖头的博客-CSDN博客_hadoop大数据技术原理与应用课后答案第三章大数据技术原理与应用—第3讲分布式文件系统HDFS
S_h_a_·2023-10-10 23:40

Datax的同步调研

DataX实现了包括MySQL、Oracle、OceanBase、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、M
wangqiaowq·2023-10-10 22:36

本地java程序连接阿里云服务器Hadoop失败

Booleanresult=fileSystem.mkdirs(path);但是读取hdfs上的文件就报错。
大雄的学习笔记·2023-10-10 20:39

CC00011.spark——|Hadoop&Spark.V11|——|Spark.v11|sparkcore|开发环境搭建IDEA|

创建一个maven工程：~~~CreateNewProject——>Maven——>Next——>Name：SparkBigData——>Finish——>END###---安装scala插件；能读写HDFS
yanqi_vip·2023-10-10 18:48

Spark基本原理与使用--Spark Streaming

用于流式数据处理，支持可扩展、高吞吐、可容错的准实时微批次（微时间）数据处理，支持多种数据输入源如Kafka、Flume、Twitter、ZeroMQ和简单TCPSocket等，同时也支持多种数据输出方式如HDFS
Jafeiyn·2023-10-10 18:43

搭建Hadoop2.5.2环境

教程：http://blog.csdn.net/l1028386804/article/details/51536051部署期间遇到最主要的一个问题：hdfs-site.xml这个文件，不论怎么改都不生效
licongdong·2023-10-10 16:01

hive和hadoop关系

1.hive使用的默认执行引擎是mapreduce作业，相当于执行的hive的sql都会转化成mapreduce的作业的形式2.hive的表使用的默认存储是hdfs的文件系统，相当于表的数据是存储在hdfs
lixia0417mul2·2023-10-10 09:03

【Spark】实验四：SparkStreaming编程初级实践

SparkStreaming构建实时数据计算系统，通过使用socket编程模拟用户浏览商品信息时产生的数据，使用SparkStreaming应用实现基本功能，使用updateStateByKey进行结果累加计算，将结果保存在HDFS
小手の冰凉·2023-10-10 05:08

mac 安装hadoop单机

usr/local/Cellar/hadoop/3.0.0/libexec/etc/hadoop修改core-site.xmlhadoop.tmp.dir/usr/local/Cellar/hadoop/hdfs
横渡·2023-10-10 03:22

hdfs中服务器协议详解,hadoop rpc服务端初始化和调用过程详解

本文主要描述了hadooprpc服务端的初始化和调用过程，相比客户端的初始化，rpc服务端感觉会简单点，但是调用过程却比客户端复杂一些。本文还是以namenode为例，namenode会在执行main方法的时候，创建一个namenode实例，及完成一系列的初始化过程，其中就包括了rpc的初始化过程。rpc服务端的初始化上面已经提到我们这里主要借用了namenode的远程服务，先来看看相关代码：pu
weixin_29215969·2023-10-10 03:53

大数据Hadoop生态圈-组件介绍

Hadoop的核心组件是HDFS、MapReduce。
青社·2023-10-10 02:45

「大数据集群的搭建和使用」背景知识：大数据Hadoop生态圈介绍

目录一、Hadoop简介二、Hadoop的运行模式1.单机模式2.伪分布式模式3.完全分布式模式三、Hadoop生态圈组件1.HDFS2.MapReduce3.YARN4.Hive5.Pig6.HBase7
优秀的Athena在休息·2023-10-10 02:14

Apache Hadoop生态部署-hadoop单机安装

目录查看服务架构图-服务分布、版本信息1：安装包下载2：配置环境变量3：服务配置（1）core-site.xml（2）配置hadoop-env.sh（3）HDFS配置文件hdfs-site.xml（4）
iwester·2023-10-10 02:12

《黑马程序员》大数据集群（Hadoop生态）安装部署——图文讲解

HadoopHDFS提供分布式海量数据存储能力HadoopYARN提供分布式集群资源管理能力HadoopMapReduce提供分布式海量数据计算能力前置要求请确保完成了集群化环境前置准备章节的内容即：JDK
懒羊羊夸夸~·2023-10-10 02:41

Python+大数据-Hadoop生态-hadoop(二)--Apache Hadoop

hadoop(二)–ApacheHadoop今日课程学习目标了解Hadoop发展历史、生态圈掌握Hadoop集群架构、角色掌握Hadoop集群分布式安装部署掌握JobHistoryServer功能理解HDFS
呆猛的呆呆小哥·2023-10-10 02:10

【大数据】Hadoop 生态系统及其组件

Hadoop生态系统及其组件1.Hadoop生态系统的组成2.Hadoop生态系统简介2.1HDFS2.2MapReduce2.3YARN2.4Hive2.5Pig2.6HBase2.7HCatalog2.8Avro2.9Thrift2.10Drill2.11Mahout2.12Sqoop2.13Flume2.14Ambari2.15Zookeeper2.16Oozie1
G皮T·2023-10-10 02:36

大数据集群（Hadoop生态）安装部署

Zookeeper集群部署7.Hadoop集群部署7.1下载Hadoop安装包、解压、配置软链接7.2修改配置文件：hadoop-env.sh7.3修改配置文件：core-site.xml7.4配置：hdfs-site.xml
时光の尘·2023-10-10 02:33

大数据——SparkStreaming学习笔记

而结果也能保存在很多地方，如HDFS，数据库等。DStr
Ostrich5yw·2023-10-09 21:34

大数据生态安全框架的实现原理与最佳实践（下篇）

我们会通过系列文章，来看下大数据生态中安全框架的实现原理与最佳实践，系列文章一共两篇，包含以下章节：大数据生态安全框架概述HDFS认证详解HDFS授权详解HIVE认证详解HIVE授权详解金融行业大数据安全最佳实践本片文章是下篇
Michael_Li·2023-10-09 20:34
上一页 38 39 40 41 42 43 44 45 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他