hdfs日常维护

Elasticsearch SQL插件调研与问题整理

负责公司内部的es集群的日常维护（万亿级规模），升级改造与优化。最近在做一件事情，需要能够降低es的学习使用成本，给公司更多的人带来方便，即使不懂es也能用起来。所以需要一个好用的API，不再去写es
水的精神·2023-12-03 22:02

大数据基础设施搭建 - 业务数据同步策略

文章目录一、全量同步1.1梳理需要全量同步的业务表1.2Sqoop:MySQLToHDFS1.2.1开发脚本1.2.2授予脚本执行权限1.2.3执行脚本1.2.4定时调度二、增量同步2.1梳理需要增量同步的业务表
m0_46218511·2023-12-03 16:42

Hadoop 1 ~ Hadoop 3 的发展史

Hadoop1的核心设计就是HDFS(HadoopDistributedFileSystem)和Map
大数据狂人·2023-12-03 14:34

大数据开发：HDFS Erasure Coding机制

Hadoop的分布式文件系统HDFS，其冗余备份机制，确保了数据存储的容错，但是同时也增加了冗余存储成本。今天的大数据开发分享，我们就来讲讲HDFSErasureCoding机制。
成都加米谷大数据·2023-12-03 14:29

Hbase与Hive的区别与联系

Hive，通过元数据来描述HDFS上的结构化文本数据。因此，严格地讲，Hive并非数据库，主要是让开发人员能够通过SQL(HQL语
阿乐_822e·2023-12-03 12:13

Hive----基本概念

3、本质是：将HQL转化成MapReduce程序1）Hive处理的数据存储在HDFS2）Hive分析数据底层的实现是MapReduce3）执行程序运行在Yarn上4.Hive的优缺点优点1)操作接口采用类
Hi杯酒故人·2023-12-02 21:21

Hadoop架构---HDFS补充知识点---三个模式/机制

1.安全模式在安全模式下不允许HDFS客户端进行任何修改文件的操作,包括上传文件，删除文件等操作。
Yan_bigdata·2023-12-02 19:29

Hive环境准备[重点学习]

1.前提启动hadoop集群hadoop在统一虚拟机中已经配置了环境变量启动hdfs和yarn集群命令:start-all.sh[root@node1/]#start-all.sh启动mr历史服务命令:
Yan_bigdata·2023-12-02 19:59

Hadoop进阶学习---HDFS分布式文件存储系统

1.hdfs分布式文件存储的特点分布式存储:一次写入,多次读取HDFS文件系统可存储超大文件,时效性较差.HDFS基友硬件故障检测和自动快速恢复功能.HDFS为数据存储提供很强的扩展能力.HDFS存储一般为一次写入
Yan_bigdata·2023-12-02 19:59

推荐系统lambda架构学习笔记之Hadoop、HDFS、YARN&MapReduce（三）

HadoopHadoop介绍Hadoop名字的由来作者：DougcuttingHadoop项目作者的孩子给一个棕黄色的大象样子的填充玩具的命名Hadoop的概念:Apache™Hadoop®是一个开源的,可靠的(reliable),可扩展的(scalable)分布式计算框架允许使用简单的编程模型跨计算机集群分布式处理大型数据集可扩展:从单个服务器扩展到数千台计算机，每台计算机都提供本地计算和存储可
吃一口桃酥·2023-12-02 19:50

Hadoop之MapReduce学习笔记（一）

1、mapreduce整体工作机制介绍回顾第HDFS第一天单词统计实例（HDFS版wordcount）：统计HDFS的/wordcount/input/a.txt文件中的每个单词出现的次数——wordcount
weixin_30752377·2023-12-02 19:50

hadoop学习笔记——NO.4_HADOOP集群搭建与使用初步

HADOOP集群搭建与使用初步HADOOP集群搭建集群简介HADOOP集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起HDFS集群：负责海量数据的存储，集群中的角色主要有
蔡茂昌·2023-12-02 19:20

Hdoop学习笔记（HDP）-Part.20 安装Flume

Part.06安装OracleJDKPart.07安装MySQLPart.08部署Ambari集群Part.09安装OpenLDAPPart.10创建集群Part.11安装KerberosPart.12安装HDFSPart
这啥命啊·2023-12-02 19:46

Hdoop学习笔记（HDP）-Part.17 安装Spark2

Part.06安装OracleJDKPart.07安装MySQLPart.08部署Ambari集群Part.09安装OpenLDAPPart.10创建集群Part.11安装KerberosPart.12安装HDFSPart
这啥命啊·2023-12-02 19:45

Hdoop学习笔记（HDP）-Part.18 安装Flink

Part.06安装OracleJDKPart.07安装MySQLPart.08部署Ambari集群Part.09安装OpenLDAPPart.10创建集群Part.11安装KerberosPart.12安装HDFSPart
这啥命啊·2023-12-02 19:45

Hdoop学习笔记（HDP）-Part.11 安装Kerberos

Part.06安装OracleJDKPart.07安装MySQLPart.08部署Ambari集群Part.09安装OpenLDAPPart.10创建集群Part.11安装KerberosPart.12安装HDFSPart
这啥命啊·2023-12-02 19:15

Hdoop学习笔记（HDP）-Part.12 安装HDFS

Part.06安装OracleJDKPart.07安装MySQLPart.08部署Ambari集群Part.09安装OpenLDAPPart.10创建集群Part.11安装KerberosPart.12安装HDFSPart
这啥命啊·2023-12-02 19:15

Hdoop学习笔记（HDP）-Part.19 安装Kafka

Part.06安装OracleJDKPart.07安装MySQLPart.08部署Ambari集群Part.09安装OpenLDAPPart.10创建集群Part.11安装KerberosPart.12安装HDFSPart
这啥命啊·2023-12-02 19:15

Hdoop学习笔记（HDP）-Part.10 创建集群

Part.06安装OracleJDKPart.07安装MySQLPart.08部署Ambari集群Part.09安装OpenLDAPPart.10创建集群Part.11安装KerberosPart.12安装HDFSPart
这啥命啊·2023-12-02 19:14

Hdoop学习笔记（HDP）-Part.09 安装OpenLDAP

Part.06安装OracleJDKPart.07安装MySQLPart.08部署Ambari集群Part.09安装OpenLDAPPart.10创建集群Part.11安装KerberosPart.12安装HDFSPart
这啥命啊·2023-12-02 19:44

Hdoop学习笔记（HDP）-Part.02 核心组件原理

Part.06安装OracleJDKPart.07安装MySQLPart.08部署Ambari集群Part.09安装OpenLDAPPart.10创建集群Part.11安装KerberosPart.12安装HDFSPart
这啥命啊·2023-12-02 19:14

Hdoop学习笔记（HDP）-Part.05 Yum源配置

Part.06安装OracleJDKPart.07安装MySQLPart.08部署Ambari集群Part.09安装OpenLDAPPart.10创建集群Part.11安装KerberosPart.12安装HDFSPart
这啥命啊·2023-12-02 19:14

Hdoop学习笔记（HDP）-Part.07 安装MySQL

Part.06安装OracleJDKPart.07安装MySQLPart.08部署Ambari集群Part.09安装OpenLDAPPart.10创建集群Part.11安装KerberosPart.12安装HDFSPart
这啥命啊·2023-12-02 19:14

Hdoop学习笔记（HDP）-Part.08 部署Ambari集群

Part.06安装OracleJDKPart.07安装MySQLPart.08部署Ambari集群Part.09安装OpenLDAPPart.10创建集群Part.11安装KerberosPart.12安装HDFSPart
这啥命啊·2023-12-02 19:14

Hadoop Core - HDFS, MapReduce, YARN

HadoopCore-HDFS,MapReduce,YARN参加拉勾教育大数据训练营课程笔记引用：《Hadoop-TheDefinitiveGuide,4thEdition》,《拉勾导师笔记》简介大数据特性
DataPeak·2023-12-02 19:13

Hdoop学习笔记（HDP）-Part.03 资源规划

Part.06安装OracleJDKPart.07安装MySQLPart.08部署Ambari集群Part.09安装OpenLDAPPart.10创建集群Part.11安装KerberosPart.12安装HDFSPart
这啥命啊·2023-12-02 19:43

Hdoop学习笔记（HDP）-Part.06 安装OracleJDK

Part.06安装OracleJDKPart.07安装MySQLPart.08部署Ambari集群Part.09安装OpenLDAPPart.10创建集群Part.11安装KerberosPart.12安装HDFSPart
这啥命啊·2023-12-02 19:43

Hdoop学习笔记（HDP）-Part.04 基础环境配置

Part.06安装OracleJDKPart.07安装MySQLPart.08部署Ambari集群Part.09安装OpenLDAPPart.10创建集群Part.11安装KerberosPart.12安装HDFSPart
这啥命啊·2023-12-02 18:40

HDFS JAVA API的应用

(简答题)使用HDFS的JAVAAPI进行编程：（1）获取自己HDFS集群下的所有文件和目录；//获取自己HDFS集群下的所有文件和目录；importorg.apache.hadoop.conf.Configuration
星星失眠️·2023-12-02 16:28

HIVE SQL 、Hive MR参数设置

1、知识点回顾hive数据库是hdfs上的文件夹，表也是文件夹，表里的数据是文件hive建表createtable表名(字段1类型1,字段2类型2……)rowformatdelimitedfieldsterminatedby
故里良田·2023-12-02 15:39

如何使用 RMAN 异机恢复部分表空间

在oracle数据库的日常维护和使用期间难免会遇到误删数据（drop，delete，truncate）当我们使用常规手段（flashbackquery，flashbackdrop）也无法恢复数据时，我们可以使用最近的逻辑备份
lixora·2023-12-02 13:59

hbase thrift2 jar包冲突导致启动失败问题排查记录

1、启动命令${HBASE_HOME}/bin/hbase-daemon.shstartthrift22、异常情况hbase-root-thrift2-hdfs-test07.yingzi.com.out
Java小田·2023-12-02 12:53

java: 通过URL读取hadoop HDFS

packagetju;importorg.apache.hadoop.fs.FsUrlStreamHandlerFactory;importorg.apache.hadoop.io.IOUtils;importjava.io.InputStream;importjava.net.MalformedURLException;importjava.net.URL;importjava.net.URLS
amadeus_liu2·2023-12-02 11:28

hadoop:通过Configuration读取hdfs

packagetju;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.FSDataInputStream;importorg.apache.hadoop.fs.FSDataOutputStream;importorg.apache.hadoop.fs.FileSystem;importorg.apache.
amadeus_liu2·2023-12-02 11:28

【Spark数仓项目】需求八：MySQL的DataX全量导入和增量导入Hive

hive1.增量导入的第一种实现方法2.另一种方法是时间字段3.dataX脚本三、利用Python自动生成Datax的json脚本1.创建mysql和hive数据库2.修改python脚本里面的密码(2处)和hdfs
程序终结者·2023-12-02 10:22

Hive中parquet压缩格式分区表的跨集群迁移记录

文章目录环境与需求集群环境需求描述操作步骤STEP1STEP2STEP3STEP4STEP5STEP6环境与需求集群环境华为FushionInsightA华为FushionInsightB华为集群管理机localHive3.1.0HDFS3.3.1
程序终结者·2023-12-02 10:17

SparkSQL 学习笔记----将RDD转换成DataFrame

一、RDD转换成DataFrame1、为什么要将RDD转换成DataFrame转换成DataFrame之后就可以直接针对HDFS等任何可以构建为RDD的数据，进行SparkSQL进行SQL查询了。
PZ~浪味仙·2023-12-02 10:46

Hadoop -- hadoop介绍

特性优点hadoop发展hadoop介绍hadoop底层是Java语言实现是Apache软件基金会的一款开源软件允许用户使用简单的编程模型实现跨机器集群对海量数据进行分布式计算处理hadoop核心组件hdfs
小陈菜奈-·2023-12-02 07:07

Hdoop学习笔记（HDP）-Part.14 安装YARN+MR

十四、安装YARN+MR1.MR中间结果存储权限使用Yarn提交MapReduce任务的时候，中间结果会保存在HDFS，/user/username/，如果/user目录下用户目录下不存在，则被创建，当
这啥命啊·2023-12-02 07:35

Hdoop学习笔记（HDP）-Part.1 关于HDP

源配置Part.6安装OracleJDKPart.7安装MySQLPart.8部署Ambari集群Part.9安装OpenLDAPPart.10创建集群Part.11安装KerberosPart.12安装HDFSPart
这啥命啊·2023-12-02 07:35

hadoop的几个接口

8088接口：MapReduce50070接口：HDFS19888接口：jobhistoryseverjob历史服务器端口9000：namenode50090：secondarynamenode
Stephen6Yang·2023-12-02 04:03

HDFS

SecondaryNameNode监控HDFS状态的辅助后台程序，合并fsimage与edits。
歌哥居士·2023-12-02 02:22

免费的运维监控系统PIGOSS BSM基础版，欢迎下载使用

2.使用开源工具：开源工具因没有专业的售后技术人员支持，需要企业内部的运维人员具备专业的知识储备积累才能进行工具的日常维护，且开源工具使用配置较为繁琐，数据可视化展现不够美观丰富，易用性差，综合使用成本较高
运维监控PIGOSS·2023-12-02 00:15

主要分布式文件系统架构对比分析：GFS vs. Tectonic vs. JuiceFS

GFS开创了商品硬件的使用，并影响了大数据领域的Hadoop分布式文件系统(HDFS)等系统。Tectoni
沃趣数据库管理平台·2023-12-02 00:34

说说数据中心日常维护那些事

所以数据中心日常维护工作烦琐，但又很重要。随着人们的工作生活对数据的完全依赖，承载数据计算、运行的数据中心正发挥着越来越重要的作用，这更突显出维护工作的重要。
IDC李应中·2023-12-01 19:48

大数据基础设施搭建 - Sqoop

文章目录一、上传压缩包二、解压压缩包三、配置环境变量（TODO）四、修改配置文件五、拷贝MySQL驱动六、测试能否连接数据库七、importMySQLtoHDFS一、上传压缩包官网：http://mirrors.hust.edu.cn
m0_46218511·2023-12-01 19:52

Java核心知识点整理大全25-笔记

目录25.Hadoop25.1.1.概念25.1.2.HDFS25.1.2.1.Client25.1.2.2.NameNode25.1.2.3.SecondaryNameNode25.1.2.4.DataNode25.1.3
希斯奎·2023-12-01 17:31

textfilestream_Spark从本地文件流式传输到hdfs。textFileStream-问答-阿里云开发者社区-阿里云...

我正在尝试将本地目录内容流式传输到HDFS。脚本将修改此本地目录，并且每5秒添加一次内容。我的spark程序将流式传输本地目录内容并将其保存到HDFS。但是，当我开始流式传输时，没有任何事情发生。
十吾十吾·2023-12-01 16:20

hadoop完全分布式搭建

文章目录集群部署规划服务器准备Mobaxterm远程登录实验前准备安装软件工具关闭防火墙安装JDK和Hadoop创建软件包目录解压软件包配置环境变量集群搭建先创建HDFS工作目录和LOG目录配置集群配置环境配置
撕得失败的标签·2023-12-01 12:24

Flink on Kubernetes 计算和存储分离落地实践

在这种架构下，将计算和存储解耦，计算部分运行在Kubernetes上，而存储则使用HDFS等分布式存储系统。这样的架构优势在于可以根据实际情况独立调整计算和存储资源，从而提高整体的效率和弹性。
1661616sjsjsk·2023-12-01 07:51
上一页 18 19 20 21 22 23 24 25 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他