Hadoop文件系统

Hadoop深度运维：Apache集群原地升级Ambari-HDP

作者介绍冯武，目前在瓜子从事大数据集群运维管理，主要负责Hadoop、Ansible、Ambari、ClouderaManager等技术栈的维护调优工作。
Summer_1981·2024-02-08 18:42

7.0 MapReduce编程实例教程

注意：MapReduce依赖Hadoop的库，但由于本教程使用的Hadoop运行环境
二当家的素材网·2024-02-08 18:11

3.3-媒资管理之MinIo分布式文件系统上传视频

文章目录媒资管理5上传视频5.1需求分析5.2断点续传技术5.2.1什么是断点续传5.2.2分块与合并测试5.2.3视频上传流程5.2.4minio合并文件测试5.3接口定义5.4上传分块开发5.4.1DAO开发5.4.2Service开发5.4.2.1检查文件和分块5.4.2.2上传分块5.4.2.3上传分块测试5.5合并分块开发5.5.1service开发5.4.3接口层完善5.5.2合并分块
ANnianStriver·2024-02-08 17:36

Zookeeper的详细介绍及使用场景

Zookeeper是什么Zookeeper分布式服务框架是ApacheHadoop的一个子项目，它主要是用来解决分布式应用中经常遇到的一些数据管理问题，如：统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等
Zal哥哥·2024-02-08 15:11

linux基础命令

1.2Linux的文件系统Linux系统环境下的文件系统和Windows有很大区别。在Windows中，每一个盘符下是一个独立的文件系统，硬盘有多少个分区就有多少个文
远方 hi·2024-02-08 15:36

Mongodb GridFS——适合大小超过16MB的文件

一、概述GridFS是基于mongodb存储引擎是实现的“分布式文件系统”，底层基于mongodb存储机制，和其他本地文件系统相比，它具备大数据存储的多个优点。
0X码上链·2024-02-08 15:48

深入理解Spark的前世今生

Spark，是一种通用的大数据计算框架，正如传统大数据技术Hadoop的MapReduce、Hive引擎，以及Storm流式实时计算引擎等。
闲云野鹤~~~·2024-02-08 14:01

umount:/home/tuners/windows files:目标忙。

是在尝试卸载（umount）一个文件系统时常见的错误。这个错误表明有一些进程仍然在使用挂载点（/home/tuners/windowsfiles）下的文件或目录，因此文件系统无法被安全地卸载。
三希·2024-02-08 14:01

配置集群时间同步

配置集群时间同步:1.时间服务器配置(必须root用户)检查ntp是否安装[root@hadoop102桌面]#rpm-qa|grepntpntp-4.2.6p5-10.el6.centos.x86_64fontpackages-filesystem
sixleaves·2024-02-08 14:49

ArcGIS 10——地理数据库管理GIS数据

首先了解一下ArcGIS的三种地理数据库类型：文件地理数据库-在文件系统中以文件夹的形式存储。每个数据集都以文件形式保存，该文件大小最多可扩展至1TB。建议使用文件地理数据库而不是个人地理
weixin_30445169·2024-02-08 13:40

SQL在云计算中的新角色：重新定义数据分析

文章目录1.云计算与数据分析的融合2.SQL在云计算中的新角色3.分布式SQL查询引擎4.SQL-on-Hadoop解决方案5.SQL与其他数据分析工具的集成6.实时数据分析与SQL7.SQL在云数据仓库中的角色
程序边界·2024-02-08 13:01

Linux——文件系统

现在我们将从操作系统和硬件的方面来重新认识一下磁盘中的文件，以及内存中的文件和未打开文件整体构成的文件系统。Linux——被打开的文件1.磁盘中的文件就像我上面说的一样，磁
歪～~·2024-02-08 12:05

【小程序】基础API之系统API接口汇总

ty.env环境变量属性USER_DATA_PATHstring文件系统中的用户目录路径(本地路径)，当操作文件时需使用此目录。
IoT砖家涂拉拉·2024-02-08 12:02

Linux操作系统-文件系统（内存文件和磁盘文件）

基础IO内存文件文件概念和文件操作文件描述符理解Linux下一切皆文件重定向的原理理解文件缓冲区磁盘文件了解磁盘的物理结构对磁盘物理结构的逻辑抽象文件系统动态库和静态库内存文件文件
猿来是这样^·2024-02-08 11:32

No.2大数据入门 | 环境搭建：jdk1.8安装及环境配置

上一篇文章我们安装了虚拟机以及linux操作系统，接下来就要安装在操作系统上运作的大数据核心hadoop分布式系统基础架构！
滚滚红尘_8133·2024-02-08 11:43

Hadoop多次格式化后如何解决

产生原因我们在配置hadoop中的hdfs时，会设置元数据的存储位置，如图所示要想解决此问题，先停止所有启动的服务stop-all.sh然后删除上图画出来的配置文件，这里三台机器都要删，最后进入hadoop
(((φ(◎ロ◎;)φ)))牵丝戏安·2024-02-08 11:50

FastDFS搭建

资源地址：https://sourceforge.net/projects/fastdfs/源码资源：https://github.com/happyfish100FastDFS是一个开源的轻量级分布式文件系统
超人001·2024-02-08 11:31

docker镜像的制作

docker镜像含有启动容器所需要的文件系统及其内容，因此，其用于创建并启动容器。
weixin_46447154·2024-02-08 10:37

【Godot4.2】文件系统自定义控件 - FileSystemTree

FileSystemTreeB站【Godot4.2】文件系统自定义节点-FileSystemTree概述在Godot设计编辑器插件或应用程序时，可能需要涉及文件系统的显示，比如文件夹或文件的树形列表。
巽星石·2024-02-08 10:32

【高级数据结构】B-树、B+树详解

它通常用于数据库和文件系统。2、特性B树是一种平衡的多分树，通常我们说m阶的B树，它必须满足如下条件：每个节点最多只有m个子节点。每个非叶子节点（除了
失落的换海迷风·2024-02-08 10:02

类比

一款开源的分布式文件系统，冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标类比：图书馆有什么用？
lzb30·2024-02-08 10:07

CentOS 7搭建Hadoop伪分布模式

配置文件：链接：https://pan.baidu.com/s/1rYvnxbyqXOG1DjI63dxbAw提取码：6e1l复制这段内容后打开百度网盘手机App，操作更方便哦1.1修改IP地址在虚拟机的命令行中输入下面的命令，修改网卡的配置文件vi/etc/sysconfig/network-scripts/ifcfg-ens33配置以下信息TYPE=Ethernet#类型为以太网BOOTPRO
clevercondy·2024-02-08 09:52

2018-07-14

复制/etc/skel目录为/home/tuser1改权限2、编辑/etc/group文件，添加组hadoop。
啊鑫007·2024-02-08 08:56

类加载机制

类加载的过程包括以下几个步骤：加载（Loading）：加载是指查找并读取类的字节码文件，可以来自本地文件系统、网络或其他来源。加载器将字节码文件转化为JVM内部使用的Class对象。
啄sir.·2024-02-08 08:13

Hadoop生态漏洞修复记录

Hadoop常用端口介绍HDFSNameNode50070dfs.namenode.http-addresshttp服务的端口50470dfs.namenode.https-addresshttps服务的端口
不会吐丝的蜘蛛侠。·2024-02-08 08:30

Hadoop2.7配置

core-site.xmlfs.defaultFShdfs://bigdata/ha.zookeeper.quorum192.168.56.70:2181,192.168.56.71:2181,192.168.56.72:2181-->hadoop.tmp.dir
不会吐丝的蜘蛛侠。·2024-02-08 08:59

hive2.3.2配置(带kerberos)

hive-env.shexportHADOOP_HEAPSIZE=2048exportHADOOP_CLIENT_OPTS="-Xmx2g-Xms2g-Djava.net.preferIPv4Stack
不会吐丝的蜘蛛侠。·2024-02-08 08:59

高性能hbase配置

hbase-env.shexportHADOOP_HOME=/export/hadoopexportHADOOP_CONF_DIR=/export/common/hadoop/confexportJAVA_HOME
不会吐丝的蜘蛛侠。·2024-02-08 08:59

HDFS执行balance报错：hdfs balance java.io.IOException: Another Balancer is running.. Exiting

现象：1、大数据Hadoop集群，HDFS扩容后，为了使各节点数据均衡，执行balance操作。2、启动hdfsbalance时，一直出现其他的balance在执行中，其实并没有执行。
不会吐丝的蜘蛛侠。·2024-02-08 08:29

大数据问题：Hadoop的web页面无法访问logs

HTTPERROR403Problemaccessing/logs/.Reason:Useryarnisunauthorizedtoaccessthispage.PoweredbyJetty://分析：1、有的说是权限问题，但是并没有用yarn用户启动Hadoop
不会吐丝的蜘蛛侠。·2024-02-08 08:28

hadoop调优-hdfs配置优化

dfs.permissions.enabledtruedfs.namenode.handler.count90dfs.ha.automatic-failover.enabledtrue其它优化：dfs.hosts/export/hadoop
不会吐丝的蜘蛛侠。·2024-02-08 08:28

spark运行失败The directory item limit of /spark_dir/spark_eventLogs is exceeded: limit=1048576 items=104

报错：org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.protocol.FSLimitException$MaxDirectoryItemsExceededException
不会吐丝的蜘蛛侠。·2024-02-08 08:58

grafana+prometheus+hiveserver2(jmx_exporter+metrics)

文件开启metricshive.server2.metrics.enabledtruehive.service.metrics.codahale.reporter.classesorg.apache.hadoop.hive.common.metrics.metrics2
不会吐丝的蜘蛛侠。·2024-02-08 08:24

hadoop学习笔记

下载安装伪分布式：1.国内源下载地址：https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/Indexof/apache/hadoop/commonhttps
草琳情·2024-02-08 08:54

flink on yarn

Per-JobCluster模式flinkrunflinkrunapplication-tyarn-application配置任务退出时保留Checkpoint从外部checkpoint恢复应用资料使用安装完hadoop3.3.4
枪枪枪·2024-02-08 07:46

RK3568平台 设备模型sysfs文件系统

一.什么是sysfs文件系统sysfs文件系统是Linux内核提供的一种虚拟文件系统，用于向用户空间提供内核中设备，驱动程序和其他内核对象的信息。
嵌入式_笔记·2024-02-08 07:29

Mac 安装多版本 protoc / protobuf

)brew安装brewinstallprotobuf#查看安装目录$whichprotoc/opt/homebrew/bin/protoc#2)配置环境变量vim~/.zshrc#protoc(forhadoop
大数据王小皮·2024-02-08 07:26

Linux学习笔记（centOS）—— 文件系统

目录一、Linux中的文件打开方式二、目录结构三、相关命令切换目录命令列出当前目录下的文件和目录命令一、Linux中的文件“万物皆文件。”图1.1所有文件打开方式图形化界面左上角的位置→计算机，打开以后就可以看到Linux全部的文件了，与Windows最主要的区别是没有盘符。有些目录图标有向外的箭头，比如bin目录。这表示它并不是直接放在根目录下的，本质是一个文件夹的链接，类似于Windows里的
通大侠·2024-02-08 06:19

sqoop导入数据到hdfs

Sqoop是apache旗下的一款”Hadoop和关系数据库之间传输数据”的工具导入数据：将MySQL，Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统导出数据：从Hadoop
鲲鹏猿·2024-02-08 06:40

Hadoop之环境配置

1.安装环境ubuntu2.安装jdk3.安装Hadoop1.在安装ubuntu时需要注意安装ubuntu创建用户，等待时间比较长，大家需要有点耐心。
鲲鹏猿·2024-02-08 06:39

小白水平理解面试经典题目LeetCode 71. Simplify Path【Stack类】

71.简化路径小白渣翻译给定一个字符串path，它是Unix风格文件系统中文件或目录的绝对路径（以斜杠‘/’开头），将其转换为简化的规范路径。
心安成长·2024-02-08 06:04

数据采集工具Sqoop、Datax、Flume、Canal

libcpmysql-connector-java-5.1.10.jar/sqoop-install-path/lib重命名文件并配置文件mvsqoop-env-template.shsqoop-env.sh#添加环境变量exportHADOOP_COMMON_HOME
yue-verdure·2024-02-08 06:08

大数据系列—数据迁移(Sqoop,Flume,DataX)对比学习（stage3）

个人大数据技术栈：DataX,Sqoop,Hadoop,Hive,Spark,Flink,Hbase,Kafka,Kettle,Azkaban,Airflow,Tableau…个人在学习领域：Python
道-闇影·2024-02-08 06:07

Zookeeper搭建集群步骤

[hadoop@note1~]$cat/etc/hosts127.0.0.1localhostlocalhost.localdomainlocalhost4localhost4.localdomain4
qq_22019789·2024-02-08 06:37

win10-忘记密码后用老毛桃去掉密码

把文件系统格式设置为下图一致的，如NTFS，然后不要勾选快速格式化。这样格式化会很慢，等一会儿。bug：快速格式化之后，初始化U盘时报错，制作时提示UD区分区失败。
陆沙·2024-02-08 05:55

MapReduce的类型与格式

MapReduce的类型Hadoop的MapReduce中，map函数和reduce函数遵循如下格式：map：(k1,v1)--->list(k2,v2)combiner：（k2,list(v2)）--
Vechace·2024-02-08 05:31

LDM DATA PARTITION动态磁盘、MBR/GPT基本磁盘

文件系统显示为：LDMdatapartition"LDMdatapartition"表示LogicalDiskManager数据分区。
顺漆自然·2024-02-08 05:13

3.2-媒资管理之MinIo分布式文件系统+上传图片

媒资管理3分布式文件系统3.1什么是分布式文件系统要理解分布式文件系统首先了解什么是文件系统。
ANnianStriver·2024-02-08 04:34

Spark安装（Yarn模式）

一、解压链接：https://pan.baidu.com/s/1O8u1SEuLOQv2Yietea_Uxg提取码：mb4htar-zxvf/opt/software/spark-3.0.3-bin-hadoop3.2
莫噶·2024-02-08 04:44

Hadoop搭建（完全分布式）

bigdata-masterbigdata-slave1bigdata-salve2NameNodeNodeManagerNodeManagerSecondaryNameNodeDataNodeDataNodeResourceManagerNodeManagerDataNode目录一、jdk安装：二、hadoop
莫噶·2024-02-08 04:14
上一页 10 11 12 13 14 15 16 17 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他