Hadoop文件系统

想学大数据？先看完这几本书再说

除了这些技术领域，还有一些特定的技术和语言需要你继续研究：Hadoop，Spark，Python，和R等等，还有无数实现自动化的工具等等，这些工具几乎每天都会用到，这就需要你不断的学习。
yoku酱·2024-02-06 06:55

【测试基础】Linux系统组成、目录结构及基本命令

本篇主要内容：Linux系统组成Linux目录结构基本命令Linux系统组成1、内核kernel是操作系统的核心、管理内存、管理CPU、管理进程、管理文件系统、管理设备驱动及网络通信特点：支持多任务、支持共享库
软件测试大田·2024-02-06 06:28

CentOS 8 安装配置 Hadoop3.3.6 伪分布式安装方式（适用于开发和调试）

1.配置服务器ssh免密登录，否则后面启动会报错：尝试通过SSH连接到主机出现认证错误的提示配置服务器ssh免密登录：1.生成SSH密钥对（如果尚未生成）：执行下面的命令生成密钥对，一直回车即可ssh-keygen-trsa出现下面的提示说明生成成功了：2.第二步，将公钥添加到~/.ssh/authorized_keys文件：cat~/.ssh/id_rsa.pub>>~/.ssh/authori
鱼大虾·2024-02-06 05:39

HDFS入门基础

HDFS总结在现代的企业环境中，海量数据超过单台物理计算机的存储能力，分布式文件系统应运而生，对数据分区存储于若干物理主机，管理网络中跨多台计算机存储的文件系统。
nucty·2024-02-06 05:33

电商推荐系统

一、获取用户对商品的偏好值代码实现packagezb.grms;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.conf.Configured
nucty·2024-02-06 05:31

Apache Hadoop

ApacheHadoop_狭义上说，Hadoop指Apache一款java语言开发的开源框架，它的核心组件有：HDFS（分布式文件系统）：解决海量数据存储YARN（作业调度和集群资源管理的框架）：解决资源任务调度
VincentLeon·2024-02-06 05:28

angular-cli的问题记录

2.linux或osx的文件系统的inotify配置。解决方案：1.修改项目文件夹名称。2.修改inotify设置：sud
golddream_y·2024-02-06 03:47

分布式文件系统JuiceFS测试总结

前言2021年开始，开源社区出现了一款名为JuiceFS的云原生分布式文件系统。这是一款由国内公司开源的分布式文件系统，2021年1月在GitHub上开源，支持k8s原生适配及多种应用场景。
啊码·2024-02-06 03:34

Centos7.5+Ambari2.7.3+HDP3.1.0.0离线安装

Centos7.5+Ambari2.7.3+HDP3.1.0.0离线安装1简介Ambari跟Hadoop等开源软件一样，也是ApacheSoftwareFoundation中的一个项目，并且是顶级项目。
WaiSaa·2024-02-06 02:53

关于Spark/Hadoop中Master/Slave IP不正确的问题

在配置SparkStandAloneMode的时候，我遇到了Slave无法向正确的MasterIP发送数据的问题。通常这类问题都来源于没有正确配置./conf/spark_env.sh文件，只要在这个文件里定义好了SPARK_LOCAL_IP和SPARK_MASTER_HOST，就可以解决这个问题。而我设置了configure文件之后问题依然存在。原因在于MasterNode上有多个网卡，每个网卡
ecce·2024-02-06 02:37

STM32F407移植OpenHarmony笔记7

今天研究文件系统，让控制台相关文件命令如mkdir和ls能工作。
星沉地动·2024-02-06 01:59

hbase基本命令

1、进入hbase的shellhbase提供了一个shell的终端给用户交互[root@hadoop3conf]#hbaseshell退出使用quit或者ctrl+c需要关闭hadoop的安全模式不然进行一些操作
小月半会飞·2024-02-06 01:52

Linux的软硬链接区别与实验

目录一、软硬链接的概念二、软硬链接的语法三、软硬链接的实验对比四、总结与归纳一、软硬链接的概念在Linux的文件系统中，保存在磁盘分区的文件不管是什么类型都会分配给它一个编号，称为索引节点号（InnodeIndex
Spark fly.·2024-02-06 00:26

Linux--磁盘与文件系统

目录1.什么是文件系统2.磁盘2.1什么时磁盘2.2磁盘的物理存储结构2.3磁盘的逻辑抽象结构3.磁盘文件系统（EXT2）inodeTable(i结点表)DataBlockinodeBitmap(inode
慢慢走，慢慢等·2024-02-05 23:50

shell中正则表达式

[atguigu@hadoop101shells]$cat/etc/passwd|grepatguigu1.常用特殊字符^$.*[]\^：匹配一行的开头$：匹配一行的结束.
看山不是山a·2024-02-05 23:07

HarmonyOS-开发避坑指南——源码下载和编译

安装文件系统打包工具运行"mkfs.vfat"，如果未找到该命令，需要安装运行"mcopy"，如果未找到该命令，需要安装sudoapt-getinstalldosfstoolsmtools#官方文档说明的两个文件系统打包工具
一朵白山茶·2024-02-05 23:53

嵌入式linux移植篇之根文件系统（rootfs）

根文件系统首先是内核启动时所mount(挂载)的第一个文件系统，系统引导启动程序会在根文件系统挂载之后从中把一些基本的初始化脚本和服务等加载到内存中去运行。
稚肩·2024-02-05 22:44

大数据之 ZooKeeper原理及其在Hadoop和HBase中的应用

链接：https://blog.csdn.net/zhang123456456/article/details/78008626ZooKeeper是一个开源的分布式协调服务，由雅虎创建，是GoogleChubby的开源实现。分布式应用程序可以基于ZooKeeper实现诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、Master选举、分布式锁和分布式队列等功能。简介ZooKeep
yangfhit·2024-02-05 20:29

微服务中的容器技术---Docker(二),Docker中的镜像分层

Docker(一),Docker的安装和使用》Docker镜像那么我们应该知道镜像和容器该如何区分了，这里就更形象地说明一下：Docker镜像是一个只读的Docker容器模板，含有启动Docker容器所需的文件系统结构及其内容
singleZhang2010·2024-02-05 18:54

Hadoop Start(1) ——Google与Hadoop的前世今生

参考文档:《Hadoop权威指南(第4版)》网址:http://hadoop.apache.org/[1]HDFS：HadoopDistributionFileSystemHadoop分布式文件系统[2
bclz·2024-02-05 18:41

Jenkins任意文件读取【CVE-2024-23897】

这样，攻击者可以利用这个功能来读取Jenkins控制器文件系统上的任意文件。FOFA语句icon_hash="81586312"docker部署do
maxiluo·2024-02-05 17:28

如何对HDFS进行节点内(磁盘间)数据平衡

由于Hadoop2.x版本并不支持HDFS的磁盘间数据均衡，因此，会造成老数据磁盘占用率很高，新挂载的数据盘几乎很空。在这种情况下
格格巫 MMQ!!·2024-02-05 16:39

hadoop调优-HDFS集群数据不均衡处理hdfs balancer

会造成datanode数据存储不均衡，一个datanode使用了70%，而有一个只使用了30%.解决：通过执行hadoop提供的balancer，来进行datanode之间数据balance。
不会吐丝的蜘蛛侠。·2024-02-05 16:08

HDFS BALANCER

介绍Hadoop的HDFS集群非常容易出现机器与机器之间磁盘利用率不平衡的情况，比如集群中添加新的数据节点。
风筝Lee·2024-02-05 16:07

Hadoop-HDFS的DataNode介绍及原理

DataNodeDataNode工作机制1、一个数据块在DataNode上以文件形式存储在磁盘上,包括两个文件,一个是数据本身,一个是元数据包括数据块的长度,块数据的校验和,以及时间戳。2、DataNode启动后向NameNode注册,通过后,周期性(1小时)的向NameNode上报所有的块信息。3、心跳是每3秒一次,心跳返回结果带有NameNode给该DataNode的命令如复制块数据到另一台机
魔笛Love·2024-02-05 16:07

绝对完美解决hdfs datanode数据和磁盘数据分布不均调整（hdfs balancer ）——经验总结

Hadoop集群Datanode数据倾斜，个别节点hdfs空间使用率达到95%以上，于是新增加了三个Datenode节点，由于任务还在跑，数据在不断增加中，这几个节点现有的200GB空间估计最多能撑20
ZhaoYingChao88·2024-02-05 16:05

MongoDB备份恢复

逻辑备份物理备份备份效率低数据库接口读取数据高拷贝物理文件恢复效率低下载备份集+导入数据+建立索引高下载备份集+启动进程备份影响大直接与业务争抢资源小备份集大小比原库小无需备份索引数据与原库相同兼容性兼容绝大部分版本可跨存储引擎依赖存储布局方式一：对服务器进行备份文件系统快照
胡萝卜苗儿·2024-02-05 15:04

spark学习4：spark安装

1.下载spark安装包2.配置环境1.cd/bigdata/spark-3.0.1-bin-hadoop3.2/conf/2.4.添加动态库在hadoop-3.2.2/bin目录下添加hadoop.dll
hzp666·2024-02-05 14:58

论文阅读-CARD：一种针对复制元数据服务器集群的拥塞感知请求调度方案

CARD:ACongestion-AwareRequestDispatchingSchemeforReplicatedMetadataServerCluster摘要复制元数据服务器集群（RMSC）在分布式文件系统中非常高效
向来痴_·2024-02-05 14:54

计算机毕业设计hadoop+spark+hive小说数据分析可视化大屏 小说推荐系统 小说爬虫 小说大数据 机器学习 知识图谱 小说网站 大数据毕业设计

流程1.爬取17k的小说数据约5-10万，存入mysql数据库；2.使用mapreduce对mysql中的小说数据集进行数据清洗，转为.csv文件上传至hdfs文件系统；3.根据.csv文件结构，使用hive
计算机毕业设计大神·2024-02-05 14:48

6.Linux虚拟机下的Hadoop集群搭建之完全分布式配置

Hadoop及相关组件搭建指导WeChat：h19396218469hadoop-3.1.3jdk-8u162-linux-x64本案例软件包：链接：https://pan.baidu.com/s/1ighxbTNAWqobGpsX0qkD8w
学习BigData·2024-02-05 13:01

Exception in thread “main“ java.lang.NoSuchMethodError: com.google.comon.base.Preconditions.checkArg

hadoop-3.1.3hbase-2.2.2-bin一、问题描述：在学习林子雨老师编写的《Spark编程基础》时使用如下命令运行jar包读取HBase时出现如下错误：Exceptioninthread
学习BigData·2024-02-05 13:01

Hadoop一键启动脚本编写

一、问题描述针对Hadoop集群使用start-dfs.shstart-yarn.sh进程无法全部启动，但是使用单独启动命令可以启动的问题进行解决。
学习BigData·2024-02-05 13:01

4.Linux虚拟机下的Hadoop集群搭建之Xshell及Xftp的使用和SSH服务配置

Hadoop及相关组件搭建指导WeChat：h19396218469本案例软件包：链接：https://pan.baidu.com/s/1ighxbTNAWqobGpsX0qkD8w提取码：lkjh（若链接失效在下面评论
学习BigData·2024-02-05 13:31

6.0 MapReduce 服务使用教程

Hadoop中包含了许多经典的MapReduce示例程序，其中就包
二当家的素材网·2024-02-05 13:29

操作系统-【预备学习-1】（Linux 文件目录）

文章目录相关知识目录结构进入目录补充查看目录创建文件删除文件创建文件夹删除文件夹文件和文件夹拷贝文件和文件夹移动/重命名任务要求相关知识目录结构Linux文件系统是树形层次结构，具体如下图所示，最重要的是根目录
Full Stack-LLK·2024-02-05 12:03

初始数据库

华子目录什么是数据库DBMS（数据库管理系统）数据库系统和文件系统的区别文件系统数据库系统对比区别优缺点总结常见数据库关系型数据库ACID原则关系型数据库的优缺点优点缺点非关系型数据库存储方式常见的非关系型数据库非关系型数据库的优缺点优点缺点
^～^前行者～～～·2024-02-05 11:55

Hive中分区表与分桶表的操作

目录分区表一级分区表知识点示例多级分区知识点示例分区表的操作示例hadoop_hive文档分桶表重要参数基础分桶表知识点示例分桶表排序知识点示例分桶原理分区表和分桶表区别分区表分区表特点/好处:需要产生分区目录
Sisi525693·2024-02-05 10:26

[Hadoop]万字长文Hadoop相关优化和问题排查总结

namenode优化namenode内存生产配置NameNode心跳并发配置开启回收站配置datanode的优化hdfs调优hadoop的优化YARN的优化HDFS调优的基本原则HDFS调优的常用参数排查哪个任务的
王一1995·2024-02-05 10:55

Hive drop 事务表 报错 flushing changes to datastore

-2802:13:01][08S01][1]Errorwhileprocessingstatement:FAILED:ExecutionError,returncode1fromorg.apache.hadoop.hive.ql.exec.DDLTask.MetaException
AdamShyly·2024-02-05 10:54

Hadoop3.x单机安装教程

为什么要搭建单机环境的Hadoop？
文景大大·2024-02-05 10:06

如何使用linux inotifywait inotifywatch对文件增删修改进行监测和实现数据同步

一、概述在Linux操作系统中，inotify是一个功能强大的工具，可用于实现文件系统的数据同步，这里介绍inotifywait和inotifywatch.inotifywait：它可以监视文件和目录的变化
a2591748032-随心所记·2024-02-05 10:18

JAVA Web 学习（五）Nginx、RPC、JWT

使用场景静态资源服务，通过本地文件系统提供服务；反向代理服务，延伸出包括缓存、负载均衡等；A
CDSN之父·2024-02-05 09:49

备份RK35XX 设备的ubuntu根文件系统的方法

包制作了一个完整的ubuntu镜像，烧录到设备中，会在设备中安装很多我们需要的软件，运行的一些自己写的脚本和业务程序，当我们有很多台设备时，不可能每台都一个个去安装，此时我们就需要一个工具来备份当前设备的根文件系统
荻夜·2024-02-05 09:44

JAVA WEB从入门到精通day09 Tomcat和HTTP协议

FireFox等）经过网络(Network)连接到服务器上，使用HTTP协议发起一个请求（Request），告诉服务器我现在需要得到哪个页面，所有的请求交给Web服务器，之后WEB服务器根据用户的需要，从文件系统
春水上行·2024-02-05 09:02

大数据 - Spark系列《三》- 加载各种数据源创建RDD

Spark系列文章：大数据-Spark系列《一》-从Hadoop到Spark：大数据计算引擎的演进-CSDN博客大数据-Spark系列《二》-关于Spark在Idea中的一些常用配置-CSDN博客目录3.1
王哪跑nn·2024-02-05 09:28

大数据原理-Spark

概述：基于内存计算三大分布式计算系统：Hadoop、Spark、Storm特点：采用有向无环图DAG作业调度运行速度快循环数据流容易使用：可以通过SparkShell交互式编程用途：SQL查询、流式计算
monster++·2024-02-05 09:28

大数据 - Spark系列《四》- Spark分布式运行原理

Spark系列文章：大数据-Spark系列《一》-从Hadoop到Spark：大数据计算引擎的演进-CSDN博客大数据-Spark系列《二》-关于Spark在Idea中的一些常用配置-CSDN博客大数据
王哪跑nn·2024-02-05 08:54

linux ext3 文件系统,浅谈Linux下的EXT3文件系统

【EXT3的基本介绍】1、EXT3文件系统存储单位是“块”，就好比NTFS的“簇”。格式化硬盘或分区时将所有磁盘空间分成若干个大小相同“块”。
Sang星星·2024-02-05 08:51

linux虚拟文件系统（二）-ext4文件系统结构

上次讲了VFS层，这次说说文件系统层，文件系统层将不同的文件系统实现了VFS的这些函数，通过指针注册到VFS里面。
小坚学Linux·2024-02-05 08:21
上一页 13 14 15 16 17 18 19 20 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他