HDFS深入浅出

遇见更好的自己

100讲每一讲约6分钟，时长刚刚好，太长了容易让人生厌，太短又不容易记住；每一讲有一个关键点，深入浅出地娓娓道来，容易让人理解与记忆。特
简_初心·2023-12-04 08:54

【大数据】区分 hdfs dfs -ls 与 hdfs dfs -ls /

区分hdfsdfs-ls与hdfsdfs-ls/1.hdfsdfs-lshdfsdfs-ls表示HDFS中的当前用户目录，即/user/用户名。
G皮T·2023-12-04 07:19

带你涨姿势，Hbase 概念原理扫盲 ！

Hbase是一个高可靠性（存储在hdfs上，有副本机制），高性能，面向列，
码农小光·2023-12-04 07:06

阅读 Flink 源码前必会的知识 - 命令行解析库 Apache Commons Cli

一、介绍一下ApacheCommonsCli，有一个感官的认识我们在使用一些开源项目时，会敲一些命令，有简单的，比如hadoopversion；有复杂的，比如flinkrun…，hdfsdfs-ls，等等
KK架构·2023-12-04 06:22

flink-connector-mysql-cdc_2.0.2

ververica.github.io/flink-cdc-connectors/master/content/connectors/mysql-cdc.html1、测试步骤：1）开启MySQLBinlog并重启MySQL2）启动HDFS
ykqidev·2023-12-04 06:49

Hadoop——分布式存储HDFS

HDFS集群环境部署VMware虚拟机中部署一、https://hadoop.apache.org中下载安装包二、环境分配三、上传、解压确认服务器创建、固定IP、防火墙关闭、Hadoop用户创建、SSH
A尘埃·2023-12-04 06:13

大数据技术合集（持续更新）

0.大数据技术演变史（来自通信院）1.起源：Google的三驾马车1.1GFS1.2BigTable1.3MapReduce2.开源大数据文件、对象、块存储2.1分布式文件系统：HDFS、Ceph、GlusterFS
amuseme_lu·2023-12-04 05:39

九、hdfs中Namenode元数据处理

1、元数据的由来在hdfs文件系统中，用户的每一次操作，都会对文件系统产生响应的影响，那么谁来记录这些影响呢？
弦之森·2023-12-04 05:37

八、hdfs文件系统副本块数量的配置

1、配置方式2、实际操作演示（1）在Hadoop用户的根目录下创建text.txt文件（2）上传文件hadoop@node1:~$hdfsdfs-lshdfs://node1:8020/Found4itemsdrwxr-xr-x-hadoopsupergroup02023
弦之森·2023-12-04 05:05

04数据平台Flume

Flume功能Flume主要作用，就是实时读取服务器本地磁盘数据，将数据写入到HDFS。Flume是Cloudera提供的高可用，高可靠性，分布式的海量日志采集、聚合和传输的系统工具。
kk_io·2023-12-04 04:20

LeetCode刷题 -- DFS

深度优先搜索算法，depth-first-searchDFS，是一种用于遍历或者搜索树、图的算法，这个算法会尽可能深的去搜索树的分支。
材料小菜鸟·2023-12-04 04:02

博文小调研

一文一心一眼，让每篇博文有灵魂，有对话，有地气，才能够深入浅出，博得“受益匪浅”的美称。IT圈身处行业浪潮之中，不管从事开发、运维、架构、管理、测
ZHOU西口·2023-12-04 03:34

【更正】【深入浅出C#】章节10: 最佳实践和性能优化：编码规范和代码风格

Tip：以前发布的《编码规范和代码风格》该篇文章在发布时，因为文章同步时，出现内容和文章不符的问题，因此在这里更正。编码规范和代码风格之所以重要，是因为它们直接影响到软件开发的质量、可维护性、可读性和协作效率。编码规范和代码风格是编程中的关键要素，它们有助于编写高质量、可维护和易读的代码，提高团队协作效率，减少错误，降低维护成本，从而推动软件开发的成功和可持续性。一、编码规范1.1什么是编码规范编
喵叔哟·2023-12-03 20:46

《管理的智慧》阅读分享：有学问，有经验，不如有智慧

这本书通过深具管理启发性的短文，深入浅出轻松地探讨管理的真谛，帮助我们提升组织的管理能力，是现代
玉言胖胖·2023-12-03 19:19

大数据基础设施搭建 - 业务数据同步策略

文章目录一、全量同步1.1梳理需要全量同步的业务表1.2Sqoop:MySQLToHDFS1.2.1开发脚本1.2.2授予脚本执行权限1.2.3执行脚本1.2.4定时调度二、增量同步2.1梳理需要增量同步的业务表
m0_46218511·2023-12-03 16:42

Hadoop 1 ~ Hadoop 3 的发展史

Hadoop1的核心设计就是HDFS(HadoopDistributedFileSystem)和Map
大数据狂人·2023-12-03 14:34

大数据开发：HDFS Erasure Coding机制

Hadoop的分布式文件系统HDFS，其冗余备份机制，确保了数据存储的容错，但是同时也增加了冗余存储成本。今天的大数据开发分享，我们就来讲讲HDFSErasureCoding机制。
成都加米谷大数据·2023-12-03 14:29

深入理解Java中的锁机制

所以，这篇博客的目标就是让咱们一起深入浅出地理解Java中的锁机制，无论你是新手还是有经验的开发者，相信都能从中学到一些东西。基础知识回顾在咱们深入研究之前，让我们先
宋小黑·2023-12-03 13:32

深入浅出stack

ps：以下问答均基于c++C++中stack是容器么？可能一听到这个问题大家都会疑惑，STL中的vector、queue、stack、map、list、set不都是归为容器的吗？广义上来讲是这样的，不过确切来说，像stack（后进先出）、queue（先进先出）、priority_queue（最高优先级元素总是第一个出列）这三个所谓的“容器”，一种更贴切的名字可能更适合它们——容器适配器。那么什么是
Shirleybebe·2023-12-03 12:39

Hbase与Hive的区别与联系

Hive，通过元数据来描述HDFS上的结构化文本数据。因此，严格地讲，Hive并非数据库，主要是让开发人员能够通过SQL(HQL语
阿乐_822e·2023-12-03 12:13

Spring5学习随笔-高级注解（@ComponentScan、@Configuration.....），替换XML配置文件

学习视频：【孙哥说Spring5：从设计模式到基本应用到应用级底层分析，一次深入浅出的Spring全探索。学不会Spring？
rookies99·2023-12-03 08:14

Spring5学习随笔-纯注解开发、YML详解

学习视频：【孙哥说Spring5：从设计模式到基本应用到应用级底层分析，一次深入浅出的Spring全探索。学不会Spring？
rookies99·2023-12-03 08:14

深入浅出 Linux 中的 ARM IOMMU SMMU III

系统I/O设备驱动程序通常调用其特定子系统的接口为DMA分配内存，但最终会调到DMA子系统的dma_alloc_coherent()/dma_alloc_attrs()等接口。dma_alloc_coherent()/dma_alloc_attrs()等接口通过DMAIOMMU的回调分配内存，并为经过IOMMU的DMA内存访问准备转换表。之后经过IOMMU的DMA内存访问所需的所有工作都已完成。音
hanpfei·2023-12-03 07:24

深入浅出字符串

注：Python的字符串是不可变的（immutable）使用场景：日志的打印、程序中函数的注释、数据库的访问、变量的基本操作写法：单引号（''），如name='zhangsan'双引号（""），如gender="male"三引号之中（''''''或"""""")：主要应用于多行字符串的情境，比如函数的注释defcalculate_similarity(item1,item2):"""Calcula
倔强的潇洒小姐·2023-12-03 07:59

《洛谷深入浅出进阶篇》 欧几里得算法，裴蜀定理，拓展欧几里得算法————洛谷P1516 青蛙的约会

本文章内容：欧几里得算法：gcd（a，b）=gcd（b，a%b）由于篇幅问题，在这里就不加以证明，可以上b站自己搜一下。由欧几里得算法我们可以很清楚的知道，a，b的最大公约数，等于b，a%b的最大公约数裴蜀定理对于任意一对整数a，b，存在整数对（x，y）使不定方程ax+by=gcd（a，b）有解。由裴蜀定理引出的定理：若对于任意一对整数a，b，存在整数对（x，y）使不定方程ax+by=c有解，那么
louisdlee.·2023-12-03 02:47

听课

王宁老师的阅读课深入浅出，层层递进。学生在不知不觉中，在阅读中收获。阅读过程当中，适当使用视频，提高了学生学习的积极性。尤其采用的是钟南山的英文视频，进一步加深了孩子们对钟南山这种英雄人物的敬佩。
06bc9e0bcf64·2023-12-03 00:52

Hive----基本概念

3、本质是：将HQL转化成MapReduce程序1）Hive处理的数据存储在HDFS2）Hive分析数据底层的实现是MapReduce3）执行程序运行在Yarn上4.Hive的优缺点优点1)操作接口采用类
Hi杯酒故人·2023-12-02 21:21

几张图让你彻底了解JAVASE、JAVAEE、JAVAWEB整个的知识体系

一、JAVASE:二、JAVAEE:三、JAVAWEB：如果想学习Java工程化、高性能及分布式、深入浅出。
分不清java·2023-12-02 20:59

Hadoop架构---HDFS补充知识点---三个模式/机制

1.安全模式在安全模式下不允许HDFS客户端进行任何修改文件的操作,包括上传文件，删除文件等操作。
Yan_bigdata·2023-12-02 19:29

Hive环境准备[重点学习]

1.前提启动hadoop集群hadoop在统一虚拟机中已经配置了环境变量启动hdfs和yarn集群命令:start-all.sh[root@node1/]#start-all.sh启动mr历史服务命令:
Yan_bigdata·2023-12-02 19:59

Hadoop进阶学习---HDFS分布式文件存储系统

1.hdfs分布式文件存储的特点分布式存储:一次写入,多次读取HDFS文件系统可存储超大文件,时效性较差.HDFS基友硬件故障检测和自动快速恢复功能.HDFS为数据存储提供很强的扩展能力.HDFS存储一般为一次写入
Yan_bigdata·2023-12-02 19:59

推荐系统lambda架构学习笔记之Hadoop、HDFS、YARN&MapReduce（三）

HadoopHadoop介绍Hadoop名字的由来作者：DougcuttingHadoop项目作者的孩子给一个棕黄色的大象样子的填充玩具的命名Hadoop的概念:Apache™Hadoop®是一个开源的,可靠的(reliable),可扩展的(scalable)分布式计算框架允许使用简单的编程模型跨计算机集群分布式处理大型数据集可扩展:从单个服务器扩展到数千台计算机，每台计算机都提供本地计算和存储可
吃一口桃酥·2023-12-02 19:50

Hadoop之MapReduce学习笔记（一）

1、mapreduce整体工作机制介绍回顾第HDFS第一天单词统计实例（HDFS版wordcount）：统计HDFS的/wordcount/input/a.txt文件中的每个单词出现的次数——wordcount
weixin_30752377·2023-12-02 19:50

hadoop学习笔记——NO.4_HADOOP集群搭建与使用初步

HADOOP集群搭建与使用初步HADOOP集群搭建集群简介HADOOP集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起HDFS集群：负责海量数据的存储，集群中的角色主要有
蔡茂昌·2023-12-02 19:20

Hdoop学习笔记（HDP）-Part.20 安装Flume

Part.06安装OracleJDKPart.07安装MySQLPart.08部署Ambari集群Part.09安装OpenLDAPPart.10创建集群Part.11安装KerberosPart.12安装HDFSPart
这啥命啊·2023-12-02 19:46

Hdoop学习笔记（HDP）-Part.17 安装Spark2

Part.06安装OracleJDKPart.07安装MySQLPart.08部署Ambari集群Part.09安装OpenLDAPPart.10创建集群Part.11安装KerberosPart.12安装HDFSPart
这啥命啊·2023-12-02 19:45

Hdoop学习笔记（HDP）-Part.18 安装Flink

Part.06安装OracleJDKPart.07安装MySQLPart.08部署Ambari集群Part.09安装OpenLDAPPart.10创建集群Part.11安装KerberosPart.12安装HDFSPart
这啥命啊·2023-12-02 19:45

Hdoop学习笔记（HDP）-Part.11 安装Kerberos

Part.06安装OracleJDKPart.07安装MySQLPart.08部署Ambari集群Part.09安装OpenLDAPPart.10创建集群Part.11安装KerberosPart.12安装HDFSPart
这啥命啊·2023-12-02 19:15

Hdoop学习笔记（HDP）-Part.12 安装HDFS

Part.06安装OracleJDKPart.07安装MySQLPart.08部署Ambari集群Part.09安装OpenLDAPPart.10创建集群Part.11安装KerberosPart.12安装HDFSPart
这啥命啊·2023-12-02 19:15

Hdoop学习笔记（HDP）-Part.19 安装Kafka

Part.06安装OracleJDKPart.07安装MySQLPart.08部署Ambari集群Part.09安装OpenLDAPPart.10创建集群Part.11安装KerberosPart.12安装HDFSPart
这啥命啊·2023-12-02 19:15

Hdoop学习笔记（HDP）-Part.10 创建集群

Part.06安装OracleJDKPart.07安装MySQLPart.08部署Ambari集群Part.09安装OpenLDAPPart.10创建集群Part.11安装KerberosPart.12安装HDFSPart
这啥命啊·2023-12-02 19:14

Hdoop学习笔记（HDP）-Part.09 安装OpenLDAP

Part.06安装OracleJDKPart.07安装MySQLPart.08部署Ambari集群Part.09安装OpenLDAPPart.10创建集群Part.11安装KerberosPart.12安装HDFSPart
这啥命啊·2023-12-02 19:44

Hdoop学习笔记（HDP）-Part.02 核心组件原理

Part.06安装OracleJDKPart.07安装MySQLPart.08部署Ambari集群Part.09安装OpenLDAPPart.10创建集群Part.11安装KerberosPart.12安装HDFSPart
这啥命啊·2023-12-02 19:14

Hdoop学习笔记（HDP）-Part.05 Yum源配置

Part.06安装OracleJDKPart.07安装MySQLPart.08部署Ambari集群Part.09安装OpenLDAPPart.10创建集群Part.11安装KerberosPart.12安装HDFSPart
这啥命啊·2023-12-02 19:14

Hdoop学习笔记（HDP）-Part.07 安装MySQL

Part.06安装OracleJDKPart.07安装MySQLPart.08部署Ambari集群Part.09安装OpenLDAPPart.10创建集群Part.11安装KerberosPart.12安装HDFSPart
这啥命啊·2023-12-02 19:14

Hdoop学习笔记（HDP）-Part.08 部署Ambari集群

Part.06安装OracleJDKPart.07安装MySQLPart.08部署Ambari集群Part.09安装OpenLDAPPart.10创建集群Part.11安装KerberosPart.12安装HDFSPart
这啥命啊·2023-12-02 19:14

Hadoop Core - HDFS, MapReduce, YARN

HadoopCore-HDFS,MapReduce,YARN参加拉勾教育大数据训练营课程笔记引用：《Hadoop-TheDefinitiveGuide,4thEdition》,《拉勾导师笔记》简介大数据特性
DataPeak·2023-12-02 19:13

Hdoop学习笔记（HDP）-Part.03 资源规划

Part.06安装OracleJDKPart.07安装MySQLPart.08部署Ambari集群Part.09安装OpenLDAPPart.10创建集群Part.11安装KerberosPart.12安装HDFSPart
这啥命啊·2023-12-02 19:43

Hdoop学习笔记（HDP）-Part.06 安装OracleJDK

Part.06安装OracleJDKPart.07安装MySQLPart.08部署Ambari集群Part.09安装OpenLDAPPart.10创建集群Part.11安装KerberosPart.12安装HDFSPart
这啥命啊·2023-12-02 19:43

Hdoop学习笔记（HDP）-Part.04 基础环境配置

Part.06安装OracleJDKPart.07安装MySQLPart.08部署Ambari集群Part.09安装OpenLDAPPart.10创建集群Part.11安装KerberosPart.12安装HDFSPart
这啥命啊·2023-12-02 18:40
上一页 31 32 33 34 35 36 37 38 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他