Hadoop离线基础总结

深入理解 Hadoop （三）HDFS文件系统设计实现

HDFSFileSystemNameNode端抽象实现HDFS磁盘元数据文件解读共有五种格式的文件：edits_0000000000000041912-0000000000000041913：该LogSegment记录了transactionid在41912-41913之间的事务日志。(最多保留50个)edits_inprogress_0000000000000041914：正在使用的编辑日志文件
我很ruo·2024-01-10 08:50

深入理解 Hadoop （一）网络通信架构与源码浅析

HadoopRPC网络通信框架原理剖析YARNRPC服务端的工作大致可以分为四个阶段:第一个阶段:Server初始化和启动在Server初始化的时候，会初始化Listener组件(内部启动了一个AcceptSelector
我很ruo·2024-01-10 08:49

深入理解 Hadoop （二）HDFS架构演进

HDFS分布式集群架构设计实现核心设计思路：分而治之的思路，实现分散存储+冗余存储元数据管理核心问题：文件系统目录树文件和数据块的映射关系数据块和副本存储主机之间的映射关系NameNode内部两个非常重要的组件：NameNodeRpcServer：RPC服务端，接收所有客户端的RPC请求来执行处理FSNamesystem：负责管理元数据内存中有一份完整的：FSDirectory磁盘中也有一份完整的
我很ruo·2024-01-10 08:49

hadoop主要文件及目录简介

1.hadoop目录概述hadoop的解压目录下的主要文件如下图所示：其中：/bin目录存放对Hadoop相关服务（HDFS,YARN）进行操作的脚本；/etc目录存放Hadoop的配置文件/lib目录存放
我很ruo·2024-01-10 08:19

YARN 配置文件 capacity-scheduler.xml 参数解读

capacity-scheduler.xml文件中配置了yarn资源调度器运行中的各项参数，位于hadoop安装目录/hadoop-2.7.2/etc/hadoop目录下。打开后可以看到默认配置。
我很ruo·2024-01-10 08:49

Maven 基础总结篇

Maven基础总结篇Maven是专门用于管理和构建Java项目的工具，它的主要功能有：提供了一套标准化的项目结构：用于解决不同IDE（例如eclipse与IDEA）不同的项目结构的问题提供了一套标准化的构建流程
5-StarrySky·2024-01-10 08:47

hadoop之HDFS文件系统命令操作

ApacheHadoop3.3.4–Overview01.appendToFilehadoopfs-appendToFilelocalfile/user/hadoop/hadoopfilehadoopfs-appendToFilelocalfile1localfile2
OnePandas·2024-01-10 08:46

深入理解 Hadoop （四）HDFS源码剖析

HDFS集群启动脚本start-dfs.sh分析启动HDFS集群总共会涉及到的角色会有namenode,datanode,zkfc,journalnode,secondaryName共五种角色。JournalNode核心工作和启动流程源码剖析//启动JournalNode的核心业务方法publicvoidstart()throwsIOException{//第一件事：创建JournalNode的本
我很ruo·2024-01-10 08:10

CDH集成LDAP配置

JavaChenBlog，作者：JavaChen原文链接地址：http://blog.javachen.com/2014/11/12/config-ldap-with-kerberos-in-cdh-hadoop.html
101之歌·2024-01-10 07:48

VS Code 配置C++编译环境

安装编译器下载mingw离线下载地址解压将离线下载的文件解压到特定目录，比如C:\Program\Develop\MinGW。
_何处繁华笙歌落_·2024-01-10 07:15

Hbase安装步骤

话不多说，下面就是安装的详细步骤：一、下载安装包首先，我们需要下载图中红色标记的三个压缩包：apache-zookeeper-3.6.3.tar、hadoop-3.3.1.tar、hbase-2.2.7
Daner13921·2024-01-10 06:46

【spark】基于Spark的电影推荐系统+[详细代码及配置]

基于Spark的电影推荐系统项目架构组件版本及配置名称版本Hadoop2.8.5Hive2.1.0Spark1.6.3Kafka2.10_0.8.21MariaDB(Mysql)5.5.64Scala2.10.6Java1.8.0
BIG*BOSS·2024-01-10 06:25

【DevOps-08-1】Harbor镜像仓库介绍和安装

一、简要描述Harbor介绍Harbor安装下载离线安装包把下载的离线安装包上传到服务器，并且解压修改Harbor配置文件启动Harbor登录Harbor管理后台Harbor管理后台首页二、Harbor
飞鸽FlyGo·2024-01-10 06:46

大数据本地环境搭建-Zookeeper/Hadoop/Hive搭建

1.Zookeeper环境安装链接：https://pan.baidu.com/s/1wzbCiDxP7H5G_llwjSS3Rw?pwd=wgal提取码：wgal1.1上传tar包zookeeper-3.4.6.tar注意：上传文件位置为/export/server目录1.2解压缩cd/export/servertarxvf/export/server/zookeeper-3.4.6.tar.g
OnePandas·2024-01-10 06:01

Hadoop之mapreduce参数大全-4

76.指定在MapReduce作业中，哪些输出文件应该在任务失败时保留mapreduce.task.files.preserve.filepattern是HadoopMapReduce框架中的一个配置属性
OnePandas·2024-01-10 06:01

Hadoop之mapreduce参数大全-1

1.设置Map/Reduce任务允许使用的最大虚拟内存大小mapred.task.maxvmem是MapReduce的一个配置参数，用于指定每个Map/Reduce任务允许使用的最大虚拟内存大小（以字节为单位）。如果一个任务使用的虚拟内存超过了此参数指定的值，则任务会被认为是失败的，并且MapReduce集群会尝试重新分配任务。默认情况下，此参数的值为MapReduce任务的堆内存大小的两倍。可以
OnePandas·2024-01-10 06:00

Hadoop之mapreduce参数大全-2

25.指定在Reduce任务在shuffle阶段的fetch操作中重试的超时时间mapreduce.reduce.shuffle.fetch.retry.timeout-ms是ApacheHadoopMapReduce
OnePandas·2024-01-10 06:00

Hadoop之mapreduce参数大全-3

51.指定Shuffle传输过程中可以同时连接的节点数mapreduce.shuffle.max.connections是HadoopMapReduce中的一个配置参数，用于指定Shuffle传输过程中可以同时连接的节点数
OnePandas·2024-01-10 05:57

Hadoop体系结构之 HDFS

HDFS采用主从（Master/Slave）结构模型，一个HDFS集群是由一个NameNode和若干个DataNode组成的（在最新的Hadoop2.2版本已经实现多个NameNode的配置-这也是一些大公司通过修改
Alukar·2024-01-10 05:05

iMazing 2破解版2024最新激活补丁crack

为了让用户可以不花钱就可以免费的使用这款软件，这里小编为大家带来了iMazing2破解补丁，无需永久激活码或离线激活码，即可完美成功激活软件，从而让你无需付费就能免费使用所有功能，其详细的安装教程可参考下文操作
tubage2023·2024-01-10 05:23

Java大数据学习~Hadoop初识三Yarn模式

我们都知道在如今的Hadoop中主要有三个重要的执行管理器。一个HDFS,一个MapReduce,还有就是我们今天要看的YARN。
胖琪的升级之路·2024-01-10 05:55

澳门地区3DTiles数据Cesium加载效果展示

这个工具解决了如何将全球覆盖范围最广的谷歌倾斜摄影数据能够转换为3DTiles数据离线部署使用的难题，使谷歌全球倾斜模型数据全部转换为3DTiles数据成为可能，本篇文章介绍使用转换工具
按图索迹·2024-01-10 03:27

Linux部署webrtc-streamer不完全教程

一、部署webrtc-streamer二、安装gcc-8.2.0（centos8不需要安装）离线2022-11-2500:23:18URL:ftp://gcc.gnu.org/pub/gcc/infrastructure
吭哧瘪肚的万能工·2024-01-10 03:41

linux离线安装git

首先需要有一台有网的linux，下载git源码包下载地址Indexof/pub/software/scm/git/我这里下载的是git-2.9.5.tar.gz，依次执行如下命令进行编译#在有网的环境中，编译git，然后打包拿到内网直接用#下载git-2.9.5.tar.gz，放到/usr/local/cd/usr/localtar-zxvfgit-2.9.5.tar.gzmvgit-2.9.5g
学习使我快乐——玉祥·2024-01-10 02:32

linux离线安装nodejs

官网下载对应的包我这里是这个node-v16.20.2-linux-x64.tar.xz，安装在/soft文件夹下一般安装这些运行环境，用管理员或者root安装最好cd/softtar-xvfnode-v16.20.2-linux-x64.tar.xzmvnode-v16.20.2-linux-x64node-v16.20.2cdnode-v16.20.2/bin/ln-s/soft/node-v
学习使我快乐——玉祥·2024-01-10 02:02

[软件工具]AI软件离线表格识别工具使用教程图像转excel转表格可复制文字表格导出实时截图识别成表格

【官方框架地址】https://github.com/PaddlePaddle/PaddleOCR.git【算法介绍】PaddleOCR是一个基于PaddlePaddle框架的开源光学字符识别（OCR）工具库，由百度公司开发。它提供了一套完整的OCR解决方案，包括文字检测、文字识别以及版面分析等功能。PaddleOCR旨在帮助开发者和研究者快速构建、训练并部署OCR系统，同时提供灵活性以适应不同的
FL1623863129·2024-01-10 02:05

RT-Thread 线程管理（二）

线程的管理方式下图描述了线程的相关操作，包含：创建/初始化线程、启动线程、运行线程、删除/脱离线程。
饼干饼干圆又圆·2024-01-10 02:01

分享 | Figma汉化版插件

https://figma.cool/也可以获取离线安装包自行安装。1.点击获取离线安装包。2.解压安装包。3.打开Google
清风小楼兰·2024-01-10 01:17

O2O、B2B、P2P…这些缩写是啥意思？

一、O2OO2O，是OnlineToOffline的缩写即在线离线/线上到线下，是指将线下的商务机会与互联网结合，让互联网成为线下交易的平台，这个概念最早来源于美国。
冇味001·2024-01-10 01:16

Hive的复杂数据类型

复杂数据类型：array、map、struct1.数组array，里边不能装不同类型的数据[hadoop@hadoop001data]$morehive_array.txtzhangsanbeijing
白面葫芦娃92·2024-01-10 00:35

1.2.2.5MapReduce实例

总目录:https://www.jianshu.com/p/e406a9bc93a9Hadoop-子目录：https://www.jianshu.com/p/9428e443b7fd天气案例经典案例myclient.java
寒暄_HX·2024-01-10 00:53

不通过微软商店进行安装 UWP 软件

参考：不通过微软商店下载安装uwp应用_uwp应用只能去商店下载吗-CSDN博客离线下载和安装UWP(windows应用商店)软件-赵青青-博客园UWP程序安装正确步骤(例:华硕奥创安装错误200)-哔哩哔哩
我是个烧饼啊·2024-01-10 00:54

Hadoop集群搭建：4.修改Hadoop的配置文件、节点启动

配置文件的路径：/module/hadoop-2.7.2/etc/hadoop1.核心配置文件配置core-site.xml,命令：vicore-site.xml在该文件的中config范围内编写如下配置
丶珍视当下·2024-01-09 23:38

【学习笔记】尚硅谷Hadoop大数据教程笔记

本文是尚硅谷Hadoop教程的学习笔记，由于个人的需要，只致力于搞清楚Hadoop是什么，它可以解决什么问题，以及它的原理是什么。至于具体怎么安装、使用和编写代码不在我考虑的范围内。
棉花糖灬·2024-01-09 23:17

《Hadoop大数据技术原理与运用》知识点总结

Hadoop学习过程中的一些笔记参考书籍《Hadoop大数据技术原理与应用》清华大学出版社黑马程序员/编著1.什么是大数据？大数据的四个特征是什么？
呆小黎·2024-01-09 22:47

笔记：分布式大数据技术原理（一）Hadoop 框架

ApacheHadoop软件库是一个框架，它允许使用简单的编程模型，实现跨计算机集群的大型数据集的分布式处理。
WeeeicheN·2024-01-09 22:17

笔记：分布式大数据技术原理（三）Spark

ApacheSpark是一个围绕速度、易用性和复杂分析构建的大数据处理框架，最初在2009年由加州大学伯克利分校的AMPLab开发，并于2010年成为Apache的开源项目之一，与Hadoop和Storm
WeeeicheN·2024-01-09 22:17

第一章 大数据Hadoop学习笔记(一）

一、存储单位按顺序给出数据存储单位:bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB。一般TB、PB、EB为单位的数据为大数据。1Byte=8bit1K=1024Byte1MB=1024K1G=1024M1T=1024G1P=1024T二、大数据主要解决海量数据的采集、存储和分析计算问题。三、大数据特点(4V)Volume(大量)、Velocity(高速)、Var
Thanks.·2024-01-09 22:17

大数据技术学习笔记之Hadoop框架基础1-Hadoop介绍及伪分布式部署

、java变量-》安装部署配置环境-》开发-》熟练的使用，了解基本原理-》java集合、线程、javaweb-》深入了解架构、设计思想、性能调优-》堆、栈、JVM，内存优化，架构设计-》方法：-》掌握hadoop
黄剑锋1996·2024-01-09 22:16

大数据技术原理与应用学习笔记（八）

大数据技术原理与应用学习笔记（八）本系列历史文章Hadoop再探讨Hadoop的优化与发展Hadoop1.0到Hadoop2.0不断完善的Hadoop生态系统HDFS2.0新特性HDFSHA（高可用性）
Ragnaros the Firelord·2024-01-09 22:46

大数据技术原理与应用笔记

NoSql入门文章目录一、大数据概述1.1大数据时代1.2大数据的概念和影响1.3大数据的应用1.4大数据的关键技术1.5大数据,物联网和云计算1.5.1云计算1.5.2物联网检测题二、大数据处理架构Hadoop2.1hello
Moliay·2024-01-09 22:16

个人笔记：分布式大数据技术原理（一）Hadoop 框架

大家想了解更多大数据相关内容请移驾我的课堂：大数据相关课程剖析及实践企业级大数据数据架构规划设计大厂架构师知识梳理：剖析及实践数据建模剖析及实践数据资产运营平台ApacheHadoop软件库是一个框架，
garagong·2024-01-09 22:15

HDFS相关Shell命令

文章目录上传相关操作下载相关操作HDFS直接操作上传相关操作1）-moveFromLocal：从本地剪切粘贴到HDFShadoopfs-moveFromLocal.
欲无缘·2024-01-09 22:03

HDFS概述

定义HDFS（HadoopDist
欲无缘·2024-01-09 22:32

Flume的安装

下载地址：http://archive.apache.org/dist/flume/1.解压apache-flume-1.7.0-bin.tar.gz到/opt/module/目录下[honey@hadoop102software
静宸丶水默含声·2024-01-09 19:32

EOS区块链PHP开发包

1.开发包概述EosTool的目的是消除使用PHP开发EOS区块链应用的痛苦，例如：通过Nodeos和Keosd的RPC接口调用其功能离线生成EOS格式的私钥和公钥使用本地私钥生成符合EOS要求的交易签名将交易对象序列化为
编程狂魔·2024-01-09 19:30

结构化搜索_在案例中实战使用terms搜索多个值以及多值搜索结果优化

1、为帖子数据增加tag字段POST/forum/article/_bulk{"update":{"_id":"1"}}{"doc":{"tag":["java","hadoop"]}}{"update
Shaw_Young·2024-01-09 19:23

银河麒麟系统4.0.2离线安装MySQL教程

银河麒麟系统4.0.2离线安装MySQL教程（Ubuntu离线安装MySQL教程）https://www.jianshu.com/p/478dc7c9b9e0.这个教程很详细，我不再多说，而且亲测有效；
ctrl+shift+delete·2024-01-09 18:45

Flume实时读取本地/目录文件到HDFS

准备工作二、实时读取本地文件到HDFS（一）案例需求（二）需求分析（三）实现步骤三、实时读取目录文件到HDFS（一）案例需求（二）需求分析（三）实现步骤一、准备工作Flume要想将数据输出到HDFS，必须持有Hadoop
Francek Chen·2024-01-09 18:38

[超超超超超超详细] Linux Centos7搭建Hadoop集群及运行MapReduce分布式集群

版本：Centos7Hadoop3.2.0JDK1.8虚拟机信息：内存3.2G处理器2*2内存50GISO：Centos-7-x86_64-DVD-2009一、在虚拟机上搭建LinuxCentos7略二
没事多学习_Qi·2024-01-09 17:38
上一页 35 36 37 38 39 40 41 42 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他