hadoop学习积累

Windows11编译Hadoop3.3.6源码

kontext-tech/winutils还未发布3.3.6版本，因此尝试源码编译目录环境和安装包准备，见2zlib编译方法一：方法二：配置文件更改1.maven阿里云镜像2.Node版本3.越过Javadoc检查编译HadoopError
斐硕人·2023-11-30 13:33

数据仓库搭建

目录1数据仓库概念1.1什么是数据仓库1.2OLTP与OLAP2项目需求及架构设计3项目框架4框架版本选型4.1Hadoop版本综述4.2社区版与第三方发行版的比较4.2.1.Apache社区版4.2.2
赵广陆·2023-11-30 13:32

00Hadoop数据仓库平台

在这里是学习大数据的第一站什么是数据仓库常见大数据平台组件及介绍什么是数据仓库在计算领域，数据仓库（DW或DWH）也称为企业数据仓库（EDW），是一种用于报告和数据分析的系统，被认为是商业智能的核心组件。数据仓库是来自一个或多个不同来源的集成数据的中央存储库。它们将当前和历史数据存储在一个位置，用于为整个企业的员工创建分析报告。这对公司来说是有益的，因为它使他们能够询问数据并从数据中汲取见解并做出
kk_io·2023-11-30 13:29

2019-12-11

Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。
diedfish_qyf·2023-11-30 11:41

Ubuntu 文件系统成为只读模式的解决办法

虚拟机环境的Linux系统由于是虚拟化虚拟出来的主机环境，因此经常会出现一些操作系统的问题，今天我遇到了一个Ubuntu操作系统文件系统成了只读模式，无法进行系统的操作，由于出问题的主机是我个人搭建的Hadoop
Kevin-K先森·2023-11-30 10:46

Hadoop-HDFS详解与HA，完全分布式集群搭建(细到令人发指的教程)

是什么hdfs的由来hdfs架构体系hdfs的优缺点优点缺点二、HDFS_block简介和注意事项Block拆分标准三、HDFS_block安全与管理Block数据安全Block的管理效率四、HDFS_Hadoop3
毫无感情的dj·2023-11-30 10:06

Hadoop-HDFS角色工作机制

一、角色职责介绍  HadoopDistributedFileSystem(HDFS,分布式文件系统):HDFS是Hadoop应用程序使用分布式存储，HDFS集群主要由管理文件系统元数据的NameNode
H.S.T不想卷·2023-11-30 10:33

【大数据Hadoop】HDFS-Namenode-format格式化的源码步骤分析

Namenodeformat流程格式化命令源码解读初始化操作格式化操作本地写VERSION文件JournalManager的格式化持久化FsImage文件流程根据配置项获取nameserviceId、namenodeId判断配置项dfs.namenode.support.allow.format是否允许格式化，一般生产环境建议配置，防止误操作格式化了已有数据。获取格式化的目录（fsImage和ed
笑起来贼好看·2023-11-30 10:30

大数据技术之Hadoop（HDFS）

2.HDFS定义HDFS（HadoopDistributedFileSystem），它是一个文件系统，用于存储文件，
江苏彭与晏·2023-11-30 10:23

大数据 - Hadoop - HDFS

前言Hadoop是一个专为离线和大规模数据分析而设计的，并不适合那种对几个记录随机读写的在线事务处理模式。
蒙蒙的林先生·2023-11-30 10:21

大数据Hadoop-HDFS_架构、读写流程

大数据Hadoop-HDFS基本系统架构HDFS架构包含三个部分：NameNode，DataNode，Client。NameNode：NameNode用于存储、生成文件系统的元数据。运行一个实例。
大沙头三马路·2023-11-30 09:48

大数据-hadoop-hdfs

Hadoop分布式文件系统(HDFS)是指被设计成适合运行在通用硬件(commodityhardware)上的分布式文件系统（DistributedFileSystem）。
像影子追着光梦游_·2023-11-30 09:48

大数据Hadoop-HDFS_元数据持久化

大数据Hadoop-HDFS_元数据持久化（1）在HDFS第一次格式化后，NameNode（即图中的主NameNode）就会生成fsimage和editslog两个文件；（2）备用NameNode（即图中的备
大沙头三马路·2023-11-30 09:14

【物联网与大数据应用】Hadoop数据处理

Hadoop是目前最成熟的大数据处理技术。
Bosenya12·2023-11-30 09:06

Map和Reduce在Hadoop与Python中有何异同？

Hadoop是一个大数据处理平台，也是一个集群，能够对海量数据进行存储和运算。MapReduce是Hadoop众多组件当中的一个。
值得一看的喵·2023-11-30 09:25

阿里云ECS-Centos7.9集群部署Redis服务遭木马攻击

阿里云ECS-Centos7.9集群部署Redis服务遭木马攻击#背景阿里云ECS-Centos7.9集群:hadoop202,hadoop203,hadoop204hadoop202启动redis-server
start@today·2023-11-30 07:45

MapReduce的基础知识

1、什么是MapReduceHadoopMapReduce是一个分布式计算框架，用于轻松编写分布式应用程序，这些应用程序以可靠，容错的方式并行处理大型硬件集群（数千个节点）上的大量数据（多TB数据集）MapReduce
huan1993·2023-11-30 07:44

scp（secure copy）安全拷贝和rsync远程同步的区别

（fromserver1toserver2）（2）基本语法#命令递归要拷贝的文件路径/名称目的用户@主机:目的路径/名称scp-r$pdir/$fname$user@hadoop$host:$pdir/
宇文智·2023-11-30 05:09

Hadoop学习笔记---大数据概论入门

第一章：大数据概念大数据是指无法在一定时间范围内，用常用的工具软件进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。大数据主要解决海量数据的采集、存储和分析计算问题。按顺序给出存储单位：bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB。1Byte=8bit1KB=1024MB1MB=102
沉迷技术不能自拔·2023-11-30 05:14

Hadoop入门笔记

第1章Hadoop概述1.1Hadoop是什么1.2Hadoop发展历史（了解）1.3Hadoop三大发行版本（了解）Hadoop三大发行版本：Apache、Cloudera、Hortonworks。
阳宝宝的向日葵·2023-11-30 05:44

Hadoop入门+组成学习笔记

Hadoop学习笔记Hadoop的优势（4高）1.高可靠性—Hadoop底层有多个数副本，保存再不同的服务器里，即使一台计算机出现故障，也不会丢失数据2.高扩展性—可以添加多个节点3.高效性—再MapReduce
Fan_Coder·2023-11-30 05:14

Hadoop入门学习笔记-第五天（hadoop-hive安装部署与配置笔记）

1.准备安装包：MySQL-5.6.26-1.linux_glibc2.5.x86_64.rpm-bundlemysql-connector-java-5.1.39.jar（驱动,需要放入/hive/lib）apache-hive-1.2.1-bin.tar.gz2.安装mysql数据用于储存元数据，hive自带Derby,但该数据库不稳定，使用mysql作为元数据管理1）.只需要安装在集群里面的
渣男程序员007·2023-11-30 05:44

Hadoop入门学习笔记-第六天（hive数据库命令相关操作）

hive命令行操作/user/hive/warehouse（hdfs目录）)说明：hive创建的数据库和数据库表都存在hdfs,一般默认目录为：/user/hive/warehouse1…创建hive的数据库1.hive创建数据库的最简单写法和mysql差不多：createdatabasefoo;2.仅当名为foo的数据库当前不存在时才创建：createdatabaseifnotexistsfoo
渣男程序员007·2023-11-30 05:44

Hadoop入门学习笔记

视频课程地址：https://www.bilibili.com/video/BV1WY4y197g7课程资料链接：https://pan.baidu.com/s/15KpnWeKpvExpKmOC8xjmtQ?pwd=5ay8这里写目录标题一、VMware准备Linux虚拟机1.1.VMware安装Linux虚拟机1.1.1.修改虚拟机子网IP和网关1.1.2.安装Linux虚拟机1.2.VMwa
faith瑞诚·2023-11-30 05:43

Hadoop入门学习笔记-第四天（wordCount实例代码编写笔记）

1.新建一个maven项目2.pom文件中引入以下jar包org.apache.hadoophadoop-client2.7.3org.apache.hadoophadoop-common2.7.3org.apache.hadoophadoop-hdfs2.7.3org.apache.hadoophadoop-client2.7.33
渣男程序员007·2023-11-30 05:43

Hadoop入门学习笔记-第二天 （HDFS：NodeName高可用集群配置）

说明：hdfs：nn单点故障，压力过大，内存受限，扩展受阻。hdfsha：主备切换方式解决单点故障hdfsFederation联邦：解决鸭梨过大。支持水平扩展，每个nn分管一部分目录，所有nn共享dn资源。使用JN集群保证数据一致性，使用zk集群解决主备切换1.若使用主备节点，常常存在的问题：强一致性，若一致性。强一致性（同步）：nn主节点必须等到nn副本返回成功后，才能向客户端返回成功。主和副本
渣男程序员007·2023-11-30 05:13

Hadoop入门学习笔记-第三天（Yarn高可用集群配置及计算案例）

什么是mapreduce首先让我们来重温一下hadoop的四大组件：HDFS：分布式存储系统MapReduce：分布式计算系统YARN：hadoop的资源调度系统Common：以上三大组件的底层支撑组件
渣男程序员007·2023-11-30 05:13

Flink-shell

1.FlinkSQl客户端启动一个flink的集群可以使用flink独立集群，也可以使用yarn-session.sh1.启动Hadoop集群2.yarn-session.sh-d3.sql-client.sh1.1sql-client.sh-isql-client.sh-i
大学生爱编程·2023-11-30 04:46

Spark3 on Yarn分布式集群安装部署(YARN模式)

Spark3onYarn分布式集群安装部署一、配置spark-defaults.conf二、配置spark-env.sh三、配置yarn-site.xml四、启动Hadoop和Spark集群五、基于YARN
最笨的羊羊·2023-11-30 03:57

spark on yarn模式安装部署

配置spark之前，请自行部署Hadoop2.7.2，JDK1.8，ssh免密码登录等准备工作。
乖乖猪001·2023-11-30 03:56

Spark集群安装（On Yarn）

说明：基于已经搭建完成的Hadoop集群，关于Hadoop集群搭建，可参考：https://blog.csdn.net/weixin_37901366/article/details/13017066一
maplea2012·2023-11-30 03:55

【Spark】on yarn集群模式安装部署

官方文档http://spark.apache.org/docs/latest/running-on-yarn.html前提安装启动Hadoop(需要使用HDFS和YARN)安装单机版Spark不需要集群
没去过埃及的法老·2023-11-30 03:23

Spark on YARN的部署

SparkonYARN的原理就是依靠yarn来调度Spark，比默认的Spark运行模式性能要好的多，前提是首先部署好hadoopHDFS并且运行在yarn上，然后就可以开始部署sparkonyarn了
GoodInSun·2023-11-30 03:23

spark on yarn集群的安装与搭建

注：(搭建sparkonyarn需要jdk，hadoop环境，其搭建可参照前面jdk和hadoop的安装与搭建).1.解压spark安装包[root@master/]#tar-zxvf/h3cu/spark
爱做梦的小鱼。·2023-11-30 03:52

spark on yarn 安装部署

准备下载spark,地址：http://spark.apache.org/downloads.html下载不带hadoop预编译环境的spark最新版本，好处是可以自由使用最新版本的hadoop下载hadoop
积极流年·2023-11-30 03:51

ambari部署hadoop

ambari搭建hadoop集群为何选用ambari安装前准备部署节点间做免密登陆搭建nginx服务创建repo源安装mysql服务安装ambari服务启动ambari服务登陆ambari-ui配置为何选用
hello_world_99·2023-11-30 03:23

ambari运维问题记录

综合问题记录1、hdfs无法启动错误：2018-04-2514:36:09,293-Retryingafter10seconds.Reason:Executionof'/usr/hdp/current/hadoop-hdfs-namenode
人生匆匆·2023-11-30 03:23

本地IDEA、spark程序远程读取hive数据

1下载winutilsgithub-winutils各个版本集合下载里面和自己服务器版本对应的，配置HADOOP_HO
一加六·2023-11-30 02:08

idea对spark程序进行远程提交和调试

第一部分远程提交本文以WordCount程序来实现idea对spark程序进行远程提交和调试环境利用虚拟机搭建拥有3台主机的spark集群hadoop102hadoop103hadoop104IntelliJIDEA2020.3.2
akenseren·2023-11-30 02:06

Hadoop大数据开发__Spark on YARN模式分布式集群安装部署

1、下载解压sparkcd/home/hadoop/apptar-zxvfspark-3.3.0-bin-hadoop3.tgzrmspark-3.3.0-bin-hadoop3.tgzln-sspark
姚华军·2023-11-30 02:32

spark写出分布式的训练算法_Spark分布式计算执行模型

引言相对Hadoop,Spark在处理需要迭代运算的机器学习训练等任务上有着很大性能提升，同时提供了批处理、实时数据处理、机器学习以及图算法等一站式的服务，因此最近大家一起来学习Spark，特别是MLLib
weixin_39965673·2023-11-30 02:01

Spark 分布式环境搭建

Spark分布式环境搭建1.scala环境搭建1）下载scala安装包scala2.12.10.tgz安装到/usr/scala[root@hadoop001scala]#tar-zxvfscala-2.12.10
陈同学�·2023-11-30 02:01

Spark完全分布式搭建

Spark完全分布式搭建教程(Standalone:Master+Slave）分析:1.配置好IP2.修改主机名3.做好IP主机映射4.关闭防火墙5.配置SSH免密登入6.安装Java7.安装Hadoop
明天要开心·2023-11-30 02:00

Spark2.3.1的安装运行(伪分布式)

一、spark的安装1、本地安装1、在安装spark之前需要先安装JDK和scala环境，hadoop环境2、解压安装即可2、standalone安装模式1、解压安装，配置环境变量(通过spark-shell
翻斗花园牛爷爷..·2023-11-30 02:30

搭建Spark伪分布式

文章目录零、本讲学习目标一、搭建伪分布式Hadoop（一）登录ied虚拟机（二）配置免密登录1、在ied虚拟机上生成密钥对2、将生成的公钥发送到本机3、验证虚拟机是否能免密登录本机（三）下载与Spark
jzy2024·2023-11-30 02:00

Spark完全分布式搭建（On Yarn）

目录一、集群规划二、配置Spark路径三、修改配置文件1.spark-env.sh2.修改slaves文件四、启动集群1.先起动Hadoop的HDFS和Yarn2.启动Spark五、Web查看集群启动情况六
Congee小周·2023-11-30 02:00

Spark分布式安装模式

Spark分布式环境安装目前有四种模式：1.Standalone：Spark自带的简单群资源管理器，安装较为简单，不需要依赖Hadoop；2.HadoopYARN:使用YARN作为集群资源管理，安装需要依赖
qq_58647543·2023-11-30 02:59

抖音SEO矩阵系统源码开发关键要素详解！

在该系统的开发过程中，多种编程语言（如Java、Python等）和框架技术（如Hadoop、Spark、PyTorch等）被应用，以提高数据处理和分析的效率。
矩阵源码_Muoyu111·2023-11-30 01:26

The Log: What every software engineer should know about real-time data's unifying abstraction

LinkIn2013年的日志与流处理架构，bolg中涉及到了大量的参考资料，与我的架构类似，但是基于JAVAHadoop生态，并用Kafka作为日志底层文章地址：https://engineering.linkedin.com
doubeye·2023-11-30 00:23

谨慎Apache-Zookeeper-3.5.5以后在CentOS7.X安装的坑

资源环境列表如下：序号依赖组件说明1jdk-8u201-linux-x64.tar.gz基础的jdk依赖2hadoop-3.1.3.tar.gzhadoop依赖3apache-zookeeper-3.5.7
夜郎king·2023-11-30 00:25
上一页 41 42 43 44 45 46 47 48 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他