hadoop学习积累

hadoop(6)--NameNode元数据管理(3)

今天分享的的是NameNode中edit日志文件怎么和fsimage合并的，又是什么时候进行合并的，谁负责合并的，好的，带着这几个问题来思考1，先来一张图说明合并过程在这个过程中很好的解释了edit日志文件怎么和fsimage合并的，又是什么时候进行合并的，谁负责合并的，下来我在用文字描述一下1，默认情况下，当3600秒/edits文件达到64M的时候，要进行合并（checkPoint）操作，这时
ROCK_杰哥·2023-11-25 07:33

玩转人工智能（11）使用Pyspark上手机器学习

文件系统HDFSHadoopDistributedFileSystem，简称HDFS，是一个分布式文件系统。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。
Moscar_M·2023-11-25 07:10

大数据组件图谱

大数据组件图谱文件系统数据存储内存技术数据搜集消息系统数据处理查询引擎分析和报告工具调度与管理服务机器学习开发平台文件系统HDFSHadoopDistributedFileSystem，简称HDFS，是一个分布式文件系统
饮水思源09·2023-11-25 07:40

18-Sqoop、DataX和Azkaban的介绍

Sqoop10.4Sqoop的简介10.4.1Sqoop产生背景对于工作中经常遇到的问题的提出如何将关系型数据库中某张表的数据抽取到Hadoop（HDFS/Hive/HBase）上；如何将Hadoop上的数据导出到关系型数据库中对于问题的传统的解决通常情况下是通过开发
大数据下的画像人·2023-11-25 07:07

（二）大数据---Hadoop组件介绍，区别

YARN:分布式资源管理MapReduce、Spark、Flink:分布式计算框架Yarn/Mesos：分布式资源管理器zookeeper：分布式协作服务sqoop：数据同步工具hive/Impala基于Hadoop
（─__─）·2023-11-25 07:37

Flume采集Kafka并把数据sink到OSS

安装环境Java环境,略(Flume依赖Java)Flume下载,略Scala环境,略(Kafka依赖Scala)Kafak下载,略Hadoop下载,略(不需要启动,写OSS依赖)配置Hadoop下载JindoSDK
不住在隔壁的老王·2023-11-25 07:34

Flink物理分区

默认策略轮询，会将数据轮询发送给下游任务valfsEnv=StreamExecutionEnvironment.getExecutionEnvironmentfsEnv.socketTextStream("HadoopNode00
深夜的星星·2023-11-25 06:07

常用的HDFS操作

常用的HDFS操作利用Hadoop提供的shell命令完成任务(1)向HDFS中上传任意文本文件，如果指定的文件在HDFS中已经存在，由用户指定是追加到原有文件末尾还是覆盖原有文件(2)从HDFS中下载指定文件
TheHuan_9·2023-11-25 05:55

HDFS客户端上传下载文件流程

1.3客户端根据配置（dfs.blocksize-块大少、hadoop2.x默认为128M）将文件切成N个block。
_Kafka_·2023-11-25 05:51

HDFS文件上传和下载流程

1、HDFS上传文件客户端请求上传文件：客户端（通常是Hadoop集群中的一个节点）发出上传文件的请求，改请求包括文件的本地路径、文件名以及在HDFS中的目标路径NameNode验证请求：客户端请求首先到达集群中的
鲸落万物·2023-11-25 05:49

3.hadoop系列之HDFS架构及文件上传下载

本文我们学习Hadoop中HDFS架构、优缺点、文件块大小、通过shell命令文件上传下载1.HDFS使用场景适合一次写入，多次读取。
沈健_算法小生·2023-11-25 05:43

Hadoop之MapReduce

文章目录概要整体架构流程技术名词解释技术细节小结MadReduce概要定义：是一个分布式运算程序的编程框架，是Hadoop内部编写的。
僖僖cc·2023-11-25 04:41

搜狗日志查询分析 (MapReduce+Hive+idea综合实验）

前提条件：安装好hadoop2.7.3（Linux系统下）安装好MySQL（Windows或Linux系统下）安装好Hive（Linux系统下）参考：Hive安装配置题目：从搜狗实验室下载搜索数据进行分析下载的数据包含
CrazyHacking望·2023-11-25 04:41

Hadoop平台搭建与数据分析实验报告

目录Hadoop简介实验一：构建虚拟机网络（一）VirtualBox的安装及配置（二）Ubuntu虚拟机的安装及配置（三）修改Ubuntu系统内的网络配置1.查看网卡状态2.更改配置文件3.启动网卡4.
椅糖·2023-11-25 04:09

如何解除hadoop安全模式问题

hadoop安全模式无法关闭问题问题描述：今天在hadoop上传递数据时，由于数据文件太大，运行到一半突然复制中断，导致出现了安全模式，报“namenodeisinsafemode”的错误提示。
青枫浦上看桃花·2023-11-25 03:16

Spark-----第 2 章 Spark 部署模式

ClusterManager），分别为：Standalone：独立模式，Spark原生的简单集群管理器，自带完整的服务，可单独部署到一个集群中，无需依赖任何其他资源管理系统，使用Standalone可以很方便地搭建一个集群；HadoopYARN
Wzideng·2023-11-25 01:18

Spark是什么？以及它有哪些应用场景呢？

首先说说Spark的起源：Spark是UCBerkeleyAMPlab所开源的类HadoopMapReduce的通用的并行计算框架，Spark基于mapreduce算法实现的分布式计算，拥有HadoopMapReduce
陈影鸿在进步·2023-11-25 01:07

HDFS命令行操作熟练

前置命令hadoopfshdfsdfs实际命令hadoopfs-helprm帮助hadoopfs-ls显示目录信息，递归-lsrhadoopfs-mkdir/user/tguigu在hdfs上创建目录hadoopfs-moveFromlocaltest.txt
秋风暮霞挽红曲_5f60·2023-11-24 22:20

ElasticSearch（ES）——概述/API

1.4ES的特点1.5Lucene、Nutch、ElasticSearch关系二、基本概念ES概念和MySQL关系对比三、安装ES3.1解压、改名3.2修改配置文件3.3教学环境启动优化分发3.4修改hadoop163
平平无奇小码农·2023-11-24 22:15

大数据之Hadoop流存储

通过对Hadoop分布式计算平台最核心的分布式文件系统HDFS、MapReduce处理过程，以及数据仓库工具Hive和分布式数据库Hbase的介绍，基本涵盖了Hadoop分布式平台的所有技术核心。
陌名_9b41·2023-11-24 18:01

hadoop2.x linux集群部署

hadoop2.x集群部署下载hadoop需要提前准备好jdk1.8和rsync和ssl集群信息解压安装配置环境变量配置site配置文件(/hadoop/etc/hadoop目录下)core-site.xmlhdfs-site.xmlyarn-site.xmlmapred-site.xmlhadoop-env.sh
何浩翔·2023-11-24 18:21

ARTS-第八周第九周

Tips/Technology一、Kerberos与hadoop生态相关配置与操作HDFS使用kerberosYARN、Spark、Hive使用kerberoskerberos+LDA
梧上擎天·2023-11-24 17:02

Spark核心机制总结

(4)与HadoopMa
Icedzzz·2023-11-24 16:33

大数据集群报错集锦及解决方案

文章目录前言1Hadoop1.1Yarn上执行MR计算报错空指针1.2NameNode启动失败2Hive2.1Hive数据量过大3Kafka3.1Kafka集群部分机器起不来4Azkaban4.1Azkaban
陈舟的舟·2023-11-24 16:22

Apache Doris物化视图介绍

本身不依赖任何其他系统，相比hadoop生态产品更
hf200012·2023-11-24 16:19

实时分析海量新数据的难点 和解决方案

解决方案：使用分布式计算和存储技术，如Hadoop、Spark、Kafka等，将数据分散存储在多个节点上，同时进行分布式计算和处理，以实现数据的实时处理和分析。2.数据质量的保障：海量新
29597739c454·2023-11-24 15:56

Hadoop集群环境下HBase集群slave节点总是掉问题

HBase表格设计：create'DATA',{NAME=>'0',VERSIONS=>3,BLOCKSIZE=>'65535',BLOCKCACHE=>'false',IN_MEMORY=>'true',MIN_VERSIONS=>'1',TTL=>'18000'},{NAME=>'1',VERSIONS=>3,BLOCKSIZE=>'65535',BLOCKCACHE=>'false',IN_
拉普达男孩·2023-11-24 15:50

linux过滤指定目录下指定日期的文件

-newermt2023-11-13-execls-l{}\;-rw-r--r--1hivehadoop3297Nov1011:08.
雷神乐乐·2023-11-24 15:09

Zookeeper集群的选举机制

ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。
攀登者-刘小懒·2023-11-24 14:36

flink 问题总结（5）如何读取Kerberos认证的hadoop数据

org.apache.hadoop.security.AccessControlException:SIMPLEauthenticationisnotenabled.Available:[TOKEN,KERBEROS
ZYvette·2023-11-24 14:39

使用yum安装jdk，并配置环境变量

写在前面:yum安装的jdk，默认不用配置环境变量就可以java-version显示结果，但是却不能在系统环境变量中查看到JAVA_HOME，由于其他应用需要这个环境变量，比如hadoop，所以这里说明如何进行
码上无bug·2023-11-24 13:36

hive 修复元数据命令 & 如何快速复制一张hive的分区表

1.复制建表语句2.从线上下载分区表数据hadoopfs-get/user/hive/warehouse/public.db/table_partition/.3.把分区数据put到线下表中hadoopfs-puttable_partitio
姜小嫌·2023-11-24 13:30

计算机毕业设计 基于Hadoop的物品租赁系统的设计与实现 Java实战项目 附源码+文档+视频讲解

博主介绍：✌从事软件开发10年之余，专注于Java技术领域、Python人工智能及数据挖掘、小程序项目开发和Android项目开发等。CSDN、掘金、华为云、InfoQ、阿里云等平台优质作者✌文末获取源码联系精彩专栏推荐订阅不然下次找不到哟————————————————计算机毕业设计《1000套》✌目录1、项目介绍及开发技术1.1项目介绍1.2开发技术2、系统功能设计结构图3、功能截图3.1前台
IT学长编程·2023-11-24 12:38

[1145]Hive导入csv文件

zs,231002,lis,24首先创建表createtableifnotexistscsv2(uidint,unamestring,ageint)rowformatserde'org.apache.hadoop.hive.serde2
周小董·2023-11-24 11:54

Hive系统配置及数据导入--【导入csv文件】

1、安装Hadoop环境、并安装Hive。
outside-R·2023-11-24 11:51

hive中导入csv_hadoop hive中怎么导入带引号的csv文件?

这边有个项目开始用hadoop来做数据分析,我们拿到一个csv文件,每一列都是双引号.格式如下“cola1″,”colb1″,”colc1”“cola2″,”colb2″,”colc2”现在想问下,在load
weixin_39531780·2023-11-24 11:49

【log4j漏洞】log4j 1.x漏洞依赖包解决方案

于是继续检查本地程序，在pom中一个个的排查依赖包，发现是hadoop相关的包引用到了log4j1.x，
秦拿希·2023-11-24 11:18

安装Hive并导入csv文件

并导入csv文件下载安装包下载hive：https://mirrors.aliyun.com/apache/hive/hive-3.1.3/apache-hive-3.1.3-bin.tar.gz下载hadoop
quick5g·2023-11-24 11:47

Hive导入csv文件

zs,231002,lis,24首先创建表createtableifnotexistscsv2(uidint,unamestring,ageint)rowformatserde'org.apache.hadoop.hive.serde2
鸭梨山大哎·2023-11-24 11:46

【大数据】Docker部署HMS(Hive Metastore Service)并使用Trino访问Minio

Presto使用Docker独立运行HiveStandaloneMetastore管理MinIO（S3）_hiveminio_BigDataToAI的博客-CSDN博客一.背景团队要升级大数据架构，需要摒弃hadoop
秦拿希·2023-11-24 11:35

【大数据实训】基于赶集网租房信息的数据分析与可视化(七)

温馨提示：文末有CSDN平台官方提供的博主的联系方式，有偿帮忙部署基于赶集网租房信息的数据分析与可视化一、实验环境（1）Linux：Ubuntu16.04（2）Python:3.6（3）Hadoop：3.1.3
AI_Maynor·2023-11-24 10:54

ubuntu操作系统中docker下Hadoop分布式前置环境配置实验

版本：centos7hadoop3.1.3javaJDK:1.8集群规划：masterslave1slave2HDFSNameNodeDataNodeDataNodeSecondryNameNodeDataNodeYARNNodeManagerResourceManageNodeManagerNodeManager1
芝士小熊饼干·2023-11-24 09:05

HBase本地安装Snappy

它直接关系到需要使用的Snappy以及Hadoop的版本。如果版本对不上，很可能出现链接本地动态链接库时的错误。操作操作其
AlstonWilliams·2023-11-24 09:08

Spark 数据倾斜及其解决方案

一、什么是数据倾斜对Spark/Hadoop这样的分布式大数据系统来讲，数据量大并不可怕，可怕的是数据倾斜。对于分布式系统而言，理想情况下，随着系统规模（节点数量）的增加，应用整体耗时线性下降。
沐白的微笑·2023-11-24 09:17

Hadoop原生态版安装

最近在学厦门大学的《大数据技术原理与应用》公开课，参考学习内容自己部署了一个Hadoop平台，整个分布式集群分一个Master服务器和两个Slave服务器，方便后面学习。
SMILE_NO_09·2023-11-24 09:27

Centos 7下分布式Hadoop2.7.7+Hive2.3.7安装教程

一、基本配置集群包括角色名称简称masterinspur5212m4.it.163.org以下简称m4slaveinspur5212m5.it.163.org以下简称m4slavelenovosr630.it.163.org以下简称sr二、JDK和SSH的配置修改三台机器的/etc/hostssudovim/etc/hosts添加内容：10.220.16.161inspur5212m5.it.16
XH_zhao·2023-11-24 08:45

Note31：Apache Atlas-0.8.4 安装配置

apache-atlas-0.8.4-sources.tar.gz把源码包上传到/opt/software目录编译环境：Maven-3.6.3编译（编译时间主要看下载相关jar包的速度）[kevin@hadoop112software
K__3f8b·2023-11-24 07:05

Spark算子综合应用案例

一.WordCount数据hadoopmapreduceyarnhdfshadoopmapreducemapreduceyarnlagoulagoulagou案例:Scala版defmain(args:
谷应泰·2023-11-24 07:24

重新使用hbase前

启动关闭Hadoop和HBase的顺序一定是：启动Hadoop—>启动HBase—>关闭HBase—>关闭Hadoop1.挂载共享文件夹到挂载点sudomount-tvboxsfvirtualmachineShare
北辰Charih·2023-11-24 06:19

大数据面试经验分享：探索大规模数据处理的技巧与实践

常见的大数据处理框架包括ApacheHadoop和Apache
星光璀璨下的梦幻舞台·2023-11-24 06:38
上一页 45 46 47 48 49 50 51 52 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他