研磨hadoop

Hadoop伪分布式安装配置

文章目录一、修改配置文件二、格式化NameNode三、配置yarn服务四、SSH免密码登录一、修改配置文件1.修改配置文件hadoop-env.sh在/usr/local/java/hadoop-2.7.7
T³3·2023-09-01 07:29

Hadoop完全分布式集群搭建

文章目录一、克隆二、网络配置三、SSH服务配置四、hadoop完全分布式配置一、克隆1.在虚拟机关机的状态下选择克隆2.开始克隆3.选择从当前状态创建4.创建一个完整的克隆5.选择新的虚拟机存储位置（选择内存充足的磁盘
T³3·2023-09-01 07:28

HDFS

FromHDFS:TheHadoopDistributedFileSystem(HDFS)isdesignedtostoreverylargedatasetsreliably,andtostreamthosedatasetsathighbandwidthtouserapplications.AssumptionsHardwarefailureisthenormratherthantheexcept
klory·2023-09-01 06:37

使用nginx-lua配置统一url自动跳转到hadoop-ha集群的active节点

下载安装nginx所用的依赖yum-yinstallgcczlibzlib-develpcre-developensslopenssl-devel下载nginxwgethttp://nginx.org/download/nginx-1.12.2.tar.gztar-xvfnginx-1.12.2.tar.gz稍后安装nginx安装lua语言yuminstallreadline-develcurl-
轻夏·2023-09-01 06:22

一百六十九、Hadoop——Hadoop退出NameNode安全模式与查看磁盘空间详情（踩坑，附截图）

一、目的在海豚跑定时跑kettle的从Kafka到HDFS的任务时，由于Linux服务器的某个文件磁盘空间满了，导致Hadoop的NodeName进入安全模式，此时光执行hdfsdfsadmin-safemodeleave
天地风雷水火山泽·2023-09-01 06:50

从零开始的Hadoop学习（五）| HDFS概述、shell操作、API操作

2）HDFS定义HDFS（HadoopDistributedFileSystem），它是一个文件系统，用于存储文件，
庭前云落·2023-09-01 06:20

HDFS Single Node Java API

HDFSSingleNodeJavaAPIJavaAPIpom.xml4.0.0com.lihaozehadoop1.0.0jarhadoophttp://maven.apache.org1.81.81.8UTF
李昊哲小课·2023-09-01 06:16

Deepin 图形化部署 Hadoop Single Node Cluster

Deepin图形化部署HadoopSingleNodeCluster升级操作系统和软件快捷键ctrl+alt+t打开控制台窗口更新apt源sudoaptupdate更新系统和软件sudoapt-ydist-upgrade
李昊哲小课·2023-09-01 06:40

0202hdfs的shell操作-hadoop-大数据学习

HDFS文件2.8HDFS数据删除操作3HDFS客户端-jetbrians产品插件3.1BigDataTools安装3.2配置windows3.3配置BigDataTools结语以下命令执行默认配置了hadoop
gaog2zh·2023-09-01 06:08

hadoop解决数据倾斜的方法

分析&回答1，如果预聚合不影响最终结果，可以使用conbine，提前对数据聚合，减少数据量。使用combinner合并,combinner是在map阶段,reduce之前的一个中间阶段,在这个阶段可以选择性的把大量的相同key数据先进行一个合并,可以看做是localreduce,然后再交给reduce来处理。2，使用2次mr的方式。第一次mr，在map输出是给key加上一个前缀，则可以把相同的ke
学一次·2023-09-01 05:46

2018-05-24

在敏感的面颊上，研磨浅浅的伤口。它愈合的过程，像天空揭开黎明。大地扎满生脆的短光。身上的绒毛整齐列队，这是一瞬间的过程，但使人愉悦。由此，我怀疑鸟群被嵌在春天的树上，并被随意移动。这是冲动还是假像？
北方的海洋·2023-09-01 04:00

hue负载均衡

Hue是开源的大数据工作平台,集成了hive，impala，spark,hadoop，sentry,oozie，hbase等常用大数据服务，基本能满足绝大部分公司的业务日常使用。
kevin_wf·2023-09-01 04:08

完整大数据学习路线，看了就会有所收获

大数据大数据学习路线1.Java基础——主要部分是JavaSE1.1Java初级1.2Java高级1.3其余常见基础......2.Linux基础——主要指的是Linux基本命令操作3.Hadoop生态学习
白振峰·2023-09-01 04:07

原生Hadoop环境下Impala的安装和使用

1.写在前面的话这是博主在社区版hadoop环境下学习impala时搭建的环境,亲测是可以用的.2.Impala的基本概念2.1什么是Impala  Impala就是使用SQL语句来操作Hive中的数据库和表
enoughgood·2023-09-01 04:34

初始化Hive元数据库时报错

执行初始化hive代码schematool-initSchema-dbTypemysql-verbose发现报错：org.apache.hadoop.hive.metastore.HiveMetaException
小辉懂编程·2023-09-01 00:52

Ambari实战-1:Ambari使用场景及介绍

ApacheAmbari是一种基于Web的集群管理工具，支持ApacheHadoop的供应，管理和监控。
qianmoQ·2023-09-01 00:24

大数据学习之路之HBASE

Hadoop之HBASE一、HBASE简介HBase是一个开源的、分布式的，多版本的，面向列的，半结构化的NoSql数据库，提供高性能的随机读写结构化数据的能力。
王小冬·2023-09-01 00:27

hadoop介绍

点击跳转https://blog.csdn.net/qq_52674050/article/details/125247171
LEI,·2023-08-31 23:15

win10下执行Hadoop命令报错：系统找不到指定的路径。Error: JAVA_HOME is incorrectly set. Please update D:\

问题描述当我们在Win10操作系统下安装hadoop时，输入hadoopversion，我们可能会遇到以下这种问题：但是检查java时：hadoop的环境变量也没问题。
关山煮酒·2023-08-31 23:09

Please update C:\hadoop\conf\hadoop-env.cmd解决方法

1.报错信息：cmd:输入hadoopversionError:JAVA_HOMEisincorrectlyset.PleaseupdateC:\hadoop\conf\hadoop-env.cmd如果
小菜鸟磊代码·2023-08-31 23:39

Error: JAVA_HOME is incorrectly set.

今天搞windows下的hadoop出现的问题，有图有真相。我一开始也入坑了，还好有百度，我斗胆总结了一下大佬的文章。分析一下问题，原因是hadoop没有配置Java环境（JDK)。
不羁_神话·2023-08-31 23:38

Windows安装Hadoop避坑（Error：JAVA_HOME is incorrectly set）

Windows安装Hadoop中遇到的一个问题，记录下来以备忘。在安装Hadoop之前需要安装Java。
superY25·2023-08-31 23:37

运行Hadoop中出现Error: JAVA_HOME is incorrectly set错误解决方案。D盘Program file安装Jdk

安装Hadoop后在配置hadoopenv.cmd的时候配置jdk错误。在cmd中java-version没有报错，所以极大可能你需要检查自己的jdk的路径。
miss_god·2023-08-31 23:07

【错误记录】安装 Hadoop 运行环境报错 ( Error: JAVA_HOME is incorrectly set. Please update xxx\hadoop-env.cmd )

文章目录一、报错信息二、问题分析三、解决方案总结:报错:Error:JAVA_HOMEisincorrectlyset.Pleaseupdatexxx\hadoop-env.cmdJDK安装在了C:\ProgramFiles
韩曙亮·2023-08-31 23:37

Idea 离线安装MavenRunHelper插件并排查Hbase中Guava冲突问题解决

今天新编写了一个Hbase组件，发现本地好好的，一上测试环境就报错，报错内容如下：Exceptioninthread"Thread-22"org.apache.hadoop.hbase.DoNotRetryIOException
Alex_81D·2023-08-31 22:23

大数据学习：Hive安装部署

此处以安装到node03为例；请大家保持统一使用hadoop普通用户操作1.1先决条件搭建好三节点Hadoop集群；node03上先安装好MySQL服务；1.2准备安装包下载hive的安装包http:/
zui初的梦想·2023-08-31 20:34

Springboot整合HBase

Springboot整合HBase数据库1、添加依赖com.spring4allspring-boot-starter-hbaseorg.springframework.dataspring-data-hadoop-hbase2.5.0
天道酬勤的博客·2023-08-31 16:46

linux scp命令

scp命令在开发时经常会遇到两台机器之间传文件或者安装包，这就用到了scp命令# scp [参数] 文件源 文件目标# 本地复制到远程         root@remote2:/opt/data/hadoop
拾光师·2023-08-31 15:05

spark对接aws s3以及兼容s3接口的对象存储

环境spark环境：spark-3.1.3-bin-hadoop3.2hadoop源码：hadoop3.2添加jar包我使用的是spark-3.1.3-bin-hadoop3.2这
铁人史大颗·2023-08-31 13:43

ELT已死，EtLT才是现代数据处理架构的终点!

目前大家使用大数据Hadoop时代，主要都是ELT方式，也就是加载到Hadoop里进行处理，但是实时数据仓库、数据湖的流行，这个ELT已经过时了，EtLT才是实时数据加载到数据湖和实时数据仓库的标准架构
·2023-08-31 12:09

Flume跨服务器监控日志数据

需求：对于web项目单独所部署的服务器，每天都会产生大量的nginx日志文件，我们需要定时对这些日志文件进行采集并上传到Hadoop集群进行离线分析，最后做出可视化。
炸鸡叔老白·2023-08-31 12:14

linux文件目录类、pwd 显示当前工作目录的绝对路径、列出目录的内容

1.2文件目录类1.2.1pwd显示当前工作目录的绝对路径pwd的全称是printworkingdirectory打印工作目录pwd（功能描述：显示当前工作目录的绝对路径）例如：[root@hadoop100
Redamancy_06·2023-08-31 12:08

linux scp命令

scp命令在开发时经常会遇到两台机器之间传文件或者安装包，这就用到了scp命令#scp[参数]文件源文件目标#本地复制到远程root@remote2:/opt/data/hadoop----->表示用户
·2023-08-31 11:27

Centos7 + Apache Ranger 2.4.0 部署

它可以对Hadoop生态的组件如HDFS、Yarn、Hive、Hbase等进行细粒度的数据访问控制。通过操作Ranger控制台,管理员可以轻松的通过配置策略来控制用户访问权限。
snipercai·2023-08-31 09:02

Hive-安装与配置（1）

本文章收录于专栏（点击传送）：【大数据学习】持续更新中，感谢各位前辈朋友们支持学习~文章目录1.Hive环境介绍2.搭建环境准备3.建立Hive元数据库4.安装配置Hive1.Hive环境介绍Hive在Hadoop
beixi@·2023-08-31 09:01

大数据实战项目（2）-数据采集、处理、分发流程所涉及到的框架及配置

对该实战项目的介绍及所使用的各种工具等可以查看这篇博客：大数据实战项目（1）-项目简介、开发技术、工具、架构等文章目录Linux环境准备常规设置项目配置ZooKeeper分布式集群部署HadoopHA架构与部署
xl132598798·2023-08-31 08:38

Haddoop大数据教程笔记_11_Hadoop辅助工具——Flume&Sqoop

目录前言1.Flume日志采集框架1.1Flume介绍1.1.1概述1.1.2运行机制1.1.4Flume采集系统结构图1.2Flume实战案例1.2.1Flume的安装部署1.2.2采集案例1.3更多source和sink组件2.sqoop数据迁移工具2.1概述2.2工作机制2.3sqoop实战及原理2.3.1sqoop安装2.4Sqoop的数据导入2.4.1语法2.4.2示例2.5Sqoop的
Snowing_inhope·2023-08-31 08:06

hadoop1.2.1伪分布式搭建

0.使用host-only方式将Windows上的虚拟网卡改成跟Linux上的网卡在同一网段注意：一定要将widonws上的WMnet1的IP设置和你的虚拟机在同一网段，但是IP不能相同1.Linux环境配置（windows下面的防火墙也要关闭）1.1修改主机名vim/etc/sysconfig/network1.2修改IPvim/etc/sysconfig/network-scripts/ifc
小小哭包·2023-08-31 07:03

大数据再出发-06Hadoop(优化&特性&HA)

大数据再出发-06Hadoop(优化&特性&HA)文章目录大数据再出发-06Hadoop(优化&特性&HA)一、Hadoop数据压缩1.1概述1.2MR支持的压缩编码1.3压缩方式选择1.3.1Gzip
潘小磊·2023-08-31 07:02

Hadoop小文件的优化方案

Hadoop小文件优化一、小文件的影响小文件过多会造成元数据量大的情况，因此NameNode会消耗大量内存空间用于存储小文件的元数据，过多的元数据，也会导致寻址索引速度变慢；小文件过多，会在进行MapReduce
小猿天地·2023-08-31 07:02

Hadoop优化以及新特性

文章目录HDFS-多目录HDFS-集群扩容以及缩容HDFS故障排查NameNode数据丢失集群安全模式&磁盘修复Hadoop企业优化常用的调优参数Hadoop小文件优化方法Hadoop新特性hadoop2
GambleLife·2023-08-31 07:02

Hadoop MapReduce 调优参数

文章目录MapReduce调优参数详解MapReduce调优参数一键复制前言：下列参数基于hadoopv3.1.3版本，共三台服务器，配置都为4核，4G内存。
月亮给我抄代码·2023-08-31 07:32

HDFS小文件问题及解决方案（Hadoop Archive，Sequence File和CombineFileInputFormat）

目录一、前言概述二、HadoopArchive方案（HAR）第一步：创建归档文件第二步：查看归档文件内容第三步：解压归档文件三、SequenceFiles方案四、CombineFileInputFormat
皮哥四月红·2023-08-31 07:31

【大数据之Hadoop3.x】

Hadoop入门整个学习过程资源来源于尚硅谷大数据技术学习，如有侵权请联系删除！
JMFFFFF·2023-08-31 07:01

Hadoop调优思路

目录1HDFS—核心参数1.1NameNode内存生产配置1.2NameNode心跳并发配置1.3开启回收站配置2HDFS—集群压测2.1测试HDFS写性能2.2测试HDFS读性能4HDFS—集群扩容及缩容4.1添加白名单4.2服役新服务器4.4黑名单退役服务器5HDFS—存储优化5.1纠删码5.2异构存储（冷热数据分离）6HDFS—故障排除6.1NameNode故障处理6.2集群安全模式&磁盘修
首席撩妹指导官·2023-08-31 07:30

【大数据之Hadoop】三十四、Hadoop综合调优之小文件优化方法

1Hadoop小文件弊端  HDFS上每个文件都要在NameNode上创建对应的元数据，这个元数据的大小约为150byte，这样当小文件比较多的时候，就会产生很多的元数据文件，一方面会大量占用NameNode
阿宁呀·2023-08-31 07:28

Hadoop学习——其它（集群，MR调优，数据倾斜等）

1、Hadoop2.0的高可用有两个NameNode节点，一个active，一个standby（时刻同步active的数据），从而实现高可用。
licjd·2023-08-31 07:58

[ hadoop ] 集群性能调优全面总结

[hadoop]集群性能调优全面总结_bone_ds的博客-CSDN博客_hadoop集群优化引子文章涵盖了hadoop框架的三个组成架构各自的优化方法,涉及存储,计算,故障排除等多个方面的具体调优内容
javastart·2023-08-31 07:27

10、HDFS小文件解决方案--Archive

Hadoop系列文章目录1、hadoop3.1.4简单介绍及部署、简单验证2、HDFS操作-shell客户端3、HDFS的使用（读写、上传、下载、遍历、查找文件、整个目录拷贝、只拷贝文件、列出文件夹下文件
一瓢一瓢的饮 alanchan·2023-08-31 07:56

Hadoop 集群小文件归档 HAR、小文件优化 Uber 模式

这里我们通过HadoopArchive(HAR)来进行实现，它是一种归档格式，可以将多个小文件和目录归档成单个HAR文件。在进行下面的操作前，请先启动集群。
月亮给我抄代码·2023-08-31 07:26
上一页 106 107 108 109 110 111 112 113 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他