Hadoop大数据学习第52页

-bash:jps:command not found

今天配置hadoop集群时，将master主机上的etc/profile文件拷贝到slaves主机上后，slaves主机上的jps命令不能用呢，最后确定是由于slaves主机上的jdk有问题。

weixin_34274029·2023-11-22 13:39

花式玩转Linux集群免密登录

大数据集群往往需要多台机器构成一个集群，而集群内的这些机器往往需要能够互相免密登录，这里就总结下设置免密登录的常见做法；重点： 1）需要集群内部的集群都有这个相同的用户； 2）免密登录是绑定用户的，当你设置了用户hadoop

╭⌒若隐_RowYet——大数据·2023-11-22 09:51

Linux应用参数配置和调优,Hadoop 性能调优重要参数设置技巧

这里主要针对Mapreduce的性能调优。这一两个月在做mapreduce的性能调优，有些心得，还是要记下来的，以郷后人~这里主要涉及的参数包括：HDFS：dfs.block.sizeMapredure：io.sort.mbio.sort.spill.percentmapred.local.dirmapred.map.tasks&mapred.tasktracker.map.tasks.maxim

花猹猹·2023-11-22 09:13

hadoop常用端口号

1，namenodehttp端口：500702，datanodehttp端口：500753，secondaryNameNode节点http端口号：500904，datanode后端访问端口号：500105，fs端口号：90006，yarnhttp端口号：80887，历史服务器web访问端口号：1988

wangxiaowu_001·2023-11-22 09:43

Hadoop性能调优

Hadoop性能调优1.简介Hadoop性能调优不仅涉及Hadoop本身的性能调优，还涉及更底层的硬件、操作系统和Java虚拟机等系统的调优。

回忆美好·2023-11-22 09:42

hadoop性能调优

一、禁止文件系统记录时间Linux文件系统会记录文件创建、修改和访问操作的时间信息，这在读写操作频繁的应用中将带来不小的性能损失。在挂载文件系统时设置noatime和nodiratime可禁止文件系统记录文件和目录的访问时间，这对HDFS这种读取操作频繁的系统来说，可以节约一笔可观的开销。可以修改/etc/fstab文件中noatime和nodiratime来实现这个设置。如对/mnt/disk1

挑战不可能，努力·2023-11-22 09:12

hadoop常用的端口号

dfs.namenode.http-address（namenodehttp端口）:50070dfs.datanode.http-address（datanodehttp端口）:50075SecondaryNamenode（secondaryNameNode节点http端口号）:50090dfs.datanode.address:50010fs.defaultFS:8020或者9000yarn.r

星空下的那个人影·2023-11-22 09:42

hadoop性能调优之参数调优

本文转载自：http://blog.csdn.net/fp196391196391/article/details/8302121这里主要针对Mapreduce的性能调优。这一两个月在做mapreduce的性能调优，有些心得，还是要记下来的，以郷后人~这里主要涉及的参数包括：HDFS：dfs.block.sizeMapredure：io.sort.mbio.sort.spill.percentma

我是机智的鱼油·2023-11-22 09:12

Hadoop之常用端口号

hadoop3.xHDFSNameNode内部通常端口：8020、9000、9820HDFSNameNode对用户的查询端口：9870Yarn查看任务运行情况的端口：8088历史服务器：19888HDFSNameNode

m0_67393828·2023-11-22 09:41

Hadoop Yarn性能调优

文章目录HadoopYarn性能调优1环境2yarn-site.xml配置HadoopYarn性能调优版本：hadoop-3.1.31环境内存vCode线程数hadoop1018G4核CPU4hadoop1028G4

老鼠扛刀满街找猫@·2023-11-22 09:41

hadoop3.x系列完全分布式集群部署（集群各节点设置与端口号的设置）

前言：hadoop集群为了满足高可用性与集群的高可靠性，选择对不同节点设置相应的权限与能力。用于达成平台的使用。准备工作：三台部署好hadoop与java的虚拟机。

杂乱无章的我·2023-11-22 09:10

Hadoop常见端口号及配置文件

1Hadoop2.x版本端口号1.1访问HDFS端口号：500701.2NN内部通信端口：90001.3访问MR执行任务情况端口：80881.4Yarn内部通信端口：80321.5访问历史服务器端口：198881.6

曹称象·2023-11-22 09:10

转载：Hadoop性能调优

blog.csdn.net/dxl342/article/details/52840455https://blog.csdn.net/u014156013/article/details/81347670Hadoop

DT鸽子·2023-11-22 09:09

Hadoop常用端口号及配置文件

端口号Hadoop3.xHDFSNameNode内部通常端口号：8020/9000/9820HDFSNameNode对用户的查询端口：9870Yarn查看任务的运行情况：8088历史服务器：90080Hadoop2

LydiaaLi·2023-11-22 09:09

hadoop常用端口号与配置文件

常用端口号hadoop3.xHDFSNameNode内部通常端口：8020/9000/9820HDFSNameNode对用户的查询端口：9870Yarn查看任务运行情况：8088历史服务器：19888hadoop2

UserOrz·2023-11-22 09:39

Hadoop 3.X 和 2.X 的常用端口号和配置文件

Hadoop常用端口号Hadoop3.XHDFSNameNode内部通信端口：8020/9000/9820HDFSNameNodeHTTPUI：9870HDFSDataNodeHTTPUI：9864Yarn

hmyqwe·2023-11-22 09:38

Hadoop性能调优概要说明

Hadoop容易遇到的问题有：Namenode/jobtracker单点故障、HDFS小文件问题、数据处理性能等。为此“HadoopPerformanceOptimization”(HPO)是必要的。

fjssharpsword·2023-11-22 09:07

Hadoop常用端口号和配置文件

Hadoop常用端口号dfs.namenode.http-address:50070dfs.datanode.http-address:50075SecondaryNameNode辅助名称节点端口号

cipay666·2023-11-22 09:37

hadoop——常用端口号——常用的配置文件,3.x与2.x区别

常用端口号hadoop3.xHDFSNameNode内部通常端口：8020/9000/9820HDFSNameNode对用户的查询端口：9870Yarn查看任务运行情况：8088历史服务器：19888hadoop2

小魏___·2023-11-22 09:37

hadoop调优

Hadoop调优：一、操作系统级别优化：1、优化文件系统：推荐使用EXT4和XFS文件系统，相比较而言，更推荐后者，因为XFS已经帮我们做了大量的优化。

alongwaywith·2023-11-22 09:36

hadoop常用端口号/常用配置文件

常用端口号hadoop3.xHDFSNameNode内部通常端口：8020/9000/9820HDFSNameNode对用户的查询端口：9870yarn查看任务允许情况的:8088历史服务器：19888hadoop2

asd623444055·2023-11-22 09:06

Hadoop参数调优

Hadoop参数调优性能调优涉及4个方面：CPU利用率、内存占用情况、磁盘I/O和网络流量。有很多因素会对HadoopMapReduce性能产生影响。

MrZhangBaby·2023-11-22 09:05

Hadoop学习-常用端口和配置文件

一、常用端口号hadoop3.xHDFSNameNode内部通常端口：8020/9000/9820HDFSNameNode对用户的查询端口：9870Yarn查看任务运行情况：8088历史服务器：19888hadoop2

HaveAGoodDay.·2023-11-22 09:34

hadoop 常用端口号，常用配置文件都有哪些？hadoop3.x端口号 hadoop(十二)

1.hadoop3.x系列常用端口号：类型desc端口hdfsNameNode内部通常端口号8020/9000/9820hdfsNameNode对用户的查询端口9870yarn查看历史任务运行情况8088

不努力就种地~·2023-11-22 09:34

Hadoop性能调优建议

一、服务器配置1.BIOS配置：关闭smmu/关闭cpu预取/performance策略2.硬盘优化raid0打卡cache/jbodscheduler/sector_size/read_ahead_kb3.网卡优化rx_buff/ring_buffer/lro/中断绑核/驱动升级4.内存插法：要用均衡插法，内存配对插。5.占用通道：先把每个通道都插满，再去插对应通道。（内存通道分布请查看机箱背板

shining_yyds·2023-11-22 09:33

【无标题】

121.1.4Shell中单引号和双引号区别121.2Hadoop131.2.1Hadoop

SKY_WU95·2023-11-22 09:47

Doris DDL和DML

1创建用户和数据库1）创建test用户mysql-hhadoop1-P9030-uroot-pcreateuser'test'identifiedby'test';2）创建数据库createdatabasetest_db

shangjg3·2023-11-22 05:26

Docker-13：Docker安装Hbase

就像Bigtable利用了Google文件系统（FileSystem）所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于Bigtable的能力。

王老邪·2023-11-22 04:30

springcloud整合seata我踩过的坑

registrydockerrun-d-p8091:8091-p7091:7091--networknewlead--nameseata-serve-eSEATA_IP=192.168.249.132-v/home/hadoop

蓝胖子不是胖子·2023-11-22 04:29

【生产级实践】Docker部署配置Hadoop3.x + HBase2.x实现真正分布式集群环境

网上找了很多资料，但能够实现Docker安装Hadoop3.X和Hbase2.X真正分布式集群的教程很零散，坑很多，把经验做了整理，避免趟坑。

麦神-mirson·2023-11-22 04:56

使用Docker部署HBase并使用Java-API连接

HBase的原型是Google的BigTable论文，受到了该论文思想的启发，目前作为Hadoop的子项目来开发维护，用于支持结构化的数据存储。

当一艘船沉入海底8·2023-11-22 04:56

Java入门教程！docker服务启动命令

第一个分布式：限流1.1ZooKeeper+Nginx面试常备题（附答案）ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和

cxy小刚.·2023-11-22 04:26

大神之路-起始篇 | 第16章.计算机科学导论之【网络安全】学习笔记

涉及企业运维、网络安全、应用开发、物联网、人工智能、大数据学习知识“花开堪折直须折，莫待无花空折枝。”

全栈工程师修炼指南·2023-11-22 04:19

hadoop、hive、DBeaver的环境搭建及使用

本文主要介绍hadoop、hive的结构及使用，具体的操作步骤见最后的附件；hadoop提供大数据的存储、资源调度、计算，分为三个模块：HDFS、YRAN、MapReduceHDFS提供数据的分布式存储

骑士999111·2023-11-22 03:14

大数据学习路线图让你轻松掌握大数据技术学习

大数据学习QQ群：957205962阶段一、Java语言基础

金光闪闪耶·2023-11-22 02:59

超详细的hadoop完全分布式安装及xsync等各个脚本

1.主机名修改在完成虚拟机的创建后，进行主机名称修改：#修改配置文件,将内容改为master,保存退出vi/etc/hostname#将里面localhost删除进行改名[root@host~]$vi/etc/sysconfig/network编辑,i键插入NETWORKING=yesHOSTNAME=master修改为新名:wqESC退出插入退出并保存[root@bogon~]$reboot2

动心の瓦狗狗·2023-11-22 00:20

超详细的hive和mysql的安装与配置以及hive服务启动脚本

目录一、说明二、Hive安装与配置1.上传文件并解压2.修改目录名称3.配置hive环境变量4.删除冲突jar包5.启动hadoop集群6.初始化元数据库并启动三、MySQL安装与配置1.检查和上传文件并解压四

动心の瓦狗狗·2023-11-22 00:20

超详细的zookeeper和hbase安装教程以及启动脚本zk.sh等

数据存储路径）6.创建文件夹7.在zkData下创建myid文件（文件名不可更换）8.分发zookeeper并修改zkData配置9.编写zookeeper的启动、关闭、状态脚本hbase安装1.启动hadoop

动心の瓦狗狗·2023-11-22 00:37

本机idea连接虚拟机中的Hbase

mendianyu·2023-11-22 00:16

hadoop查看文件夹大小java,hadoop fs:du统计hdfs文件（目录下文件）大小的用法

上海Josh哥·2023-11-21 23:54

iceberg学习笔记（2）—— 与Hive集成

前置知识：1.了解hadoop基础知识，并能够搭建hadoop集群2.了解hive基础知识3.Iceberg学习笔记（1）——基础知识-CSDN博客可以参考：Hadoop基础入门（1）：框架概述及集群环境搭建

THE WHY·2023-11-21 22:59

什么是数据倾斜数据倾斜的表现发生数据倾斜的原因如何解决数据倾斜

distinct)，先用group去重再count子查询，特殊值分开处理法大表join大表不同数据类型关联产生数据倾斜多表unionall会优化成一个job优化in/exists语句排序选择什么是数据倾斜Hadoop

jialun0116·2023-11-21 22:26

hdfsClient_java对hdfs进行上传、下载、删除、移动、打印文件信息尚硅谷大海哥

Java可以通过Hadoop提供的HDFSJavaAPI来控制HDFS。通过HDFSJavaAPI，可以实现对HDFS的文件操作，包括文件的创建、读取、写入、删除等操作。

hys_guff·2023-11-21 21:28

Hadoop——快速入门

大数据不得不提到最有用的利器Hadoop，本文最快的方式让你上手Hadoop，hadoop快速入门，并且有一个感性的认识，也可以当做步骤的快速索引，本文解决以下问题：理解Hadoop是什么Hadoop用于做什么以及怎么用

wondream322·2023-11-21 18:47

MapReduce执行流程和Shuffle过程

HadoopMapReduce作业执行流程整个HadoopMapReduce的作业执行流程如图1所示，共分为10步。

一粒米_394c·2023-11-21 18:41

大数据与Hadoop，Hadoop核心组件之MapReduce

大数据大数据，不仅仅具备大的特征，只有外行人才会天真的以为大数据，就是数据，量大！量大只是大数据其中的一个特征，除了这个特征之外，它还和另外三个特征合起来组成了大数据必不可少的四个特征：Volume大量的海量的数据Variety多种多样的数据的类型多种多样，比如数据来源多样，企业内部的日志，互联网和物联网等，数据的类型多样，有结构化数据，有非结构化数据，如视频，文档，音频，有的数据关联性不大，有的

Python大数据工程师·2023-11-21 18:14

生产环境的Hadoop版本比较

一、背景介绍ApacheHadoop：ApacheHadoop是一款支持数据密集型分布式应用并以Apache2.0许可协议发布的开源软件框架。它支持在商品硬件构建的大型集群上运行的应用程序。

三名狂客·2023-11-21 15:49

Mac上搭建Hadoop环境(3) — Hive下载及安装

前言之前已经完成了hadoop集群的安装，测试了HDFS的使用，现在准备在此基础上，继续安装Hive。

LestatZ·2023-11-21 13:54

Spark---介绍及安装

Spark是UCBerkeleyAMPlab(加州大学伯克利分校的AMP实验室)所开源的类HadoopMapReduce的通用并行计算框架，Spark拥有HadoopMapReduce所具有的优点；但不同于

30岁老阿姨·2023-11-21 13:26

黑猴子的家：Centos 7.x 安装 BT 宝塔

1、概述BT宝塔Linux面板是提升运维效率的服务器管理软件，支持一键构建LAMP/LNMP/集群/监控/网站/FTP/数据库/JAVA等多项服务器管理功能2、安装[alex@hadoop102~]$sudoyuminstall-ywget

黑猴子的家·2023-11-21 12:00

推荐频道

Hadoop大数据学习