Linux安装Hadoop

Linux常用命令大全

1.查看端口号占用lsof-i:端口号lsof-i:8060sudonetstat-nlp|grep80602.查看CPU、核数、磁盘信息[hadoop@master1~]$cat/etc/redhat-releaseCentOSLinuxrelease7.9.2009
tuoluzhe8521·2024-01-18 13:52

Linux开发工具:yum、vim、gcc/g++、makefile

文章目录一.Linux软件包管理器-yum使用1.Linux安装软件的方式2.yum三板斧yumlistyuminstallyumremove二.Linux编辑器-vim使用1.vim的基本概念2.vim
想学好C++的oMen·2024-01-18 11:35

学习小组Day3笔记--Xiaofan1991

Linux安装软件一、先检查有没有bzip2bzip2是linux系统下的压缩工具，方便我们安装后续的相关软件，一般的云服务器都有，比如我使用的腾讯云就自带了bzip2。
xiaofan1991·2024-01-18 10:09

Linux网络之PXE高效批量装机、Kickstart全自动化安装

常见的三种系统安装方式和相关文件①三种系统安装方式u启动安装：在U盘中下载相关的安装系统及镜像文件，u盘插机安装光驱安装：将带有所需系统的光盘放进电脑服务器中，按照官方引导装机网络下载安装：在网上下载相关镜像系统，进行安装②Linux
小蜜蜂~嗡嗡嗡~·2024-01-18 10:45

Linux安装Redis教程(centos7为例)

Linux安装Redis教程三、Linux安装Redis教程(centos7为例)1.️环境准备2.️Redis的安装1.安装Redis的编译环境2.上传redis安装包。3.解压redis文件。
CoolTiger、·2024-01-18 10:26

linux安装部署redis--单节点和集群两种模式

文章目录单节点集群单节点1.官网下载redis-5.0.8.tar.gz文件2.复制到主机/home/mcbadm/redis文件夹下(redis文件夹如果没有自己创建)3.解压：tar-zxvfredis-5.0.8.tar.gz4.安装gcc源yuminstallgcc-c++-y5.切换到解压后目录/home/mcbadm/redis/redis-5.0.86.执行make7.选择安装目录m
Max_bin·2024-01-18 10:25

PXE高效批量网络装机

目录一、系统装机1、系统装机的方式2、系统装机的三种引导方式3、系统安装过程4、Linux安装光盘的相关文件二、pxe（prebootexecuteenvironment）1、什么是pxe2、pxe实现的硬件条件
十七拾·2024-01-18 09:40

书签留存文档

用plsql连接oracle-郑文亮-博客园IDEA中创建mavenweb项目的详细部署kettle连接hbase-CSDN博客PI服务器及各客户端安装配置-豆丁网Oracle客户端使用-CSDN博客hadoop
Liang.Wang·2024-01-18 09:13

作为刚入职的小白，怎么才能学好大数据 ？

大数据学习方向一、大数据运维之Linux基础打好Linux基础，以便更好地学习Hadoop，hbase,NoSQL，Spark，Storm，docker,openstack等。
铁拳虎·2024-01-18 09:40

HBASE学习一：原理架构详解

HBase的存储是基于HDFS的，HDFS有着高容错性的特点，被设计用来部署在低廉的硬件上，基于Hadoop意味着HBase与生俱来的超强的扩展性和吞吐量。HBase采用的时ke
Studying！！！·2024-01-18 08:34

ClickHouse vs StarRocks 全场景MPP数据库选型对比

ClickHousevsStarRocks选型对比面向列存的DBMS新的选择Hadoop从诞生已经十三年了，Hadoop的供应商争先恐后的为Hadoop贡献各种开源插件，发明各种的解决方案技术栈，一方面确实帮助很多用户解决了问题
涛子丶白了你一眼·2024-01-18 08:12

ClickHouse vs StarRocks 选型对比

ClickHousevsStarRocks选型对比面向列存的DBMS新的选择Hadoop从诞生已经十三年了，Hadoop的供应商争先恐后的为Hadoop贡献各种开源插件，发明各种的解决方案技术栈，一方面确实帮助很多用户解决了问题
dan20211·2024-01-18 08:40

Clickhouse VS StarRocks

ClickHousevsStarRocks选型对比面向列存的DBMS新的选择Hadoop从诞生已经十三年了，Hadoop的供应商争先恐后的为Hadoop贡献各种开源插件，发明各种的解决方案技术栈，一方面确实帮助很多用户解决了问题
chixushuchu·2024-01-18 08:10

dubbo入门案例！！！

Zookeeper是ApacaheHadoop的子项目，可以为分布式应用程序协调服务，适合作为Dubbo服务的注册中心，负责服务地址的注册与查找，相当于目录服务，服务提供者和消费者只在启动时与注册中心交互
明天更新·2024-01-18 07:51

Dinky创建Flink实例报错

Dinky版本：0.7.3Flink版本：1.13.0问题描述问题1：已有实例不显示在Dinky的【注册中心】—【Flink实例管理】中：hadoop集群以及zookeeper重启后，之前创建的一个yarn-session
THE WHY·2024-01-18 07:48

数仓项目6.0配置大全（hadoop/Flume/zk/kafka/mysql配置）

配置背景我使用的root用户，懒得加sudo所有文件夹在/opt/module所有安装包在/opt/software所有脚本文件在/root/bin三台虚拟机：hadoop102-103-104分发脚本
Int mian[]·2024-01-18 06:57

hadoop YARN详解

YARN概念YARN是一个资源管理、任务调度的框架，主要包含三大模块：ResourceManager（RM）、NodeManager（NM）、ApplicationMaster（AM）。其中，ResourceManager负责所有资源的监控、分配和管理；ApplicationMaster负责每一个具体应用程序的调度和协调；NodeManager负责每一个节点的维护。对于所有的application
武昌库里写JAVA·2024-01-18 06:25

Hadoop之mapreduce参数大全-7

Inter-ProcessCommunication）连接在发生超时时的最大重试次数yarn.app.mapreduce.client-am.ipc.max-retries-on-timeouts是ApacheHadoopYARN
OnePandas·2024-01-18 06:54

Hadoop之mapreduce参数大全-8

176.指定JobHistoryServer在缓存中存储的日期字符串的最大数量mapreduce.jobhistory.datestring.cache.size是ApacheHadoopMapReduce
OnePandas·2024-01-18 06:54

SeaTunnel 、DataX 、Sqoop、Flume、Flink CDC 对比

对比对比项ApacheSeaTunnelDataXApacheSqoopApacheFlumeFlinkCDC部署难度容易容易中等，依赖于Hadoop生态系统容易中等，依赖于Hadoop生态系统运行模式分布式
贾斯汀玛尔斯·2024-01-18 06:01

linux安装完mysql出现-bash: mysql: 未找到命令

问题：linux安装完mysql出现-bash:mysql:未找到命令方案：可能原因是：缺少环境变量$exportPATH=$PATH:/usr/local/mysql/bin*************
疯癫的老码农·2024-01-18 06:56

阿里云大数据ACA及ACP复习题（21~40)

21.Hadoop的主要功能中，能完成对海量数据分布式运算的是哪个组件?
周周的奇妙编程·2024-01-18 03:08

HDFS 系统架构

HDFSArchitectureIntroductionHadoopDistributedFileSystem(HDFS)是设计可以运行于普通商业硬件上的分布式文件系统。
偷油考拉·2024-01-18 03:52

Minio Client - Minio客户端工具

目录Linux安装MinioClientmcalias-配置站点别名设置连接S3协议服务配置查看配置了哪些aliasmccp-拷贝拷贝文件拷贝递归目录下所有文件参考文档Linux安装MinioClient
一边学习一边哭·2024-01-18 01:02

基于JavaWeb+BS架构+SpringBoot+Vue+Hadoop的物品租赁系统的设计与实现

基于JavaWeb+BS架构+SpringBoot+Vue+Hadoop的物品租赁系统的设计与实现文末获取源码Lun文目录前言主要技术系统设计功能截图订阅经典源码专栏Java项目精品实战案例《500套》
FREE技术·2024-01-18 00:17

Note08：Hive-1.2.2安装配置

安装包下载安装地址：http://archive.apache.org/dist/hive/把安装包上传到/opt/software目录解压[kevin@hadoop112software]$tar-zxvfapache-hive
K__3f8b·2024-01-18 00:22

【若泽大数据第二天】--MySQL二进制部署

1、通过winscp上传MySQL5.6安装文件2、判断一下服务器是否安装了MySQL3、解压MySQL安装文件并进行重命名[root@hadoop001~]#tar-zxvfmysql-5.6.23-
naroutofan·2024-01-17 21:52

linux安装QQ（官方正版）

QQ官网上有支持linux系统的版本，所以去官网直接下载正版就好。安装步骤：1.进入官网：https://im.qq.com/linuxqq/index.shtml2.选择版本：X86版下载dep如下所示：3.下载qq安装包：4.使用命令安装qqsudodpkg-i软件包名字（qq会不断更新，所以下载的版本会改变，这里复制自己的软件包名字就行）5.卸载QQsudoapt-get--purgerem
New___dream·2024-01-17 21:53

[CDH5] Oozie web console is disabled 问题解决

Ooziewebconsoleisdisabled.问题解决：下载ExtJS2.2:下载地址：http://archive.cloudera.com/gplextras/misc/ext-2.2.zip上传到服务器并解压[root@hadoop1libext
尼小摩·2024-01-17 19:12

IDEA插件安装ZooKeeper

zookeeper介绍Zookeeper是ApacaheHadoop的子项目，可以为分布式应用程序协调服务，适合作为Dubbo服务的注册中心，负责服务地址的注册与查找，相当于目录服务，服务提供者和消费者只在启动时与注册中心交互
冰冰很社恐·2024-01-17 19:07

Hadoop集群安装(入门级)

Hadoop集群安装配置三台主机(每台主机都需要配置)修改IP使用vi/etc/sysconfig/network-scripts/ifcfg-xx不同的机器可能不同修改三台主机ipaddr地址如下192.168.200.101master192.168.200.102slave1192.168.200.103slave2
blueoftravel·2024-01-17 17:20

HDFS简介与常用API

HDFS简介HDFS是一个文件系统（HadoopDocumentFileSystem），通过目录树来定位文件。其次，它是分布式的。HDFS适用于：一次写入，多次读出的场景。
正橙橙橙橙·2024-01-17 16:45

ZooKeeper 原理及其在 Hadoop 和 HBase 中的应用

简介ZooKeeper是一个开源的分布式协调服务，由雅虎创建，是GoogleChubby的开源实现。分布式应用程序可以基于ZooKeeper实现诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、Master选举、分布式锁和分布式队列等功能。基本概念本节将介绍ZooKeeper的几个核心概念。这些概念贯穿于之后对ZooKeeper更深入的讲解，因此有必要预先了解这些概念。集群角色在
Java程序员YY·2024-01-17 15:08

hadoop 3.3.4 编译报错记录

现在centos7.6，docker19.x版本会缺少一些依赖包不能一次编译过hadoop3.3.4注意BUILDING.txt依赖环境的版本二，报错信息1.cmake-compile(cmake-compile
第一次看海·2024-01-17 15:31

Linux下安装jdk、tomcat

linux下安装jdk、tomcat一、linux下安装jdk1.1.下载Linux版本的JDK1.2.Linux安装JDk1.3.设置环境变量1.4.卸载JDK二、linux下安装tomcat2.1.
良辰美景好时光·2024-01-17 14:59

大数据——CentOS 7加装虚拟机存储空间、CPU和内存

和内存准备条件一台已经配置好的虚拟机虚拟机安装和配置扩容前扩展空间点击扩展增加存储空间，点击扩展这时会提醒你，让你从操作系统中重新进行分区点击确定打开虚拟机操作系统中进行分区扩展文件系统打开虚拟机查看一下磁盘大小[root@hadoop1002
蜂蜜柚子加苦茶·2024-01-17 13:05

Kali Linux实现UEFI和传统BIOS(Legacy)引导启动

默认Kalilinux安装会根据当前启动的引导模式进行安装例：以UEFI引导启动安装程序，安装后仅能在UEFI引导模式下进入系统安装Kali系统这边基于VirtualBox虚拟机镜像实战操作首先创建一个
陀螺蚁·2024-01-17 12:45

介绍 Apache Spark 的基本概念和在大数据分析中的应用

Spark的主要特点包括：快速：Spark使用内存计算技术，可以比传统的批处理系统（如Hadoop）快上数十倍甚至更多。它通过将数据存储在内存中来避免磁盘读写的开销，从而提供更快的数据处理速度。灵活：
酷爱码·2024-01-17 11:45

大数据开发之Hadoop（HDFS）

2、HDFS定义HDFS（HadoopDistributedFileSystem），它是一个文件系统，用于存储文
Key-Key·2024-01-17 10:22

hadoop-common /native/src/exception.c : error: function-like macro ‘__GLIBC_PREREQ‘ is not defined

1.问题来源mac上编译hadoop源码的时候遇到如下错误1errorgenerated.
寂夜了无痕·2024-01-17 10:21

大数据开发之Hadoop（入门）

第1章：Hadoop概述1.1Hadoop是什么1、Hadoop是一个由Apache基金会所开发的分布式系统基础架构。2、主要解决，海量数据的存储和海量数据的分析计算问题。
Key-Key·2024-01-17 09:19

hadoop-common: CMake failed with error code 1

问题在编译hadoop源码时遇到如下错误hadoop-common:CMakefailedwitherrorcode1看了这个错误表示一脸懵逼排查在mvn的命令中增加-X和-emvncleanpackage-e-X-Pdist
寂夜了无痕·2024-01-17 09:49

Linux安装MySQL8.0数据库

一、下载mysql8.0安装包1、在local创建mysql文件夹cd/usr/localmkdirmysqlcdmysql2、使用wget下载mysql8.0的xz安装包wgethttps://dev.mysql.com/get/Downloads/MySQL-8.0/mysql-8.0.20-linux-glibc2.12-x86_64.tar.xz二、解压mysql8.0安装包1、解压tar
阿噜噜同学·2024-01-17 09:18

Hive数据导出的四种方法

hive数据仓库有多种数据导出方法，我在本篇文章中介绍下面的四种方法供大家参考：Insert语句导出、Hadoop命令导出、Hiveshell命令导出、Export语句导出。
冬瓜的编程笔记·2024-01-17 08:31

java链接hive数据库实现增删改查操作

首先，确保已经安装了Hive，并且Hadoop集群正在运行。然后，根据Hive版本下载相应的HiveJDBC驱动程序。可以从ApacheHive官方网站下载。
酷爱码·2024-01-17 08:30

hive除数取整

简介Hive是一个构建在Hadoop上的数据仓库基础设施，它提供了一个类似于SQL的查询语言，用于处理大规模的结构化数据。在Hive中，我们常常需要对数据进行数学运算，包括除法操作。
cuisidong1997·2024-01-17 08:30

Linux安装texlive&texstudio

linux下写paper神器，简单好用，装就完了，不要多问一、安装Texlivetexlive镜像下载，传送门。这里我们选择texlive2023-20230313.iso下载。cd到下载目录，挂载镜像sudomount-olooptexlive2023-20230313.iso/mnt#挂载文件目录cd/mntsudo./install-tl#安装安装过程中，会提示做选择，输入I继续安装，等安装
整天梦游的小jerry·2024-01-17 07:25

Kafka详解及常见面试问题解析（值得珍藏）

对于像Hadoop一样的日志数据和离线分析系统，但又要求实时处理的限制，
孤蓬&听雨·2024-01-17 07:29

Mac M1芯片本地安装 hadoop 集群填坑之路

文章目录背景环境前置知识安装过程#bug1#bug2#bug3背景学习一项技能的最好方式自然是理解+实践，在了解了hadoop的基本概念后我开始尝试在本地搭建一个集群环境用于进一步学习。
喵王叭·2024-01-17 06:46

Hadoop——HDFS、MapReduce、Yarn期末复习版（搭配尚硅谷视频速通）

一、HDFS1.HDFS概述1.1HDFS定义HDFS(HadoopDistributedFileSystem),它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能
革斤要加油·2024-01-17 06:10
上一页 20 21 22 23 24 25 26 27 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他