Linux安装Hadoop

hadoop 常用命令

启动Hadoop进入HADOOP_HOME目录。
零点145·2023-12-05 18:27

Centos7安装redis

上传至linux安装Redis解压redis：tar-zxvfredis-5.0.5.tar.gz得到：安装gcc编译环境，如果已经安装过了，那么就是nothingtodoyuminstallgcc-c
光速领跑者·2023-12-05 17:52

ssh问题

我想安装Hadoop，之前要安装ssh。
mjiansun·2023-12-05 16:51

大数据集群配置-HA（hadoop高可用）

hadoopHA配置软件名称软件包名Zookeeperzookeeper-3.4.8.tar.gzhiveapache-hive-2.0.0-src.tar.gzjdkjdk-8u65-linux-x64
厨 神·2023-12-05 16:20

Linux安装视频播放器

直接在命令行中输入:sudoapt-getinstallvlc开始自动安装。我是在连网下安装的。
旷野历程·2023-12-05 15:01

Linux安装MariaDB（超详细的yum安装、二进制安装）

分享知识传递快乐1、yum安装官方网站yum配置方法链接：https://mariadb.com/kb/en/library/yum/1）配置yum源（安装不同版本需要配置不同源）为了更好的管理MariaDB版本，创建一个新源文件：[guest@localhost~]$cd/etc/yum.repos.d/[[email protected]]$sudovimMariaDB.re
旷野历程·2023-12-05 15:00

【报错分析】Linux系统中JDK报错 -bash: ./java: cannot execute binary file: Exec format error

个人环境：云服务器厂商：华为云系统：Linux发行版之一CentOS8.0今日在Linux安装JDK，无论是rpm方式，还是tar.gz压缩包方式，都一直出问题，tar.gz压缩包方式的安装，一直卡在-
超周到的程序员·2023-12-05 14:16

第二章 Flink 环境部署

它集成了所有常见的集群资源管理器，例如HadoopYARN，但也可以设置作为独立集群运行。Flink运行
CDHong.it·2023-12-05 14:11

jdk和tomcat安装

下3配置环境变量4如果运行级别是3那么logout注销后就起作用如果运行级别是5那么必须点击用户点击注销5.在任何目录下都能使用java和javac6.测试是否安装成功1）创建java文件[root@hadoop1
pretty_rain·2023-12-05 12:34

头哥实践平台----HBase 开发：使用Java操作HBase

一.第1关：创建表1.先写命令行start-dfs.shstart-hbase.shhadoopfs-ls/hbase(可有可无)2.再写代码文件packagestep1;importjava.io.IOException
不想做程序猿的员·2023-12-05 11:06

Linux本地Yearning SQL审核平台本地部署与远程访问

文章目录前言1.Linux部署Yearning2.本地访问Yearning3.Linux安装cpolar4.配置Yearning公网访问地址5.公网远程访问Yearning管理界面6.固定Yearning
nagiY·2023-12-05 10:38

Apache Spark

ApacheSpark是一个快速、可扩展、开源的大数据处理框架，采用内存计算，具有比HadoopMapReduce更高的性能和更好的扩展性。
m0_64180190·2023-12-05 10:24

Hadoop入门---简单介绍

一.分布式和集群分布式：多台服务器协同配合完成同一个大任务(每个服务器都只完成大任务拆分出来的单独1个子任务)，可以提高工作效率，但是当其中一台服务器无法运行时，该子任务无法完成，就会导致大任务也无法完成。集群：多台服务器联合起来独立做相同的任务(多个服务器分担客户端发来的请求)。当只有一个任务时，如果正在运行的服务器出现故障，剩下的服务器可以顶上运行任务，保证任务的持续性；如果有多个相同的任务，
Yan_bigdata·2023-12-05 10:13

hive数据库查看参数/hive查看当前环境配置

如果没有-v参数，只显示与hadoop不同的配置。set具体参数：返回具体参数对应
五月天的尾巴·2023-12-05 10:13

Apache Sqoop使用

1.Sqoop介绍ApacheSqoop是在Hadoop生态体系和RDBMS体系之间传送数据的一种工具。Sqoop工作机制是将导入或导出命令翻译成mapreduce程序来实现。
高过蓝天的云·2023-12-05 10:41

Hadoop大数据集群搭建（超详细）

使用了几个学期的实验手册，应该没有啥大问题了，现在分享给大家，希望对你学习hadoop有用实验环境：Vmwareworkstation+CentOS7+Hadoop3.1.3目录第一步：安装虚拟机第二步
小飞飞V5·2023-12-05 08:49

Ubuntu下搭建Hadoop分布式集群

应课程要求，这学期学习到了云计算与大数据，这次实验就是让我们在ubuntu中配置好hadoop分布式集群，这两天就从网上一边搜寻教程并结合课本（课本上是使用的centos，而且版本较老，不太适用）一边自己动手做
夜雨声烦ikkk·2023-12-05 08:19

Hadoop 安装与配置

创建虚拟机这里需要下载ubuntu操作系统创建一个hadoop用户，并使用/bin/bash作为shell虚拟机打开成功后，打开终端Terminal，开始创建hadoop用户sudouseradd-mhadoop-s
丶流年·2023-12-05 08:18

大数据Hadoop集群的启动

目录1启动准备工作1.1配置操作系统的环境变量1.2创建Hadoop数据目录1.3格式化文件系统1.4启动和关闭Hadoop1.5验证Hadoop是否成功启动1.6hadoop-daemon.sh的使用
赵广陆·2023-12-05 08:13

Hadoop

1.请简要介绍一下Hadoop生态系统。
编织幻境的妖·2023-12-05 08:41

1-Hadoop原理与技术

单选题题目1：安装Hadoop集群时，是在哪个文件指定哪些机器作为集群的从机？
阿伊同学·2023-12-05 06:06

Hadoop三大组件之Yarn

文章目录1.概述2.YARN基础架构3.辅助角色3.1Web应用代理(WebApplicationProxy)3.2JobHistoryServer历史服务器1.概述什么是资源调度？为什么需要资源调度？资源，即服务器的硬件资源，如：CPU、内存、网络等；资源调度是为了管控服务器的硬件资源，提供更好的利用率；分布式资源调度是管控这个分布式服务器集群的全部资源，整合进行统一的调度在分布式系统中，会有很
不忘初欣丶·2023-12-05 06:05

hadoop之yarn

简介一、YARN是一个通用资源管理系统和调度平台，为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。1、通用指不仅支持mr程序，也支持其它计算程序2、资源管理包括集群的硬件资源、cpu、内存等3、调度平台指多个程序同时执行时如何分配计算资源，调度的规则（算法）二、YARN类似一个分布式的操作系统平台，为MapReduce等计算程序提供运行所需的内存、CPU等资源。三、yarn在hadoo
测试开发知识积累·2023-12-05 06:33

Hadoop之YARN详解

Hadoop是一个开源的分布式计算框架，它的核心是HDFS和MapReduce。然而，随着Hadoop的发展，它的计算框架也在不断地演进。
蓝胖子的宝贝·2023-12-05 06:33

Apache Hadoop YARN

YARN的概述ApacheYarn（YetAnotherResourceNegotiator的缩写）是hadoop集群资源管理器系统，Yarn从hadoop2引入，最初是为了改善MapReduce的实现
麦迪康·2023-12-05 06:03

Hadoop Yarn详解

一、Yarn简介Yarn是Hadoop集群的资源管理系统。Hadoop2.0对MapReduce框架做了彻底的设计重构，我们称Hadoop2.0中的MapReduce为MRv2或者Yarn。
m0_67392661·2023-12-05 06:03

Hadoop系列 (四)：Yarn详细介绍

文章目录Hadoop系列文章Yarn简介Yarn基本架构Yarn组件介绍ResourceManagerNodeManagerApplicationMasterContainerYarn运行原理Yarn-HA
EricRae·2023-12-05 06:32

Hadoop Yarn RPC远程命令执行

影响范围HadoopYarnRPC漏洞类型远程命令执行利用条件可未授权访问漏洞概述2021年11月15日，有安全研究人员披露HadoopYarnRPC存在未授权访问漏洞，此漏洞存在于Hadoop的核心组件
FLy_鹏程万里·2023-12-05 06:32

Hadoop组件之Yarn

文章目录Yarn简介Yarn产生的原因Yarn架构ResourceManagerApplicationMasterNodeManagerContainerYarn工作流程分析作业提交作业初始化任务分配任务运行进度和状态更新作业完成Yarn中的资源调度器先进先出调度器（FIFO）容量调度器（CapacityScheduler）公平调度器（FairScheduler）Yarn任务的推测执行机制启用推测
iceburg-blogs·2023-12-05 06:32

10-Hadoop组件开发技术

选项:AHadoopHA即集群中包含SecondaryNameNode作为备份节点存在。
阿伊同学·2023-12-05 06:01

Hadoop

1.请简要介绍一下Hadoop的基本架构和组件。Hadoop是一个由Apache基金会开发的分布式系统基础架构，它可以充分利用集群的威力进行高速运算和存储。
编织幻境的妖·2023-12-05 06:31

Hadoop YARN组件

YARN，也被称为"YetAnotherResourceNegotiator"，是ApacheHadoopYARN，也被称为"YetAnotherResourceNegotiator"，是ApacheHadoop
编织幻境的妖·2023-12-05 06:31

Hadoop的介绍与安装

1Hadoop的简介Hadoop是一个开源的大数据框架，是一个分布式计算的解决方案。
憨憨小白·2023-12-05 06:30

二百零九、Hive——with嵌套语句报错：hadoop.hive.ql.parse.SemanticException: Line 2:5 Ambiguous table alias ‘t2‘

一、目的在Hive的with嵌套语句时，HQL报错Line2:5Ambiguoustablealias't2'二、报错详情org.apache.hadoop.hive.ql.parse.SemanticException
天地风雷水火山泽·2023-12-05 06:22

安装rabbitMQ

安装rabbitMQlinux安装rabbitMQcentos7下需要先安装JDK安装Erlang需对应版本安装对应版本的rabbitMQ参考：CentOS7安装RabbitMQ简单实用教程_普通网友的博客
肥牛熟了熟了·2023-12-05 06:50

Hadoop实验putty文件

博客主页：A_SHOWY系列专栏：力扣刷题总结录数据结构云计算数字图像处理很多朋友反馈做hadoop实验中的putty找不到Connection-SSH-Auth路径下找不到Privatekeyforauthentication
A_SHOWY·2023-12-05 06:46

启动 AWS Academy Learner Lab【教学】（Hadoop实验）

博客主页：A_SHOWY系列专栏：力扣刷题总结录数据结构云计算第一部分创建实例过程首先，需要创建3台EC2，一台作主节点(masternode)，两台作从节点(slavesnode)。1.镜像选择EC2（弹性计算云）：是AWS提供的最基本的云计算产品：虚拟专用服务器。这些“实例”可以运行大多数操作系统。2.选择实例类型实例类型这里我选择的t2.medium,虽然选择t2.micro或者t2.sma
A_SHOWY·2023-12-05 05:36

linux安装jdk

1.解压tar-zxvfjdk-8u291-linux-x64.tar.gz2.修改配置文件vim/etc/profile3.添加exportJAVA_HOME=解压位置exportCLASSPATH=$:CLASSPATH:$JAVA_HOME/lib/exportPATH=$PATH:$JAVA_HOME/bin4.重新加载环境变量source/etc/profile
( ๑ˊ•̥▵•)੭₎₎拍拍你·2023-12-05 05:41

Flink入门之部署（二）

三种部署模式standalone集群，会话模式部署：先启动flink集群webUI提交shell命令提交：bin/flinkrun-d-mhadoop102:8081-ccom.atguigu.flink.deployment.Flinke1
十七✧ᐦ̤·2023-12-05 04:47

Linux安装Node+Npm

node官网下载node安装包https://nodejs.org/zh-cn/download/执行解压操作tar-xvfnode-v10.16.3-linux-x64.tar.xz确认一下nodejs下bin目录是否有node和npm文件,如果有执行软连接，如果没有重新下载建立软连接，变为全局,对应自己路径ln-s/usr/local/src/node-v10.16.3-linux-x64/b
席坤·2023-12-05 02:52

一个大数据架构师应该掌握的技能

专业工具平台海致BDP永洪易观4）APP分析平台mixpanelgrowingIO神策诸葛IO2.技术选型1）CDH2）HDP+HDF3）MAPR4）Transwarp3.平台架构1）HDPCore(平台核心也是Hadoopcore
潘永青·2023-12-05 02:13

Flume+Kafka双剑合璧玩转大数据平台日志采集

一般而言，这些系统需要具有以下特征：构建应用系统和分析系统的桥梁，并将它们之间的关联解耦支持近实时的在线分析系统和类似于Hadoop之类的离线分析系统具有高可扩展性。
浪尖聊大数据-浪尖·2023-12-05 02:12

大数据开发：Hive on Spark设计原则及架构

在Spark越来越受到主流市场青睐的大背景下，Hive作为Hadoop生态当中的数仓组件工具，在于Spark生态的配合当中，开始有了HiveonSpark的思路，那么具体是怎么实现的呢？
成都加米谷大数据·2023-12-05 01:44

Linux的基本使用

文章目录1.Linux安装1.1安装方式介绍1.2安装Linux1.3网卡设置1.4安装SSH连接工具FinalShell下载安装连接Linux2.Linux目录结构3.Linux系统版本4.Linux
丸酸菌·2023-12-05 01:13

从 MapReduce 的运行机制看它为什么比 Spark 慢

在Hadoop1中，MapReduce计算框架即负责集群资源的调度，还负责MapReduce程序的运行。一，MapReduce组成MapReduce的运行过程有三个关键进程：1，大数据应用进程。
stone_zhu·2023-12-05 00:36

HDFS运维问题

zhuanlan.zhihu.com/p/1704789651这次我吐血整理了一些在维护hdfs工作中遇到的问题，有的是血的教训，有的是花了不少功夫定位，也有的是一些知识点或者技巧，其中有两个补丁已经合并到apachehadoop
专职掏大粪·2023-12-04 23:50

Linux版nacos集群和持久化配置

前提要有maven环境和jdk环境安装推荐：linux安装maven_linux安装maven_悟世君子的博客-CSDN博客https://blog.csdn.net/wsjzzcbq/article/
@YanM·2023-12-04 23:22

linux安装

1.准备前说明本文采用的是CentOS6.8，64位的，虚拟机时VMvare，采用的是双网卡方式。至于双网卡的作用和nat，桥接和hostonly模式请参见我的另一篇文章。安装回环网卡&安装Linux前准备2.废话不多说，开始了◆打开虚拟机，点击文件---》新建虚拟机◆出现如下内容。选择典型，单击下一步◆出现如下界面之后，我们选择“稍后安装操作系统”，然后单击“下一步”◆接下来选择操作系统和版本，
GG bond-·2023-12-04 23:09

sqoop导入导出工具的使用以及通过java代码连接linux，远程执行shell命令

1、sqoop是apache开源提供的一个数据导入导出的工具，从关系型数据库导入到hdfs，或者从hdfs导出到关系型数据库等等导入数据：MySQL，Oracle导入数据到Hadoop的HDFS、HIVE
喵喵秀拌酱·2023-12-04 21:20

Spark读写Oracle性能深度调优

Spark作为一个分布式计算框架，可以很好的适用于Hadoop。那么Spark是否可以与关系型数据库较好的进行兼容呢？以Spark作为计算，以关系型数据库（例如Oracle）作为存储？  
weixin_43370502·2023-12-04 21:16
上一页 50 51 52 53 54 55 56 57 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他