hadoop2

CentOS7 hadoop集群搭建

搭建Hadoop集群配置名字hadoop1、hadoop2、hadoop3hostnamectlset-hostnamehadoop1hostnamectlset-hostnamehadoop2hostnamectlset-hostnamehadoop3
AGMY·2023-11-10 16:34

hadoop集群搭建

准备三台虚拟机hadoop1hadoop2hadoop3ip分别为：192.168.56.211，192.168.56.212，192.168.56.213配置三台虚拟机的主机名和映射vi/etc/hosts
昱宸星光·2023-11-10 16:28

Linux伪分布式安装Hadoop2.7.7

等链接工具上传安装包至安装目录解压压缩包#进入安装目录cd/soft#/soft改为你的安装目录#解压安装包tar-zxvfhadoop-2.7.7.tar.gz#重命名文件夹mvhadoop-2.7.7hadoop2
一位不愿透露姓名的肥宅·2023-11-10 15:23

Hadoop学习笔记（持续更新中）

MapReducejob、task、inputsplitcombiner其他示例HadoopHadoop的组成Hadoop1.xMapReduce（计算+资源调度）HDFS（数据存储）Common（辅助工具）Hadoop2
东河西·2023-11-09 09:19

hadoop yarn资源调度

yarn概述YARN是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序YARN是Hadoop2.x版本中的一个新特性
习丿枫叶菊·2023-11-08 06:09

Apache Hadoop YARN详解

YARN(YetAnotherResourceNegotiator，另一种资源协调者)是hadoop2.0后推出的一个资源管理器。YARN是一个通用资源管理系统和调度平台，负责为运算程序
liuhanyuu·2023-11-08 05:35

Haddop,HDFS和MapDeduce简单理论

HadoopHadoop1Hadoop2HDFS3.MapDeduceHadoop1Hadoop开源的分布式存储+分布式计算平台核心组件：HDFS：分布式文件系统，存储海量数据。
杰KaMi·2023-11-07 06:25

Spark 基础知识点、三种模式安装

环境说明centos7.5spark-2.1.1Spark内置模块Sparklocal模式安装直接解压即可，无需配置（spark-2.1.1-bin-hadoop2.7.tgz集成hadoop环境包）local
得过且过1223·2023-11-07 05:01

YARN实战学习笔记

文章目录YARN的由来YARN架构分析YARN资源管理模型YARN中的调度器案例：YARN多资源队列配置和使用YARN的由来从Hadoop2开始，官方把资源管理单独剥离出来，主要是为了考虑后期作为一个公共的资源管理平台
小崔的技术博客·2023-11-06 18:16

Spark(Scala)-示例程序

1.版本system:windows10jdk:1.8.0_141scala:2.10.5spark:spark-2.0.2-bin-hadoop2.6IntelliJ:15.0.62.基本环境安装下载安装
陪你一起debug·2023-11-06 17:47

Hadoop2.6.5集群搭建

搭建虚拟机以下搭建所需环境和资源包为VMwareCentOS7Hadoop2.6.5.tar.gzJDK1.8+使用虚拟机安装3个CentOS7的主机模拟服务器，分别为master、slave1、slave2
Alexciヾ·2023-11-06 01:26

Windows 环境下 Hadoop 的安装和配置

Windows环境下Hadoop的安装和配置Windows环境下Hadoop的安装和配置平台及版本安装Java1.8，并配置环境变量安装Hadoop2.7.3Hadoop核心配置文件启动Hadoop服务
UestcXiye·2023-11-05 22:30

MapReduce WordCount程序实践（IDEA版）

环境Linux：Hadoop2.xWindows：jdk1.8、Maven3、IDEA2021步骤编程分析编程分析包括：1.数据过程分析：数据从输入到输出的过程分析。
Hadoop_Liang·2023-11-05 20:56

Hadoop环境搭建

本文的思路是：以安装部署ApacheHadoop2.x版本为主线，来介绍Hadoop2.x的架构组成、各模块协同工作原理、技术细节。安装不是目的，通过安装认识Hadoop才是目
Super乐·2023-11-05 20:55

hadoop ubantu环境搭建_Ubuntu16.04+hadoop2.7.3环境搭建

最近开始学习大数据相关的知识，最著名的就是开源的hadoop平台了。这里记录一下目前最新版的hadoop在Ubuntu系统下的搭建过程。搭建过程中发现一篇十分清晰全面的搭建文章，本文删减了一些不重要的内容，细化了一些内容。可以点击此处查看：原文。1.JDK的安装hadoop是使用Java开发的一个大数据平台，自然少不了Java运行环境的安装了，当然使用hadoop不一定需要java语言，hadoo
lvero王·2023-11-05 20:51

史上最详细的hadoop环境搭建

本文的思路是：以安装部署ApacheHadoop2.x版本为
xk_一步一步来·2023-11-05 20:17

Yarn 的三种调度器

容量调度器（CapacityScheduler）Hadoop2.7.2默认的调度器多队列：每个队列有一定的资源，每个队列采用FIFIO调度策略。
程序员 Harry·2023-11-05 09:46

sqoop1.4.7导mysql数据到hive报错:ERROR hive.HiveConfig: Could not load org.apache.hadoop.hive.conf.HiveConf

环境:sqoop版本:1.4.7.hadoop2.7.6.hive2.3.1.导入参数:bin/sqoopimport--connectjdbc:mysql://192.168.0.55:3306/test
a904364908·2023-11-05 04:24

spark代码连接hive_本地spark连接hive相关问题总结

hive首先需要下载spark，下载地址：http://mirror.bit.edu.cn/apache/spark/spark-3.0.0-preview/spark-3.0.0-preview-bin-hadoop2.7
weixin_39798626·2023-11-04 04:21

Windows下配置IDEA开发Spark(spark和hive整合，IDEA中standalone、yarn直接执行)

环境信息Windows10X64JDK1.8.0_191Scala2.11.12Maven3.6.1Hadoop2.6.0Intelli
laoda137·2023-11-04 04:17

Centos Linux系统配置SSH免密登录

首先修改host，将需要互相免密的机器相互加入到host文件中：vi/etc/hostname#添加主机名hadoop2vi/etc/sysconfig/network#添加IP和hostname对应关系
dx1313113·2023-11-03 03:03

Ubuntu安装Flink-1.4.0

下载页面：http://flink.apache.org/downloads.html这里flink的版本一定要和hadoop的版本匹配，所以选择hadoop2.8的下载地址如下：下载地址：http
yamaxifeng_132·2023-11-03 03:55

Ubuntu安装Flink

下载的flink的版本一定要和hadoop的版本匹配下载地址：http://www.apache.org/dyn/closer.lua/flink/flink-1.4.0/flink-1.4.0-bin-hadoop28
weixin_42244915·2023-11-03 03:22

ubuntu部署flink集群 ，运行wordcount 例子

说明：事先完成了以下的准备工作：ubuntu16安装了hadoop集群（完全分布式）hadoop集群有5个节点：hadoop1~hadoop6（没有hadoop2）每个节点都安装了flink-1.12.0
Sonder_s·2023-11-03 03:47

大数据Hadoop2.x与Hadoop3.x相比较有哪些变化

在这篇文章中，我们将讨论Hadoop2.x与Hadoop3.x之间的比较。Hadoop3版本中添加了哪些新功能，Hadoop3中兼容的Hadoop2程序，Hadoop2和Hadoop3有什么区别？
尚学先生·2023-11-03 03:29

HIve部署

文章目录1.部署hadoop集群2.部署HIVE1.部署hadoop集群机器准备3台，关闭防火墙hadoop1192.168.200.41hadoop2192.168.200.43hadoop2192.168.200.43
L白眸·2023-11-02 19:06

018 在 Ubuntu 16.0.4 上安装 Hadoop 2 | Apache Hadoop 安装

018InstallHadoop2onUbuntu16.0.4|ApacheHadoopInstallation1.InstallHadoop2onUbuntu16.0.4:Objective1.安装Hadoop
胡巴Lei特·2023-11-02 09:00

搭建环境05：部署Spark-Standalone模式

配置历史服务8.分发Spark到其他worker服务器9.配置第二台服务器的Spark10.配置第三台服务器的Spark11.启动Spark集群12.测试Spark集群1.部署所需环境JDKzookeeperhadoop2
m0_37559973·2023-11-02 08:56

UDF 编写与注册

功能对数据加解密方式处理环境hadoop2.6.0+cdh5.11.2hive1.1.0+cdh5.11.2java1.8.xxx配置新加入hadoop集群的服务器需要放/opt/logs/env.properties
大怀特·2023-11-01 07:20

spark安装教程

IP192.168.42.121192.168.42.122192.168.42.123映射名masterslave1slave21.用xftp上传spark压缩包到/usr/local/src/中，解压到此目录中，tar-zxvfspark-2.3.1-bin-hadoop2.7
大大柚子·2023-10-30 08:41

spark安装配置

目录1.准备工作2.下载spark-3.1.1-bin-hadoop2.7和scala-2.12.13并解压3.配置环境变量4.配置文件$SPARK_HOME/conf/spark-env.sh6.配置
小田月朔一·2023-10-30 08:39

spark环境配置

下载完成后进行解压：tar-zxvfspark-2.1.1.tgz#简短的名字易于操作mvspark-2.1.2-bin-hadoop2.7.
Zx-Deere·2023-10-30 08:39

Elasticsearch如何备份到HDFS

测试环境elasticsearch6.3.2Hadoop2.9.1操作步骤安装repository-hdfs进入ES的目录，执行命令：bin/elasticsearch-plugininstallreposito
勇者1108·2023-10-30 04:16

centos7部署flink学习笔记（standalone）

高性能的流处理部署步骤//下载安装包[root@mini2~]#wgethttps://archive.apache.org/dist/flink/flink-1.5.2/flink-1.5.2-bin-hadoop27
H.20·2023-10-29 22:13

求指点：/bin/sh: -c: line 0: unexpected EOF while looking for matching `“‘

dockerfile文件如下：FROMcentosMAINTAINERSHUJIVOLUME["/data1","/data2"]运行容器报错如下：[root@Hadoop2learn_docker]#
ninety_two·2023-10-29 22:59

再看dockerfile指令用法：80分钟一口气学完docker+k8s！带你掌握docker+k8s所有核心知识点，全程干货，无废话！

[root@Hadoop2learn_docker]#catdockerfileFROMnginxRUNecho'书季，要攒劲哦~'>/usr/share/nginx/html/index.html#运行该镜像
ninety_two·2023-10-29 22:29

大数据Hadoop、Hive、Kafka、Hbase、Spark等框架面经

大数据组件学习路线：阶段1：学习绿色箭头的知识点；阶段2：学习红色箭头的知识点；阶段3：学习蓝色箭头的知识点；1Hadoop1.1Hadoop1.x与Hadoop2.x的区别1.2HDFS架构（1）NameNode
For Coding·2023-10-28 21:50

hadoop常见的面试题

一、hdfs上传和下载文件流程hdfs上传客户端向namenode发出请求建立通信获得存储文件块的datanode节点,然后客户端将文件按照块的大小进行分块(hadoop2.7.3开始由64MB变成128MB
有一束阳光叫温暖·2023-10-28 19:10

spark sql dataframe字符串类型的列拼接一个常量字符串的方法

spark示例数据：//spark-2.3.0-bin-hadoop2.7//examples//src//main//resources//people.json数据内容：{“name”:“Michael
tanhaidi·2023-10-27 15:48

SpringBoot 集成 HBase

一.导入依赖org.springframework.dataspring-data-hadoop2.5.0.RELEASEcom.sun.xml.bindjaxb-implorg.apache.hbasehbase-client1.3.2org.slf4jslf4j-log4j12org.mortbay.jettyservlet-api
羁客%·2023-10-27 07:16

学习笔记Hive（二）—— Hive安装配置

一、环境介绍环境描述4个Linux操作系统虚拟机使用centos7镜像配置安装java1.8以上版本安装Hadoop2.6.5以上版本安装MySQL5.1以上版本二、安装MySQL（这里我是CentOs7
别呀·2023-10-27 04:41

win10java配置环境变量msi_win10安装java+hadoop+spark

前言操作系统win10安装时间2018年12月java版本jdk1.8.0_191hadoop版本hadoop-2.8.5spark版本spark-2.3.1-bin-hadoop2.7Java安装方法一下载这时有两种
weixin_39797693·2023-10-26 20:18

win10 安装 spark 开发环境

D:\spark-2.3.0-bin-hadoop2.6。配置Path
天地不仁以万物为刍狗·2023-10-26 20:45

win10中安装spark并使用pyspark

安装环境安装JAVA推荐jdk1.8安装Anaconda官方individual版本安装spark下载spark推荐spark-3.1.2-bin-hadoop2.7版本移动并解压所下载的.tgz文件注意请保证路径中没有空格
Rachel钟老师·2023-10-26 20:11

【智能大数据分析】实验1 MapReduce实验：单词计数

实验1MapReduce实验：单词计数文章目录【智能大数据分析】实验1MapReduce实验：单词计数一、实验目的二、实验要求三、实验原理1MapReduce编程2JavaAPI解析四、实验步骤1启动Hadoop2
-北天-·2023-10-26 19:05

Hadoop+Zookeeper+Spark+Hbase集群式部署

1.2.6-bin.tar.gzjdk-8u161-linux-x64.tar.gzzookeeper-3.4.10.tar.gzsqoop-1.99.7.tar.gzspark-2.2.1-bin-hadoop2.7
Go ku·2023-10-26 01:17

hadoop集群搭建

HDFS3、Fully-DistributedMode（集群模式）集群部署，数据存储在HDFS一、安装JDK因为hadoop是Java语言开发的，所以依赖jdk环境，需要先安装jdkJDK安装教程二、安装hadoop2.1
有人看我吗·2023-10-25 16:51

day_01小笔记----本地运行Hadoop 案例、伪分布式运行Hadoop 案例

0、hadoop1.x和hadoop2.x区别Hadoop1.x的核心组件与Hadoop2.x核心组件不一样Hadoop1.x：hdfs、common、mapreduce（mapreduce同时处理业务逻辑运算和资源调度
web15285868498·2023-10-24 16:12

【hadoop——HDFS操作常用的Shell命令】

1.Hadoop分布式文件系统（HadoopDistributedFileSystem,HDFS）是Hadoop核心组件之一，我们已经安装好了Hadoop2.7.1，其中已经包含了HDFS组件，不需要另外安装最基本的
所 爱·2023-10-24 14:34

Flink（二）CentOS7.5搭建Flink1.6.1分布式集群

admin@node21software]$wgethttp://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.6.1/flink-1.6.1-bin-hadoop27
木鱼-·2023-10-24 12:40
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他