Hadoop2 第4页

hadoop学习10

128*1024*1024*1024/150Byte≈9.1亿GMBKBByte(2)Hadoop2.x系列,配置NameNode内存NameNode内存默认2000m，如果服务器内存4G，NameNode

StopM·2023-11-15 20:12

HADOOP学习_grep和wordcount的例子

/bin/hdfsdfs-mkdir-p/user/hadoop22/05/0215:43:54WARNutil.NativeCodeLoader:Unabletoload

kkkAloha·2023-11-14 23:16

hadoop 大数据集群环境配置配置hadoop配置文件 hadoop(七)

（没有用hadoop102,103,104,我改为了hadoop22，hadoop23，hadoop24）2.配置22机器core-site.xmlcd$HADOOP_HOME/

不努力就种地~·2023-11-14 21:42

hadoop 如何关闭集群 hadoop使用脚本关闭集群 hadoop(八)

1.hadoop22,hadoop23,hadoop24三台机器2.namenode所在hadoop22关闭hdfs:#找到/etc/hadoop位置cd/opt/module/hadoop-3.3.4

不努力就种地~·2023-11-14 21:39

Spark读取excle、xlsx数据(Session读取)

读取xlsx版本：IntelliJIDEACommunityEdition2019.2.4apache-maven-3.6.2Spark2.0.2hadoop2.6_Win_x64-master话不多说

阿朱__·2023-11-14 18:51

hadoop 大数据环境配置 ssh免密登录 centos配置免密登录 hadoop(四)

1.找到.ssh文件夹cd~2.生成私钥公钥命令：ssh-keygen-trsa3.发送到需要免密机器：#hadoop23是我做了配置。

不努力就种地~·2023-11-14 10:39

vmware 修改主机名称 hadoop 服务器环境配置(一)

追加映射关系：#关系ip地址名称192.168.164.20hadoop202.保存后，重启reboot即可

不努力就种地~·2023-11-13 16:45

大数据实践（四）MapReduce编程实践（Ubuntu)

大数据实验（四）MapReduce编程实践（Ubuntu)前置工具及环境Ubuntu16.4VirtualBoxHadoop2.7.3jdk1.8一、MapReduce简介MapReduce是Hadoop

cgl_dong·2023-11-13 03:22

Flink部署--入门

Flink安装部署standalone模式在/opt/module/Flink目录下上传flink-1.7.0-bin-hadoop27-scala_2.11.tgz压缩包并解压[root@node01Flink

hykDatabases·2023-11-12 22:32

hive和spark-sql中日期和时间相关函数测试对比

测试版本：hive2.3.4spark3.1.1hadoop2.7.71、增加月份add_months(timestampdate,intmonths)add_months(timestampdate,

Data_IT_Farmer·2023-11-12 21:26

【大数据分布并行处理】单元测试（二）

A.MapReduceB.GraphXC.HiveD.Streams正确答案：B每种大数据产品都有特定的应用场景，以下哪个产品是用于查询分析计算的：A.MapReduceB.StormC.GraphXD.Dremel正确答案：D以下对Hadoop的说法错误的是：A.Hadoop2.0

Want595·2023-11-12 10:37

spark python_python spark环境配置

放在D盘添加SPARK_HOME=D:\spark-2.3.0-bin-hadoop2.7。并将%SPARK_HOME%/bin添加至环境变量PATH。然后进入命令行，输入pyspark命令。

weixin_39979948·2023-11-11 20:17

Hadoop实战（6）_搭建Apache Hadoop的Eclipse开发环境

系列目录：Hadoop实战（1）_阿里云搭建Hadoop2.x的伪分布式环境Hadoop实战（2）_虚拟机搭建Hadoop的全分布模式Hadoop实战（3）_虚拟机搭建CDH的全分布模式Hadoop实战

padluo·2023-11-10 20:22

CentOS7 hadoop集群搭建

搭建Hadoop集群配置名字hadoop1、hadoop2、hadoop3hostnamectlset-hostnamehadoop1hostnamectlset-hostnamehadoop2hostnamectlset-hostnamehadoop3

AGMY·2023-11-10 16:34

hadoop集群搭建

准备三台虚拟机hadoop1hadoop2hadoop3ip分别为：192.168.56.211，192.168.56.212，192.168.56.213配置三台虚拟机的主机名和映射vi/etc/hosts

昱宸星光·2023-11-10 16:28

Linux伪分布式安装Hadoop2.7.7

等链接工具上传安装包至安装目录解压压缩包#进入安装目录cd/soft#/soft改为你的安装目录#解压安装包tar-zxvfhadoop-2.7.7.tar.gz#重命名文件夹mvhadoop-2.7.7hadoop2

一位不愿透露姓名的肥宅·2023-11-10 15:23

Hadoop学习笔记（持续更新中）

MapReducejob、task、inputsplitcombiner其他示例HadoopHadoop的组成Hadoop1.xMapReduce（计算+资源调度）HDFS（数据存储）Common（辅助工具）Hadoop2

东河西·2023-11-09 09:19

hadoop yarn资源调度

yarn概述YARN是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序YARN是Hadoop2.x版本中的一个新特性

习丿枫叶菊·2023-11-08 06:09

Apache Hadoop YARN详解

YARN(YetAnotherResourceNegotiator，另一种资源协调者)是hadoop2.0后推出的一个资源管理器。YARN是一个通用资源管理系统和调度平台，负责为运算程序

liuhanyuu·2023-11-08 05:35

Haddop,HDFS和MapDeduce简单理论

HadoopHadoop1Hadoop2HDFS3.MapDeduceHadoop1Hadoop开源的分布式存储+分布式计算平台核心组件：HDFS：分布式文件系统，存储海量数据。

杰KaMi·2023-11-07 06:25

Spark 基础知识点、三种模式安装

环境说明centos7.5spark-2.1.1Spark内置模块Sparklocal模式安装直接解压即可，无需配置（spark-2.1.1-bin-hadoop2.7.tgz集成hadoop环境包）local

得过且过1223·2023-11-07 05:01

YARN实战学习笔记

文章目录YARN的由来YARN架构分析YARN资源管理模型YARN中的调度器案例：YARN多资源队列配置和使用YARN的由来从Hadoop2开始，官方把资源管理单独剥离出来，主要是为了考虑后期作为一个公共的资源管理平台

小崔的技术博客·2023-11-06 18:16

Spark(Scala)-示例程序

1.版本system:windows10jdk:1.8.0_141scala:2.10.5spark:spark-2.0.2-bin-hadoop2.6IntelliJ:15.0.62.基本环境安装下载安装

陪你一起debug·2023-11-06 17:47

Hadoop2.6.5集群搭建

搭建虚拟机以下搭建所需环境和资源包为VMwareCentOS7Hadoop2.6.5.tar.gzJDK1.8+使用虚拟机安装3个CentOS7的主机模拟服务器，分别为master、slave1、slave2

Alexciヾ·2023-11-06 01:26

Windows 环境下 Hadoop 的安装和配置

Windows环境下Hadoop的安装和配置Windows环境下Hadoop的安装和配置平台及版本安装Java1.8，并配置环境变量安装Hadoop2.7.3Hadoop核心配置文件启动Hadoop服务

UestcXiye·2023-11-05 22:30

MapReduce WordCount程序实践（IDEA版）

环境Linux：Hadoop2.xWindows：jdk1.8、Maven3、IDEA2021步骤编程分析编程分析包括：1.数据过程分析：数据从输入到输出的过程分析。

Hadoop_Liang·2023-11-05 20:56

Hadoop环境搭建

本文的思路是：以安装部署ApacheHadoop2.x版本为主线，来介绍Hadoop2.x的架构组成、各模块协同工作原理、技术细节。安装不是目的，通过安装认识Hadoop才是目

Super乐·2023-11-05 20:55

hadoop ubantu环境搭建_Ubuntu16.04+hadoop2.7.3环境搭建

lvero王·2023-11-05 20:51

史上最详细的hadoop环境搭建

本文的思路是：以安装部署ApacheHadoop2.x版本为

xk_一步一步来·2023-11-05 20:17

Yarn 的三种调度器

容量调度器（CapacityScheduler）Hadoop2.7.2默认的调度器多队列：每个队列有一定的资源，每个队列采用FIFIO调度策略。

程序员 Harry·2023-11-05 09:46

sqoop1.4.7导mysql数据到hive报错:ERROR hive.HiveConfig: Could not load org.apache.hadoop.hive.conf.HiveConf

环境:sqoop版本:1.4.7.hadoop2.7.6.hive2.3.1.导入参数:bin/sqoopimport--connectjdbc:mysql://192.168.0.55:3306/test

a904364908·2023-11-05 04:24

spark代码连接hive_本地spark连接hive相关问题总结

hive首先需要下载spark，下载地址：http://mirror.bit.edu.cn/apache/spark/spark-3.0.0-preview/spark-3.0.0-preview-bin-hadoop2.7

weixin_39798626·2023-11-04 04:21

Windows下配置IDEA开发Spark(spark和hive整合，IDEA中standalone、yarn直接执行)

环境信息Windows10X64JDK1.8.0_191Scala2.11.12Maven3.6.1Hadoop2.6.0Intelli

laoda137·2023-11-04 04:17

Centos Linux系统配置SSH免密登录

首先修改host，将需要互相免密的机器相互加入到host文件中：vi/etc/hostname#添加主机名hadoop2vi/etc/sysconfig/network#添加IP和hostname对应关系

dx1313113·2023-11-03 03:03

Ubuntu安装Flink-1.4.0

下载页面：http://flink.apache.org/downloads.html这里flink的版本一定要和hadoop的版本匹配，所以选择hadoop2.8的下载地址如下：下载地址：http

yamaxifeng_132·2023-11-03 03:55

Ubuntu安装Flink

下载的flink的版本一定要和hadoop的版本匹配下载地址：http://www.apache.org/dyn/closer.lua/flink/flink-1.4.0/flink-1.4.0-bin-hadoop28

weixin_42244915·2023-11-03 03:22

ubuntu部署flink集群，运行wordcount 例子

说明：事先完成了以下的准备工作：ubuntu16安装了hadoop集群（完全分布式）hadoop集群有5个节点：hadoop1~hadoop6（没有hadoop2）每个节点都安装了flink-1.12.0

Sonder_s·2023-11-03 03:47

大数据Hadoop2.x与Hadoop3.x相比较有哪些变化

在这篇文章中，我们将讨论Hadoop2.x与Hadoop3.x之间的比较。Hadoop3版本中添加了哪些新功能，Hadoop3中兼容的Hadoop2程序，Hadoop2和Hadoop3有什么区别？

尚学先生·2023-11-03 03:29

HIve部署

文章目录1.部署hadoop集群2.部署HIVE1.部署hadoop集群机器准备3台，关闭防火墙hadoop1192.168.200.41hadoop2192.168.200.43hadoop2192.168.200.43

L白眸·2023-11-02 19:06

018 在 Ubuntu 16.0.4 上安装 Hadoop 2 | Apache Hadoop 安装

018InstallHadoop2onUbuntu16.0.4|ApacheHadoopInstallation1.InstallHadoop2onUbuntu16.0.4:Objective1.安装Hadoop

胡巴Lei特·2023-11-02 09:00

搭建环境05：部署Spark-Standalone模式

配置历史服务8.分发Spark到其他worker服务器9.配置第二台服务器的Spark10.配置第三台服务器的Spark11.启动Spark集群12.测试Spark集群1.部署所需环境JDKzookeeperhadoop2

m0_37559973·2023-11-02 08:56

UDF 编写与注册

功能对数据加解密方式处理环境hadoop2.6.0+cdh5.11.2hive1.1.0+cdh5.11.2java1.8.xxx配置新加入hadoop集群的服务器需要放/opt/logs/env.properties

大怀特·2023-11-01 07:20

spark安装教程

IP192.168.42.121192.168.42.122192.168.42.123映射名masterslave1slave21.用xftp上传spark压缩包到/usr/local/src/中，解压到此目录中，tar-zxvfspark-2.3.1-bin-hadoop2.7

大大柚子·2023-10-30 08:41

spark安装配置

目录1.准备工作2.下载spark-3.1.1-bin-hadoop2.7和scala-2.12.13并解压3.配置环境变量4.配置文件$SPARK_HOME/conf/spark-env.sh6.配置

小田月朔一·2023-10-30 08:39

spark环境配置

下载完成后进行解压：tar-zxvfspark-2.1.1.tgz#简短的名字易于操作mvspark-2.1.2-bin-hadoop2.7.

Zx-Deere·2023-10-30 08:39

Elasticsearch如何备份到HDFS

测试环境elasticsearch6.3.2Hadoop2.9.1操作步骤安装repository-hdfs进入ES的目录，执行命令：bin/elasticsearch-plugininstallreposito

勇者1108·2023-10-30 04:16

centos7部署flink学习笔记（standalone）

高性能的流处理部署步骤//下载安装包[root@mini2~]#wgethttps://archive.apache.org/dist/flink/flink-1.5.2/flink-1.5.2-bin-hadoop27

H.20·2023-10-29 22:13

求指点：/bin/sh: -c: line 0: unexpected EOF while looking for matching `“‘

dockerfile文件如下：FROMcentosMAINTAINERSHUJIVOLUME["/data1","/data2"]运行容器报错如下：[root@Hadoop2learn_docker]#

ninety_two·2023-10-29 22:59

再看dockerfile指令用法：80分钟一口气学完docker+k8s！带你掌握docker+k8s所有核心知识点，全程干货，无废话！

[root@Hadoop2learn_docker]#catdockerfileFROMnginxRUNecho'书季，要攒劲哦~'>/usr/share/nginx/html/index.html#运行该镜像

ninety_two·2023-10-29 22:29

大数据Hadoop、Hive、Kafka、Hbase、Spark等框架面经

大数据组件学习路线：阶段1：学习绿色箭头的知识点；阶段2：学习红色箭头的知识点；阶段3：学习蓝色箭头的知识点；1Hadoop1.1Hadoop1.x与Hadoop2.x的区别1.2HDFS架构（1）NameNode

For Coding·2023-10-28 21:50

推荐频道

Hadoop2