Hadoop集群第20页

在阿里云ECS服务器上搭建Hadoop集群

在阿里云ECS服务器上搭建Hadoop集群简介Hadoop是一个开源的分布式计算的基础框架，其中最主要的组成部分则包括了hadoop分布式文件系统（hadoopdistributedfilesystem

AmadeusChan·2023-02-05 13:23

大数据程序员的工作职责是什么？

大数据开发要负责公司大数据平台产品的技术工作，如需求分析、架构设计、研发、以及性能分析工作；提升Hadoop集群的高可用性、高性能、高扩展特性；海量数据的导入优化工作；理和完善各类文档等工作。

我想去吃ya·2023-02-05 03:33

安装运行在完全分布式hadoop集群的hive

安装hive基于hadoop-2.5.2完全分布式集群，兼容hive-1.2.2版本https://www.jianshu.com/p/8a6a9a4fec4a下载地址：https://mirrors.tuna.tsinghua.edu.cn/apache/hive/解压到自己管理方便的目录下：[root@masterbigdatazips]#tar-zxvfapache-hive-1.2.2-b

臻霏·2023-02-04 20:38

【Hadoop笔记_3】MapReduce、案例分析、实例分析代码

MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个Hadoop集群上。5.2_Ma

REDANDBLUE_OvO·2023-02-04 18:15

Hadoop三节点集群搭建

Mac下利用vmwarefushion安装centos服务器，然后搭建Hadoop集群。

HideOnStream·2023-02-03 14:41

hadoop集群时间同步

同步方式选择一个机器，作为时间服务器（这里选择hadoop01），所有的机器与这台集群时间进行定时的同步，比如，每隔十分钟，同步一次时间。所需工具时间同步服务器有两个：ntpd和ntpdatp，虽然使用二者都能达到时间同步的目的，但是使用之前得弄清楚一个问题，ntpd与ntpdate在更新时间时有什么区别。ntpd不仅仅是时间同步服务器，他还可以做客户端与标准时间服务器进行同步时间，而且是平滑同步

ZIMMY_fb0f·2023-02-03 06:43

hadoop集群部署

1、Hadoop的介绍狭义上来说，hadoop就是单独指代hadoop这个软件，HDFS：分布式文件系统MapReduce:分布式计算系统Yarn：分布式集群资源管理广义上来说，hadoop指代大数据的一个生态圈，包括很多其他的软件2、hadoop的历史版本和发行版公司**###############################################################

keeper&·2023-02-02 14:29

hadoop cdh离线安装

转至元数据起始PageViewStatisticsHelpClosehadoop集群安装总结准备环境192.168.249.3hadoop1192.168.249.4hadoop2192.168.249.5hadoop3192.168.249.6hadoop4

weixin_46157243·2023-02-02 14:29

大数据入门知识总结

数据仓库1、数据仓库的基本概念2、数据仓库的主要特征3、数据仓库与数据库区别5、数据仓库——ETL三、Hadoop——HDFS分布式存储系统1、Hadoop简介2、HDFS、Yarn、MapReduce3、Hadoop

长不大的大灰狼·2023-02-02 14:25

初学者本地文件上传到Hadoop集群上常用命令步骤

connect)，包括ip地址、账户和密码2、在服务器本地上编辑创建文件Vim首先进入到的是一般模式，点击i字母进入编辑模式，esc键退出编辑模式，然后可以点击:wq保存退出3、进入集群环境（一般公司有从服务器到Hadoop

月笼纱lhz·2023-02-02 09:33

Hadoop集群搭建-01前期准备

原文在这里https://my.oschina.net/finchxu/blog/3076991整个搭建hadoop集群的流程，包括前期准备安装zookeeper并配置环境编译安装hadoop并启动安装

叫我懒猫·2023-02-02 01:56

hadoop集群搭建

集群简介HADOOP集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起。

·2023-02-01 12:51

安装Spark

安装之前的准备安装和配置三节点的Hadoop集群，一个节点是master节点(包含HDFSNameNode和YARNResourceManager)。另两个节点

峰峰仔·2023-02-01 04:53

docker安装hadoop3分布式集群-勤快版

简介安装hadoop集群真的很麻烦,我在网上找各种资料看来看去,最后花了差不多4天时间才算搞好环境.如果你希望用5分钟装好hadoop,那么你可以看这篇懒人版:https://www.jianshu.com

小肥爬爬·2023-01-31 05:07

hadoop集群在vm虚拟机Linux系统下的搭建单、伪、全分布式搭建参考

首先在vm上安装一台Linux系统虚拟机，安装方法可以在网上查找下面是安装好虚拟机之后的操作可以下载一个finallshell工具，操作更方便链接：https://pan.baidu.com/s/1dAdk7qvX4uEN2KLWZ5VHQw提取码：9527JDK1.8下载链接：https://pan.baidu.com/s/1ElO1vHFRb6HR5ijRj2j_og提取码：9527先在虚拟机

朝阳笑笑生·2023-01-30 15:55

Hadoop集群搭建(二)-网络配置

目录一、VMware网络配置二、Windows网络配置三、CentOS网络配置之前创建虚拟机是选择了NAT模式，需要宿主机的Windows和虚拟机的Linux能够进行网络连接，同时虚拟机的Linux可以通过宿主机的Windows进入互联网。一、VMware网络配置编辑->虚拟网络编辑器点击右下角的更改设置选择VMnet8,将子网IP修改成192.168.10.0，点击NAT设置点击NAT设置，修改

HUA_1740·2023-01-30 15:54

Hadoop的集群搭建windows基于VMware虚拟机超详细教程（一主二从）

Hadoop集群搭建（一主二从）文章目录Hadoop集群搭建（一主二从）前言一、VMware安装包以及所需要的jdk，Hadoop安装包二、XSHELL和XFTP下载与安装三、在VMware虚拟机中安装

南风未闻·2023-01-30 15:54

Hadoop集群安装配置教程

Hadoop集群安装配置教程目录Hadoop集群安装配置教程1、环境2、创建hadoop用户(两节点同步进行)3、安装SSH、配置SSH无密码登陆4、安装Java环境(两节点同步进行)5、安装Hadoop3.1.3

退役小学生呀·2023-01-30 15:52

Hadoop部署中的疑惑：/etc/hosts文件对集群伸缩性产生的影响

但是这个问题不免让我感到疑惑：对局域网里但每个机子修改此文件，不是很影响Hadoop集群但可伸缩性吗？"

weixin_33781606·2023-01-30 15:51

搭建hadoop集群，从安装虚拟机开始直到hadoop成功搭建

搭建Hadoop集群一、实验目的与要求学习和掌握Hadoop的相关应用，首先必须得学会搭建Hadoop集群。本次实验将针对Hadoop集群的搭建内容进行演练。

司空良·2023-01-30 15:20

大数据基石-Hadoop3.x学习教程-Hadoop产品了解与快速上手

HadoopHadoop3.x版本全系列教程===楼兰===文章目录一、关于Hadoop1、关于Hadoop产品2、Hadoop课程内容3、Hadoop的主要组件二、Hadoop环境搭建以及快速上手1、Linux环境搭建2、Hadoop

roykingw·2023-01-30 15:49

HDFS的Shell操作

命令大全常用命令实操准备工作（1）启动Hadoop集群我的上篇文章写了如何启动Hadoop集群Hadoop集群启动和停止方法（2）创建/s

苍夜月明·2023-01-30 15:48

搭建这个hadoop集群电脑表示要离家出走！

1.hadoop集群搭建的详细过程实验前的准备：==jdk==jdk-8u11-linux-x64.tar.gz提取码：wgte==hadoop==hadoop-2.10.1.tar.gz提取码：bfxz

♚ 悲欢自饮·2023-01-30 15:17

大数据之Hadoop集群搭建（4个节点）

大数据必备–搭建Hadoop集群（4个节点）初学大数据肯定第一步先搭建hadoop集群，虽然不知道怎么用，但是先搭建集群是你大数据学习之旅的第一步，操作步骤有以下这几步，用的centos系统对四台虚拟机进网络和静态

普通网友·2023-01-30 15:46

aws的EMR搭建Hadoop集群

直接上实验：实验包括：1.使用EMR创建Hadoop集群2.定义schema，创建示例表。3.通过H

m0_61022194·2023-01-30 15:44

[hadoop全分布部署]虚拟机Hadoop集群交换 SSH 密钥与验证SSh无密码登录

本期更新内容：虚拟机Hadoop集群交换SSH密钥与验证SSh无密码登录下篇文章预告：安装Hadoop、配置Hadoop配置文件目录交换SSH密钥（1）将Master节点的公钥id_rsa.pub复制到每个

发量不足·2023-01-30 15:14

从零开始搭建hadoop集群，详细步骤

Linux虚拟机安装后没有网络一：首次进入虚拟机输入二：选择启动后，显示没有网络的配置如下：三：修改配置一：修改自己windows系统的网络配置VMwareNetworkAdapterVMnet8ipv4设置为192.168.1.1子网掩码设置255.255.255.0二：修改VMware里面的：（工具栏的：编辑——》虚拟网络编辑器）如下图：跳转到的地方三：虚拟机配置三：修改linux配置，进入已

happy_linlin·2023-01-30 14:13

大数据基础平台搭建-（三）Hadoop集群HA+Zookeeper搭建

大数据基础平台搭建-（三）Hadoop集群HA+Zookeeper搭建大数据平台系列文章：1、大数据基础平台搭建-（一）基础环境准备2、大数据基础平台搭建-（二）Hadoop集群搭建3、大数据基础平台搭建

dyj095·2023-01-30 14:43

基于EMR离线数据分析（阿里云）

本场景将通过开通登录EMRHadoop集群，简单进行hive操作，使用hive对数据进行加载，计算等操作。展示了如何构建弹性低成本的离线大数据分析。体验此场景后，

阿里云云起实验室·2023-01-30 14:43

VM虚拟机Linux上安装Hadoop集群

VM虚拟机Linux上安装Hadoop集群1.VM虚拟机上安装Linux2.Linux上安装Hadoop集群3.步骤2中注意的地方4.安装中遇到的错误1.VM虚拟机上安装Linux安装教程参考该博文：https

黑色白色5·2023-01-30 14:42

使用Amazon Athena和 Amazon QuickSight进行天气数据可视化分析

从传统的方案来看，需要企业自行架设Hadoop集群，由于大数据分析对数据存储和数据运算需求都比较高，所以硬件配置的需求也很高，导致整个项目成本高昂。在使用了云服务器以后，可

Sinnet-cloud·2023-01-30 14:41

vmware中hadoop集群安装指南

1、准备Linux环境1.0先将虚拟机的网络模式选为NAT1.1修改主机名vi/etc/sysconfig/networkNETWORKING=yesHOSTNAME=shizhan1###克隆之后其他主机的名字分别是shizhan2shizhan3shizhan4....1.2修改IP两种方式：第一种：通过Linux图形界面进行修改（强烈推荐）进入Linux图形界面->右键点击右上方的两个小电脑

劲枫·2023-01-30 14:41

hadoop搭建

需要的安装包：1.jdk压缩包2.hadoop压缩包请前往百度云上上下载相关安装包(密码：8op1)开始搭建hadoop集群一.使用VMvare创建两个虚拟机，我使用的是ubuntu16.04版本的,并关闭全部虚拟机的防火墙

James_probie·2023-01-30 14:11

Hadoop集群安装和搭建（全面超详细的过程）

Hadoop集群安装和搭建（全面超详细的过程）文章目录Hadoop集群安装和搭建（全面超详细的过程）前言一、虚拟机的安装二、Linux系统安装1.环境准备2.虚拟机安装三、Centos系统安装四、静态网络配置五

小汤TYT·2023-01-30 14:10

[hadoop全分布部署]虚拟机Hadoop集群配置/etc/hosts、配置无密码登录（SSH）

本期更新内容：虚拟机Hadoop集群配置/etc/hosts、配置无密码登录（SSH）下篇文章预告：虚拟机Hadoop集群交换SSH密钥目录配置/etc/hosts、配置无密码登录（SSH）一、生成SSH

发量不足·2023-01-30 14:39

Docker 部署Hadoop集群

一、网络设置以及集群部署规划image二、Docker容器拉取镜像dockerpulldaocloud.io/library/centos:latest创建容器按照集群的架构，创建容器时需要设置固定IP，所以先要在docker使用如下命令创建固定IP的子网dockernetworkcreate--subnet=172.18.0.0/16netgroupdocker的子网创建完成之后就可以创建固定I

独钓寒雪1795·2023-01-30 10:47

大数据平台ambari

ambari长啥样子，可以参考使用ApacheAmbari管理Hadoop集群而Ambari2.7.3与HDP3.1.0安装过程，虽然这篇文章讲的笔记好，但是实际环境可能更为复杂，系统盘有35G，而数据盘有

warrah·2023-01-30 04:21

Hadoop小解疑

通过RPC调用namenode确定文件起始块的位置一个block会返回多个位置，根据Hadoop集群的网络拓扑结构所定义相对客户端的距离，将这些位置排序返回给客户端

vickeex·2023-01-29 09:35

MapReduce中使用Avro

前提条件一个maven项目Hadoop集群，如果你还没有安装的话，请戳这里，查看之前的文章。说明本篇文章是一个简单的用例，使用的例子是一个txt文件中存储了大量的学生信息，这些学

名字想好没·2023-01-28 19:18

用Nginx扩展Spark Master Web UI

0背景公司最近迁移Hadoop集群到堡垒机内部，内部机器不能直接访问了，sparkmasterwebUI的8080端口被映射出来使用。

苦咖啡JerryKFC·2023-01-28 01:41

安装hbase，连接hue

HUE（HadoopUserExperience）也就是Hadoop用户体验，通过HUE我们可以在浏览器端的wed控制台与Hadoop集群进行交互，来分析处理数据。

H豆腐·2023-01-27 16:10

基于腾讯云应用使用

5分钟学会如何玩转云数据库组件(迁移，审计，订阅）腾讯云数据库回档解决方案基于腾讯云CVM自建高可用Redis实践基于腾讯云CVM搭建Hadoop集群并做数据迁移

My_Fuzz·2023-01-26 11:04

Spark2.2.0 + Scala2.13.0集群搭建

Hadoop集群参考：ubuntu16+Hadoop2.7.3环境搭建（伪分布式），改为分布式集群JDK版本：1.8.0Scala版本：scala-2.13.0-M1spark版本：2.

sinat_34022298·2023-01-21 16:58

kerberos可以init但是连不上hadoop,禁用upd后成功连接hadoop集群。

解决在krb5.conf中禁用udp在[libdefaults]下设置udp_preference_limit=1"pool-1-thread-2"#15prio=5os_prio=0tid=0x00007f3ff0016800nid=0xc75erunnable[0x00007f4048c78000]java.lang.Thread.State:RUNNABLEatjava.net.PlainD

shy_snow·2023-01-21 16:28

Linux环境下hadoop 2.6.0 分布式集群搭建（实战演练）

应用场景之前介绍了单节点，部署伪分布式hadoop集群，可以作为自己使用，但是真正投入生产环境，伪分布式是不够的，仅仅作为个人研究测试使用，此时我们需要部署搭建hadoop完全分布式集群，此hadoop

kinzxv·2023-01-21 09:37

centos搭建hadoop集群实战命令总结

第一部分开发环境名称版本资源Linuxcentos7centos7JDK8u212jdk-8u212-linux-x64.tar.gzHadoop3.1.3hadoop-3.1.3.tar.gzZookerper3.5.7apache-zookeeper-3.5.7-bin.tar.gzKafka2.4.1kafka_2.11-2.4.1.tgzSpark2.1.1spark-2.1.1-bin-

Jmayday·2023-01-21 09:06

Hadoop集群安装和搭建

Hadoop集群安装和搭建前言 Hadoop是一个开源的、可运行与Linux集群上的分布式计算平台，用户可借助Hadoop存有基础环境的配置（虚拟机安装、Linux安装等），Hadoop集群搭建，配置和测试

王八变成汤·2023-01-20 18:39

传统数仓的3大缺陷

部署效率低：在部署Hive/HBase/Kylin之前，必须部署好Hadoop集群。和传统数据库相比，这个部署效率是非常低效的。

Impl_Sunny·2023-01-20 02:16

linux debian下配置ntp时钟同步

对于hadoop集群设置时钟同步就是一个十分重要的事情,下面我介绍一下，debain设置时钟同步的方法。网上关于RedHat和centos系统的设置方法都很多，我就不介绍了。

会飞的犬良·2023-01-19 20:50

IntelliJ IDEA连接Hadoop集群

汉秋_·2023-01-18 17:46

推荐频道

Hadoop集群