Hadoop集群第43页

Java操作Hadoop集群

mavenhdfsMapReduce1.配置maven环境2.创建maven项目2.1pom.xml依赖2.2单元测试3.hdfs文件操作3.1文件上传和下载3.2RPC远程方法调用4.MapReduce操作4.1WordCount4.2本地模式运行4.3集群模式运行5.封装util1.配置maven环境windows配置Maven下载Maven二进制压缩包解压配置maven环境变量验证mvn-v

dgush2000·2020-08-06 11:26

Hadoop集群namenode故障模拟

在主namenode发生故障时（假设没有及时备份数据），可以从SecondaryNameNode恢复数据。方法一：将SecondaryNameNode中数据拷贝到namenode存储数据的目录；方法二：使用-importCheckpoint选项启动namenode守护进程，从而将SecondaryNameNode用作新的主namenode。方法1：1、kill掉原namenode2、进入到data

ZoeWangW·2020-08-06 11:55

hadoop集群查看进程情况

问题说明hadoop集群工作状态查询时，需要在每台机器上进行jps，很繁琐。泪流满面呀！！！为了解决这个问题，我自己使用了脚本查看集群各机器工作状态，比之前来回切换方便很多。

十点进修·2020-08-06 10:30

hadoop 2.x常用端口一览表

Hadoop集群的各部分一般都会使用到多个端口，有些是daemon之间进行交互之用，有些是用于RPC访问以及HTTP访问。

残阙的歌·2020-08-06 10:06

BigData && Hadoop && Spark生态圈

一、HadoopHadoop基础Hadoop基础学习Hadoop集群大数据平台搭建分布式存储的原理HDFS常用操作命令HDFS文件恢复机制HDFS中的数据块Federation配置ViewFS的配置告诉你怎么使用

蓝海匕首·2020-08-05 04:10

《Python数据可视化之Matplotlib与Pyecharts》之目录

目录序言1.1大数据时代的技术挑战1.2数据可视化的技术难点1.3可视化工具的必备特性第一部分：大数据可视化基础篇2.1集群的安装及网络配置2.1.1Hadoop集群概述2.1.2集群软件及其版本2.1.3

王国平·2020-08-05 04:35

【大数据学习02】Hadoop集群安装前准备

一、实现虚拟机连接外网虚拟机ping网卡不通，此时需要进行以下设置vi/etc/sysconfig/network-scripts/ifcfg-eth0//修改网卡配置文件-----------------------------//做以下修改ONBOOT=yes-----------------------------servicenetworkrestart//重启网卡二、虚拟机固定IP配置v

fairy_yao·2020-08-05 01:28

05-Hive的连接3种连接方式

一、CLI连接二、HiveServer2/beeline1、修改hadoop集群的hdfs-site.xml配置文件2、修改hadoop集群的core-site.xml配置文件三、WebUI一、CLI连接进入到

阿豪963·2020-08-04 21:00

彷徨 | Hive的介绍 , 安装 , 配置以及启动

Hive是运行在Hadoop集群上的,所以在安装Hive之前,应启动Hadoop集群.2Hive的

俊杰梓·2020-08-04 20:36

Install Drill

选择分布式模式使用钻在Hadoop集群环境中。集群(多服务器)安装ZooKeeper是其中一个先决条件。您还需要为使用在分布式模式配置钻。完成这些任务后，连接钻你的hive，HBase，或者分布

weixin_34393428·2020-08-04 20:27

停止启动集群命令

192.168.2.101hadoopbeixin*K88切记一定要用hadoop账户停止hadoop集群cd/opt/hadoop-2.6.0/sbin.

laomanong521·2020-08-04 15:23

阿里云Hadoop集群部署(2)-配置多台机器互信认

前面购买好阿里云机器后,接下来进行集群机器间的互信任操作购买配置请参考https://blog.csdn.net/huonan_123/article/details/84549216小技巧在xshell中同时操作多个窗口(鼠标右键,选择如下如图箭头所示)创建用户[root@hadoop002~]#useraddhadoop上传文件(root)[root@hadoop001software]$ll

huo_火力全开·2020-08-04 14:25

【转】hadoop 集群开启之后datanode没有启动

datanode没有启动将hadoop配置文件修改后，重新格式化了hadoop集群，即hadoopname-format但是此时发现slave节点没有启动datanode上网查找解决方法，最后终于解决了

Felix_CY·2020-08-04 13:02

基于K8S，spark访问hadoop集群的共享层hive表数据历险记

前言由于Spark的抽象设计，我们可以使用第三方资源管理平台调度和管理Spark作业，比如Yarn、Mesos和Kubernetes。基本原理基本原理当我们通过spark-submit将Spark作业提交到Kubernetes集群时，会执行以下流程：Spark在Kubernetespod中创建SparkdriverDriver调用KubernetesAPI创建executorpods，execut

阿啄debugIT·2020-08-04 10:05

hadoop生态系统（一）——hadoop集群搭建

虚拟机三台配置hadoop集群。

丶大荡·2020-08-04 10:23

Hadoop实战之路——第二章 Hadoop集群实验环境安装

所谓“万事开头难”，Hadoop集群实验环境的安装放倒了不少新手，没有安装好实验环境导致后面的内容没法学习，于是乎只有放弃了。Hadoop的运行模式主要有三种：•单机模式。

老象学院·2020-08-04 08:52

hadoop集群搭建详细说明

大数据领域小白搭建hadoop详细步骤说明以下是根据我们实验室的情况的说明，你可以按照自己的情况自己更改配置一、规划：1、三台主机的ip分别为192.168.100.30、192.168.100.63、192.168.100.147，统一安装centos命令行界面，统一用户名密码：root/xjtuse2、三台主机名更改为：master、slave1、slave23、三个DataNode：mast

阚大山2018·2020-08-04 07:58

Spark on yarn启动时报错：Error initializing SparkContext解决方法

1.首先确认hadoop集群下的yarn-site.xml配置文件是否添加了下面内容yarn.nodemanager.pmem-check-enabledfalseyarn.nodemanager.vmem-check-enabledfalseWhethervirtualmemorylimitswillbeenforcedforcontainersyarn.nodemanager.vmem-pme

青+蓝=紫·2020-08-04 06:26

Sqoop数据ETL工具（九）

19.9使用Sqoop将数据导入MySQL要求：MySQL服务启动且运行正常，命令为：[zkpk@master~]$/etc/init.d/mysqldstatusHadoop集群启动且运行正常，命令为

BoyounStone·2020-08-04 06:20

解决HBase分布式集群中zookeeper无法正常启动的问题

Hadoop集群用到的工具版本号节点名称hadoop2.7.1Masterhbase1.4.7Slave1zookeeper3.4.10Slave2Zookeeper下载：Apache官网上自行下载合适版本

Runningluffy·2020-08-04 06:37

运行基准测试hadoop集群中的问题：org.apache.hadoop.ipc.RemoteException: java.io.IOException: File /benchmarks/Test.

在master（即：host2）中执行hadoopjarhadoop-test-1.1.2.jarDFSCIOTest-write-nrFiles12-fileSize10240-resFiletest最后fail，为啥，看了一下日志org.apache.hadoop.ipc.RemoteException:java.io.IOException:File/benchmarks/TestDFSIO

weixin_34000916·2020-08-04 05:17

Hadoop集群（第8期）_HDFS初探之旅

1、HDFS简介HDFS（HadoopDistributedFileSystem）是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础，是基于流数据模式访问和处理超大文件的需求而开发的，可以运行于廉价的商用服务器上。它所具有的高容错、高可靠性、高可扩展性、高获得性、高吞吐率等特征为海量数据提供了不怕故障的存储，为超大数据集（LargeDataSet）的应用处理带来了很多便利。Hadoo

weixin_33778778·2020-08-04 04:38

SpringBoot——RestTemplate远程调用python rest接口

三千の世界·2020-08-03 22:44

搭建一个Hadoop集群 HDFS-HA （Zookeeper自动故障转移）

前言之前已经搭建过一个hadoop集群(搭建方法),在这个集群的基础上进行改进，引用Zookeeper来进行自动故障转移！后续搭建Yarn-HA！！！点我！

威尼斯的星期天·2020-08-03 22:38

Hadoop集群搭建过程及配置文件总结

1.配置文件总结总共8个配置文件，4个site的xml文件，3个环境脚本，1个slaves4个site文件：hdfs-site.xml，yarn-site.xml，mapred-site.xml，core-site.xml3个环境脚本：hadoop-env.sh，yarn-env.sh，mapred-env.sh1个slaves：slaves2.完全分布式运行模式的集群搭建过程虚拟机配置硬盘50G

G5Lorenzo·2020-08-03 22:03

搭建Hadoop2.6.4集群 Zookeeper版

集群搭建Files:hadoop集群搭建Tags:Mar10,20191.搭建前提centOS6.7集群hadoop1192.168.111.133hadoop2192.168.111.134hadoop3192.168.111.135

糟得很·2020-08-03 21:54

HA高可用自动故障转移（最新，最详）

目录概述：图解：集群规划：配置zookeeper集群：HDFS的NameNode的HA高可用自动故障转移：YARN的HA高可用自动故障转移：测试：关闭集群：Hadoop集群相关的开启关闭命令：概述：在了解自动故障转移之前

isea_you·2020-08-03 21:40

7.pyspark在Hadoop Yarn上运行

1.复制LICENSE.txtcp/usr/local/hadoop/LICENSE.txt~/wordcount/input2.启动所有虚拟机参考Hadoop集群搭建3.启动集群start-all.sh3

剑海风云·2020-08-03 20:03

Hadoop环境搭建----（利用ZooKeeper搭建Hadoop的HA集群）

1、安装Zookeeper集群具体安装步骤参考之前的文档https://blog.csdn.net/liyyzz33/article/details/886895942、安装hadoop集群具体安装步骤参考之前的文档

打卤·2020-08-03 19:39

Apache-hive2.1.1安装部署

一、环境准备1、本次物理节点使用Hadoop分布式集群中的WAMaster节点；也可自行准备一台linux主机或虚拟机(需要java环境)；需要Hadoop集群和mysql数据库。

坏蛋呆呆·2020-08-03 17:20

linux服务器被挂马，ps命令netstat命令被挟持替换成其他程序

公司一套hadoop集群，装的CDHCM，被挂马了，动不动就特别卡，流量占用特别高。当初为了方便，裸在公网上了。而且密码还简单，这下是血的教训了。

feloxx·2020-08-03 16:29

Hive-2.1.0 安装(详细图文)

说明：在CentOS6.5上安装hive-2.1.0，前提是hadoop集群已经配置成功。

M_SIGNALs·2020-08-03 13:43

Ubuntu+Hadoop+Mysql+Hive+Sqoop

环境配置说明：软件版本VirtualBox6.1Ubuntu16.04Hadoop2.7.7MySql5.7.29MySql驱动5.1.46Hive2.3.6sqoop1.4.7一、hadoop集群配置以及

weixin_43931044·2020-08-03 11:24

使用docker-compose搭建hadoop伪分布式,并用springboot进行读写访问

前言本人初学Hadoop,在不懂得什么是完全分布式,什么是伪分布式,以及hdfs的具体架构得情况下,就盲目的跟着网上的教程搭建hadoop集群.最后结果是,环境搭起来了,springboot客户端却无法访问

zisuu·2020-08-03 09:34

Win下访问安全集群的Web界面

blog.ywheel.cn/post/2018/03/21/access_hadoop_web_with_kerberos/本文将简单记录在windows环境下，安装kerberos、进行环境配置、认证后，成功访问安全的hadoop

wheel_Y·2020-08-03 09:04

RDD操作实例--分组排序之三种方法求老师的访问量

数据样例：http://bigdata.edu360.cn/laozhang接下来用三种方法来计算：工具：hadoop集群，zookeeper集群，spark集群一.思路：1.对数据进行切分，留下学科和对应的老师

weixin_43866709·2020-08-03 08:13

hadoop的监控

但是现在想要自己开发一套监控系统，那该怎样去获取Hadoop集群的当前状况呢？网页抓取首先，想到的办法是抓取网页，通过抓取50030和50070页面获得监控的数据。

weixin_34117211·2020-08-03 07:28

Spark Hadoop集群部署与Spark操作HDFS运行详解---Spark学习笔记10

一、环境概况Spark集群3台：web01:slaveweb02:masterdb01:slaveHadoop集群：h

OopsOutOfMemory·2020-08-03 05:24

通过ambari来搭建hadoop集群（1）

准备环境192.168.80.10MasterMaster.Hadoop192.168.80.11Slave1Slave1.Hadoop192.168.80.12Slave2Slave2.Hadoop三台机器均为Centos_x64_6.5Master主节点配置4G内存另两台Slave配置为2G内存由于通过在线安装的方式未能安装成功，转换思路将在本地建yum源的方式来安装，个人觉得这种方式应该是更

迪塔维·2020-08-03 05:30

八、Intellij IDEA远程向hadoop集群提交mapreduce作业

其实对比单机版，差别不是很大。用阿里云的时候别忘了把所有端口都打开。。因为有些代码还是在windows运行，而有些端口貌似是不固定的，应该可以配置成固定的，但我偷懒了，就让hadoop自己随机吧。。我把linux端口全打开。（1）job代码：//hdfs操作文件系统的用户名，避免在windows下使用默认用户名对hdfs没有修改权限System.setProperty("HADOOP_USER_N

我叫周利东·2020-08-03 03:16

HBase环境搭建

安装Hadoop集群参照我的Hadoop集群搭建，先搭建Hadoop集群。安装HBase有了前面Hadoop的搭建之后，许多基础环境都已经完成了。此外还需额外安装NTP，因为HBase需要各个节点之间

jerry_lin3000·2020-08-03 01:06

SpringBoot集成Hadoop

默认在Linux下已经装好Hadoop集群（Hadoop-2.8.5）。

贲_WM·2020-08-02 21:26

Nginx学习笔记（反向代理&搭建集群）

一、前言1.1大型互联网架构演变历程1.1.1淘宝技术淘宝的核心技术（国内乃至国际的Top，这还是2011年的数据）拥有全国最大的分布式Hadoop集群（云梯，2000左右节点，24000核CPU，48000GB

曾梦想仗剑走天涯XX·2020-08-02 18:22

文末赠书|一篇文章让你了解Hive调优

老工在职场多年，从事过海量（PB级）数据的关系型数据库数据处理工作，后由于数据平台升级的要求，将数据迁移到Hadoop集群，做了多年的数据研发和数据产品的研发工作，从业务理解、数据模型构建、数据采集、数据清洗

文文学霸·2020-08-02 17:51

淘宝双11大数据分析（环境篇）

文章目录案例分析前言数据分析流程环境准备软件要求硬件要求环境搭建案例分析前言通过本案例，你可以：熟悉在Linux系统中安装Hadoop集群、安装Mysql数据库，安装Sqoop数据迁移工具，安装Spark

你家宝宝·2020-08-02 17:05

伪分布Hadoop2.7.6 hbase2.1.8升级到Hadoop3.1.3 hbase2.1.10

如果Hadoop集群配置了高可用，则可以进行不停服的滚动升级。但现在是伪分布的单节点集群，因此需要停止Hadoop及相关的应用，包括hbase、zookeeper等。

ASN_forever·2020-08-02 15:04

上传本地文件到HDFS中(大数据学习2)

第一节hadoop集群搭建完成之后，现在测试是否能将本地文件上传到hadoop集群中。

在IT中穿梭旅行·2020-08-02 14:24

csv数据导入Hadoop中的HDFS

环境准备具体的环境准备及搭建流程可参考以下文章，本文不再做赘述基础环境准备：https://blog.csdn.net/supermapsupport/article/details/91443032Hadoop

supermapsupport·2020-08-02 13:54

在centos6.5上hadoop mapreduce 统计英文单词

在centos6.5上hadooppython实例统计英文单词linux上的单词删选实例安装的是centos6.5系统，搭建hadoop集群统计一篇文章中英文单词的数量统计1.txt中单词的数量，新建一个

Blithe_Lee2·2020-08-01 14:45

spark-shell在yarn上卖弄启动时报错The specified datastore driver (“com.mysql.jdbc.Driver“) was not found

在安装好的Hadoop集群和spark集群中安装好hive。

new_buff_007·2020-08-01 13:31

推荐频道

Hadoop集群