Hadoop集群

hadoop基础----hadoop实战(十四)-----hadoop管理工具---CDH移除主机

注意事项在CDH的Hadoop集群中提供有主机解除授权和将节点移除集群的操作正常情况下节点的解除授权不会导致blocks丢失的情况，但是在某些特殊场景中还是会出现小量blocks的丢失。
张小凡vip·2020-08-25 01:35

eclipse提交mr(操作hbase)出错

通过eclipse远程提交mr(处理文件到hbase)到hadoop集群报错：错误信息如下：2015-04-1911:31:46,800WARNorg.apache.hadoop.util.NativeCodeLoader-Unabletoloadnative-hadooplibraryforyourplatform
weixin_30374009·2020-08-24 23:54

hadoop运行Eclipse项目：WordCount项目

进行到这一步，以成功安装hadoop及eclipse及配置完成开启hadoop集群连接成功创建项目packagecom.hadoop.test;importjava.io.IOException;publicclassWordCount
刘金宝_Arvin·2020-08-24 22:21

sqoop环境搭建与基本导入导出

sqoop用户指南：http://sqoop.apache.org/docs/1.4.4/SqoopUserGuide.htmlsqoop环境搭建（在hadoop集群搭建好的基础上）1、上传sqoop-
ZqianLOYALTY·2020-08-24 22:52

linux下硬盘批量自动化分区

需求大于一切，公司数据中心采购50台DELL服务器部署Hadoop集群，每台机器配了6块3T硬盘，linux下fdisk工具只能格式化小于2T的硬盘，大于2T的需使用parted工具来格式化。
weixin_33963594·2020-08-24 20:00

MapReduce重点知识总结

MapReduce定义mapred是一个分布式运算程序的编程框架，它的核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个hadoop集群上。
夏天 ，，·2020-08-24 18:04

Hadoop(MapReduce)知识点总结

MapReduce是一个分布式运算程序的编程框架，是用户开发“基于Hadoop的数据分析应用”的核心框架MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个Hadoop
巨鹿い·2020-08-24 17:50

MapReduce知识点梳理

MapReduce是一个分布式运算程序的编程框架，是用户开发“基于hadoop的数据分析应用”的核心框架MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个hadoop
刘李�·2020-08-24 17:42

Spark集群之yarn提交作业优化案例

一.启动Hadoop集群1>.自定义批量管理脚本[yinzhengjie@s101~]$more`whichxzk.sh`#!
weixin_34419321·2020-08-24 17:36

oozie 调度异常 JA009: Filesystem closed

SUSPENDED),之前也存在被挂起的情况，但频率很低，一周也就一两次，出现问题时由监控脚本重跑，也不影响正常业务，但最近一两天被挂起的非常频繁，甚至一天有3，4个小时的任务被挂起，影响正常业务.个人猜测跟hadoop
weixin_34249367·2020-08-24 17:42

hbase高可用集群部署（cdh）

一、概要本文记录hbase高可用集群部署过程，在部署hbase之前需要事先部署好hadoop集群，因为hbase的数据需要存放在hdfs上，hadoop集群的部署后续会有一篇文章记录，本文假设hadoop
weixin_30700977·2020-08-24 17:46

初识Hadoop之HDFS - Java API篇

准备工作一个maven项目一台运行着hadoop的linux机器或者虚拟机，当然了hadoop集群也可以，如果你还没有的话可以戳这里。
名字想好没·2020-08-24 15:50

用VMWare搭建Hadoop集群

这里记录下用VMWare搭建hadoop集群的坑。安装VMware如果是重装的情况要注意:尽量把VMware清理干净再安装，否则就会出现无法正常使用VMware的情况。
时光格·2020-08-24 15:16

Apache Hadoop YARN

YARN是做什么的YARN在Hadoop中的功能作用有两个，第一是负责Hadoop集群中的资源管理(resourcemanagement)，第二是负责对任务进行调度和监控(scheduling/monitoring
poype·2020-08-24 15:18

Flume传数据到Hadoop双namenode集群传数据可能出现的问题

现在的需求是在一台Flume采集机器上，往Hadoop集群上写HDFS，该机器没有安装Hadoop。
程序员成长史·2020-08-24 14:41

[Hadoop] Hadoop集群一般需要关注的几个重要指标

原文来自hackershell,转载请注明出处通用监控指标对于每个RPC服务应该监控RpcProcessingTimeAvgTime(PRC处理的平均时间)通常hdfs在异常任务突发大量访问时，这个参数会突然变得很大，导致其他用户访问hdfs时，会感觉到卡顿，从而影响任务的执行时间CallQueueLength(RPCCall队列的长度)如果callqueue队列数值一直处于较高的水平，例如对于N
HackerShell·2020-08-24 13:58

R可视化：用Shiny实现类Excel数据透视图

通常而言，数据或存放在MySQL数据库，或存放在Hadoop集群，或存放在阿里云的ODPS上。分析师根据业务需求写SQL语句从数据平台上提取出需要的数据，随后就面临着本文要重点讨论的
丹追兵·2020-08-24 13:55

Jupyter生态二次开发系列(一)

然后在一个位置用粉笔画了个圈,说把这个拆下来换掉就好了.然后开价一万刀.老板嫌贵,问你就画个圈,凭什么要一万美元,老工程师说,一个粉笔圈值一美元,知道在哪画圈值九千九百九十九美元.很久没有写博客了,这两年搞hadoop
Slaytanic·2020-08-24 13:23

转-朝花夕拾之–大数据平台CDH集群离线搭建 (old article)

标签：Cloudera-ManagerCDHHadoop部署集群摘要：管理、部署Hadoop集群需要工具，ClouderaManager便是其一。
blair·2020-08-24 13:55

启动spark集群错误总结

1.先启动hadoop集群：方法：cd到hadoop的bin或sbin，运行start-all.sh报错：tasktrackerrunningasprocess26482.Stopitfirst.启动失败
zuanfengxiao·2020-08-24 12:07

MAPREDUCE详解

是一个分布式运算程序的编程框架，是用户开发“基于hadoop的数据分析应用”的核心框架；Mapreduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个hadoop
我有一头小毛驴被占用·2020-08-24 11:14

Hadoop之集群运行WordCount

如果你还没有集群环境参考Hadoop集群环境搭建（三台）搭建即可主要内容：1.修改Job的数据输入和输出文件夹2.打成可执行jar3.提交集群并运行相关文章：1.VM12安装配置CentOS72.Hadoop
阿坤的博客·2020-08-24 09:48

Hadoop-解决NameNode启动后秒挂的问题（多次格式化造成元数据不统一）

直奔主题：hadoop集群启动后，namenode一开始有，但是过一会就没了，大概率是因为元数据不统一的问题。
Zong_0915·2020-08-24 07:06

Hadoop集群性能测试

前言测试方法临时的一个小测试，主要目的是测试一下集群的IO。现从两方面进行测试：系统级别和集群级别。集群环境10台物理机，64G内存，2T硬盘。cdh5.x工具测试过程中使用到的工具。ddhdparmiperfhadoopbenchmark系统级别测试通过对集群节点测试，块写40G耗时49秒，磁盘写IO873MB/s，读IO1022.49MB/s，点对点网络IO大概110MB/s磁盘IO磁盘写：t
木东居士·2020-08-24 05:41

虚拟机上的Ubuntu 文件系统成为只读模式的解决办法

虚拟机环境的Linux系统由于是虚拟化虚拟出来的主机环境，因此经常会出现一些操作系统的问题，今天我遇到了一个Ubuntu操作系统文件系统成了只读模式，无法进行系统的操作，由于出问题的主机是我个人搭建的Hadoop
weixin_30533797·2020-08-24 03:00

hbase import & export

对于两个hadoop集群（生产环境和测试环境），想讲两个hbase表同步或者迁移，更保守的方式使用hbase自带的import&exportexport语法为：bin/hbaseorg.apache.hadoop.hbase.mapreduce.ExportERROR
stark_summer·2020-08-24 02:36

Hadoop基础之MapReduce

Hadoop基础1.Hadoop集群的配置安装（非安全模式）重要的配置文件：（1）Read-onlydefaultconfiguration：core-default.xmlhdfs-default.xmlyarn-default.xmlmapred-default.xml
imarklei·2020-08-24 00:32

Hadoop——HDFS Federation、File System Snapshots、集中式缓存管理、Distributed Copy、YARN HA简单讲解

HDFSFederation假设实际的环境中有一个Hadoop集群存储这多个不同的业务的数据（日志信息，消费行为信息，客户行为等），并且这些业务的数据的元数据信息由同一个namespace中的namenode
he_321·2020-08-23 23:46

Hadoop集群（第1期）_CentOS安装配置

Hadoop集群（第1期）_CentOS安装配置1、准备安装1.1系统简介CentOS是什么？CentOS是一个基于RedHat企业级Linux提供的可自由使用的源代码企业级的Linux发行版本。
于思宇·2020-08-23 22:03

Windows7 x64+Eclipse+Hadoop 2.5.2搭建MapReduce开发集群

MapReduce开发测试的代码，可以提交到Hadoop集群上测试运行，也可以在本机测试运行。
xkjcf·2020-08-23 21:17

Hadoop 启动/停止集群和节点的命令

集群启动/停止Hadoop集群：start-all.shstop-all.sh1)启动NameNode,DataNode2)启动JournalNode,JournalNode在hdfs-site.xml
ThisIsNobody·2020-08-23 21:11

hadoop-集群安装&配置

hadoop集群安装&配置修改配置文件配置文件都在hadoop-2.6.5/etc/下实际上所有的配置都可以写在任一文件中,分文件只是为了区分模块.hadoop-env.sh加入JAVA_HOME,这是远程启动集群用的
持而盈·2020-08-23 20:33

Hadoop集群搭建（三个节点）--摘要

前置准备：1、修改主机名，永久生效（不同版本方式不同）centos6修改hostname[root@centos6~]$hostname#查看当前的hostnmaenode1[root@centos6~]$vim/etc/sysconfig/network#编辑network文件修改hostname行（重启生效）[root@centos6~]$cat/etc/sysconfig/network#检
Erase Me·2020-08-23 18:56

hadoop安装及HDFS的简单操作

1.hadoop集群的安装实际开发的真实部署学习中的部署1.准备Linux环境1.0先将虚拟机的网络模式选为NAT1.1修改主机名vi/etc/sysconfig/networkNETWORKING=yesHOSTNAME
逐 影·2020-08-23 18:23

D001.7 Docker搭建Hadoop集群（实践篇）

安装Docker请参考：D001.5Docker入门（超级详细基础篇）的“0x01Docker的安装”小节2.准备资源根据文末总结的文件目录结构，拷贝文章的资源，资源请参考：D001.6Docker搭建Hadoop
邵奈一·2020-08-23 17:51

生产环境下部署hadoop集群(包括dns配置，nfs共享，awk资源分发)

生产环境中部署hadoop集群与测试环境中部署的区别主要是：1.使用DNS而不是hosts来解析主机名2.使用NFS共享秘钥文件，而不是手工拷贝配置3.复制hadoop时使用脚本批量操作，而不是单个复制第一
KNIFE_PAN·2020-08-23 15:02

Hadoop完整搭建过程（四）：完全分布模式（服务器）

1概述上一篇文章介绍了如何使用虚拟机搭建集群，到了这篇文章就是实战了，使用真实的三台不同服务器进行Hadoop集群的搭建。
氷泠·2020-08-23 11:19

Hadoop完整搭建过程（四）：完全分布模式（服务器）

1概述上一篇文章介绍了如何使用虚拟机搭建集群，到了这篇文章就是实战了，使用真实的三台不同服务器进行Hadoop集群的搭建。
氷泠·2020-08-23 09:46

hadoop集群的namenode无法启动

1、首先namenode无法启动，第一时间查看日志，看看具体是什么原因。2、namenode无法启动，主要还是配置文件的错误，其次就是用户权限的问题。3、日志错误如下：2018-06-0223:57:20,316INFOorg.apache.hadoop.hdfs.server.namenode.NameNode:STARTUP_MSG:/*****************************
weixin_41596463·2020-08-23 08:14

hadoop集群的NodeManager存在， 但在yarn上显示Unhealthy Nodes

也可以使用命令查看节点状态：[[email protected]]$bin/yarnnode-list-all查看yarn的log发现2020-06-0810:31:12,900WARNorg.apache.hadoop.yarn.server.nodemanager.DirectoryCollection:Directory/home/mmtrix/applicati
千里风雪·2020-08-23 03:50

python通过impala连接hive总结

重点：impala库安装pip安装依赖：thriftthriftpythrift_saslpure_saslimpylabitarray开启hadoop集群start-all.sh开启hiveserver
Hector Will·2020-08-23 02:52

CentOS7下搭建Hadoop集群环境

CentOS7虚拟机两台java8、sshHadoop:2.7.3安装java-devel用于调试1、准备工作修改两台虚拟机主机名master、slave[root@master/]#hostnamemaster配置Hosts[root@master/]#vim/etc/hosts192.168.1.240master192.168.1.241slave配置完成之后，互相ping一下，看能否连通p
lycium·2020-08-23 02:56

Hadoop集群安装 已检测到多个CDH版本

liunx小白，也不懂。反正最后解决了。自己记录一下，方便以后看。问题如下：因为之前装过5.11.0,可能是未卸载完全吧。解决办法：先通过rpm-qa|grep5.11.0查看了一下确实有部分软件是此版本，怎么办呢？linux小白只能挨个重新yuminstall一下了以第一个为例yuminstallzookeeper-3.4.5+cdh5.11.2+117-1.cdh5.11.2.p0.7.el7
jbx929205249·2020-08-23 01:26

Hadoop集群安装 无法检测根权限 解决

原因：因为切换root检测时，需要重新输入密码，所以报错。解决办法：root用户执行命令visudo（以下两句默认文件中都有，直接注释或者取消注释即可）%wheelALL=(ALL)ALL（注释掉）%wheelALL=(ALL)NOPASSWD:ALL（取消注释）修改如下：：wq！强制保持退出即可。再去执行
jbx929205249·2020-08-23 01:26

hadoop 集群配置

yarn-site.xmlyarn.nodemanager.resource.memory-mb默认8gyarn.nodemanager.resource.cpu-vcores默认8个Hadoop集群参数和常用端口
JackLi_csdn·2020-08-23 00:19

转载|领英开源TonY：构建在Hadoop YARN上的TensorFlow框架

领英用户超过5.75亿，其Hadoop集群中存储了数百PB的数据，因此需要一种可扩展的方式处理所有这些信息。
李彬的博客·2020-08-22 22:33

Hadoop HA自动故障转移搭建

1.所需知识:HadoopZookeeper2.目前Hadoop集群存在的问题:2.1如果NameNode故障后，应该怎么办?
hidecode·2020-08-22 22:47

HDFS HA搭建 （ZKFC自动故障转移）

基本集群搭建见这篇博客：hadoop集群搭建笔记在基本集群搭建上配置下述文件HA搭建配置：hdfs-site.xmldfs.replication3dfs.nameservicesmyclusterdfs.ha.namenodes.myclusternn1
.破晓.·2020-08-22 22:58

D001.8 Docker搭建Spark集群（实践篇）

Docker请参考：D001.5Docker入门（超级详细基础篇）的“0x01Docker的安装”小节2.准备资源a.根据文末总结的文件目录结构，拷贝文章的资源，资源请参考：D001.6Docker搭建Hadoop
邵奈一·2020-08-22 22:39

hbase集群部署与测试（2017）

部署hbase的集群首先我们要需要一个hadoop集群、至少要有一个hdfs的集群和zookeeper集群用HA集群的可用性号，由于做实验，没必要这么多集群，那么就不用HA集群第一步看一下hdfs是否正常启动
weixin_33778544·2020-08-22 19:02
上一页 31 32 33 34 35 36 37 38 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他