hadoo

Reduce运行到99.99%到100%，最后出现了错误，导致任务失败

Failingwrite.Triedpipelinerecovery5timeswithoutsuccess.atorg.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.processDatanodeError(DFSOutputStream.java:1113)atorg.apache.hadoo
XiaoGuang-Xu·2017-08-04 07:51

【Hadoop入门】Hadoop的架构介绍

Hadoo
白夜行515·2017-07-28 09:05

零售业如何用Hadoop开启大数据之门？

Hadoo
爱哭的小魔女·2017-07-20 15:00

零售业如何用Hadoop开启大数据之门？

Hadoo
爱哭的小魔女·2017-07-20 15:00

Spark详解04Shuffle 过程

对比HadoopMapReduce和Spark的Shuffle过程如果熟悉Hadoo
Albert陈凯·2017-07-12 17:46

Spark RDDs vs DataFrames vs SparkSQL

UsingRDD’sUsingDataFramesUsingSparkSQL数据源在HDFS中3个文件中存储的9百万不同记录每条记录11个字段总大小1.4GB实验环境HDP2.4Hadoo
yrgw·2017-07-11 10:13

Hadoop2.7.0集群的NameNode在HA下如何切换active和standby状态

、笔者平时训练写的很多mapreduce程序，指定的都是hdfs://10.17.2.134:9000/这个路径，由于开发环境都是一些虚拟机，配置较低，hadoop集群经常出现某个节点挂掉的情况，重启hadoo
宴宴于飞·2017-07-06 10:05

hadoo分布式安装

前骤：HadoopCluster中的DaemonHDFS：NameNode，NNSecondaryNode，SNNDataNode:DN/data/hadoop/hdfs/{nn,snn,dn}nn:fsp_w_picpath,editlog//镜像和编辑日志//hdfs的NN是在内存中存放数据，不断根据文件状态改变，修改元数据fsp_w_picpath存放了：文件分割后存放在哪些node上//文
MT_IT·2017-07-03 17:56

解决IDEA调试Hadoop程序中无法加载本地库的问题

这是因为Idea在调试运行的过程中无法加载Hadoop的本地库文件,Hadoo
Stevenson-Gavin·2017-06-22 16:14

java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.

注意在配置hadoop环境变量之前，将下载好的winutils.exe拷贝到hadoo
Wiki-9527·2017-05-11 23:10

eclipse集成hadoop+spark+hive本地开发图文详解

一.开发环境系统：windows7JDK:jdk1.7eclipse:Mars.2Release(4.5.2)Hadoop:hadoo
IT狗探求·2017-05-02 16:06

龙芯平台hadoop总是自动重启的问题调试记录

在龙芯平台上使用hadoo进行数据解析测试时，发现一个现象，hadoop总是自动停止运行，然后又自动启动。刚开始我怀疑是这台龙芯服务器的hadoop环境没有配置好。
李灿辉·2017-04-27 08:16

Hadoop常用操作指令和Hadoop集群配置

hadoopdfsadmin–safemodeleave退出安全模式hadoopfs-cat打开某个已存在文件hadoopfs-ls查看指定目录下内容hadoopfs-put将本地文件夹存储至hadoop上hadoopfs–mkdir在hadoo
Fighting_Studying·2017-04-20 16:21

并发&并行

如hadoo
iteye_3260·2017-04-05 16:39

千万级PV规模高性能高并发网站架构

Apache/nginx静态服务器提供html页面内容php/java服务器：PHP/JAVA动态内容数据库缓存服务器：数据库缓存memcache/redis数据库服务器：MYSQL数据库数据存储：NFS/HADOO
一盏烛光·2017-03-31 19:09

在Spark上通过BulkLoad快速将海量数据导入Hbase

_importorg.apache.spark.rdd.NewHadoopRDDimportorg.apache.hadoo
mllhxn·2017-03-31 18:54

通过Shell数组传参控制Sql脚本串并行调度一例

9UserPortrait]$lltotal616-rw-r--r--1hadoophadoop2516Mar718:21indexCalc-barrage-byUidOnly.sql-rw-r--r--1hadoo
BabyFish13·2017-03-13 10:11

Hadoop+Hbase+Spark集群配置—Zookeeper安装

conf/zoo_sample.cfg/usr/hadoop/zookeeper/conf/zoo.cfgvi/usr/hadoop/zookeeper/conf/zoo.cfgdataDir=/usr/hadoo
1024find·2017-03-09 14:33

Hadoop+Hbase+Spark集群配置—Zookeeper安装

conf/zoo_sample.cfg/usr/hadoop/zookeeper/conf/zoo.cfgvi/usr/hadoop/zookeeper/conf/zoo.cfgdataDir=/usr/hadoo
1024find·2017-03-09 14:33

Hadoop Erasure Coding结构分析

在之前的文章中，笔者或多或少介绍过EC技术的原理知（再聊HDFSErasureCoding）以及EC技术在Hadoop中的运用（Hadoo
Android路上的人·2017-02-19 15:13

Spark RDDs vs DataFrames vs SparkSQL

UsingRDD’sUsingDataFramesUsingSparkSQL数据源在HDFS中3个文件中存储的9百万不同记录每条记录11个字段总大小1.4GB实验环境HDP2.4Hadoo
阿凡卢·2017-02-14 15:00

Hadoop相关文章索引（2）——Hadoop运维主题

难以在快速增长的集群上平衡大量的数据Hadoop运维笔记之Namenode异常停止后无法正常启动Hadoop运维笔记之Snappy创建libhadoop.so导致datanode报错Hadoop运维记录系列(十三)Hadoo
BlackEnn·2017-01-31 11:00

Hadoop相关文章索引（2）——Hadoop运维主题

难以在快速增长的集群上平衡大量的数据Hadoop运维笔记之Namenode异常停止后无法正常启动Hadoop运维笔记之Snappy创建libhadoop.so导致datanode报错Hadoop运维记录系列(十三)Hadoo
司小幽·2017-01-31 11:32

Hadoop2.7 安装

192.168.72.130master192.168.72.131slave1192.168.72.132slave2192.168.72.133slave3目录安装JDK配置host文件SSH免密码登陆Hadoop安装Hadoop配置Hadoop初始化Hadoo
David&Tea·2017-01-16 15:15

从零开始hadoop分布式环境搭建

，hadoop使用过程中容易出现意想不到的的问题）4.网络选择桥接网卡（不要选择NAT，不然路由器不会为虚拟机分配独立的IP地址）5.安装增强功能开启双向开启共享剪切板6.安装用户使用同样的用户名：如hadoo
CWeeYii·2017-01-07 12:18

从零开始hadoop分布式环境搭建

，hadoop使用过程中容易出现意想不到的的问题）4.网络选择桥接网卡（不要选择NAT，不然路由器不会为虚拟机分配独立的IP地址）5.安装增强功能开启双向开启共享剪切板6.安装用户使用同样的用户名：如hadoo
CWeeYii·2017-01-07 12:18

用Python实现Hadoop实时作业状态监控

环境及工具：ubuntu14.04LTSHadoopPythonPycURL二、关于API先把语言放在一边，要想监控hadoop的作业状态，那hadoop至少要提供相应的API吧，上官网一通猛翻，果然找到了，Hadoo
GitzLiu·2017-01-06 14:28

ubuntu14.04的HADOOP安装，详细

本教程适合于原生Hadoo
Bovinitwo·2016-12-30 15:14

Hadoop实践学习——初级2.2[实分布集群的使用]

hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HdfsUserGuide.html#PrerequisitesHadoop那些事儿（一）–Hadoo
heikenz·2016-12-25 12:42

干货：资深架构师教你一篇文看懂Hadoop

2006年项目成立的一开始，“Hadoo
emprere·2016-11-26 15:29

Mac安装protobuf(解决./configure: No such file or directory)

由于编译hadoop必须是2.5.0，如果是用来编译hadoo的话，下载地址打开终端，进入到目录，解压：tar-zxfprotobuf-2.6.1.tar.gz设置编译目录.
三十六_·2016-11-15 11:23

Hive数据仓库--HiveUDF异常解析与其中的坑

异常信息Error:java.lang.RuntimeException:org.apache.hadoo
wangyang1354·2016-11-11 16:00

Sqoop

Sqoop最早是作为Hadoo
勤奋的华仔·2016-11-07 16:53

Hadoo伪分布搭建

当时上云计算课的时候，搭建的Hadoop+开发IDE及插件+spark的笔记，这里是第一部分CentOS下Hadoop的伪分布的搭建。一、环境CentOS6.5Jdk1.8选择CentOS6.5是因为该系统相对比较稳定，很多服务也以在系统安装的时候附带安装好。但是系统安装时会自带openJDK，这里我们需要安装sunJDK。此外，我们搭建的是伪分布，所有的操作都是在root用户下进行的。注意：在c
SungLee_1992·2016-11-03 19:00

上传本地文件到HDFS

EclipseMarsHadoopversion1.0.3伪分布式JDK1.7.0_80虚拟机Virtualbox程序目录结构：其中src文件夹下的Hdoop包存放java源码，lib目录为相关依赖库，conf文件夹存放hadoop的核心配置文件，hadoo
toypipi·2016-09-21 10:44

HBase

开源社区利用Google的这些思想实现了开源Hadoo
bigdata_player·2016-09-13 23:00

CentOS7下编译Hadoop-2.7.2详解

FileZilla上传压缩包到/opt/software/目录下在该目录下，解压到/opt/modules/目录下：tar-zxvfhadoop-2.7.2-src.tar.gz-C/opt/modules得到hadoo
阳小林·2016-08-18 10:42

Hadoop HDFS Java编程

importjava.io.FileOutputStream;importjava.io.IOException;importjava.net.URI;importorg.apache.commons.io.IOUtils;importorg.apache.hadoo
lzf05303774·2016-08-12 10:06

Hadoop中的context机制用法详解

importorg.apache.hadoop.conf.Configuration; importorg.apache.hadoop.fs.FSDataInputStream; importorg.apache.hadoo
a2011480169·2016-07-10 13:00

Hadoop 2.7.1 集群搭建 基于CentOS 6.2

Hadoop2.7.1集群搭建基于CentOS6.2之前写了一个Hadoo2.7.1集群的搭建http://blog.csdn.net/dongbeiman/article/details/51752276
-点点滴滴-·2016-06-30 12:26

Hadoop2.x实战：Eclipse本地开发环境搭建与本地运行wordcount实例

应用程序hadoop版本：2.7.2hadoop安装系统：ubuntu14.04eclipse版本:lunaeclipse安装系统:window64一、开发环境配置1、windows下载源码到http://hadoo
Evankaka·2016-06-28 08:15

bug：ERROR org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode: Exception in doCheckpoint

此参数最好在安装时进行配置etc/hadoo
qq_30136589·2016-06-11 21:27

操作hbase Java API 介绍及使用示例

HTableDescriptor列族（ColumnFamily)Put列修饰符（ColumnQualifier）GetScanner一、HBaseConfiguration关系：org.apache.hadoo
aoyouzi·2016-05-21 21:00

操作hbase Java API 介绍及使用示例

HTableDescriptor列族（ColumnFamily)Put列修饰符（ColumnQualifier）GetScanner一、HBaseConfiguration关系：org.apache.hadoo
aoyouzi·2016-05-21 21:00

FAQ 常见问题 -【Dr.Elephant系列文章-8】

Dr.Elephant还会运行“hadoo
qsc0624·2016-05-09 15:00

第五章 HADOOP I/0 第一节 数据完整性

然而，每一个磁盘或网络的读写的IO操作都可能导致数据错误，当流经系统的海量数量和HADOO
fkbush·2016-05-05 15:00

LinkedIn开源Dr. Elephant:Hadoop和Spark性能监控工具

在去年的Hadoo
DerekJiang·2016-05-05 04:36

Mysql常用命令详解

hadoo
LANGZI7758521·2016-04-25 18:00

Spark SQL窗口函数

CareySon/p/3411176.html数据准备（用空格隔开）Spark100 Hadoop65 Spark99 Hadoop61 Spark195 Hadoop60 Spark98 Hadoo
Kevin12·2016-04-22 07:00

MySQL常用命令

hadoo
司马粮·2016-04-21 20:58
上一页 6 7 8 9 10 11 12 13 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他