webhdfs

大数据学习笔记03-HDFS-HDFS组件介绍及Java访问HDFS集群

DataNode，每一个DataNode的主机名、磁盘容量大小等信息SecondaryNameNode辅助NameNode来提高性能，以及防止丢数据的DataNode真正存储数据的节点Client比如命令行、webHDFS
weixin_30908707·2018-08-29 21:00

logstash out file to HDFS

logstash需要安装第三方插件，webhdfs插件，通过hdfs的web接口写入。
北极企鹅ys·2018-08-14 14:43

解决webhdfs 访问认证问题

添加kerberos开启认证后在浏览中访问webhdfs要求输入用户名密码或认证失败如下图：1.在服务器端初始化keytabkinit-k-t/etc/security/keytabs/spnego.service.keytabHTTP
dingweijson·2018-05-31 14:48

Java 实现HDFS文件上传

HDFS上传文件大致分为三种：1）直接调用API2）使用webhdfs3）httpfs以下对前两种进行简要说明1）直接调用API（直接上代码）publicvoidhdfsUpload(StringsrcPath
hochoy·2018-05-24 15:57

logstash的webhdfs使用问题

2018年4月25日星期三10:11现象Logstash使用webhdfs插件，配置完成后无法正常输出到HDFS中，日志中报错：[2018-04-25T00:00:26,915][WARN][logstash.outputs.webhdfs
不正经运维·2018-04-25 10:17

hive的HiveServer2/beeline配置及使用

第一：修改hadoop集群的hdfs-site.xml配置文件：加入一条配置信息，表示启用webhdfscd/home/hadoop/apps/hadoop-2.7.5/etc/hadoopdfs.webhdfs.enabledtrue
Jenrey·2018-04-09 19:25

ASP.NET实现Hadoop增删改查的示例代码

本文介绍了ASP.NET实现Hadoop增删改查的示例代码，分享给大家，具体如下：packages.configHDFSAccess.csusingMicrosoft.Hadoop.WebHDFS;usingSystem
逆世风灵·2017-10-12 10:57

Hadoop 文件查看工具

usingSystem.Globalization;usingSystem.IO;usingSystem.Linq;usingSystem.Windows.Forms;usingMicrosoft.Hadoop.WebHDFS
风灵使·2017-09-27 14:33

Cuurent value:http//hadoop1:50070/webhdfs/v1 Failed to access filesystem root

错误原因是在配置core-site.xml中的用户名，用户组没有与hue中用户名用户组保持一致。core-site.xm配置```xmlhadoop.proxyuser.hue.hosts*hadoop.proxyuser.hduser.groups*```hue.ini配置[desktop]#Webserverrunsasthisuserserver_user=hueserver_group=h
大大鹏123·2017-08-17 14:21

Logstash-Output-Webhdfs

[WARN][logstash.outputs.webhdfs]Failedtoflushoutgoingitems{:outgoing_count=>500,:exception=>”WebHDFS:
蓝心语·2017-07-18 16:53

Apache Zeppelin 中 HDFS文件系统 解释器

配置属性默认描述hdfs.urlhttp://localhost:50070/webhdfs/v1/WebHDFS的URLhdfs.userHDFSWebHDFS用户hdfs.maxlength1000
u010859707·2017-06-16 10:00

[Hadoop基础]-- web hdfs端口50075和httpfs端口14000的使用

组件的端口：https://www.cloudera.com/documentation/enterprise/latest/topics/cdh_ig_ports_cdh5.htmlHadoop官方介绍webhdfs
highfei2011·2017-02-23 10:35

Logstash 插件安装

官方的安装指令是:bin/plugin install logstash-output-webhdfs但是往往安装不成功，一般就是如下情况，然后卡着不动了:Validatinglogstash-output-webhdfs
qw87112·2016-11-10 17:20

配置HDFS HttpFS和WebHDFS

HDFS支持两种RESTful接口：WebHDFS和HttpFS。WebHDFS默认端口号为50070，HttpFS默认端口号为14000。
一见·2016-10-28 18:27

WebHdfs API使用和开放WebHdfs使用后权限控制

1namenode：vm-10-142-164-18测试集群2新64G测试集群文件和目录操作创建和写文件1、命令行执行:curl-i-XPUT“http://vm-10-142-164-18:50070/webhdfs
SeoHyunChyL·2016-09-21 18:00

HUE配置zookeeper,HDFS报错Failed to access filesystem root解决

在运行HUE的时候,webhdfs进入总会报错,Failedtoaccessfilesystemroot我是在集群的三个server(namenode,node1,node2)里面,选的压力最小的一个namenode
rainysia·2016-04-12 18:00

利用web的curl命令进行HDFS操作

webHDFS操作hdfs-site.xml dfs.webhdfs.enabled true 访问namenode的hdfs使用50070端口，访问datanode的webhdfs使用50075端口。
q383700092·2016-04-07 08:00

通过webhdfs put文件到hdfs

通过restAPI的webhdfs走的http，不需要安装hadoop客户端了。put代码如下：#!/bin/sh###################.
小胖头鱼·2016-03-21 14:20

WebHDFS vs HttpFS GateWay

基于hadoop2.7.1版本 一、简介 1、WebHDFS官方简介： Introduction TheHTTPRESTAPIsupportsthecompleteFileSystem/FileContextinterfaceforHDFS
qq85609655·2016-03-09 09:11

测试

home/aboutyun/dfs/name dfs.datanode.data.dir file:/home/aboutyun/dfs/data dfs.replication 3 dfs.webhdfs.enabled
fanan_666·2016-02-21 14:26

Hadoop HDFS over HTTP 2.4.1 - Using HTTP Tools

例如：[html] viewplaincopy$ curl"http://:14000/webhdfs/v1?op=homedir&user.name=b
shubingzhuoxue·2015-11-28 16:00

WebHDFS REST API

DocumentConventionsMonospacedUsedforcommands,HTTPrequestandresponsesandcodeblocks.Userenteredvalues.[Monospaced]Optionalvalues.Whenthevalueisnotspecified,thedefaultvalueisused.ItalicsImportantphrasesa
shubingzhuoxue·2015-11-28 16:00

hadoop1.0 的webhdfs

webhdfs的默认端口是50070：格式如下 curl -i -X PUT "http://127.0.0.1:50070/webhdfs/v1/tmp/hadoop-oneone/sd2
·2015-11-13 23:16

webhdfs追加写HDFS异常

问题 {:timestamp=>"2015-03-04T00:02:47.224000+0800", :message=>"Retrying webhdfs
·2015-11-13 00:40

WebHdfs

https://github.com/ihrwein/webhdfs https://tiborbenke.blogs.balabit.com/2013/11/the-syslog-ng-in-the-hadoop-era
·2015-10-31 11:36

html调用hadoop WebHDFS REST API

首先，hadoop的WebHDFS支持通过REST API用http的方式访问HDFS。
·2015-10-21 12:00

开源日志收集软件fluentd 转发(forward)架构配置

需求：通过开源软件fluentd收集各个设备的apache访问日志到fluentd的转发服务器中，然后通过webHDFS接口，写入到hdfs文件系统中。
shine_forever·2015-01-06 16:18

开源日志收集软件fluentd 转发(forward)架构配置

需求：通过开源软件fluentd收集各个设备的apache访问日志到fluentd的转发服务器中，然后通过webHDFS接口，写入到hdfs文件系统中。
shine_forever·2015-01-06 16:18

开源日志收集软件fluentd 转发(forward)架构配置

需求：通过开源软件fluentd收集各个设备的apache访问日志到fluentd的转发服务器中，然后通过webHDFS接口，写入到hdfs文件系统中。
shine_forever·2015-01-06 16:18

关于hadoop 1.2.1版本不支持“dfs.support.append”参数的解决办法

最近在测试hadoop+fluentd方案，但是fluentd日志收集系统，需要append功能选择，写日志到HDFS中，官方给出的解决方案是：修改hdfs-site.xml文件,增加如下行：   dfs.webhdfs.enabled
shine_forever·2014-12-25 11:13

关于hadoop 1.2.1版本不支持“dfs.support.append”参数的解决办法

最近在测试hadoop+fluentd方案，但是fluentd日志收集系统，需要append功能选择，写日志到HDFS中，官方给出的解决方案是：修改hdfs-site.xml文件,增加如下行：   dfs.webhdfs.enabled
shine_forever·2014-12-25 11:13

关于hadoop 1.2.1版本不支持“dfs.support.append”参数的解决办法

最近在测试hadoop+fluentd方案，但是fluentd日志收集系统，需要append功能选择，写日志到HDFS中，官方给出的解决方案是：修改hdfs-site.xml文件,增加如下行：  dfs.webhdfs.enabled
shine_forever·2014-12-25 11:13

利用开源日志收集软件fluentd收集日志到HDFS文件系统中

fluentd是通过hadoop中的webHDFS与HDFS进行通信的，所以在配置fluentd时，一定要保证webHDFS能正常通信，和通过web
shine_forever·2014-12-04 16:46

利用开源日志收集软件fluentd收集日志到HDFS文件系统中

fluentd是通过hadoop中的webHDFS与HDFS进行通信的，所以在配置fluentd时，一定要保证webHDFS能正常通信，和通过web
shine_forever·2014-12-04 16:46

hadoop开启webHDFS服务及测试

  WebHDFS观念是基于HTTP操作，比如GET、PUT、POST和DELETE。
shine_forever·2014-12-03 14:44

hadoop开启webHDFS服务及测试

WebHDFS观念是基于HTTP操作，比如GET、PUT、POST和DELETE。
shine_forever·2014-12-03 14:44

Hadoop2.5.2 新特性

当通过代理服务器访问WebHDFS时，这将非常有用。增加了一个新的hadoop指标监控sink，允许将监控数据直接写入到Graphite。与hadoop兼容文件系统相关的规范工作。HD
chen517611641·2014-11-25 15:00

Hadoop 2.5.0新特性和改进

当通过代理服务器使用WebHDFS时这是非常有用的。b)增加了一个新的Hadoop指标监控sink，允许直接写到Graphite。c)Hadoop文件系统兼容相关的规范工作。
zhongwen7710·2014-10-01 08:00

Hadoop 2.5.0新特性和改进

当通过代理服务器使用WebHDFS时这是非常有用的。b)增加了一个新的Hadoop指标监控sink，允许直接写到Graphite。c)Hadoop文件系统兼容相关的规范工作。
chen517611641·2014-08-14 00:00

Hadoop 2.5.0新特性和改进

当通过代理服务器使用WebHDFS时这是非常有用的。b)增加了一个新的Hadoop指标监控sink，允许直接写到Graphite。c)Hadoop文件系统兼容相关的规范工作。
chen517611641·2014-08-13 16:00

HDFS append File 出现AlreadyBeingCreatedException

前述前段时间，公司刚开始往HDFSappendFile时，用的是hadoop-hdfs-WebHDFS API进行的，运行了3个多月一切正常，当我对项目进行重构时，上线不到两周就出现了AlreadyBeingCreatedException
wzhg0508·2014-07-20 17:00

Hadoop WEBHDFS简单配置，使用

WEBHDFS是一个基于REST的接口。
qq85609655·2014-07-02 15:00

golang通过http端口访问hadoop

vladimirvivien/gowfs安装go get github.com/vladimirvivien/gowfs写程序之前需要修改hadoop的两个配置文件分别是  hsdfs-site.xml里的 dfs.webhdfs.enabled
dclink·2014-06-23 11:00

HTTPFS: 基于HTTP操作hadoop hdfs文件系统

一、HTTPFS简介   1：httpfs是cloudera公司提供的一个hadoophdfs的一个http接口，通过WebHDFSRESTAPI可以对hdfs进行读写等访问     2：与WebHDFS
cloud-coder·2014-06-09 22:00

Hadoop webHDFS设置和使用说明

1.配置namenode的hdfs-site.xml是必须将dfs.webhdfs.enabled属性设置为true，否则就不能使用webhdfs的LISTSTATUS、LISTFILESTATUS等需要列出文件
iloveyin·2014-06-03 15:00

HDFS管理工具HDFS Explorer

下载地址：http://bigdata.red-gate.com/hdfs-explorer.html   输入ip和账号，注意hadoop必须开启webhdfs接口(参考http://yangyoupeng-cn-fujitsu-c
xianweisi·2014-05-24 11:00

Hadoop REST API -- WebHDFS(下）

下面主要介绍几种常用的WebHDFS操作。5.1创建   创建一个目录/tmp/webhdfs。
GreatElite·2014-02-26 22:00

Hadoop REST API -- WebHDFS(上)

1介绍  Hadoop提供了一个JavanativeAPI来支持对文件系统进行创建，重命名，删除文件或者目录，打开读取或者写文件，设置文件权限等操作。这对于运行在hadoop集群中的应用程序来说是挺棒的，但是，也有许多外部的应用程序需要操作HDFS的情况，怎么办？如果解决这种问题呢？Hortonworks开发了一些额外的API来支持这些基于标准REST功能的需求。2WebHDFSRESTAPI  
GreatElite·2014-02-25 00:00

curl操作hadoop hdfs文件系统

hadoophdfs文件系统    最近在研究hadoop，hdfs文件系统，对于客户端访问hdfs文件系统的方式，研究了好几天，发现除了用hadoop内部的命令操作hdfs文件系统以外，还可以用调用webhdfs
51longge·2014-02-21 15:57

curl操作hadoop hdfs文件系统

curl操作hadoophdfs文件系统最近在研究hadoop，hdfs文件系统，对于客户端访问hdfs文件系统的方式，研究了好几天，发现除了用hadoop内部的命令操作hdfs文件系统以外，还可以用调用webhdfs
51longge·2014-02-21 15:57
上一页 1 2 3 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他