50070

Hadoop、spark的一些基本使用笔记

-2.1.1-bin-hadoop2.7----------#导入模块创建连接In[1]:fromhdfsimportClientIn[2]:client=Client('http://master:50070
正版授权·2017-05-19 09:16

Logstash安装部署配置

从kafka到hdfs，有专门的日志工具logstash可以解决这个问题.目前已经在我们的开发环境稳定的运行了一个礼拜（http://192.168.23.31:50070/explorer.html#
h_1_y_m·2017-04-28 10:00

生产环境实战spark （8）分布式集群 Hadoop集群WEBUI打不开问题解决，关闭防火墙firewall

生产环境实战spark（8）分布式集群Hadoop集群WEBUI打不开问题解决在上一步中安装了Hadoop集群，发现127.0.0.1:50070页面无法打开。
段智华·2017-04-25 15:27

Hadoop Overview显示Livenode为0

hadoop安装路径：/data/hadoop/hadoop-2.7.2/问题：1.http://master-ip:50070/里面看到livenode是0；2.bin/hadoopdfs-mkdir
9命怪猫·2017-03-16 14:40

读取hdfs上的文件

上传文件在hdfs上，访问namenode节点：ip:50070读取hdfs的java代码如下：publicvoidReadFile(Stringhdfs)throwsIOException{Configurationconf
我在呢呵呵·2017-02-22 14:16

hadoop集群启动是的datanode启动时碰到的问题

1、启动hadoop，发现50070页面无法访问，jps后发现namenode未启动，到hadoop的logs日志中查看发现报错java.io.IOException:PrematureEOFfrominputStreamatorg.apache.hadoop.io.IOUtils.readFully
281824088·2017-02-22 11:32

hadoop datanode结点不启动导致dfs控制台显示数据0（Configured Capacity为0）

hadoop迁移了一次，服务器ip等都改了，我重新调整了一遍，启动后，进入dfs控制台：http://xxx.xx.xx.xx:50070/dfshealth.html#tab-overview发现Summary
davylee2008·2017-01-12 16:38

搭建Hadoop集群的过程中的坑

默认端口表及用途端口用途9000fs.defaultFS，如：hdfs://172.25.40.171:90009001dfs.namenode.rpc-address，DataNode会连接这个端口50070dfs.namenode.http-address50470dfs.namenode.https-address50100dfs.namenode.backup.address5
NathanAndy·2017-01-09 14:06

hadoop无法访问50070端口

整个环境下JDK正常，hadoop配置文件正常，各个守护进程正常启动，防火墙已关闭，但是启动后无法从浏览器中访问50070、50030端口，显示无法访问，但是又可以访问8088端口。
Neone__u·2016-12-19 16:45

Hadoop集群50070WebUI访问不了;主机名可以访问，ip访问不了

最近搭建Hadoop伪集群时，HDFS文件系统成功格式化，节点启动了，jps也有显示，但http://IP:50070就是访问不了。困扰很久发现问题仅仅出现在防火墙没有关闭。。。。。
LuckyJiang.2019·2016-11-27 15:28

大数据之Hive笔记(一)

两大核心HDFS(hadoopdistributedfilesystem)分布式存储MapReduce分布式计算Hadoop的访问方式WebGUI50070–>查看hdfs数据，以及查看namenode
张章章Sam·2016-10-31 21:33

配置HDFS HttpFS和WebHDFS

WebHDFS默认端口号为50070，HttpFS默认端口号为14000。默认启动WebHDFS而不会启动HttpFS，而HttpFS需要通过sbin/httpfs.sh来启动。
一见·2016-10-28 18:27

Hadoop完全分布式搭建成功效果

Java环境，使用JDK1.83.配置好Hadoop环境,使用版本是Hadoop2.7.34.启动HDFS分布式文件系统以及yarn运算框架5.使用浏览器，访问并查看启动是否正常(http://ip:50070
B_TAEYANG·2016-10-20 10:30

spark安装笔记（ubuntu16）

阅读更多强烈推荐：安装Hadoop及Spark(Ubuntu16.04)：http://www.cnblogs.com/bovenson/p/5760856.html管理页面：hadoop：localhost:50070yarn
cherishLC·2016-10-12 12:00

windows下java操作hdfs相关配置

具体步骤如下：在进行下面操作前，请确保hadoop已正确发布，部分验证方式：1通过http://192.168.1.XXX:50070/dfshealth.html#tab-overview（XXX为master
daxiang12092205·2016-10-01 16:13

WebHdfs API使用和开放WebHdfs使用后权限控制

测试集群1namenode：vm-10-142-164-18测试集群2新64G测试集群文件和目录操作创建和写文件1、命令行执行:curl-i-XPUT“http://vm-10-142-164-18:50070
SeoHyunChyL·2016-09-21 18:00

Hadoop的配置文件

端口参数描述默认配置文件例子值fs.default.namenamenodeRPC交互端口8020core-site.xmlhdfs://master:8020/dfs.http.addressNameNodeweb管理端口50070hdfs-site.x
593653868·2016-09-19 14:36

Hadoop2.7.0学习——动态添加节点

Hadoop2.7.0学习——动态添加节点前提已经搭建好了master机器以及一个节点hadoop-node1现在我们要在此基础上添加一个节点hadoop-node2http://192.168.20.141:50070
-贫寒豌豆·2016-08-04 17:23

hadoop中filesystem无法显示（ Can't browse the DFS since there are no live nodes available to redirect to.）

2.2.0版本中通过filesystem进入http://192.168.211.128:50070/nn_browsedfscontent.jsp界面显示如下：HTTPERROR500Problemaccessing
TurboBoost·2016-07-24 20:22

查看HDFS文件系统数据的三种方法

网址：http://localhost:50070界面如下：执行完WordCount程序后可以到本界面上下载output结果并查看，
薛倩·2016-07-22 15:43

hadoop 2.6中管理界面

1、ResourceManager运行在主节点master上，可以Web控制台查看状态,访问如下地址:http://master:8088/来源：组件：HDFS节点：NameNode默认端口：50070
两榜进士·2016-07-15 11:39

【DAY2】hadoop 完全分布式模式配置的学习笔记

hadoop端口----------------1.namenode50070http://namenode:50070/2.resourcemanager:8088http://localhost:8088
yehom·2016-06-26 17:54

distcp指令并行拷贝大数据文件

HFTP的默认端口为50070，HDFS的默认端口为8020。此外，还通过s3://或s3n://协议支持AmazonS3块和本地文件系统。源URI示例：
djd已经存在·2016-06-16 18:02

mount: /dev/sdd1 already mounted or /mnt busy

以上两个提示的解决方法#dmsetupstatus35000c50070b2d48f-part1:011721184
jacklin2015·2016-05-21 13:00

mount: /dev/sdd1 already mounted or /mnt busy

以上两个提示的解决方法#dmsetupstatus35000c50070b2d48f-part1:01172
jacklin2015·2016-05-21 13:00

HDP各端口申请

ZooKeeper2121TheStormWorkerUI8000Hue8888StormUI8744HmasterInfoWebUI16010HBaseThriftServerWebUI(optional)9095HiveWebUI9999RangerAdmin6080NameNodeWebUI(https)50470NameNodeWebUI50070DataNode
qq_29545689·2016-05-19 16:31

Hadoop2.4.1 HDFS的Java客户端开发

第一步：首先我们确定自己的hadoop的hdfs的环境是好的，我们在linux中启动hdfs,然后在web页面上通过URL测试：http://uatciti:50070第二步：在Linux下打开Eclipse
pfnie·2016-05-08 11:00

Hadoop新旧集群迁移

Hive数据仓库迁移hadoopdistcphftp://bdc220.hexun.com:50070/dw/建hive映射表即可HBase迁移hadoopdistcphftp://bdc220.hexun.com
kwu_ganymede·2016-04-28 14:00

eclipse window下连接Hadoop2.0报错：local host is: "win/127.0.0.1"; destination host is: "10.2.3.1":50070;

eclipse连接远程Hadoop错误信息：Failedonlocalexception:com.google.protobuf.InvalidProtocolBufferException:Protocolmessageend-grouptagdidnotmatchexpectedtag.;HostDetails:localhostis:"ubuntu/127.0.0.1";destinatio
程序员成长史·2016-04-19 20:07

eclipse window下连接Hadoop2.0报错：local host is: "win/127.0.0.1"; destination host is: "10.2.3.1":50070;

eclipse连接远程Hadoop错误信息：Failedonlocalexception:com.google.protobuf.InvalidProtocolBufferException: Protocol  messageend-grouptagdidnotmatchexpectedtag.; HostDetails:localhostis:"ubuntu/127.0.0.1";destin
lifuxiangcaohui·2016-04-19 20:00

基于HDFS的SparkStreaming案例实战和内幕源码解析

/start-dfs.sh//通过http://master:50070（50070为默认端口）查看da
lxhandlbb·2016-04-19 10:00

hive通过浏览器展示节点内容

lessnetstat -aux|lessps-auxps-ef启动mysql，启动hadoop，访问hadoop8088端口servicemysqldstartstart-all.ship:8088 访问hadoop50070
bingzige·2016-04-16 17:00

Hadoop常见端口

8021JTRPC交互端口50030mapred.job.tracker.http.addressJobTrackeradministrativewebGUIJOBTRACKER的HTTP服务器和端口50070dfs.http.addressNameNodeadministrativewebGUINAMENODE
play_chess_ITmanito·2016-04-13 14:00

CentOS7中安装Hadoop2.6.4，能够正常启动，但datanode的数目为0的解决方法

其中一个作为主节点master，两个作为从节点slave，各种准备环境搞好后安装了Hadoop2.6.4，各种配置文件啥的都弄好了，初始化也successful了，但是在主结点上执行启动命令后，却在master:50070
YiShiWenYan·2016-04-08 14:18

利用web的curl命令进行HDFS操作

webHDFS操作hdfs-site.xml dfs.webhdfs.enabled true 访问namenode的hdfs使用50070端口，访问datanode的webhdfs使用50075端口。
q383700092·2016-04-07 08:00

大数据体系中默认端口

hdfs的通讯端口：9000hdfs的web访问端口：50070mapred的端口9001zookeeper的通讯端口：2181zookeeper的web访问端口：hbase中HMaster的web访问端口
安静平和·2016-04-06 21:15

HADOOP -- 配置Tip 配置hadoop.tmp.dir

先说说,场景,在开发环境中,由于意外断电.重新启动HADOOPMASTER结点.启动HADOOPSTART-ALL.SH grid$start-all.sh查看http:\\hdnode1m:50070
liyongke89·2016-04-05 16:00

Apache Hadoop2.6.2 小集群搭建

50070###1.拓扑结构图4台机器，搭建图如下1,2,3,4分别记做Hagrid01，Hagrid02，Hagrid03，Hagrid04NN指的是NamenodeJN指的是JournalNodeDN
xuxiuning·2016-03-31 21:00

本地文件拷贝到hdfs

创建文件夹：hadoopfs-mkdir/work拷贝：hadoopfs-put/Users/yp/Documents/test.txt/work打开http://localhost:50070/：Utilities
napoay·2016-03-30 10:00

Hadoop web ui 外网无法访问的问题

解决办法：如果你使用的是ApacheHadoop，那么需要去手动修改hdfs-site.xml的dfs.namenode.http-address，修改为0.0.0.0:50070。
晨磊·2016-03-19 21:00

ERROR org.apache.hadoop.yarn.server.resourcemanager.ResourceManager: RECEIVED SIGNAL 15: SIGTERM

通过50070端口也可以查看到所有DataNode处于Live状态，而且可以正常往HDFS上传下载文件。
caiandyong·2016-03-17 14:10

深入理解 Hadoop

hdfs启动hadoop集群模式时，在浏览器端输入hadoop0:50070可进入hadoop的namenode节点，点击【Browsethefilesystem】进入hdfs（hadoop文件系统），
lanchunhui·2016-03-14 15:00

hdfs常用的端口配置

fs.default.namenamenodenamenodeRPC交互端口8020core-site.xmlhdfs://master:8020/dfs.http.address NameNodeweb管理端口50070hdfs-site.xml0.0.0.0
wulantian·2016-03-10 09:00

hadoop 相关操作

（1）格式化：hadoopnamenode-format（2）启动：start-all.sh（3）关闭：stop-all.sh浏览器端（1）hadoop0:50070如果hadoop0为主节点的话；安全模式
lanchunhui·2016-03-05 18:00

010_Hadoop配置测试成功后关机重启浏览器打不开dfs和MP

一般都是因为防火墙的问题，将防火墙关闭后就可以了.更细致的现象为start-all.sh启动，五大守护进程启动成功，并且在CentOS的浏览器中能够访问hadoop-master.dragon.org：50070
YouxiBug·2016-03-04 15:00

初试spark java WordCount

github.com/sequenceiq/docker-spark 里面有很详细的介绍我启动这个镜像的命令是 dockerrun-it-p8088:8088-p8080:8080-p9000:9000-p50070
modprobe·2016-02-16 18:00

Hadoop常用端口

参数描述默认配置文件示例fs.default.namenamenodeRPC交互端口8020core-site.xmlliaozhongmin:8020dfs.http.address NameNodeweb管理端口50070hdfs-site.xmlliaozhongmin
importdate·2016-01-31 18:00

【Hadoop】Windows下的Eclipse远程连接Linux下的Hadoop0.20.2

虽然可以在Windows下可以轻松访问部署在Linux虚拟机IP下的50030端口与50070端口，关于Mapreduce与NameNode的网页，但这并不意味着，可以直接在Eclipse下直接就可以轻松连接虚拟机或者说是远程服务器
yongh701·2016-01-26 16:00

在windows下用浏览器无法访问虚拟机中Linux的hadoop管理页面

在虚拟机中的Linux中配置好Hadoop之后，我们想要在windows下管理hadoop，那么需要在windows环境下访问虚拟机下的hadoop应用程序，但是在访问的时候比如输入  虚拟机域名:50070
hsl_1990_08_15·2016-01-15 11:00

Hadoop端口一览表

Hadoop端口一览表@(Hadoop)端口名用途50070HadoopNamenodeUI端口50075HadoopDatanodeUI端口50090HadoopSecondaryNamenode端口
qq1010885678·2016-01-12 17:00
上一页 4 5 6 7 8 9 10 11 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他