E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
NCDC
Hadoop权威指南-笔记2
MapReduce用mapreduce选出
NCDC
收集到的某年的最高气温时,mapfunction负责从一行数据中筛出年份和气温数据hadoop的mapreduce框架会自动把key(年份)相同的pairs
chao_ggggg
·
2020-07-13 03:06
学习笔记
hadoop
读书笔记:Hadoop权威指南 简介
数据来自美国国家气候数据中心(NationalClimaticDataCenter,简称
NCDC
)。这些数据按行并以ASCII格式存储,其中一行是一条记录。
肥叔菌
·
2020-07-07 03:11
#
Hadoop
用Python下载美国国家气候数据中心(
NCDC
)的气候数据
美国国家气候数据中心的官网地址是https://www.
ncdc
.noaa.gov/气候数据的下载地址是:长格式:ftp://ftp.
ncdc
.noaa.gov/pub/data/noaa/,这种就是《
weixin_30872867
·
2020-07-05 22:56
Hadoop分析气象温度数据
首先下载气象数据,然后解压数据集,并保存在文本文件中:下载地址:ftp://ftp.
ncdc
.noaa.gov/pub/data/noaa我们下载国内的气象数据,使用下面命令进行下载wget-D--accept-regex
大鱼-瓶邪
·
2020-07-05 03:29
Hadoop
hive 创建外表
CREATETABLETABLE(idstring,namestring)ROWFORMATDELIMITEDFIELDSTERMINATEDBY'\t'//声明文件分隔符LOADDATALOCALINPATH'input/
ncdc
Mr-zhou
·
2020-06-30 16:16
各种气候数据的下载(以下载青岛地区40年间月平均气温数据的下载为例)【转】...
在国内网站苦寻无果后我找到了NOAA(美国国家海洋和大气管理局)的网站,发现居然可以下载中国国内好几百个站点的数据,遂将下载过程记录下来,造福GISer们:废话不多说,贴网址:https://www.
ncdc
.noaa.gov
weixin_33769125
·
2020-06-28 05:56
第4课书面作业
1下载气象数据集部分数据(下载地址:http://www1.
ncdc
.noaa.gov/pub/data/noaa/2001/),求每年的最低温度,部署并运行之,抓图过程2在linux或win下安装eclipse
keon
·
2020-04-07 09:26
Mapreduce 入门级实验记录
Ubuntu18.04java-1.8.0_162hadoop3.2.1,下载在/usr/local/hadoop中2.实验:MAPREDUCE进行分析数据目标:输入美国气象局以前的天气记录(ftp://ftp.
ncdc
.noaa.gov
qq_1418269732
·
2020-03-30 22:13
大数据入门
NOAA全球气象站数据的网站
和大家分享一个不用任何权限就可以下载逐小时地面观测气象数据的网站http://gis.
ncdc
.noaa.gov/map/viewer/#app=clim&cfg=cdo&theme=hourly&layers
liupeng23
·
2019-11-28 18:47
根据坐标引用subset
URL="http://nomads.
ncdc
.noaa.gov/thredds/dodsC/modeldata/cmd_flxf/2010/201007/20100701/
Rex_Diego
·
2019-11-06 07:23
python对NOAA天气数据格式转换
p=7679转换NOAA天气数据文件“.fly”为PandasDataFrame获取数据ftp://ftp.
ncdc
.noaa.gov/pub/data/ghcn/dailyIn[1]:importmatplotlib.pyplotaspltimportpandasaspdimportnumpyasnpimportreimportftplib
拓端研究室
·
2019-10-17 10:31
R语言
python
python
NOAA
天气数据格式转换
Hadoop学习之
NCDC
天气数据获取
期望目的下载《Hadoop权威教程》里用到的
NCDC
天气数据,供后续在此数据基础上跑mapred程序。
行走的段子
·
2019-09-06 17:00
云原生视角下的开放网络
本文根据周雍恺博士在
NCDC
大会上的演讲报告《云原生视角下的开放网络》整理而成。何谓“云原生”从2015年开始,微服务、CI/CD、Dev
SDNLAB君
·
2019-07-16 17:47
Kubernetes
OpenStack
网络技术
NCDC
数据集准备
一.原始气象数据集下载:如果我们想获取更多的气象原始数据集时,我们可以通过
NCDC
的ftp服务器获取数据,实例如下NCDCFTP数据服务器:ftp.
ncdc
.noaa.govNCDC原始文件路径:pub
洪福齐天007
·
2019-07-11 11:36
大数据
MapReduce实践
实践内容:编写MapReduce程序分析气象数据集(ftp://ftp.
ncdc
.noaa.gov/pub/data/noaa上2018年中国地区监测站的数据),分析出2018年每个月出现最高温度的监测站的温度
Draught_Bear
·
2019-03-26 13:14
大数据学习
MapReduce实践
实践内容:编写MapReduce程序分析气象数据集(ftp://ftp.
ncdc
.noaa.gov/pub/data/noaa上2018年中国地区监测站的数据),分析出2018年每个月出现最高温度的监测站的温度
Draught_Bear
·
2019-03-26 13:14
大数据学习
使用python处理美国气象数据
1,下载,可以使用wget或者python,这里是python2.7的版本说明:这里是下载目录ftp://ftp.
ncdc
.noaa.gov/pub/data/noaa/的原始没有处理过的文件,如果想要看处理过的从这个目录下载
朝闻道-夕死可矣
·
2019-01-07 19:04
Hadoop
NCDC
数据集准备
系列博客目录链接:Hadoop权威指南学习笔记:总章可用数据集下载:需要已经处理好的数据集的可点击如下链接去下载:气象数据气象站元数据一.原始气象数据集下载:如果我们想获取更多的气象原始数据集时,我们可以通过
NCDC
IT代码民工
·
2018-12-07 15:59
hadoop权威指南学习笔记
用mapreduce 处理气象数据集
用mapreduce处理气象数据集编写程序求每日最高最低气温,区间最高最低气温气象数据集下载地址为:ftp://ftp.
ncdc
.noaa.gov/pub/data/noaa按学号后三位下载不同年份月份的数据
肖凯文
·
2018-05-09 21:00
用mapreduce 处理气象数据集
用mapreduce处理气象数据集编写程序求每日最高最低气温,区间最高最低气温气象数据集下载地址为:ftp://ftp.
ncdc
.noaa.gov/pub/data/noaa按学号后三位下载不同年份月份的数据
189黄思慧
·
2018-05-09 21:00
用mapreduce 处理气象数据集
编写程序求每日最高最低气温,区间最高最低气温气象数据集下载地址为:ftp://ftp.
ncdc
.noaa.gov/pub/data/noaa按学号后三位下载不同年份月份的数据(例如201506110136
155林俊彪
·
2018-05-09 21:00
用mapreduce 处理气象数据集
用mapreduce处理气象数据集编写程序求每日最高最低气温,区间最高最低气温气象数据集下载地址为:ftp://ftp.
ncdc
.noaa.gov/pub/data/noaa按学号后三位下载不同年份月份的数据
184陈楚浩
·
2018-05-09 21:00
MapReduce程序之求一年中的最高温度和最低温度
数据获取与说明可以在下面的网址中下载到全部的数据:ftp://ftp.
ncdc
.noaa.gov/p
xpleaf
·
2018-03-06 11:43
大数据
Hadoop
MapReduce
Hadoop
hadoop eclipse 权威指南天气代码远程调试
权威指南附录气象数据)1.在http://www.hadoopbook.com/下载天气数据文件1901.gz1902.gz2.上传数据到服务器3.创建hadoop添加数据文件夹hadoopdfs–mkdir/
ncdc
4
clumsy_zhang
·
2017-08-04 10:37
hadoop学习笔记
hadoop2.x入门:编写mapreduce对气象数据集求每日最高气温和最低气温
1.下载气象数据集气象数据集下载地址为:-ftp://ftp.
ncdc
.noaa.gov/pub/data/noaa我们下载国内的气象数据,使用下面命令进行下载wget-D--accept-regex=
erygreat
·
2017-07-23 19:04
hadoop
附录C 准备
NCDC
气象数据(加解释)
附录C准备
NCDC
气象数据这里首先简要介绍如何准备原始气象数据文件,以便我们能用Hadoop对它们进行分析。
MrCharles
·
2015-12-31 18:00
NCDC
天气数据的预处理
“Hadoop:TheDefinitiveGuild”这本书的例子都是使用
NCDC
天气数据的,但由于书的出版和现在已经有一段时间了,
NCDC
现在提供的原始数据结构已经有了一些变化,本文主要描述书中附表
MrCharles
·
2015-12-31 16:00
hadoop
hbase首次导入大批次的数据成功!
访问http://www1.
ncdc
.noaa.gov/pub/data/normals/1981-2010/下载。 我们使用在目录
·
2015-11-11 04:36
hbase
python 从ftp下载数据
《hadoop权威指南》的天气数据可以在ftp://ftp3.
ncdc
.noaa.gov/pub/data/noaa下载,在网上看到这个数据好开心,打开ftp发现个问题,呀呀,这么多文件啊,我一个个去点另存为
·
2015-10-30 14:37
python
《Hadoop权威指南》(Hadoop:The Definitive Guide) 气象数据集下载脚本
/bin/bash CURRENT_DIR=$(cd `dirname $0`; pwd) [ -e $CURRENT_DIR/
ncdc
] || mkdir $CURRENT_DIR/
ncdc
·
2015-10-21 12:44
hadoop
python下载hadoop天气数据
这篇文章主要介绍了python从ftp下载数据到本地保存的实例代码方法,大家参考使用吧《hadoop权威指南》的天气数据可以在ftp://ftp3.
ncdc
.noaa.gov/pub/data/noaa
a6225301
·
2015-08-09 10:00
hadoop权威指南气象数据下载
如题:给出hadoop权威指南--
NCDC
1929-2011数据下载地址ftp://ftp.
ncdc
.noaa.gov/pub/data/gsod/命令:Thedataareavailablevia:1
a6225301
·
2015-07-23 21:00
hive命令
pokes (foo INT, bar STRING); 从本地文件加载数据 hive> LOAD DATA LOCAL INPATH '/home/hadoop/input/
ncdc
OiteBody
·
2015-07-21 16:00
hive
hadoop-hive查询
ncdc
天气数据实例
使用hive查询
ncdc
天气数据在hive中将
ncdc
天气数据导入,然后执行查询shell,可以让hive自动生成mapredjob,快速去的想要的数据结果。
MrCharles
·
2015-06-16 09:00
hadoop
hive
天气数据
Hadoop - 国内各站点最高温度、气压和风速统计
一、简介该实例统计国内各个站点的最高温度(为节省篇幅只以温度为例,可稍作修改即可统计气压与风速),数据来源于汇总在
NCDC
的天气气球数据集中(包含世界大量数据集,该实例只分析国内站点,数据对外公开,可下载
mikevictor
·
2015-01-18 12:00
Hadoop - 国内各站点最高温度、气压和风速统计
一、简介 该实例统计国内各个站点的最高温度(为节省篇幅只以温度为例,可稍作修改即可统计气压与风速),数据来源于汇总在
NCDC
的天气气球数据集中(包含世界大量数据集,该实例只分析国内站点,数据对外公开,
mikevictor
·
2015-01-18 12:00
hadoop权威指南中的
ncdc
数据下载地址
如题:给出hadoop权威指南--
NCDC
1929-2011数据下载地址ftp://ftp.
ncdc
.noaa.gov/pub/data/gsod/
havedream_one
·
2014-11-28 09:00
hadoop
NCDC
气象数据集
hadoop
ncdc
数据下载方法
我在看《Hadoop权威指南》时,里面提供了
NCDC
天气数据样本,提供的下载链接是:点击打开链接,但是里面只提供了1901和1902这两年的数据,这未免也太少了点!
liufeng1980423
·
2014-09-02 11:00
关于hadoop运行mapreduce任务的说明
中编写mapper和reduce类,以及driver类,然后打出jar放在hadoop服务器上运行用下面的命令运行任务hadoop aboutMapReduce.MaxTemperature/opt/
ncdc
彭苏云
·
2014-08-15 13:00
hadoop
jar
ncdc
气象数据格式介绍
以下内容翻译自
NCDC
数据格式文档原文地址为ftp://ftp3.
ncdc
.noaa.gov/pub/data/noaa/isd-lite/isd-lite-format.pdfNCDC数据文件中的数据以固定长度的行表示
RichardLeeH
·
2014-07-31 13:16
如何下载
NCDC
气象数据
Hadoop权威指南中需要下载
NCDC
气象数据,下载地址为:ftp://ftp3.
ncdc
.noaa.gov/pub/data/noaa/isd-lite/但是,我们打开后所有的文件都是.gz格式,而且很多
RichardLeeH
·
2014-07-31 13:18
hadoop学习之
Hadoop权威指南
NCDC
天气数据样本下载
我在看《Hadoop权威指南》时,里面提供了
NCDC
天气数据样本,提供的下载链接是:点击打开链接,但是里面只提供了1901和1902这两年的数据,这未免也太少了点!
lzslywl
·
2014-05-23 11:00
自动下载
hadoop权威指南
hadoop权威指南
NCDC天气数据
NCDC
hadoop2.2
hadoop-book example code git clone https://github.com/tomwhite/hadoop-book.git -b 3e
NCDC
marshan
·
2014-02-25 12:00
hadoop2
第4周 Map-Reduce体系架构
Map-Reduce编程模型
ncdc
气象数据下载:ftp://ftp.
ncdc
.noaa.gov/pub/data/gsod/ 数据中每一行就是一个时间点采集的温度信息,现在要分析一年中的最高温度。
zq9017197
·
2014-01-11 00:00
转:Python 从FTP 下载数据的例子
《hadoop权威指南》的天气数据可以在ftp://ftp3.
ncdc
.noaa.gov/pub/data/noaa下载,在网上看到这个数据好开心,打开ftp发现个问题,呀呀,这么多文件啊,我一个个去点另存为
·
2013-12-18 10:00
python
Hadoop权威指南
NCDC
数据下载
foriin{1901..2013} do cd/home/zhangyang/
ncdc
/ wget-r-np-nH.cut-dirs=3-Rindex.htmlhttp://ftp3.
ncdc
.noaa.gov
kaka20080622
·
2013-12-09 21:00
Windows下Wget拉取網頁
http://ftp3.
ncdc
.noaa.gov/pub/data/noaawget-e"http_proxy=10.244.208.12:3128"--proxy-user=xxxx--proxy-password
zhang_2887
·
2013-11-26 15:01
linux
wget
拉取网页
python从ftp下载数据保存实例
《hadoop权威指南》的天气数据可以在ftp://ftp3.
ncdc
.noaa.gov/pub/data/noaa下载,在网上看到这个数据好开心,打开ftp发现个问题,呀呀,这么多文件啊,我一个个去点另存为
·
2013-11-20 10:13
hadoop获取最高温度测试数据
for i in {1901..2012} do cd /home/hadoop/
ncdc
/ wget -r -np -nH .cut-dirs=3 -R index.html http://ftp3
wutun1987
·
2013-04-10 22:00
hadoop
hive 创建外表
CREATETABLETABLE(idstring,namestring)ROWFORMATDELIMITEDFIELDSTERMINATEDBY '\t' //声明文件分隔符LOADDATALOCALINPATH'input/
ncdc
zhouleilei
·
2013-03-18 11:00
hive
建表
上一页
1
2
3
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他