ncdc

Hadoop权威指南-笔记2

MapReduce用mapreduce选出NCDC收集到的某年的最高气温时，mapfunction负责从一行数据中筛出年份和气温数据hadoop的mapreduce框架会自动把key（年份）相同的pairs
chao_ggggg·2020-07-13 03:06

读书笔记：Hadoop权威指南 简介

数据来自美国国家气候数据中心（NationalClimaticDataCenter，简称NCDC）。这些数据按行并以ASCII格式存储，其中一行是一条记录。
肥叔菌·2020-07-07 03:11

用Python下载美国国家气候数据中心（NCDC）的气候数据

美国国家气候数据中心的官网地址是https://www.ncdc.noaa.gov/气候数据的下载地址是：长格式：ftp://ftp.ncdc.noaa.gov/pub/data/noaa/，这种就是《
weixin_30872867·2020-07-05 22:56

Hadoop分析气象温度数据

首先下载气象数据，然后解压数据集，并保存在文本文件中：下载地址：ftp://ftp.ncdc.noaa.gov/pub/data/noaa我们下载国内的气象数据，使用下面命令进行下载wget-D--accept-regex
大鱼-瓶邪·2020-07-05 03:29

hive 创建外表

CREATETABLETABLE(idstring,namestring)ROWFORMATDELIMITEDFIELDSTERMINATEDBY'\t'//声明文件分隔符LOADDATALOCALINPATH'input/ncdc
Mr-zhou·2020-06-30 16:16

各种气候数据的下载（以下载青岛地区40年间月平均气温数据的下载为例）【转】...

在国内网站苦寻无果后我找到了NOAA（美国国家海洋和大气管理局）的网站，发现居然可以下载中国国内好几百个站点的数据，遂将下载过程记录下来，造福GISer们：废话不多说，贴网址：https://www.ncdc.noaa.gov
weixin_33769125·2020-06-28 05:56

第4课书面作业

1下载气象数据集部分数据（下载地址：http://www1.ncdc.noaa.gov/pub/data/noaa/2001/），求每年的最低温度，部署并运行之，抓图过程2在linux或win下安装eclipse
keon·2020-04-07 09:26

Mapreduce 入门级实验记录

Ubuntu18.04java-1.8.0_162hadoop3.2.1，下载在/usr/local/hadoop中2.实验：MAPREDUCE进行分析数据目标：输入美国气象局以前的天气记录（ftp://ftp.ncdc.noaa.gov
qq_1418269732·2020-03-30 22:13

NOAA全球气象站数据的网站

和大家分享一个不用任何权限就可以下载逐小时地面观测气象数据的网站http://gis.ncdc.noaa.gov/map/viewer/#app=clim&cfg=cdo&theme=hourly&layers
liupeng23·2019-11-28 18:47

根据坐标引用subset

URL="http://nomads.ncdc.noaa.gov/thredds/dodsC/modeldata/cmd_flxf/2010/201007/20100701/
Rex_Diego·2019-11-06 07:23

python对NOAA天气数据格式转换

p=7679转换NOAA天气数据文件“.fly”为PandasDataFrame获取数据ftp://ftp.ncdc.noaa.gov/pub/data/ghcn/dailyIn[1]:importmatplotlib.pyplotaspltimportpandasaspdimportnumpyasnpimportreimportftplib
拓端研究室·2019-10-17 10:31

Hadoop学习之NCDC天气数据获取

期望目的下载《Hadoop权威教程》里用到的NCDC天气数据，供后续在此数据基础上跑mapred程序。
行走的段子·2019-09-06 17:00

云原生视角下的开放网络

本文根据周雍恺博士在NCDC大会上的演讲报告《云原生视角下的开放网络》整理而成。何谓“云原生”从2015年开始，微服务、CI/CD、Dev
SDNLAB君·2019-07-16 17:47

NCDC数据集准备

一.原始气象数据集下载：如果我们想获取更多的气象原始数据集时，我们可以通过NCDC的ftp服务器获取数据，实例如下NCDCFTP数据服务器：ftp.ncdc.noaa.govNCDC原始文件路径：pub
洪福齐天007·2019-07-11 11:36

MapReduce实践

实践内容：编写MapReduce程序分析气象数据集（ftp://ftp.ncdc.noaa.gov/pub/data/noaa上2018年中国地区监测站的数据），分析出2018年每个月出现最高温度的监测站的温度
Draught_Bear·2019-03-26 13:14

MapReduce实践

实践内容：编写MapReduce程序分析气象数据集（ftp://ftp.ncdc.noaa.gov/pub/data/noaa上2018年中国地区监测站的数据），分析出2018年每个月出现最高温度的监测站的温度
Draught_Bear·2019-03-26 13:14

使用python处理美国气象数据

1，下载，可以使用wget或者python，这里是python2.7的版本说明：这里是下载目录ftp://ftp.ncdc.noaa.gov/pub/data/noaa/的原始没有处理过的文件，如果想要看处理过的从这个目录下载
朝闻道-夕死可矣·2019-01-07 19:04

NCDC数据集准备

系列博客目录链接：Hadoop权威指南学习笔记：总章可用数据集下载：需要已经处理好的数据集的可点击如下链接去下载：气象数据气象站元数据一.原始气象数据集下载：如果我们想获取更多的气象原始数据集时，我们可以通过NCDC
IT代码民工·2018-12-07 15:59

用mapreduce 处理气象数据集

用mapreduce处理气象数据集编写程序求每日最高最低气温，区间最高最低气温气象数据集下载地址为：ftp://ftp.ncdc.noaa.gov/pub/data/noaa按学号后三位下载不同年份月份的数据
肖凯文·2018-05-09 21:00

用mapreduce 处理气象数据集

用mapreduce处理气象数据集编写程序求每日最高最低气温，区间最高最低气温气象数据集下载地址为：ftp://ftp.ncdc.noaa.gov/pub/data/noaa按学号后三位下载不同年份月份的数据
189黄思慧·2018-05-09 21:00

用mapreduce 处理气象数据集

编写程序求每日最高最低气温，区间最高最低气温气象数据集下载地址为：ftp://ftp.ncdc.noaa.gov/pub/data/noaa按学号后三位下载不同年份月份的数据（例如201506110136
155林俊彪·2018-05-09 21:00

用mapreduce 处理气象数据集

用mapreduce处理气象数据集编写程序求每日最高最低气温，区间最高最低气温气象数据集下载地址为：ftp://ftp.ncdc.noaa.gov/pub/data/noaa按学号后三位下载不同年份月份的数据
184陈楚浩·2018-05-09 21:00

MapReduce程序之求一年中的最高温度和最低温度

数据获取与说明可以在下面的网址中下载到全部的数据：ftp://ftp.ncdc.noaa.gov/p
xpleaf·2018-03-06 11:43

hadoop eclipse 权威指南天气代码远程调试

权威指南附录气象数据）1.在http://www.hadoopbook.com/下载天气数据文件1901.gz1902.gz2.上传数据到服务器3.创建hadoop添加数据文件夹hadoopdfs–mkdir/ncdc4
clumsy_zhang·2017-08-04 10:37

hadoop2.x入门：编写mapreduce对气象数据集求每日最高气温和最低气温

1.下载气象数据集气象数据集下载地址为：-ftp://ftp.ncdc.noaa.gov/pub/data/noaa我们下载国内的气象数据，使用下面命令进行下载wget-D--accept-regex=
erygreat·2017-07-23 19:04

附录C 准备NCDC气象数据(加解释)

附录C准备NCDC气象数据这里首先简要介绍如何准备原始气象数据文件，以便我们能用Hadoop对它们进行分析。
MrCharles·2015-12-31 18:00

NCDC 天气数据的预处理

 “Hadoop：TheDefinitiveGuild”这本书的例子都是使用NCDC天气数据的，但由于书的出版和现在已经有一段时间了，NCDC现在提供的原始数据结构已经有了一些变化，本文主要描述书中附表
MrCharles·2015-12-31 16:00

hbase首次导入大批次的数据成功！

访问http://www1.ncdc.noaa.gov/pub/data/normals/1981-2010/下载。 我们使用在目录
·2015-11-11 04:36

python 从ftp下载数据

　　《hadoop权威指南》的天气数据可以在ftp://ftp3.ncdc.noaa.gov/pub/data/noaa下载，在网上看到这个数据好开心，打开ftp发现个问题，呀呀，这么多文件啊，我一个个去点另存为
·2015-10-30 14:37

《Hadoop权威指南》(Hadoop:The Definitive Guide) 气象数据集下载脚本

/bin/bash CURRENT_DIR=$(cd `dirname $0`; pwd) [ -e $CURRENT_DIR/ncdc ] || mkdir $CURRENT_DIR/ncdc
·2015-10-21 12:44

python下载hadoop天气数据

这篇文章主要介绍了python从ftp下载数据到本地保存的实例代码方法，大家参考使用吧《hadoop权威指南》的天气数据可以在ftp://ftp3.ncdc.noaa.gov/pub/data/noaa
a6225301·2015-08-09 10:00

hadoop权威指南气象数据下载

如题：给出hadoop权威指南--NCDC1929-2011数据下载地址ftp://ftp.ncdc.noaa.gov/pub/data/gsod/命令：Thedataareavailablevia:1
a6225301·2015-07-23 21:00

hive命令

pokes (foo INT, bar STRING); 从本地文件加载数据  hive> LOAD DATA LOCAL INPATH '/home/hadoop/input/ncdc
OiteBody·2015-07-21 16:00

hadoop-hive查询ncdc天气数据实例

使用hive查询ncdc天气数据在hive中将ncdc天气数据导入，然后执行查询shell，可以让hive自动生成mapredjob,快速去的想要的数据结果。
MrCharles·2015-06-16 09:00

Hadoop - 国内各站点最高温度、气压和风速统计

一、简介该实例统计国内各个站点的最高温度(为节省篇幅只以温度为例，可稍作修改即可统计气压与风速)，数据来源于汇总在NCDC的天气气球数据集中(包含世界大量数据集，该实例只分析国内站点，数据对外公开，可下载
mikevictor·2015-01-18 12:00

Hadoop - 国内各站点最高温度、气压和风速统计

一、简介  该实例统计国内各个站点的最高温度(为节省篇幅只以温度为例，可稍作修改即可统计气压与风速)，数据来源于汇总在NCDC的天气气球数据集中(包含世界大量数据集，该实例只分析国内站点，数据对外公开，
mikevictor·2015-01-18 12:00

hadoop权威指南中的ncdc数据下载地址

如题：给出hadoop权威指南--NCDC1929-2011数据下载地址ftp://ftp.ncdc.noaa.gov/pub/data/gsod/
havedream_one·2014-11-28 09:00

hadoop ncdc数据下载方法

我在看《Hadoop权威指南》时，里面提供了NCDC天气数据样本，提供的下载链接是：点击打开链接,但是里面只提供了1901和1902这两年的数据，这未免也太少了点！
liufeng1980423·2014-09-02 11:00

关于hadoop运行mapreduce任务的说明

中编写mapper和reduce类，以及driver类，然后打出jar放在hadoop服务器上运行用下面的命令运行任务hadoop aboutMapReduce.MaxTemperature/opt/ncdc
彭苏云·2014-08-15 13:00

ncdc气象数据格式介绍

以下内容翻译自NCDC数据格式文档原文地址为ftp://ftp3.ncdc.noaa.gov/pub/data/noaa/isd-lite/isd-lite-format.pdfNCDC数据文件中的数据以固定长度的行表示
RichardLeeH·2014-07-31 13:16

如何下载NCDC气象数据

Hadoop权威指南中需要下载NCDC气象数据，下载地址为：ftp://ftp3.ncdc.noaa.gov/pub/data/noaa/isd-lite/但是，我们打开后所有的文件都是.gz格式，而且很多
RichardLeeH·2014-07-31 13:18

Hadoop权威指南 NCDC 天气数据样本下载

我在看《Hadoop权威指南》时，里面提供了NCDC天气数据样本，提供的下载链接是：点击打开链接,但是里面只提供了1901和1902这两年的数据，这未免也太少了点！
lzslywl·2014-05-23 11:00

hadoop2.2

hadoop-book example code git clone https://github.com/tomwhite/hadoop-book.git -b 3e   NCDC
marshan·2014-02-25 12:00

第4周 Map-Reduce体系架构

Map-Reduce编程模型ncdc气象数据下载：ftp://ftp.ncdc.noaa.gov/pub/data/gsod/ 数据中每一行就是一个时间点采集的温度信息，现在要分析一年中的最高温度。
zq9017197·2014-01-11 00:00

转：Python 从FTP 下载数据的例子

《hadoop权威指南》的天气数据可以在ftp://ftp3.ncdc.noaa.gov/pub/data/noaa下载，在网上看到这个数据好开心，打开ftp发现个问题，呀呀，这么多文件啊，我一个个去点另存为
·2013-12-18 10:00

Hadoop权威指南NCDC数据下载

foriin{1901..2013} do cd/home/zhangyang/ncdc/ wget-r-np-nH.cut-dirs=3-Rindex.htmlhttp://ftp3.ncdc.noaa.gov
kaka20080622·2013-12-09 21:00

Windows下Wget拉取網頁

http://ftp3.ncdc.noaa.gov/pub/data/noaawget-e"http_proxy=10.244.208.12:3128"--proxy-user=xxxx--proxy-password
zhang_2887·2013-11-26 15:01

python从ftp下载数据保存实例

《hadoop权威指南》的天气数据可以在ftp://ftp3.ncdc.noaa.gov/pub/data/noaa下载，在网上看到这个数据好开心，打开ftp发现个问题，呀呀，这么多文件啊，我一个个去点另存为
·2013-11-20 10:13

hadoop获取最高温度测试数据

for i in {1901..2012} do cd /home/hadoop/ncdc/ wget -r -np -nH .cut-dirs=3 -R index.html http://ftp3
wutun1987·2013-04-10 22:00

hive 创建外表

CREATETABLETABLE(idstring,namestring)ROWFORMATDELIMITEDFIELDSTERMINATEDBY '\t' //声明文件分隔符LOADDATALOCALINPATH'input/ncdc
zhouleilei·2013-03-18 11:00
上一页 1 2 3 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他