遥感大数据处理第19页

Hadoop3.0大数据处理学习4（案例：数据清洗、数据指标统计、任务脚本封装、Sqoop导出Mysql）

案例需求分析直播公司每日都会产生海量的直播数据，为了更好地服务主播与用户，提高直播质量与用户粘性，往往会对大量的数据进行分析与统计，从中挖掘商业价值，我们将通过一个实战案例，来使用Hadoop技术来实现对直播数据的统计与分析。下面是简化的日志文件，详细的我会更新在Giteehadoop_study/hadoopDemo1·Huathy/study-all/{"id":"1580089010000"

Huathy-雨落江南，浮生若梦·2023-10-26 07:33

Hadoop3.0大数据处理学习1（Haddop介绍、部署、Hive部署）

Hadoop3.0快速入门学习步骤：三大组件的基本理论和实际操作Hadoop3的使用，实际开发流程结合具体问题，提供排查思路开发技术栈：Linux基础操作、Sehll脚本基础JavaSE、Idea操作MySQLHadoop简介Hadoop是一个适合海量数据存储与计算的平台。是基于Google的GoogleFS、MapReduce、BigTable实现的。分布式存储介绍分布式计算介绍移动数据：数据-

Huathy-雨落江南，浮生若梦·2023-10-26 07:02

Hadoop3.0大数据处理学习2（HDFS）

一、简介HDFS：HadoopDistributedFileSystem。Hadoop分布式存储系统一种允许文件通过网络在多台主机上分享的文件系统，可以让多机器上的用户分享文件和存储空间。两大特性：通透性、容错性分布式文件管理系统的实现很多，HDFS只是其中一种，HDSF不适合存储小文件。GFS、TFS。二、HDSF的shell使用格式：bin/hdfsdfs-[commond][schema]/

Huathy-雨落江南，浮生若梦·2023-10-26 07:25

大数据-Storm流式框架（一）

Storm数据不经过磁盘，在内存中处理Twitter开源的分布式实时大数据处理框架，最早开源于github2013年，Storm进入Apache社区进行孵化2014年9月，晋级成为了Apache顶级项目官网

30岁老阿姨·2023-10-26 06:24

竞赛深度学习卫星遥感图像检测与识别 -opencv python 目标检测

文章目录0前言1课题背景2实现效果3Yolov5算法4数据处理和训练5最后0前言优质竞赛项目系列，今天要分享的是**深度学习卫星遥感图像检测与识别**该项目较为新颖，适合作为竞赛课题方向，学长非常推荐！

iuerfee·2023-10-26 00:43

【代码复现】RingMo：应用于遥感领域的图像掩码建模技术

lalula1999·2023-10-25 23:11

自监督论文阅读笔记 RingMo: A Remote Sensing Foundation Model with Masked Image Modeling

深度学习方法促进了遥感(RS)图像解释的快速发展。最广泛使用的训练范式是利用ImageNet预训练模型来处理指定任务的RS数据。

YoooooL_·2023-10-25 23:09

合成孔径雷达成像--算法与实现读书笔记

合成孔径雷达成像–算法与实现读书笔记(1-2章)注：仅作为学习笔记，如有错漏，还请各位大佬指出文章目录第1章概论1.2遥感中的雷达1.3SAR基础第2章信号处理基础2.1线性卷积2.1.1连续时间卷积2.2.2

m0_46664619·2023-10-25 22:06

GEE案例——一个完整的火灾监测案例dNBR差异化归一化烧毁指数

它是一种用于评估卫星图像中烧毁区域严重程度的遥感指数。dNBR值通过将火灾前的归一化烧毁指数（NBR）减去火灾后的NBR来计算得出。该指数常用于野火监测和评估。

此星光明·2023-10-25 19:06

架构师必知必会系列：大数据处理与架构

作者：禅与计算机程序设计艺术1.简介随着互联网、电子商务等新兴产业的发展，互联网企业在海量数据产生、收集、分析的过程中越来越依赖于大数据处理平台进行数据的存储、加工、计算。

禅与计算机程序设计艺术·2023-10-25 19:04

期末考试题库5

PAI平台MaxCompute在大数据处理与分析中的功能因MaxCompute强大的功能特性，数以万计的企业正基于MaxCompute进行数据计算与分析。

m0_74487105·2023-10-25 12:33

全球 VIIRS 蒸散量 (ET) 数据集第 6 版

USGSVIIRS蒸散量¶VIIRS蒸散量(ET)数据集基于全球ET产品第6版，利用VIIRS热图像和全球天气数据集通过遥感获得。

此星光明·2023-10-25 09:10

USGS MODIS 蒸散量数据集

USGSMODIS蒸散量¶这里提供的蒸散量(ET)数据集是遥感技术的结果，主要利用MODIS热图像和全球天气数据集。该数据集对应于ClimateEngine使用的全球ET产品的第5版。

此星光明·2023-10-25 09:10

聚观早报 | 遥感AI大模型发布；拼多多启动11.11大促

【聚观365】10月21日消息遥感AI大模型发布拼多多启动11.11大促OPPOFindN3开启预售魅族20Classic开启预定埃安昊铂HT开启预售遥感AI大模型发布阿里达摩院发布业内首个遥感AI大模型

聚观365·2023-10-25 09:16

双目立体匹配原理及流程简介

立体视觉:立体视觉：立体视觉是计算机视觉领域的一个重要课题，它的目的在于重构场景的三维几何信息.其应用包括移动机器人的自主导航系统，航空及遥感测量，工业自动化系统等。

cy413026·2023-10-24 21:58

低轨卫星通信系统发展综述

通信、导航和遥感是卫星应用领域的三驾马车，简称通导遥。鉴于任务特性，通信卫星和导航卫星通常运行在中高轨道，遥感卫星一般则运行在低地球轨道。

Anne033·2023-10-24 20:04

基于多传感器遥感数据GDP空间分布

1研究区位置：2数据：2.1夜间灯光数据2020年全球VIRS夜间光由国家海洋和大气管理局（NOAA）地球观测组、国家地球物理数据中心（NGDC）提供（从NOAA/NGDC-EarthObservationGroupdmsp/downloadV4composites.html下载）。

aspireone1·2023-10-24 16:09

融云AIGC专题：高知识密度与大数据处理双向奔赴的「金融大模型」

融云出海方案全线升级点击上方小程序报名「爱嗨游」线上发布会“怎么用大语言模型去提升生产效率和服务表现？”在时代交替之际，这是每个行业都要回答的问题。关注【融云RongCloud】，了解协同办公平台更多干货。而新技术的渗透不会在所有行业齐头并进，发展阶段总有先后。如果以应用场景多样、市场空间巨大、行业数据质量高且规模大等条件来筛选，金融行业一定是排名靠前的赛道之一。世界金融中心从华尔街转向硅谷？以“

融云·2023-10-24 13:02

Flink（1）-概述

目前比较流行的大数据处理引擎ApacheSpark，基本上已经取代了MapReduce成为当前大数据处理的标准。随着数据的不断增长，人们逐渐意识到对实时数据处理的重要性。

鱼跃鹰飞·2023-10-23 23:24

Hadoop伪分布式搭建Linux版超详细(喂饭教程强烈推荐)

Hadoop是大数据处理主流框架，如果要学习大数据处理与存储，hadoop是必须掌握的一种框架技术。

Starry-sky(jing)·2023-10-23 23:44

MODIS Swath数据的几何校正-Python批处理

目录前言MODISSwath数据Python实现后记前言我是学遥感的，自己的主力编程工具其实一直是IDL。IDL这语言很小众，听过的人不多，但我确实也拿他做了不少事情，科研和教学都得用。

梦雨璃愁·2023-10-23 10:50

单杰：从专业遥感到大众遥感

摘要：受智能手机日益普及、开放科学迅猛发展的影响，遥感正在由专业化发展和应用走向大众化发展和应用。这一趋势主要体现在数据采集的大众化、数据处理的大众化和数据使用的大众化。

冰清-小魔鱼·2023-10-23 10:50

数据融合与数据同化

图形数据融合：是一个将多遥感器的图像数据和其它信息的踔厉过程。

毛毛真nice·2023-10-23 09:19

雪数据同化系统Snow Data Assimilation System数据集

雪数据同化系统（SNODAS）¶雪资料同化系统（SNODAS）是国家水文遥感业务中心（NOHRSC）精心开发的综合建模和资料同化系统。

此星光明·2023-10-23 09:12

转：大数据真实案例：Spark在美团的实践

大数据处理渗透到了美团各业务线的各种应用场景，选择合适、高效的数据处理引擎能够大大提高数据生产的效率，进而间接或直接提升相关团队的工作效率。

爱萨萨·2023-10-23 05:57

全球250m分辨率的LAI叶面指数数据集

简介：全球250米叶面指数产品由北京师范大学的肖志强教授团队生产，提供了多分辨率卫星遥感（MUSES）250m分辨率全球LAI产品，利用了MODIS地表反射率数据（MOD09Q1）生成的网格数据，时间分辨率为

此星光明·2023-10-22 09:05

到底什么才是大数据开发？

大数据开发其实分两种，第一类是编写一些Hadoop、Spark的应用程序，第二类是对大数据处理系统本身进行开发。第一类工作感觉更适用于dataanalyst这种职位吧，而

金光闪闪耶·2023-10-22 04:47

STK航空仿真（一）界面配置和插入模型

STK的核心能力是产生位置和姿态数据、获取时间、遥感器覆盖分析。STK专业版扩展了STK的基本分析能力，包括附加的轨道预报算法、姿态定义、坐标类型和坐标系统、遥感器类型、高级的约束条

安布奇·2023-10-22 02:27

5种必知的大数据处理框架技术

今天带来的是5种必知的大数据处理框架技术。大数据是收集、整理、处理大容量数据集，并从中获得见解所需的非传统战略和技术的总称。

大数据05·2023-10-21 16:05

This application failed to start？

它涵盖了通用、人像、遥感、医疗、视频等不同方向的高质量交互式分割模型。另外，将EISeg获取到的标注应用到PaddleSeg提供的其他分割模型进行训练，便可得到定制化场景的高精度模型，打通分割任务

flyfor2013·2023-10-21 05:28

抖音seo短视频矩阵系统源码---开发技术源码能力

开发综述短视频矩阵系统开发涉及到多个领域的技术，包括视频编解码技术、大数据处理技术、音视频传输技术、电子商务及支付技术等。

TEL_18339948121·2023-10-21 05:57

【Python&GIS】GDAL、OGR报错ERROR 1: PROJ: proj_create_from_database: Cannot find proj.db

我们遥感工作者，经常使用osgeo库中的gdal、ogr库，有时候会报错。

RS迷途小书童·2023-10-21 03:52

【Python&RS】基于Python批量镶嵌拼接遥感影像/栅格数据

我之前分享过【Python&RS】基于GDAL镶嵌拼接遥感影像，但是没有加入批量处理的代码。最近正好有这个需求，所以就对原来的代码进行了优化加入了批量拼接的代码。

RS迷途小书童·2023-10-21 03:22

【Python&GIS】GDAL栅格转面&计算矢量面积

因为遥感影像大部分都是栅格数据，所以GDAL库非常适合处

RS迷途小书童·2023-10-21 03:52

卷积神经网络特征融合,两个神经网络同时训练

对于给定的遥感数据，不同的分类器的分类精度不同，而且同一个分类器对不同类别的分类精度也不同。

「已注销」·2023-10-20 23:48

毕业设计-大数据python毕设选题大全

1.3难度把控1.4题目名称1.5最后2大数据-选题推荐2.1大数据挖掘类2.2大数据处理、云计算、区块链毕设选题2.3大数据+安全类2.4python大数据游戏设计、动画设计类2.5大数据-图像识别算法类

DanCheng-studio·2023-10-20 16:09

基于VORS、CCDM模型、GeoDetector、GWR模型集成技术在城镇化与生态系统健康空间关系分析及影响效应中的实践应用

查看原文>>>基于VORS、CCDM模型、GeoDetector、GWR模型集成技术在城镇化与生态系统健康空间关系分析及影响效应中的实践本文从基础、方法、拓展三方面对高光谱遥感进行。

吹翻书页的风·2023-10-20 12:12

基于“SRP模型+”多技术融合在生态环境脆弱性评价模型构建、时空格局演变分析与RSEI 指数的生态质量评价及拓展应用

查看原文>>>基于“SRP模型+”多技术融合在生态环境脆弱性评价模型构建、时空格局演变分析与RSEI指数的生态质量评价及拓展应用本文集成云端、桌面端等环境，结合遥感云计算、GIS空间分析，R语言统计分析的优势

吹翻书页的风·2023-10-20 12:41

GEE案例——指定区域纯净森林提取分析（红和近红外波段）阈值法提取森林面积

本教程主要是利用影像波段的近红外和红波段的指数作为森林区域的筛选，利用大津法进行指定区域的森林夏季的遥感影像的红波段和近红外波段。简介：提取森林范围是遥感影像处理中的一项常见任务。

此星光明·2023-10-20 09:58

【计算机视觉、遥感与航天工程、人工智能等Ei会议推荐】

【EI核心、Scopus】第三届计算机、遥感与航空航天国际学术会议（CRSA2023）大会时间：2023年7月7-9日大会地点：日本-大阪投稿链接：https://www.ais.cn/attendees

艾思科蓝-何老师·2023-10-20 09:17

机器视觉在遥感图像分析中的应用及未来发展。

机器视觉在遥感图像分析中具有广泛的应用，并且未来发展前景广阔。

matlabgoodboy·2023-10-20 07:47

美团优选一面面经

1.为什么离职2.流水线模块设计每个job具体是什么各个job直接有没有前面运行完需要将结果给后面一个的情况（他理解成了大数据处理平台）用容器化还是普通的3.用过countDownLantchCycleBarrier

Miaodawang·2023-10-20 07:35

机器人学习

三唐MLP（MachineLearningProcessor）是一种对半结构化和结构化数据进行机器学习和实时分析的大数据处理平台及分析产品MLP能提供强大的智能化数据采集搜索引擎、数据模型和可视化报告通过对机器产生的数据集中进行多维分析关联分析

三唐信息·2023-10-20 00:49

【转】数据库、数据湖、数据仓库、湖仓一体、智能湖仓，分别都是什么鬼？

这套架构，以数据湖为中心，把数据湖作为中央存储库，再围绕数据湖建立专用“数据服务环”，环上的服务包括了数仓、机器学习、大数据处理、日志分析，甚至RDS和NOSQL服务

万州客·2023-10-19 22:56

GEE：对二值图层进行腐蚀和/或膨胀操作

这些操作可用于处理遥感图像、地理信息系统（GIS）中的栅格数据以及其他领域的图像处理。腐蚀（Erosion）：腐蚀是一种用于缩小或减小物体的形态学操作。

_养乐多_·2023-10-19 19:12

DNDC模型土壤碳储量、温室气体排放、农田减排、土地变化、气候变化中的实践应用

查看原文>>>DNDC模型土壤碳储量、温室气体排放、农田减排、土地变化、气候变化中的实践应用目录一、DNDC模型介绍二、DNDC初步操作三、遥感和GIS基础四、DNDC气象数据五、DNDC土地数据六、DNDC

吹翻书页的风·2023-10-19 17:26

第十六届中国智慧城市大会 | 国产化三维重建技术服务智慧城市建设

2023年10月13日，由武汉大势智慧科技有限公司、飞燕航空遥感技术有限公司主办的第十六届智慧城市大会-实景三维技术创新与应用论坛在广州成功举办。

大势智慧·2023-10-19 16:56

VCO的非线性的matlab建模,基于MATLAB的锁相环非线性分析

锁相环是一种相位反馈的闭环自动控制系统,环路锁定之后,平均稳态频差等于零,稳态相差为固定值,锁相环的这一重要特征使其在电视、通信、雷达、遥测遥感、测量仪表,特别是在人造卫星和宇宙飞船的无线电系统中,得到了广泛应用

伽月·2023-10-19 11:46

VCO的非线性的matlab建模,基于MATLAB的锁相环非线性分析_微分方程法

论文关键词：锁相环，微分方程法，非线性，MATLAB引言：锁相环是一种相位反馈的闭环自动控制系统[1]，环路锁定之后，平均稳态频差等于零，稳态相差为固定值，锁相环的这一重要特征使其在电视、通信、雷达、遥测遥感

SonIC Lab·2023-10-19 11:16

【RS】遥感影像/图片64位、16位（64bit、16bit）的意义和区别

在数字图像处理中，我们常常会听到不同的位数术语，比如64位、16位和8位（64bit、16bit、8bit）。这些位数指的是图像的深度，也就是图像中每个像素可以显示的颜色数。位数越高，图像可以显示的颜色数就越多，图像的质量也就越高。本文将详细介绍图片位数的意义、区别、计算方法等。一、图片位数的意义图片位数是用来描述图像中每个像素可以显示的颜色数的一个指标。它决定了图像中每个像素可以使用的颜色数量，

RS迷途小书童·2023-10-19 10:03

推荐频道

遥感大数据处理