遥感大数据处理

从零开始了解大数据(四)：MapReduce篇

目录前言一、MapReduce思想1.先分再合，分而治之2.Map阶段——拆分3.Reduce阶段——合并二、MapReduce设计构思1.如何对付大数据处理场景2.构建抽象编程模型3.统一架构、隐藏底层细节三
橘子-青衫·2024-01-04 02:20

生信数据类型

生信结合了生物学、计算机科学和统计学等多个学科的理论和方法，通过运用大数据处理和分析技术，能够挖掘出生物学领域中的相关信息和规律。
m1chiru·2024-01-03 23:39

清易CG-39 遥感式路面传感器 如何检测路面结冰积雪积水厚度 监测路面状况

产品概述遥感式路面传感器采用多光谱遥感技术非接触准确检测出道路表面结冰、积雪和积水的厚度。设备安装不需要封闭道路、不需要切割路面，安装工作既**又方便。维护量少，是道路气象系统组成中一项理想选择。
zhang13383089075·2024-01-03 18:25

性能优化：Spark SQL中的谓词下推和列式存储

性能优化是大数据处理中的一个关键问题，本文将深入探讨SparkSQL中的两个性能优化技术：谓词下推（PredicatePushdown）和列式存储（ColumnarStorage），以提高查询性能和降低资源消耗
晓之以理的喵~~·2024-01-03 12:02

GreenPlum-数据世界的绿洲

GreenPlum的介绍Greenplum是一个基于开源PostgreSQL数据库系统的高性能、可扩展的大数据处理平台。它是由PivotalSoftware（现在是VMware的一部分）开发并维护的。
open_test01·2024-01-03 09:11

Hive学习（13）lag和lead函数取偏移量

Hive作为一种大数据处理框架，也提供了窗口函数的支持。在Hive中，Lag函数是一种常用的窗口函数，可以用于计算前一行或前N行的值。
一个天蝎座 白勺 程序猿·2024-01-03 08:34

Python将普通图像转化为栅格影像

引言本人研究的方向是遥感，研究了2年也搞没清楚普通图像和遥感影像的区别，只知道到了多了地理坐标信息，但是经纬度信息映射到每个图像像素点的底层逻辑我还不太理解。
齐硕君·2024-01-02 18:36

黑河生态水文遥感试验专题数据

专题名称：黑河生态水文遥感试验专题数据专题摘要：黑河流域生态—水文过程综合遥感观测联合试验”(以下简称“黑河生态水文遥感试验”)，是围绕黑河流域生态—水文集成研究中的核心科学目标，以黑河流域已建立的观测系统以及
zmc_flashmx·2024-01-02 17:47

黑河综合遥感联合试验专题数据

专题名称：黑河综合遥感联合试验专题数据专题摘要：“黑河综合遥感联合试验”是由中国科学院西部行动计划项目“黑河流域遥感—地面观测同步试验与综合模拟平台建设”和国家重点基础研究发展计划项目“陆表生态环境要素主被动遥感协同反演理论与方法
zmc_flashmx·2024-01-02 17:17

Python筛选出批量下载的多时相遥感影像文件中缺失的日期

  本文介绍批量下载大量多时相的遥感影像文件后，基于Python语言与每一景遥感影像文件的文件名，对这些已下载的影像文件加以缺失情况的核对，并自动统计、列出未下载影像所对应的时相的方法。  
疯狂学习GIS·2024-01-02 17:14

多处理器架构

例如，在科学计算、大数据处理、人工智能
CharlesKai·2024-01-02 12:21

【开源项目】智慧交通~超经典开源项目实景三维数字孪生高速

飞渡科技以实景三维数据为基础，基于大数据、高分遥感、数据分析以及数据融合等前沿技术，打造从感知、连接、到场景触达的实时数字孪生体，为高速公路管理者提供更智能、高效、安全的综合管控方案。
万象工作室·2024-01-02 02:26

Spark内容分享(一)：Spark入门指南：Spark是什么

而在众多的大数据处理框架中，「ApacheSpark」以其独特的优势脱颖而出。本篇文章，我们将一起走进Spark的世界，探索并理解其相关的基础概念和使用方法。
之乎者也··2024-01-01 13:48

satellite-image-deep-learning，一个遥感深度学习方向的宝藏网站

今天我们分享一个深度学习遥感相关的网站：「satellite-image-deep-learning」。这是一个github库，里面含有大量应用于卫星和航空图像的深度学习资源。
DataAssassin·2024-01-01 05:41

目前我国最高分辨率卫星 高景一号卫星的优势有哪些

高景一号卫星是未来商业遥感卫星系统首发星。全色分辨率0.5米，多光谱分辨率2米，通俗地讲，0.5米级分辨率，可以在太空分辨出地面上普通轿车和旅行车的区别。
sshy3s·2023-12-31 22:07

详解Lambda和Kappa架构的区别

一、前言在大数据处理领域，有两种突出的数据架构已成为处理大数据的流行选择：Lambda架构和Kappa架构。
小枫@码·2023-12-31 18:55

贵州大数据产业异军突起

同时收集来自全球的卫星遥感、地形地貌、气象预报等信息，再通过算
weixin_33697898·2023-12-31 11:51

阿里达摩院的AI Earth（AIE）云平台介绍

基于达摩院在深度学习、计算机视觉等方向上的技术积累，结合阿里云强大算力支撑，提供遥感、气象等多源对地观测数据的云计算分析服务，用数据感知地球世界，让AI助力科学研究。
星辰漫漫长野·2023-12-30 22:54

AI Earth地球科学云平台简介

一、平台简介什么是AIEarth地球科学云平台AIEarth地球科学云平台基于达摩院在深度学习、计算机视觉、地理空间分析等方向上的技术积累，结合阿里云强大算力支撑，提供无门槛、界面化的遥感、气象等多源对地观测数据云计算分析服务
此星光明·2023-12-30 22:23

AI Earth ——暨GEE\PIE之后，AIE已经悄然上线了，阿里云开发者模式上线

首先我们登录平台后先进入下面的界面，然后就可以看到开发者模式：我们先来看一下开发者模式的主界面：这个界面内涵盖了很多内容：AIEarth开发者模式使用引导快速开始本节将主要介绍如何快速利用AIEPythonSDK进行编程和处理遥感数据
此星光明·2023-12-30 22:53

ChatGPT绘制全球植被类型分布图、生物量图、土壤概念图、处理遥感数据并绘图、病毒、植物、动物细胞结构图

以ChatGPT、LLaMA、Gemini、DALL·E、Midjourney、StableDiffusion、星火大模型、文心一言、千问为代表AI大语言模型带来了新一波人工智能浪潮，可以面向科研选题、思维导图、数据清洗、统计分析、高级编程、代码调试、算法学习、论文检索、写作、翻译、润色、文献辅助阅读、文献信息提取、辅助论文审稿、新闻撰写、科技绘图、地学绘图（GIS地图绘制）、概念图生成、图像识别
思考的小猴子·2023-12-30 19:04

ChatGPT绘制全球植被类型分布图、生物量图、土壤概念图、处理遥感数据并绘图、病毒、植物、动物细胞结构图

以ChatGPT、LLaMA、Gemini、DALL·E、Midjourney、StableDiffusion、星火大模型、文心一言、千问为代表AI大语言模型带来了新一波人工智能浪潮，可以面向科研选题、思维导图、数据清洗、统计分析、高级编程、代码调试、算法学习、论文检索、写作、翻译、润色、文献辅助阅读、文献信息提取、辅助论文审稿、新闻撰写、科技绘图、地学绘图（GIS地图绘制）、概念图生成、图像识别
梦想的初衷~·2023-12-30 16:31

Sentinel-3如何处理并下载LST数据-陆地表面温度”（Land Surface Temperature）

LST是遥感技术中一个重要的参数，可以通过卫星遥感等手段进行测量和监测。陆地表面温度对于许多领域具有重要意义，包括气象学、气候研究、环境监测等。
GIS工具-gistools2021·2023-12-30 11:16

【Python&RS】基于矢量范围批量下载遥感瓦片高清数据（天地图、高德、谷歌等）

所以今天就和大家分享一下如何使用Python基于矢量范围批量下载高清遥感瓦片数据。1读取矢量边界这里我们使用osgeo中的osr、ogr库去读取矢量的地理范围。
RS迷途小书童·2023-12-30 10:17

GBASE南大通用-GBase 8s分片表操作 提升大数据处理性能

目录一、GBase8s分片表的优势二、六种分片方法轮转1.轮转法基于表达式分片2.基本表达式3.Mod运算表达式4.Remainder关键字方式5.List方式6.interval固定间隔三、分片表的索引1.创建索引的注意事项2.detach索引替代delete功能展现3.在现有分片表上增加一个新的分片四、dbspace数据库空间1.增加dbspaces空间2.查看空间大小3.查看空间剩余大小GB
GBASE数据库·2023-12-30 10:54

Python遥感影像深度学习指南(2)-在 PyTorch 中创建自定义数据集和加载器

在上一篇文章中，我们Fast.ai在卫星图像中检测云轮廓，检测物体轮廓被称为语义分割。虽然我们用几行代码就能达到96%的准确率，但该模型无法考虑数据集中提供的所有输入通道（红、绿、蓝和近红外）。问题在于，深度学习框架（如Keras、Fast.ai甚至PyTorch）中的大多数语义分割模型都是为处理RGB图像而设计的，并带有预先训练好的权重。除此之外，这些库中的视觉模块也仅限于RGB文件。这就是我们
gis收藏家·2023-12-30 06:50

不止上天,高光谱遥感还能入地分析检测

姓名：韩宜真学号：17020120095转载自：https://mp.weixin.qq.com/s?__biz=MzI3NTM0MjI5Nw==&mid=2247483821&idx=1&sn=b867711dcd078e0cd14bb4933a749dd1&chksm=eb07771bdc70fe0de3da6d0c29f6d89d92bc9b2231781b304688991ea78a490
d5cc63d9e177·2023-12-30 04:36

虚拟机上进行Hadoop伪分布式部署并进行大数据处理

本文章基于的大数据文件：https://download.csdn.net/download/qq_60567426/87940872?spm=1001.2014.3001.5503引言：虚拟机经常卡死，卡死就按这个重新启动VMware虚拟机下载：1：首先安装VMware，官网链接：VMware-DeliveringaDigitalFoundationForBusinesses2：点击Produc
软件开发技术局·2023-12-30 03:38

基于YOLOv8的遥感SAR舰船小目标识别

本文摘要：基于YOLOv8的遥感SAR舰船小目标，阐述了整个数据制作和训练可视化过程1.YOLOv8介绍UltralyticsYOLOv8是Ultralytics公司开发的YOLO目标检测和图像分割模型的最新版本
AI小怪兽·2023-12-29 22:44

【金猿技术展】一种时序数据的高效存储方法——分别存储每个数据采样器采集的时序数据及其静态属性数据...

大数据产业创新服务媒体——聚焦数据·改变商业在进行海量时序数据存储方面，传统的大数据处理方案并不是专门针对时序数据处理特点进行设计的，因此存储空间占用非常大，随着业务的扩张，存储成本也会不断增加。
数据猿·2023-12-29 17:54

Python环境管理利器-Anaconda介绍与安装

一直觉得python的包管理很混乱，版本稍有不一样，项目需要重新部署就很费劲，后面搜索了一下，才发现之前早有轮子介绍Anaconda是一个开源的Python和R编程语言的分发版，专为进行数据科学、机器学习、大数据处理和科学计算而设计
_三石_·2023-12-29 14:31

yolov5旋转目标检测-遥感图像检测-无人机旋转目标检测-附代码和原理

综述为了解决旋转目标检测问题，研究者们提出了多种方法和算法。以下是一些常见的旋转目标检测方法：基于滑动窗口的方法：在图像上以不同的尺度和角度滑动窗口，通过分类器判断窗口中是否存在目标。这种方法简单直观，但计算量大且效果依赖于窗口的尺度和角度设置。基于特征提取的方法：利用图像特征提取技术，如SIFT、HOG、CNN等，获取目标的特征表示，再通过分类器进行目标检测。这种方法能够较好地处理目标的旋转变化
阿利同学·2023-12-29 12:10

2022年测绘资质通用标准

测绘资质的专业类别十个专业分为大地测量、测绘航空摄影、摄影测量与遥感、工程测量、海洋测绘、界线与不动产测绘、地理信息系统工程、地图编制、导航电子地图制作、互联网地图服务。
未来可期小刘·2023-12-29 12:59

大数据处理各组件概念及作用

一、数据采集：1.1Flume集群：数据采集工具，如写脚本将不同源端的数据采集后进行数据存储，或推送至Kafka等；1.2FTP集群：文件传输工具；1.3Kafka集群：消息队列，未避免消息堵塞而将消息由Kafka统一管理，进行消息的接收和发布；1.4爬虫服务器：依据需求定时定向抓取页面数据；二、数据存储：2.1HDFS集群：（1）概念：分布式文件存储系统，做数据存储（理解为一个磁盘），相当于数据
p1i2n3g4·2023-12-28 17:11

opencv和gdal的读写图片波段顺序问题

最近处理遥感影像总是不时听到图片的波段错了，一开始不明就里，都是图片怎么就判断错了。1、图像RGB波段顺序判断后面和大家交流，基本上知道了一个判断标准。
清梦枕星河~·2023-12-28 14:56

YOLOv5改进 | 2023主干篇 | 替换LSKNet遥感目标检测主干 (附代码+修改教程+结构讲解)

一、本文介绍本文给大家带来的改进内容是LSKNet（LargeKernelSelection,LKSelection），其是一种专为遥感目标检测设计的网络架构，其核心思想是动态调整其大的空间感受野，以更好地捕捉遥感场景中不同对象的范围上下文
Snu77·2023-12-28 14:09

【SAM系列】SAM-Assisted Remote Sensing Imagery Semantic Segmentation with Object and Boundary Constraint

论文链接：https://arxiv.org/pdf/2312.02464v2.pdf代码链接：https://github.com/sstary/SSRS核心：利用SAM为遥感分割模型的训练提供额外的监督
Nastu_Ho-小何同学·2023-12-28 12:45

如何利用数据分析快速解决企业出海业务中存在的问题？

AWS上的分析服务是包括了AWSS3（存储）ML（机器学习）AWSEMR（大数据处理）等一系列服务。AWS宣称其分析服务“从所有数据中获得对所有用户的解答的最快方式。”提供了广泛的分析服务选
九河云·2023-12-28 11:34

Python遥感影像深度学习指南(4)-利用层次聚类方法实现高分辨率影像分类（水体识别）

在遥感数据中，它主要用于像素分类。
gis收藏家·2023-12-28 11:05

遥感影像辐射定标

遥感影像原始数据中每个像元代表地面光谱反射率的相对大小，叫做DN值。如果要用于后续的反演或者生成一些反射率等产品时，必须要做辐射定标。
刚上路DE小白·2023-12-28 04:44

162TB全球卫星地图瓦片服务

这里再为你分享长光的另一款重量级产品，即《吉林一号国产化全球遥感底图瓦片服务》，你可以把它简单地理解为是一套全球离线地图服务系统。为了行文方便，我们在本文暂且称之为“长光全球瓦片系统”。
水经注GIS·2023-12-27 14:29

java调用GDAL实现栅格数据的重采样的一种方法

1.2用途在地理信息栅格数据的处理中有着比较重要的用途，如地图制图中不同比例尺下需要有不同的分辨率显示；在卫星遥感影像的数据的处理中，重采样也是
我一时想不起·2023-12-27 13:43

fragstats：景观指数的突变分析

图1突变频次图2突变时间文章目录一、景观指数计算二、景观指数时间序列构建三、参考博客四、结果可视化五、结果展示5.1突变频次5.2突变时间一、景观指数计算参考博客《fragstats：景观指数计算及其遥感影像生成
_养乐多_·2023-12-26 23:52

NET中使用SQLSugar操作sqlserver数据库

主要特点：简单易用、功能齐全、高性能、轻量级、服务齐全、支持全自动分表组件，SAAS分库，大数据处理的ORM。二、迁移和建表安装包：SqlSugar
我是一只小小鱼~·2023-12-26 21:22

Java 已死、前端已凉

让我们来详细探讨一下这个话题：Java的地位：Java作为一种编程语言和平台，自1995年推出以来，一直在企业级应用、Android应用开发、大数据处理等领域占据重要地位。
终将老去的穷苦程序员·2023-12-26 17:18

fragstats：景观指数趋势分析

结果如下图所示，图1趋势分类图图2MK趋势分析文章目录一、景观指数计算二、景观指数时间序列构建三、参考博客四、结果可视化五、结果展示5.1趋势分类一、景观指数计算参考博客《fragstats：景观指数计算及其遥感影像生成
_养乐多_·2023-12-26 16:30

SuperMap iClient3D for WebGL时序影像

通过对多时相遥感影像的比较和分析，可以揭示地理现象的时空演变规律，提供科学依据和决策支持。下面就让我们来看看如何在SuperMapiClient3DforWebGL中模
supermapsupport·2023-12-26 12:23

Python遥感影像深度学习指南(3)-卫星图像语义分割之用PyTorch创建一个简单的U-Net 模型

在上一篇文章中，介绍了如何在不使用torchvision模块的情况下，创建卫星图像的多通道数据集。现在，我们将继续创建一个简单的深度学习模型，用于卫星图像的语义分割。1、介绍下图来自"卷积神经网络实现了从高分辨率无人机图像中高效、准确、精细地分割植物物种和群落"的论文，我们要创建的U-Net模型与其类似，其中我们有3个压缩块contractingblocks和3个上采样块（也叫扩展块）upsamp
gis收藏家·2023-12-26 07:28

2022-04-26

物联网、云计算、智能GIS、海陆空一体化遥感监测、海量数据挖掘、环
Andy华·2023-12-26 07:32

毕业设计选题 - 计算机毕业设计（论文）选题合集

目录前言选题背景意义毕业设计选题深度学习与神经网络计算机视觉与图像处理机器学习与数据挖掘数据分析和大数据处理选题迷茫选题的重要性更多选题指导最后前言大四是整个大学期间最忙碌的时光,一边要忙着准备考研,考公
weixin_55149953·2023-12-26 02:37
上一页 5 6 7 8 9 10 11 12 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他