遥感大数据处理

Python大数据处理利器之Pyspark详解

而pyspark作为一个强大的分布式计算框架，为大数据处理提供了一种高效的解决方案。本文将详细介绍pyspark的基本概念和使用方法，并给出实际案例。什么是pyspark？
Rocky006·2023-08-30 16:34

Flink on Yarn Kerberos安全认证

点击上方"zhisheng"关注,星标或置顶一起成长Flink从入门到精通系列文章Flink作为新一代的大数据处理引擎，其批流一体化的设计与出色的流处理性能，在业界得到了很多头部公司的青睐。
zhisheng_blog·2023-08-30 00:41

全面剖析各类大数据的处理框架

前言：说起大数据处理，一切都起源于Google公司的经典论文：《MapReduce：SimpliedDataProcessingonLargeClusters》。
丨程序之道丨·2023-08-29 19:24

【分布式技术专题】「OSS中间件系列」Minio的文件服务的存储模型及整合Java客户端访问的实战指南

此特性对于机器学习与大数据处理非常重要。数据管理元数据与数据一起存放在磁盘上：数据部分纠删分片以后存储在磁盘上，元数据以明文形式存放在元数据文件里（xl.json）。
夏壹-10分分享·2023-08-29 08:13

EZ | Deep Snow: 使用GANs合成遥感图像 | 02

模型生成式对抗网络整个GANs的架构可以解释为两个对抗体的博弈过程，一个叫生成器，一个叫判别器。生成器的作用是模拟现有的训练数据的数据分布生成数据，判别器则用来判断接受的输入是不是真的。GANs之父Goodfellow把生成器比作造假者而把鉴别器比作警察，在相互博弈并多次迭代的过程中，造假者和警察都会逐渐提升，知道造假者的假货足以乱真。作者这里把Goodfellow文章里的东西用自己的话又复述了一
杜若飞er·2023-08-29 07:13

详解Single-Shot Alignment Network (S2A-Net) ，详解AlignConv，基于遥感图像的特征对齐旋转目标检测

：把图像中的物体使用方框标记起来，不同类别物体应使用不同颜色目标检测其实是寻找物体边界框(boundingbox)回归问题(regression)和对物体分类问题(classification)的统一遥感目标检测
一条自私的鱼·2023-08-29 06:23

分布式系统和大数据处理架构的设计与实现

作者：禅与计算机程序设计艺术1.简介ApacheHadoop(TM)是由Apache基金会推出的开源分布式文件系统（HadoopDistributedFileSystem），它是一个基于Java开发的一个框架，提供了分布式计算环境。Hadoop支持在廉价的PC服务器上运行，并可以在多台机器上存储超大的数据集，同时它也提供高容错性、高可用性等特性。然而，作为一个框架，它仍然需要被进一步地封装、优化和
禅与计算机程序设计艺术·2023-08-29 02:44

大数据处理平台的架构演进：从批处理到实时流处理

大数据处理平台的架构演进经历了从批处理到实时流处理的转变，这种转变主要是为了应对越来越多的数据、更快的分析需求和实时决策的要求。以下是从批处理到实时流处理的架构演进过程：
程序员 小侯·2023-08-28 23:41

PostgreSQL优化技巧：加速大数据处理

本文介绍了优化PostgreSQL数据库的一些技巧，例如使用索引、连接池、分区表、复制、预处理语句和分析工具。这些技术可以帮助您更快地处理大量数据和提高数据库性能。PostgreSQL是一款强大的开源关系型数据库管理系统，它以其可扩展性、高级性能和丰富的功能而闻名。但是，在处理大量数据时，它可能会变得缓慢。为了解决这个问题，我们可以使用一些技术来优化它。以下是一些PostgreSQL优化技术和示例
蓝色心灵-海·2023-08-28 21:16

开源在大数据和分析中的角色

文章目录开源在大数据和分析中的角色摘要引言开源技术在大数据处理中的应
猫头虎·2023-08-28 19:37

大数据框架-Hadoop

这些数据集合通常需要使用先进的计算和分析技术才能够处理和分析，因此大数据技术包括了大数据存储、大数据处理和大数据分析等方面的技术和工具。
学习才能变得强大·2023-08-28 06:02

Spark学习（3）-Spark环境搭建-Standalone

模式是Spark自带的一种集群模式，不同于前面本地模式启动多个进程来模拟集群的环境，Standalone模式是真实地在多个机器之间搭建Spark集群的环境，完全可以利用该模式搭建多机器集群，用于实际的大数据处理
技术闲聊DD·2023-08-27 23:42

Spark on Yarn集群模式搭建及测试

大数据学习专栏持续更新中，感谢各位前辈朋友们支持学习~文章目录1.SparkonYarn集群模式介绍2.搭建环境准备3.搭建步骤1.SparkonYarn集群模式介绍ApacheSpark是一个快速的、通用的大数据处理框架
beixi@·2023-08-27 23:10

Spark Standalone环境搭建及测试

SparkLocal环境搭建及测试文章目录1.SparkStandalone环境搭建介绍2.搭建环境准备：3.搭建步骤:1.SparkStandalone环境搭建介绍ApacheSpark是目前最流行的大数据处理框架之一
beixi@·2023-08-27 23:08

GEE/PIE遥感大数据处理与典型案例

如今，GEE/PIE等遥感云平台凭借其强大的功能正受到越来越多国内外科技工作者的关注，应用范围也在不断扩大。
小艳加油·2023-08-27 12:08

GPT模型应用及遥感云大数据在灾害、水体与湿地领域典型案例展示

GPTGPT的全称，是GenerativePre-TrainedTransformer（生成式预训练Transformer模型）是一种基于互联网的、可用数据来训练的、文本生成的深度学习模型。GPT与专注于下围棋或机器翻译等某一个具体任务的“小模型”不同，AI大模型更像人类的大脑。它兼具“大规模”和“预训练”两种属性，可以在海量通用数据上进行预先训练，能大幅提升AI的泛化性、通用性、实用性。近年来遥
zmjia111·2023-08-27 12:08

GEE/PIE遥感大数据处理与典型案例丨数据整合Reduce、云端数据可视化、数据导入导出及资产管理、机器学习算法等

目录专题一：初识GEE和PIE遥感云平台专题二：GEE和PIE影像大数据处理基础专题三：数据整合Reduce专题四：云端数据可视化专题五：数据导入导出及资产管理专题六：机器学习算法专题七：专题练习与回顾更多应用随着航空
WangYan2022·2023-08-27 12:37

“R语言+遥感“水环境综合评价

1、掌握R语言基础应用及水环境数据分析方法2、掌握水环境遥感数据预处理方法3、掌握水线提取——水体指数与阈值混合法（遥感）4、掌握水深提取——多元回归分析方法（R语言+遥感）5、掌握水温提取——支持向量机方法
Yolo566Q·2023-08-27 10:44

基于《环境影响评价技术导则生态影响》（HJ 19—2022）下的生态环境影响评价技术方法及图件制作与案例

目录全流程基于最新导则下的生态环境影响评价技术方法及图件制作与案例基于遥感解译与GIS技术环境影响评价图件制作实践应用全流程基于最新导则下的生态环境影响评价技术方法及图件制作与案例主要围绕环评导则、结合不同行业类别
WangYan2022·2023-08-27 10:12

“R语言+遥感“水环境综合评价方法

详情点击链接："R语言+遥感"水环境综合评价方法一：R语言1.1R语言特点（R语言）1.2安装R（R语言）1.3安装RStudio（R语言）（1）下载地址（2）安装步骤（3）软件配置1.4第一个程序Helloworld
慢腾腾的小蜗牛·2023-08-27 10:40

2019-11-03

怎么理解深度学习，计算机视觉，和人工智能遥感中怎么去平衡数据集。focalloss的问题，小图训练大图预测
Aries_773a·2023-08-27 00:36

Windows用Anaconda安装JupyterNotebook

wmicOSgetOSArchitecture后回车，记录操作系统的架构是32位还是64位步骤2下载并安装AnacondaAnaconda是一个免费开源的Python和R语言的发行版本，用于计算科学（数据科学、机器学习、大数据处理和预测分析
苏无双·2023-08-26 18:13

基于“R语言+遥感“水环境综合评价方法教程

详情点击链接：基于"R语言+遥感"水环境综合评价方法教程一：R语言1.1R语言特点（R语言）1.2安装R（R语言）1.3安装RStudio（R语言）（1）下载地址（2）安装步骤（3）软件配置1.4第一个程序
夏日恋雨·2023-08-26 12:36

大数据领域都有什么发展方向

大数据开发分两类，编写Hadoop、Spark的应用程序和对大数据处理系统本身进行开发。大数据开发工程师主要负责公司大数据平台的开发和维护、
我想去吃ya·2023-08-26 12:36

构建高性能云原生大数据处理平台：融合人工智能优化数据分析流程

在云计算环境中构建高性能的云原生大数据处理平台，结合人工智能技术来优化数据分析流程，是现代数据处理的一项关键任务
程序员 小侯·2023-08-26 11:15

短视频矩阵系统接口部署技术搭建

前言短视频矩阵系统开发涉及到多个领域的技术，包括视频编解码技术、大数据处理技术、音视频传输技术、电子商务及支付技术等。
-- yx898978·2023-08-26 09:50

利用python批量掩膜提取遥感图像

（1）前言遥感影像的提取和分析在地理信息系统、环境监测、农业、城市规划等领域具有重要的应用价值。按掩膜提取遥感影像是一种常用的方法，它可以通过定义掩膜来选择感兴趣的区域，并排除其他干扰因素。
楠楠星球·2023-08-26 05:38

两种图像拼接（无重叠相邻图&有重叠相邻图）以及matlab实现（边线查找法）

文章目录@[TOC](文章目录)前言1、两种图片的拼接原理无重叠部分的相邻两张图片拼接有重叠部分的两张图片拼接2、MATLAB算法实现一、程序一二、程序二三、实例前言在我们处理遥感图像的时候，会遇到相邻两个地区的图像拼接的情况
楠楠星球·2023-08-26 05:07

如何使用Python实现遥感彩色合成？

综述遥感影像真彩色合成是一种将多光谱遥感影像转换为真实感彩色影像的技术。它通过将不同波段的遥感数据进行组合，以模拟人眼对地物颜色的感知，从而提供更直观、更易于理解的影像信息。
楠楠星球·2023-08-26 05:07

遥感影像的缨帽（K-T）变换Python实现

（1）介绍缨帽变换（KirchhoffTransform，K-T变换）是一种在遥感图像处理中常用的技术，它可以有效地提取地物的空间特征和频谱信息。
楠楠星球·2023-08-26 05:37

GEE-PIE遥感大数据处理技术

随着航空、航天、近地空间等多个遥感平台的不断发展，近年来遥感技术突飞猛进。由此，遥感数据的空间、时间、光谱分辨率不断提高，数据量也大幅增长，使其越来越具有大数据特征。
Teacher.chenchong·2023-08-26 03:53

（GPT、GEE）遥感云大数据、洪涝灾害监测、红树林遥感制图、河道轮廓监测、洪涝灾害监测、GRACE重力卫星、源遥感影像

近年来遥感技术得到了突飞猛进的发展，航天、航空、临近空间等多遥感平台不断增加，数据的空间、时间、光谱分辨率不断提高，数据量猛增，遥感数据已经越来越具有大数据特征。
_遇见jia·2023-08-25 17:50

Matlab高光谱遥感数据处理与混合像元分解实践技术

光谱和图像是人们观察世界的两种方式，高光谱遥感通过“图谱合一”的技术创新将两者结合起来，大大提高了人们对客观世界的认知能力，本来在宽波段遥感中不可探测的物质，在高光谱遥感中能被探测。
zmjia111·2023-08-25 15:44

决胜大数据时代：Hadoop&Yarn&Spark企业级最佳实践（8天完整版脱产式培训版本）

Hadoop、Yarn、Spark是企业构建生产环境下大数据中心的关键技术，也是大数据处理的核心技术，是每个云计算大数据工程师必修课。
wangruoze·2023-08-25 10:37

基于PyTorch深度学习遥感影像地物分类与目标检测、分割及遥感影像问题深度学习优化

未来10年全球每天获取的观测数据将超过10PB，遥感大数据时代已然来临。
zmjia111·2023-08-25 07:49

信息化概论

一、名词解释（共计30分，每小题5分）2010遥感遥远的感知，指无接触的远距离的探测技术遥感是通过遥感器这类对电磁波敏感的仪器，在远离目标和非接触目标物体条件下探测目标地物DSS决策支持系统（DecisionSupportSystem
千夜啊·2023-08-25 02:43

全面解析流式大数据实时处理技术、平台及应用

根据数据处理的时效性，大数据处理系统可分为批式(batch)大数据和流式(streaming)大数据两类。其中，批式大数据又被称为历史大数据，流式大数据又被称为实时大数据。
丨程序之道丨·2023-08-24 22:59

遥感技术在城市内涝方向的应用及实例

去某地"看海"，成了近几年夏天的网络流行语。平日里光鲜亮丽，瞬间却成为内涝"重灾区"，看似实现"现代化"的城市，在一场场暴雨面前现出原形。每次暴雨来袭，大城市屡成泽国，内涝问题成为近期困扰中国城市的燃眉之急。01内涝成因进入21世纪以来，我国城市化进程进一步加快，使得城市人口高度集中，不透水的道路及混凝土建筑不断增多，城市绿地面积不断缩减，居民日常生活和工业生产排放的大量废气导致“热岛效应”加剧，
数据禾·2023-08-24 19:56

DNDC模型建模方法及在土壤碳储量、温室气体排放、农田减排、土地变化、气候变化中的应用

模型介绍①碳循环模型简介②DNDC模型原理③DNDC下载与安装④DNDC注意事项第二讲DNDC初步操作①DNDC界面介绍②DNDC数据及格式③DNDC点尺度模拟④DNDC区域尺度模拟⑤DNDC结果查看第三讲遥感和
WangYan2022·2023-08-24 19:24

GEE/PIE 遥感大数据处理与典型案例

查看原文>>>【399三天】GEE/PIE遥感大数据处理与典型案例实践随着航空、航天、近地空间等多个遥感平台的不断发展，近年来遥感技术突飞猛进。
吹翻书页的风·2023-08-24 18:02

GEE/PIE遥感大数据处理与应用

随着航空、航天、近地空间等多个遥感平台的不断发展，近年来遥感技术突飞猛进。由此，遥感数据的空间、时间、光谱分辨率不断提高，数据量也大幅增长，使其越来越具有大数据特征。
zmjia111·2023-08-24 12:04

GEE-PIE遥感大数据处理技术

随着航空、航天、近地空间等多个遥感平台的不断发展，近年来遥感技术突飞猛进。由此，遥感数据的空间、时间、光谱分辨率不断提高，数据量也大幅增长，使其越来越具有大数据特征。
asyxchenchong888·2023-08-24 10:31

大数据处理 正则表达式去除特殊字符 提取中文英文数字

在文本处理中，经常会碰到含有特殊字符的字符串。比如用户昵称，小红书文案，等等都包含了大量表情特殊字符。这些特殊字符串在ETL处理过程中，经常会引起程序报错，导致致命错误，程序崩溃；或者导致数据不准确。所以ETL中首先要清洗处理掉这些特殊字符。使用正则表达式能起到很好的效果[a-zA-Z0-9\u4e00-\u9fa5]+提取英文字符：[a-zA-Z]+提取数字：[0-9]+提取中文：[\u4e00
EA开发-青衫码客·2023-08-24 07:01

ArcGIS实现从左到右从下而上顺序自动编号方法

工作学习中常用的遥感、地理、生态等数据下
科研online·2023-08-24 02:08

光学成像传感器均匀性校准积分球光源

均匀光源被广泛应用于光学成像、遥感仪器的研制与标定等领域。积分球作为一种测量发光体光学参数的高效率仪器，常用于测量光谱强度与功率、光通量、散射体分布、颜色温度、电学特性等参数。
JYGD686868·2023-08-24 01:07

海普应急指挥决策系统平台介绍

海普应急指挥平台是一套融合了成熟的3S技术、无线通讯技术、智能视频分析技术，基于最新GIS平台，结合基础地理信息数据库、林业地理信息数据库、卫星遥感影像数据库等空间数据库的综合应用系统。
海普软件·2023-08-24 00:38

大数据处理技术导论（8） | Datawhale组队学习46期

文章目录10.1面试题10.1.1hive外部表和内部表的区别10.1.2简述对Hive桶的理解？10.1.3HBase和Hive的区别？10.1.4简述Spark宽窄依赖10.1.5Hadoop和Spark的相同点和不同点10.1.6Spark为什么比MapReduce快？10.1.7说说你对Hadoop生态的认识10.2实战10.2.1数据集10.2.2文本权重计算10.2.3输出格式10.2
mba1398·2023-08-23 20:35

遥感数据与作物生长模型同化及在作物长势监测与估产中的应用

基于过程的作物生长模拟模型DSSAT是现代农业系统研究的有力工具，可以定量描述作物生长发育和产量形成过程及其与气候因子、土壤环境、品种类型和技术措施之间的关系，为不同条件下作物生长发育及产量预测、栽培管理、环境评价以及未来气候变化评估等提供了定量化工具。但是，当作物生长模型从单点研究发展到区域尺度应用时，由于空间尺度增大而出现的地表、近地表环境非均匀性问题，导致模型中一些宏观资料的获取和参数的区域
Mr.靳靳477302280·2023-08-23 18:18

遥感云大数据在灾害、水体与湿地领域典型案例实践及GPT模型

近年来遥感技术得到了突飞猛进的发展，航天、航空、临近空间等多遥感平台不断增加，数据的空间、时间、光谱分辨率不断提高，数据量猛增，遥感数据已经越来越具有大数据特征。
Mr.靳靳477302280·2023-08-23 18:47

2019-06-08

端阳离骚诗赋唱天歌汨罗江畔无知音江中龙官选忠良千年之间无回声五月五日祭端阳寄语颂词贡粽米遥感君信回天歌
深山三哥·2023-08-23 15:46
上一页 27 28 29 30 31 32 33 34 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他