遥感大数据处理

做为一名大数据新手，应该通过这篇文章了解大数据

这句话至少传递两种信息：1、大数据是海量的数据2、大数据处理无捷径，对分析处理技术提出了更高的要求二、大数据的处理流程下图是数据处理流程：1、底层是数以千亿计的数据源，数据源可以是SCM(供应链数据)，
大数据小火老师·2023-09-04 05:40

哪些大学开设“超心理学”（超自然现象研究）课程？

英国加的夫城市大学地点：加的夫简介：伊恩·休姆（IanHume）博士开设了本科的超心理学课程，该课程包括遥感（ESP）、意念制物（PK）和特殊生存研究。
塔哥奇谈·2023-09-03 21:50

【科研必备】农林生环、水文、海洋、水环境、大气科学、人工智能、碳中和、碳排放、3S、R与统计、经济学等软件模型

统计语言本文共分为两大部分，涉及领域水文水资源、大气科学、农林生态、地信遥感、统计分析、编程语言等...第一部分：进阶实践（直播+现场+视频）从软件基础到实践案例应用操作，手把手教学，提供永久回放观看和助学群长期辅助指导
_遇见jia·2023-09-03 19:00

大数据专业毕业能从事什么工作

大数据开发分两类，编写Hadoop、Spark的应用程序和对大数据处理系统本身进行开发。
我想去吃ya·2023-09-02 16:36

消息中间件 MQ详解及四大MQ比较

2.1Broker2.2Producer2.3Consumer2.4Topic2.5Queue2.6Message3消息中间件模式分类3.1点对点3.2发布/订阅4消息中间件的优势4.1系统解耦4.2提高系统响应时间4.3为大数据处理架构提供服务
℡tang·2023-09-02 13:49

使用Java编写Spark Streaming来做大数据处理（一）

写在前面：一般来说spark都是由Scala来实现，但Java一手遮天，非要以一己之力实现（不是）一、使用JAVA编写有哪几部组成？1.获取数据//往往文件都是根据配置文件修改的时间，动态获取对应的文件来处理StringfilePath="/租户目录/指标/指标分类/指标分类子分支"+startTime.substring(0,6)+".csv";//通过调用JavaSparkContext的获取
斯特凡今天也很帅·2023-09-02 11:47

java版Spring Cloud之Spark 离线开发框架设计与实现

一、背景随着Spark以及其社区的不断发展，Spark本身技术也在不断成熟，Spark在技术架构和性能上的优势越来越明显，目前大多数公司在大数据处理中都倾向使用Spark。
微服务技术分享·2023-09-02 11:16

2 | Window 搭建单机 Hadoop 和Spark

搭建单机Hadoop和Spark环境可以学习和测试大数据处理的基础知识。
小 森·2023-09-02 09:43

探索云原生容器编排技术:如Kubernetes如何为大数据处理和AI模型的自动化部署带来便利

Kubernetes是一个强大的容器编排和自动化部署工具，它为大数据处理
程序员 小侯·2023-09-02 09:39

Apache Spark进行大数据处理 -- 第一部分：介绍

什么是SparkApacheSpark是一个围绕着处理速度，易使用及复杂分析构建的开源大数据处理框架。它最早由加州大学伯克利分校的AMPLab在2009年开发，2010年成为Apache的开源项目。
zlEven·2023-09-02 08:39

介绍 Apache Spark 的基本概念和在大数据分析中的应用。

ApacheSpark是一个快速的开源大数据处理引擎，可以用于大数据处理、机器学习、图形计算等领域。它可以在多种计算环境中运行，包括独立模式、YARN、Mesos、Kubernetes等云计算平台。
沉默是金~·2023-09-02 08:34

PowerQuery动态加载M公式

PowerQuery是Excel中的强大数据处理与转换工具，如果需要“动态”处理数据，大家第一时间想到的是可以使用VBA，利用代码创建M公式，进而创建PQ查询，但是复杂的M公式可能有很多行，使用VBA处理起来并不是很方便
taller_2000·2023-09-02 08:55

ArcGIS流域DEM、坡度、坡向图的制作

近年来，随着遥感技术的飞速发展，ArcGIS在环境科学，生态学，水文水资源，环境规划等学科都能看到其身影。它已然渗透到各行各业。然而，考虑到学科差异性，某些专业对ArcGIS只需要满足基本需求。
TowardsCHEND·2023-09-02 08:24

PyTorch深度学习遥感影像地物分类与目标检测、分割及遥感影像问题深度学习优化实践技术应用

未来10年全球每天获取的观测数据将超过10PB，遥感大数据时代已然来临。
思考的小猴子·2023-09-02 04:05

ENVI预处理GF-1号WFV1遥感数据提取NDVI指数

ENVI预处理GF-1号WFV1遥感数据提取NDVI指数目录：遥感数据获取遥感数据预处理2.1编辑头文件2.2辐射定标2.3FLAASH大气校正2.4正射校正2.5计算NDVI2.6图像裁剪提取结果如下
海绵波波107·2023-09-02 03:49

Python读取遥感影像并计算NDVI指数

Python读取遥感影像并计算NDVI指数先附上源码读取的遥感影像数据需要先进行预处理fromosgeoimportgdalimportnumpyasnpimportpandasaspdimportosnp.seterr
海绵波波107·2023-09-02 03:19

台风监测技术

随着科技的发展，现代台风监测技术已经越来越先进，包括传统天气学方法、数字信号处理技术、卫星遥感技术等。本文将详细介绍这些技术及其原理。
科学熊·2023-09-01 21:53

计算机信息技术等领域均可，如机器学习、遥感技术、人工智能、物联网、人工神经网络、数据挖掘、图像处理

期刊部系统内提交，录用周期3个月左右，走完期刊部流程上线【征稿领域】计算机信息技术在土地变化检测中的应用包括但不限于以下主题：●利用基于机器学习的卫星数据分类进行LULC分析的新方向●集成大数据分析和遥感
WangUnionpub·2023-09-01 17:57

【校招VIP】前端算法考点之大数据相关

大数据的关键技术分为分析技术和处理技术，可用于大数据分析的关键技术主要包括A/B测试，关联规则挖掘，数据挖掘，集成学习，遗传算法，机器学习，自然语言处理，模式识别，预测模型，信号处理，空间分析，监督式学习，时间序列分析等，可用于大数据处理的关键技术主要是商业智能
校招VIP·2023-09-01 13:14

GEE/PIE遥感大数据处理与典型案例丨数据整合Reduce、云端数据可视化、数据导入导出及资产管理、机器学习算法等

随着航空、航天、近地空间等多个遥感平台的不断发展，近年来遥感技术突飞猛进。由此，遥感数据的空间、时间、光谱分辨率不断提高，数据量也大幅增长，使其越来越具有大数据特征。
天青色等烟雨..·2023-09-01 11:38

基于AI智能分析网关EasyCVR视频汇聚平台关于能源行业一体化监控平台可实施应用方案

许多大型能源企业已开始抓住机遇，逐步将视频监控、云计算、大数据和人工智能技术广泛应用于生产、维护、运输、配送等环节，实现数据采集、业务监控、大数据处理分析和智能化的生产和运营。
EasyNTS·2023-09-01 09:52

说说Lambda架构

分析&回答Lambda架构是由Storm的作者NathanMarz提出的一个实时大数据处理框架。
学一次·2023-09-01 07:28

测绘规范的思考

这些项目普遍用arcgis建库，实地调查+互联网举，用遥感和互联网地图为底图。中国测绘技术研究院对互联网
花舞月咏潭·2023-09-01 00:31

Bigemap在地质工程勘察行业中的应用

师兄在测绘局工作，买过全能版，帮我下载过高程数据，我觉得效果可以，于是联系到软件公司进行试用、咨询2.使用场景：影像、等高线、地形等资料下载，下载完放进arcgis软件，使用其中的点线面的绘图工具，用于地灾遥感解译下载矢量路网
weixin_44922969·2023-08-31 21:03

深入MaxCompute -第十弹 -IF ELSE分支语句

MaxCompute（原ODPS）是阿里云自主研发的具有业界领先水平的分布式大数据处理平台,尤其在集团内部得到广泛应用，支撑了多个BU的核心业务。
阿里云大数据AI技术·2023-08-31 19:41

深入MaxCompute -第十一弹 -QUALIFY

MaxCompute（原ODPS）是阿里云自主研发的具有业界领先水平的分布式大数据处理平台,尤其在集团内部得到广泛应用，支撑了多个BU的核心业务。MaxCompute除了持续优化性能外，也致力于提
阿里云大数据AI技术·2023-08-31 19:41

深入MaxCompute -第十二弹 -PIVOT/UNPIVOT

MaxCompute（原ODPS）是阿里云自主研发的具有业界领先水平的分布式大数据处理平台,尤其在集团内部得到广泛应用，支撑了多
阿里云大数据AI技术·2023-08-31 19:36

数据流水线的成本自适应算子

简介披露一个大数据处理技术。如今我们构建很多的数据流水线(datapipeline)来把数据从一处移动到另一处，并且可以在其中做一些转换处理。
·2023-08-31 18:38

深入MaxCompute -第十二弹 -PIVOT/UNPIVOT

MaxCompute（原ODPS）是阿里云自主研发的具有业界领先水平的分布式大数据处理平台,尤其在集团内部得到广泛应用，支撑了多
·2023-08-31 17:01

遥感数字图像处理实验教程（韦玉春）--部分实验问题回答

个人的学习思考，仅供参考。目录实验三、图像合成和显示增强一、目的二、要求三、实验实验五、图像变换一、目的二、要求三、实验实验六、图像滤波一、目的二、要求三、实验实验七、图像分割一、目的二、要求三、实验实验八、图像分类一、目的二、要求三、实验实验九、变化监测一、目的二、要求三、实验实验三、图像合成和显示增强一、目的掌握图像合成和显示增强的基本方法，理解存储的图像数据与显示的图像数据之间的差异。二、要
juechen333·2023-08-31 17:12

深入MaxCompute -第十一弹 -QUALIFY

MaxCompute（原ODPS）是阿里云自主研发的具有业界领先水平的分布式大数据处理平台,尤其在集团内部得到广泛应用，支撑了多个BU的核心业务。MaxCompute除了持续优化性能外，也致力于提
·2023-08-31 14:18

深入MaxCompute -第十弹 -IF ELSE分支语句

MaxCompute（原ODPS）是阿里云自主研发的具有业界领先水平的分布式大数据处理平台,尤其在集团内部得到广泛应用，支撑了多个BU的核心业务。
·2023-08-31 10:52

Python大数据处理利器之Pyspark详解

而pyspark作为一个强大的分布式计算框架，为大数据处理提供了一种高效的解决方案。本文将详细介绍pyspark的基本概念和使用方法，并给出实际案例。什么是pyspark？
Rocky006·2023-08-30 16:34

Flink on Yarn Kerberos安全认证

点击上方"zhisheng"关注,星标或置顶一起成长Flink从入门到精通系列文章Flink作为新一代的大数据处理引擎，其批流一体化的设计与出色的流处理性能，在业界得到了很多头部公司的青睐。
zhisheng_blog·2023-08-30 00:41

全面剖析各类大数据的处理框架

前言：说起大数据处理，一切都起源于Google公司的经典论文：《MapReduce：SimpliedDataProcessingonLargeClusters》。
丨程序之道丨·2023-08-29 19:24

【分布式技术专题】「OSS中间件系列」Minio的文件服务的存储模型及整合Java客户端访问的实战指南

此特性对于机器学习与大数据处理非常重要。数据管理元数据与数据一起存放在磁盘上：数据部分纠删分片以后存储在磁盘上，元数据以明文形式存放在元数据文件里（xl.json）。
夏壹-10分分享·2023-08-29 08:13

EZ | Deep Snow: 使用GANs合成遥感图像 | 02

模型生成式对抗网络整个GANs的架构可以解释为两个对抗体的博弈过程，一个叫生成器，一个叫判别器。生成器的作用是模拟现有的训练数据的数据分布生成数据，判别器则用来判断接受的输入是不是真的。GANs之父Goodfellow把生成器比作造假者而把鉴别器比作警察，在相互博弈并多次迭代的过程中，造假者和警察都会逐渐提升，知道造假者的假货足以乱真。作者这里把Goodfellow文章里的东西用自己的话又复述了一
杜若飞er·2023-08-29 07:13

详解Single-Shot Alignment Network (S2A-Net) ，详解AlignConv，基于遥感图像的特征对齐旋转目标检测

：把图像中的物体使用方框标记起来，不同类别物体应使用不同颜色目标检测其实是寻找物体边界框(boundingbox)回归问题(regression)和对物体分类问题(classification)的统一遥感目标检测
一条自私的鱼·2023-08-29 06:23

分布式系统和大数据处理架构的设计与实现

作者：禅与计算机程序设计艺术1.简介ApacheHadoop(TM)是由Apache基金会推出的开源分布式文件系统（HadoopDistributedFileSystem），它是一个基于Java开发的一个框架，提供了分布式计算环境。Hadoop支持在廉价的PC服务器上运行，并可以在多台机器上存储超大的数据集，同时它也提供高容错性、高可用性等特性。然而，作为一个框架，它仍然需要被进一步地封装、优化和
禅与计算机程序设计艺术·2023-08-29 02:44

大数据处理平台的架构演进：从批处理到实时流处理

大数据处理平台的架构演进经历了从批处理到实时流处理的转变，这种转变主要是为了应对越来越多的数据、更快的分析需求和实时决策的要求。以下是从批处理到实时流处理的架构演进过程：
程序员 小侯·2023-08-28 23:41

PostgreSQL优化技巧：加速大数据处理

本文介绍了优化PostgreSQL数据库的一些技巧，例如使用索引、连接池、分区表、复制、预处理语句和分析工具。这些技术可以帮助您更快地处理大量数据和提高数据库性能。PostgreSQL是一款强大的开源关系型数据库管理系统，它以其可扩展性、高级性能和丰富的功能而闻名。但是，在处理大量数据时，它可能会变得缓慢。为了解决这个问题，我们可以使用一些技术来优化它。以下是一些PostgreSQL优化技术和示例
蓝色心灵-海·2023-08-28 21:16

开源在大数据和分析中的角色

文章目录开源在大数据和分析中的角色摘要引言开源技术在大数据处理中的应
猫头虎·2023-08-28 19:37

大数据框架-Hadoop

这些数据集合通常需要使用先进的计算和分析技术才能够处理和分析，因此大数据技术包括了大数据存储、大数据处理和大数据分析等方面的技术和工具。
学习才能变得强大·2023-08-28 06:02

Spark学习（3）-Spark环境搭建-Standalone

模式是Spark自带的一种集群模式，不同于前面本地模式启动多个进程来模拟集群的环境，Standalone模式是真实地在多个机器之间搭建Spark集群的环境，完全可以利用该模式搭建多机器集群，用于实际的大数据处理
技术闲聊DD·2023-08-27 23:42

Spark on Yarn集群模式搭建及测试

大数据学习专栏持续更新中，感谢各位前辈朋友们支持学习~文章目录1.SparkonYarn集群模式介绍2.搭建环境准备3.搭建步骤1.SparkonYarn集群模式介绍ApacheSpark是一个快速的、通用的大数据处理框架
beixi@·2023-08-27 23:10

Spark Standalone环境搭建及测试

SparkLocal环境搭建及测试文章目录1.SparkStandalone环境搭建介绍2.搭建环境准备：3.搭建步骤:1.SparkStandalone环境搭建介绍ApacheSpark是目前最流行的大数据处理框架之一
beixi@·2023-08-27 23:08

GEE/PIE遥感大数据处理与典型案例

如今，GEE/PIE等遥感云平台凭借其强大的功能正受到越来越多国内外科技工作者的关注，应用范围也在不断扩大。
小艳加油·2023-08-27 12:08

GPT模型应用及遥感云大数据在灾害、水体与湿地领域典型案例展示

GPTGPT的全称，是GenerativePre-TrainedTransformer（生成式预训练Transformer模型）是一种基于互联网的、可用数据来训练的、文本生成的深度学习模型。GPT与专注于下围棋或机器翻译等某一个具体任务的“小模型”不同，AI大模型更像人类的大脑。它兼具“大规模”和“预训练”两种属性，可以在海量通用数据上进行预先训练，能大幅提升AI的泛化性、通用性、实用性。近年来遥
zmjia111·2023-08-27 12:08

GEE/PIE遥感大数据处理与典型案例丨数据整合Reduce、云端数据可视化、数据导入导出及资产管理、机器学习算法等

目录专题一：初识GEE和PIE遥感云平台专题二：GEE和PIE影像大数据处理基础专题三：数据整合Reduce专题四：云端数据可视化专题五：数据导入导出及资产管理专题六：机器学习算法专题七：专题练习与回顾更多应用随着航空
WangYan2022·2023-08-27 12:37

“R语言+遥感“水环境综合评价

1、掌握R语言基础应用及水环境数据分析方法2、掌握水环境遥感数据预处理方法3、掌握水线提取——水体指数与阈值混合法（遥感）4、掌握水深提取——多元回归分析方法（R语言+遥感）5、掌握水温提取——支持向量机方法
Yolo566Q·2023-08-27 10:44
上一页 23 24 25 26 27 28 29 30 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他