MongoBD大数据处理

GEE/PIE遥感大数据处理与典型案例丨数据整合Reduce、云端数据可视化、数据导入导出及资产管理、机器学习算法等

随着航空、航天、近地空间等多个遥感平台的不断发展，近年来遥感技术突飞猛进。由此，遥感数据的空间、时间、光谱分辨率不断提高，数据量也大幅增长，使其越来越具有大数据特征。对于相关研究而言，遥感大数据的出现为其提供了前所未有的机遇，但同时也提出了巨大的挑战。传统的工作站和服务器已经无法满足大区域、多尺度海量遥感数据处理的需要。为解决这一问题，国内外涌现了许多全球尺度地球科学数据（尤其是卫星遥感数据）在线
天青色等烟雨..·2023-09-01 11:38

基于AI智能分析网关EasyCVR视频汇聚平台关于能源行业一体化监控平台可实施应用方案

许多大型能源企业已开始抓住机遇，逐步将视频监控、云计算、大数据和人工智能技术广泛应用于生产、维护、运输、配送等环节，实现数据采集、业务监控、大数据处理分析和智能化的生产和运营。
EasyNTS·2023-09-01 09:52

说说Lambda架构

分析&回答Lambda架构是由Storm的作者NathanMarz提出的一个实时大数据处理框架。
学一次·2023-09-01 07:28

深入MaxCompute -第十弹 -IF ELSE分支语句

MaxCompute（原ODPS）是阿里云自主研发的具有业界领先水平的分布式大数据处理平台,尤其在集团内部得到广泛应用，支撑了多个BU的核心业务。
阿里云大数据AI技术·2023-08-31 19:41

深入MaxCompute -第十一弹 -QUALIFY

MaxCompute（原ODPS）是阿里云自主研发的具有业界领先水平的分布式大数据处理平台,尤其在集团内部得到广泛应用，支撑了多个BU的核心业务。MaxCompute除了持续优化性能外，也致力于提
阿里云大数据AI技术·2023-08-31 19:41

深入MaxCompute -第十二弹 -PIVOT/UNPIVOT

MaxCompute（原ODPS）是阿里云自主研发的具有业界领先水平的分布式大数据处理平台,尤其在集团内部得到广泛应用，支撑了多
阿里云大数据AI技术·2023-08-31 19:36

数据流水线的成本自适应算子

简介披露一个大数据处理技术。如今我们构建很多的数据流水线(datapipeline)来把数据从一处移动到另一处，并且可以在其中做一些转换处理。
·2023-08-31 18:38

深入MaxCompute -第十二弹 -PIVOT/UNPIVOT

MaxCompute（原ODPS）是阿里云自主研发的具有业界领先水平的分布式大数据处理平台,尤其在集团内部得到广泛应用，支撑了多
·2023-08-31 17:01

深入MaxCompute -第十一弹 -QUALIFY

MaxCompute（原ODPS）是阿里云自主研发的具有业界领先水平的分布式大数据处理平台,尤其在集团内部得到广泛应用，支撑了多个BU的核心业务。MaxCompute除了持续优化性能外，也致力于提
·2023-08-31 14:18

深入MaxCompute -第十弹 -IF ELSE分支语句

MaxCompute（原ODPS）是阿里云自主研发的具有业界领先水平的分布式大数据处理平台,尤其在集团内部得到广泛应用，支撑了多个BU的核心业务。
·2023-08-31 10:52

Python大数据处理利器之Pyspark详解

而pyspark作为一个强大的分布式计算框架，为大数据处理提供了一种高效的解决方案。本文将详细介绍pyspark的基本概念和使用方法，并给出实际案例。什么是pyspark？
Rocky006·2023-08-30 16:34

Flink on Yarn Kerberos安全认证

点击上方"zhisheng"关注,星标或置顶一起成长Flink从入门到精通系列文章Flink作为新一代的大数据处理引擎，其批流一体化的设计与出色的流处理性能，在业界得到了很多头部公司的青睐。
zhisheng_blog·2023-08-30 00:41

全面剖析各类大数据的处理框架

前言：说起大数据处理，一切都起源于Google公司的经典论文：《MapReduce：SimpliedDataProcessingonLargeClusters》。
丨程序之道丨·2023-08-29 19:24

【分布式技术专题】「OSS中间件系列」Minio的文件服务的存储模型及整合Java客户端访问的实战指南

此特性对于机器学习与大数据处理非常重要。数据管理元数据与数据一起存放在磁盘上：数据部分纠删分片以后存储在磁盘上，元数据以明文形式存放在元数据文件里（xl.json）。
夏壹-10分分享·2023-08-29 08:13

分布式系统和大数据处理架构的设计与实现

作者：禅与计算机程序设计艺术1.简介ApacheHadoop(TM)是由Apache基金会推出的开源分布式文件系统（HadoopDistributedFileSystem），它是一个基于Java开发的一个框架，提供了分布式计算环境。Hadoop支持在廉价的PC服务器上运行，并可以在多台机器上存储超大的数据集，同时它也提供高容错性、高可用性等特性。然而，作为一个框架，它仍然需要被进一步地封装、优化和
禅与计算机程序设计艺术·2023-08-29 02:44

大数据处理平台的架构演进：从批处理到实时流处理

大数据处理平台的架构演进经历了从批处理到实时流处理的转变，这种转变主要是为了应对越来越多的数据、更快的分析需求和实时决策的要求。以下是从批处理到实时流处理的架构演进过程：
程序员 小侯·2023-08-28 23:41

PostgreSQL优化技巧：加速大数据处理

本文介绍了优化PostgreSQL数据库的一些技巧，例如使用索引、连接池、分区表、复制、预处理语句和分析工具。这些技术可以帮助您更快地处理大量数据和提高数据库性能。PostgreSQL是一款强大的开源关系型数据库管理系统，它以其可扩展性、高级性能和丰富的功能而闻名。但是，在处理大量数据时，它可能会变得缓慢。为了解决这个问题，我们可以使用一些技术来优化它。以下是一些PostgreSQL优化技术和示例
蓝色心灵-海·2023-08-28 21:16

开源在大数据和分析中的角色

文章目录开源在大数据和分析中的角色摘要引言开源技术在大数据处理中的应
猫头虎·2023-08-28 19:37

大数据框架-Hadoop

这些数据集合通常需要使用先进的计算和分析技术才能够处理和分析，因此大数据技术包括了大数据存储、大数据处理和大数据分析等方面的技术和工具。
学习才能变得强大·2023-08-28 06:02

Spark学习（3）-Spark环境搭建-Standalone

模式是Spark自带的一种集群模式，不同于前面本地模式启动多个进程来模拟集群的环境，Standalone模式是真实地在多个机器之间搭建Spark集群的环境，完全可以利用该模式搭建多机器集群，用于实际的大数据处理
技术闲聊DD·2023-08-27 23:42

Spark on Yarn集群模式搭建及测试

大数据学习专栏持续更新中，感谢各位前辈朋友们支持学习~文章目录1.SparkonYarn集群模式介绍2.搭建环境准备3.搭建步骤1.SparkonYarn集群模式介绍ApacheSpark是一个快速的、通用的大数据处理框架
beixi@·2023-08-27 23:10

Spark Standalone环境搭建及测试

SparkLocal环境搭建及测试文章目录1.SparkStandalone环境搭建介绍2.搭建环境准备：3.搭建步骤:1.SparkStandalone环境搭建介绍ApacheSpark是目前最流行的大数据处理框架之一
beixi@·2023-08-27 23:08

GEE/PIE遥感大数据处理与典型案例

如今，GEE/PIE等遥感云平台凭借其强大的功能正受到越来越多国内外科技工作者的关注，应用范围也在不断扩大。本教程致力于帮助科研工作者掌握GEE和PIE的实际应用能力，以JavaScript编程语言为基础，结合实例讲解遥感云的基本概念知识、影像大数据分析、经典应用案例等方面的进阶技能。为了提高教学质量，将融合最先进的ChatGPT等AI自然语言模型辅助教学，协助学员解答疑惑、提供针对性建议和指导，
小艳加油·2023-08-27 12:08

GEE/PIE遥感大数据处理与典型案例丨数据整合Reduce、云端数据可视化、数据导入导出及资产管理、机器学习算法等

目录专题一：初识GEE和PIE遥感云平台专题二：GEE和PIE影像大数据处理基础专题三：数据整合Reduce专题四：云端数据可视化专题五：数据导入导出及资产管理专题六：机器学习算法专题七：专题练习与回顾更多应用随着航空
WangYan2022·2023-08-27 12:37

Windows用Anaconda安装JupyterNotebook

wmicOSgetOSArchitecture后回车，记录操作系统的架构是32位还是64位步骤2下载并安装AnacondaAnaconda是一个免费开源的Python和R语言的发行版本，用于计算科学（数据科学、机器学习、大数据处理和预测分析
苏无双·2023-08-26 18:13

大数据领域都有什么发展方向

大数据开发分两类，编写Hadoop、Spark的应用程序和对大数据处理系统本身进行开发。大数据开发工程师主要负责公司大数据平台的开发和维护、
我想去吃ya·2023-08-26 12:36

构建高性能云原生大数据处理平台：融合人工智能优化数据分析流程

在云计算环境中构建高性能的云原生大数据处理平台，结合人工智能技术来优化数据分析流程，是现代数据处理的一项关键任务
程序员 小侯·2023-08-26 11:15

短视频矩阵系统接口部署技术搭建

前言短视频矩阵系统开发涉及到多个领域的技术，包括视频编解码技术、大数据处理技术、音视频传输技术、电子商务及支付技术等。
-- yx898978·2023-08-26 09:50

GEE-PIE遥感大数据处理技术

随着航空、航天、近地空间等多个遥感平台的不断发展，近年来遥感技术突飞猛进。由此，遥感数据的空间、时间、光谱分辨率不断提高，数据量也大幅增长，使其越来越具有大数据特征。对于相关研究而言，遥感大数据的出现为其提供了前所未有的机遇，但同时也提出了巨大的挑战。传统的工作站和服务器已经无法满足大区域、多尺度海量遥感数据处理的需要。为解决这一问题，国内外涌现了许多全球尺度地球科学数据（尤其是卫星遥感数据）在线
Teacher.chenchong·2023-08-26 03:53

决胜大数据时代：Hadoop&Yarn&Spark企业级最佳实践（8天完整版脱产式培训版本）

Hadoop、Yarn、Spark是企业构建生产环境下大数据中心的关键技术，也是大数据处理的核心技术，是每个云计算大数据工程师必修课。
wangruoze·2023-08-25 10:37

全面解析流式大数据实时处理技术、平台及应用

根据数据处理的时效性，大数据处理系统可分为批式(batch)大数据和流式(streaming)大数据两类。其中，批式大数据又被称为历史大数据，流式大数据又被称为实时大数据。
丨程序之道丨·2023-08-24 22:59

GEE/PIE 遥感大数据处理与典型案例

查看原文>>>【399三天】GEE/PIE遥感大数据处理与典型案例实践随着航空、航天、近地空间等多个遥感平台的不断发展，近年来遥感技术突飞猛进。
吹翻书页的风·2023-08-24 18:02

GEE/PIE遥感大数据处理与应用

随着航空、航天、近地空间等多个遥感平台的不断发展，近年来遥感技术突飞猛进。由此，遥感数据的空间、时间、光谱分辨率不断提高，数据量也大幅增长，使其越来越具有大数据特征。对于相关研究而言，遥感大数据的出现为其提供了前所未有的机遇，但同时也提出了巨大的挑战。传统的工作站和服务器已经无法满足大区域、多尺度海量遥感数据处理的需要。为解决这一问题，国内外涌现了许多全球尺度地球科学数据（尤其是卫星遥感数据）在线
zmjia111·2023-08-24 12:04

GEE-PIE遥感大数据处理技术

随着航空、航天、近地空间等多个遥感平台的不断发展，近年来遥感技术突飞猛进。由此，遥感数据的空间、时间、光谱分辨率不断提高，数据量也大幅增长，使其越来越具有大数据特征。对于相关研究而言，遥感大数据的出现为其提供了前所未有的机遇，但同时也提出了巨大的挑战。传统的工作站和服务器已经无法满足大区域、多尺度海量遥感数据处理的需要。为解决这一问题，国内外涌现了许多全球尺度地球科学数据（尤其是卫星遥感数据）在线
asyxchenchong888·2023-08-24 10:31

大数据处理 正则表达式去除特殊字符 提取中文英文数字

在文本处理中，经常会碰到含有特殊字符的字符串。比如用户昵称，小红书文案，等等都包含了大量表情特殊字符。这些特殊字符串在ETL处理过程中，经常会引起程序报错，导致致命错误，程序崩溃；或者导致数据不准确。所以ETL中首先要清洗处理掉这些特殊字符。使用正则表达式能起到很好的效果[a-zA-Z0-9\u4e00-\u9fa5]+提取英文字符：[a-zA-Z]+提取数字：[0-9]+提取中文：[\u4e00
EA开发-青衫码客·2023-08-24 07:01

大数据处理技术导论（8） | Datawhale组队学习46期

文章目录10.1面试题10.1.1hive外部表和内部表的区别10.1.2简述对Hive桶的理解？10.1.3HBase和Hive的区别？10.1.4简述Spark宽窄依赖10.1.5Hadoop和Spark的相同点和不同点10.1.6Spark为什么比MapReduce快？10.1.7说说你对Hadoop生态的认识10.2实战10.2.1数据集10.2.2文本权重计算10.2.3输出格式10.2
mba1398·2023-08-23 20:35

GEE-PIE遥感大数据处理与典型案例教程

详情点击链接：GEE-PIE遥感大数据处理与典型案例教程一：GEE和PIE遥感云平台1.GEE和PIE平台及典型应用案例2.JavaScript基础，包括变量，运算符，数组，判断及循环语句等3.遥感云重要概念与典型数据分析流程
夏日恋雨·2023-08-23 14:45

“数仓”-MPP与 MR的区别

mpp计算引擎--simd(单指令多源数)--ssvm(动态编译)--smp(算子并行)--llmp()一、大数据处理框架主流的大数据处理框架包括以下三类五种：1、仅批处理框架：ApacheHadoop2
西山创罪梦不觉·2023-08-23 11:05

Hadoop支持LZO压缩

LZO（Lempel-Ziv-Oberhumer）是一种快速压缩算法，特别适用于大数据处理。
贾斯汀玛尔斯·2023-08-23 07:32

从Hadoop到Spark、Flink，大数据处理框架十年激荡发展史

当前这个数据时代，各领域各业务场景时时刻刻都有大量的数据产生，如何理解大数据，对这些数据进行有效的处理成为很多企业和研究机构所面临的问题。本文将从大数据的基础特性开始，进而解释分而治之的处理思想，最后介绍一些流行的大数据技术和组件，读者能够通过本文了解大数据的概念、处理方法和流行技术。什么是大数据？大数据，顾名思义，就是拥有庞大体量的数据。关于什么是大数据，如何定义大数据，如何使用大数据等一系列问
大数据基础入门教程·2023-08-23 05:18

从Hadoop到Spark和Flink，大数据处理框架十年激荡发展史

当前这个数据时代，各领域各业务场景时时刻刻都有大量的数据产生，如何理解大数据，对这些数据进行有效的处理成为很多企业和研究机构所面临的问题。本文将从大数据的基础特性开始，进而解释分而治之的处理思想，最后介绍一些流行的大数据技术和组件，读者能够通过本文了解大数据的概念、处理方法和流行技术。来源：CarlosMuzaonUnsplash什么是大数据？大数据，顾名思义，就是拥有庞大体量的数据。关于什么是大
BAO7988·2023-08-23 05:45

Hadoop、Spark与Flink的基础架构及其关系和优异

它们都可以用于大数据处理，但在处理方式和应用场景上有所不同。Hadoop专为批处理而生，一次将大量数据集输入到输入中，进行处理并产生结果。它用于离线复杂的大数据处
Lin-CT·2023-08-23 05:44

大数据学习的必备五大核心技术

首先，本文给出了一个通用的大数据处理框架，主要分为以下几个方面：数据采集与预处理、数据存储、数据清洗、数据查询分析和数据可视化。
AydanLinux·2023-08-23 03:57

mongoBD--python、mongodb交互

importpymongofrompymongo.resultsimportDeleteResultfrombson.objectidimportObjectId创建数据库连接"""host=None,:ip127.0.0.1port=None,:端口27017"""mongo_client=pymongo.MongoClient(host='127.0.0.1',port=27017)#mong
changzj·2023-08-22 01:20

Hadoop：数值型数据的朴素贝叶斯分类

朴素贝叶斯分类器用在符号型数据上比较多，如何处理数值型数据能找到的资料比较少，《数据算法：Hadoop/Saprk大数据处理技巧》这本书简要介绍了如何处理数值型数据。
Zeabin·2023-08-21 20:30

阿里大数据工程师讲如何用使用MaxCompute Studio 开发大数据应用

MaxCompute（原ODPS）是阿里云自主研发的分布式大数据处理平台，为用户提供了开放的编程接口和SDK，允许用户在其强大灵活的存储和计算能力之上开发自己的数据应用和系统，创造更大的价值。
大数据05·2023-08-20 17:18

ES的索引结构与算法解析

不管是谷歌、百度、必应、搜狗为代表的自然语言处理(NLP)、爬虫、网页处理、大数据处理的全文搜索引擎，还是有明确搜索目的的搜索行为，如各大电商网站、OA、站内搜索、视频网站的垂直搜索引擎，他们或多或少都使用到了
2301_76429513·2023-08-20 15:14

大数据技术与九大应用领域

大数据处理关键技术一般包括：大数据采集、大数据预处理、大数据存储及管理、大数据分析及挖掘、大数据展现和应用（大数据检索、大数据可视化、大数据应用、大数据安全等）。
change_8b6a·2023-08-20 09:14

常用的数据存储格式在大数据处理中

说明ORC（OptimizedRowColumnar）和Parquet是两种流行的列式存储文件格式，而LZO是一种用于压缩数据的算法。下面是对这些数据格式和算法的简要说明：ORC（OptimizedRowColumnar）：设计目的：ORC是一种高效的列式存储文件格式，旨在提高数据存储和查询性能。它通过使用行组（rowgroups）、列存储、索引和压缩技术等来实现这个目标。算法：ORC使用基于列的
卢延吉·2023-08-20 08:22

推荐一些国内大数据专业较好的学校

数据科学与大数据技术主要研究计算机科学和大数据处理技术等相关的知识和技能，从大数据应用的三个主要层面（即数据管理、系统开发
阿黎逸阳·2023-08-20 08:51
上一页 8 9 10 11 12 13 14 15 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他