大数据处理

GEE-PIE遥感大数据处理技术

随着航空、航天、近地空间等多个遥感平台的不断发展，近年来遥感技术突飞猛进。由此，遥感数据的空间、时间、光谱分辨率不断提高，数据量也大幅增长，使其越来越具有大数据特征。对于相关研究而言，遥感大数据的出现为其提供了前所未有的机遇，但同时也提出了巨大的挑战。传统的工作站和服务器已经无法满足大区域、多尺度海量遥感数据处理的需要。为解决这一问题，国内外涌现了许多全球尺度地球科学数据（尤其是卫星遥感数据）在线
Teacher.chenchong·2023-08-26 03:53

决胜大数据时代：Hadoop&Yarn&Spark企业级最佳实践（8天完整版脱产式培训版本）

Hadoop、Yarn、Spark是企业构建生产环境下大数据中心的关键技术，也是大数据处理的核心技术，是每个云计算大数据工程师必修课。
wangruoze·2023-08-25 10:37

全面解析流式大数据实时处理技术、平台及应用

根据数据处理的时效性，大数据处理系统可分为批式(batch)大数据和流式(streaming)大数据两类。其中，批式大数据又被称为历史大数据，流式大数据又被称为实时大数据。
丨程序之道丨·2023-08-24 22:59

GEE/PIE 遥感大数据处理与典型案例

查看原文>>>【399三天】GEE/PIE遥感大数据处理与典型案例实践随着航空、航天、近地空间等多个遥感平台的不断发展，近年来遥感技术突飞猛进。
吹翻书页的风·2023-08-24 18:02

GEE/PIE遥感大数据处理与应用

随着航空、航天、近地空间等多个遥感平台的不断发展，近年来遥感技术突飞猛进。由此，遥感数据的空间、时间、光谱分辨率不断提高，数据量也大幅增长，使其越来越具有大数据特征。对于相关研究而言，遥感大数据的出现为其提供了前所未有的机遇，但同时也提出了巨大的挑战。传统的工作站和服务器已经无法满足大区域、多尺度海量遥感数据处理的需要。为解决这一问题，国内外涌现了许多全球尺度地球科学数据（尤其是卫星遥感数据）在线
zmjia111·2023-08-24 12:04

GEE-PIE遥感大数据处理技术

随着航空、航天、近地空间等多个遥感平台的不断发展，近年来遥感技术突飞猛进。由此，遥感数据的空间、时间、光谱分辨率不断提高，数据量也大幅增长，使其越来越具有大数据特征。对于相关研究而言，遥感大数据的出现为其提供了前所未有的机遇，但同时也提出了巨大的挑战。传统的工作站和服务器已经无法满足大区域、多尺度海量遥感数据处理的需要。为解决这一问题，国内外涌现了许多全球尺度地球科学数据（尤其是卫星遥感数据）在线
asyxchenchong888·2023-08-24 10:31

大数据处理 正则表达式去除特殊字符 提取中文英文数字

在文本处理中，经常会碰到含有特殊字符的字符串。比如用户昵称，小红书文案，等等都包含了大量表情特殊字符。这些特殊字符串在ETL处理过程中，经常会引起程序报错，导致致命错误，程序崩溃；或者导致数据不准确。所以ETL中首先要清洗处理掉这些特殊字符。使用正则表达式能起到很好的效果[a-zA-Z0-9\u4e00-\u9fa5]+提取英文字符：[a-zA-Z]+提取数字：[0-9]+提取中文：[\u4e00
EA开发-青衫码客·2023-08-24 07:01

大数据处理技术导论（8） | Datawhale组队学习46期

文章目录10.1面试题10.1.1hive外部表和内部表的区别10.1.2简述对Hive桶的理解？10.1.3HBase和Hive的区别？10.1.4简述Spark宽窄依赖10.1.5Hadoop和Spark的相同点和不同点10.1.6Spark为什么比MapReduce快？10.1.7说说你对Hadoop生态的认识10.2实战10.2.1数据集10.2.2文本权重计算10.2.3输出格式10.2
mba1398·2023-08-23 20:35

GEE-PIE遥感大数据处理与典型案例教程

详情点击链接：GEE-PIE遥感大数据处理与典型案例教程一：GEE和PIE遥感云平台1.GEE和PIE平台及典型应用案例2.JavaScript基础，包括变量，运算符，数组，判断及循环语句等3.遥感云重要概念与典型数据分析流程
夏日恋雨·2023-08-23 14:45

“数仓”-MPP与 MR的区别

mpp计算引擎--simd(单指令多源数)--ssvm(动态编译)--smp(算子并行)--llmp()一、大数据处理框架主流的大数据处理框架包括以下三类五种：1、仅批处理框架：ApacheHadoop2
西山创罪梦不觉·2023-08-23 11:05

Hadoop支持LZO压缩

LZO（Lempel-Ziv-Oberhumer）是一种快速压缩算法，特别适用于大数据处理。
贾斯汀玛尔斯·2023-08-23 07:32

从Hadoop到Spark、Flink，大数据处理框架十年激荡发展史

当前这个数据时代，各领域各业务场景时时刻刻都有大量的数据产生，如何理解大数据，对这些数据进行有效的处理成为很多企业和研究机构所面临的问题。本文将从大数据的基础特性开始，进而解释分而治之的处理思想，最后介绍一些流行的大数据技术和组件，读者能够通过本文了解大数据的概念、处理方法和流行技术。什么是大数据？大数据，顾名思义，就是拥有庞大体量的数据。关于什么是大数据，如何定义大数据，如何使用大数据等一系列问
大数据基础入门教程·2023-08-23 05:18

从Hadoop到Spark和Flink，大数据处理框架十年激荡发展史

当前这个数据时代，各领域各业务场景时时刻刻都有大量的数据产生，如何理解大数据，对这些数据进行有效的处理成为很多企业和研究机构所面临的问题。本文将从大数据的基础特性开始，进而解释分而治之的处理思想，最后介绍一些流行的大数据技术和组件，读者能够通过本文了解大数据的概念、处理方法和流行技术。来源：CarlosMuzaonUnsplash什么是大数据？大数据，顾名思义，就是拥有庞大体量的数据。关于什么是大
BAO7988·2023-08-23 05:45

Hadoop、Spark与Flink的基础架构及其关系和优异

它们都可以用于大数据处理，但在处理方式和应用场景上有所不同。Hadoop专为批处理而生，一次将大量数据集输入到输入中，进行处理并产生结果。它用于离线复杂的大数据处
Lin-CT·2023-08-23 05:44

大数据学习的必备五大核心技术

首先，本文给出了一个通用的大数据处理框架，主要分为以下几个方面：数据采集与预处理、数据存储、数据清洗、数据查询分析和数据可视化。
AydanLinux·2023-08-23 03:57

Hadoop：数值型数据的朴素贝叶斯分类

朴素贝叶斯分类器用在符号型数据上比较多，如何处理数值型数据能找到的资料比较少，《数据算法：Hadoop/Saprk大数据处理技巧》这本书简要介绍了如何处理数值型数据。
Zeabin·2023-08-21 20:30

阿里大数据工程师讲如何用使用MaxCompute Studio 开发大数据应用

MaxCompute（原ODPS）是阿里云自主研发的分布式大数据处理平台，为用户提供了开放的编程接口和SDK，允许用户在其强大灵活的存储和计算能力之上开发自己的数据应用和系统，创造更大的价值。
大数据05·2023-08-20 17:18

ES的索引结构与算法解析

不管是谷歌、百度、必应、搜狗为代表的自然语言处理(NLP)、爬虫、网页处理、大数据处理的全文搜索引擎，还是有明确搜索目的的搜索行为，如各大电商网站、OA、站内搜索、视频网站的垂直搜索引擎，他们或多或少都使用到了
2301_76429513·2023-08-20 15:14

大数据技术与九大应用领域

大数据处理关键技术一般包括：大数据采集、大数据预处理、大数据存储及管理、大数据分析及挖掘、大数据展现和应用（大数据检索、大数据可视化、大数据应用、大数据安全等）。
change_8b6a·2023-08-20 09:14

常用的数据存储格式在大数据处理中

说明ORC（OptimizedRowColumnar）和Parquet是两种流行的列式存储文件格式，而LZO是一种用于压缩数据的算法。下面是对这些数据格式和算法的简要说明：ORC（OptimizedRowColumnar）：设计目的：ORC是一种高效的列式存储文件格式，旨在提高数据存储和查询性能。它通过使用行组（rowgroups）、列存储、索引和压缩技术等来实现这个目标。算法：ORC使用基于列的
卢延吉·2023-08-20 08:22

推荐一些国内大数据专业较好的学校

数据科学与大数据技术主要研究计算机科学和大数据处理技术等相关的知识和技能，从大数据应用的三个主要层面（即数据管理、系统开发
阿黎逸阳·2023-08-20 08:51

python行业应用及python-OpenCV简介(一）

它易于学习，功能强大1、简单易学，入门友好2、优雅明确，简单便捷3、很多直接可以使用的库4、所有的行业都能使用5、跨平台，开源6、非常大的社区二、python应用行业范围：1、Web开发2、大数据处理3
码农小镰刀1024·2023-08-20 07:31

【课程笔记】分布式计算系统 徐辰

分布式计算系统笔记课程介绍课程背景大数据处理系统——>分布式计算系统Hadoop，Spark，Flink大数据涵义过于宽泛本课程/教材强调系统设计、原理、编程的集合课程目的培养系统思维应用层：搜索、推荐算法设计层
HERODING77·2023-08-19 23:16

大数据Hadoop：MapReduce编程规范与示例编写

大数据Hadoop：MapReduce编程规范与示例编写MapReduce是一种用于处理大数据集的编程模型和计算框架，已成为大数据处理的重要工具之一。
2301_78484069·2023-08-19 22:41

Bigemap Pro国产基础软件介绍——一款多源数据处理软件

一、软件简介BigemapPro是由成都比格图数据处理有限公司(下称”BIGEMAP”)开发和发行的国产大数据处理基础软件。
Bigemap·2023-08-19 10:10

大数据及软件教学与实验专业实训室建设方案

一、系统概述大数据及软件教学与实验大数据及软件教学与实验在现代教育中扮演重要角色，这方面的教学内容涵盖了大数据处理、数据分析、数据可视化和大数据应用等多个方面。
武汉唯众智创·2023-08-19 09:56

MPPDB和Hadoop有什么区别

MPP适合替代现有关系数据机构下的大数据处理，具有较高的效率。二、从应用场景考虑MPP适合多维度数据自
Shockang·2023-08-19 03:05

数据湖与数据仓库差异

您可以按原样存储数据（无需先对数据进行结构化处理），并运行不同类型的分析–从控制面板和可视化到大数据处理、实时分析和机器学习，以指导做出更好的决策。
数据智能谷·2023-08-18 10:15

Flink学习笔记【巨详细！】（一）

一、Flink的简介1.1Flink的概述Flink和Spark一样，是一个大数据处理引擎。主要区别在于Flink做的是流处理，Spark做的是批处理。
水花还在漂移·2023-08-18 06:15

大数据与云计算之间的关系是怎样的？

例如，亚马逊的“ElasticMapReduce”演示了如何利用CloudElasticComputes的功能进行大数据处理。两者的结合为组织带来了有益的结果。
大数据基础入门教程·2023-08-17 17:48

Hive加密，PostgreSQL解密还原

当前公司数据平台使用的处理架构，由Hive进行大数据处理，然后将应用数据同步到PostgreSQL中做各类外围应用。
灰哥数据智能·2023-08-16 23:39

传统数据与大数据的差别

文章目录一、传统数据与大数据的对比二、传统数据与大数据处理方式对比一、传统数据与大数据的对比二、传统数据与大数据处理方式对比
舰圣·2023-08-15 19:07

Spark Streaming：通过Dstreams 或 DataFrames做流数据处理，结果写入ClickHouse或Hive表

ApacheSpark当前最流行的大数据处理框架之一。最初它是作为替代Hadoop的MapReduce批处理框架而创建的，但现在它也支持SQL、机器学习和流处理。
西土城计划·2023-08-14 19:04

谁能讲清楚Spark之与MapReduce的对比

我们已经知道Spark是如何设计和实现数据处理流程的，这里我们再深入思考一下，为什么Spark能够替代MapReduce成为主流的大数据处理框架呢？对比MapReduce，Spark究竟有哪些优势？
数据咩·2023-08-14 14:08

介绍 Apache Spark 的基本概念和在大数据分析中的应用

ApacheSpark是一种基于内存计算的大数据处理框架，它支持分布式计算，并且能够处理比传统处理框架更大量的数据。
领取·2023-08-14 08:32

弹性网络的大数据处理与存储：介绍弹性网络的大数据处理与存储，包括大数据处理技术、存储架构、数据存储与备份等方面

作者：禅与计算机程序设计艺术云计算(CloudComputing)作为下一个互联网的高潮，已经吸引了众多行业对其应用、投入资源、提升效率等一系列需求。基于此趋势，越来越多的公司、组织开始从私有数据中心向公有云平台迁移，希望利用公有云平台提供的服务和能力，更好地管理和运维公司的大数据和业务数据，进一步释放IT部门的生产力。基于大数据的海量、高速增长、动态变化以及无限的可能性，在云计算领域也面临着巨大
禅与计算机程序设计艺术·2023-08-14 04:46

Hadoop知识点总结

1.什么是Hadoop大数据处理的分布式系统2.Hadoop****生态圈三大核心：HDFS集群：分布式文件存储系统YARN集群：运算资源调度MapReduce分布式计算模型3.讲一下MapReduceMapReduce
longLiveData·2023-08-12 10:40

大数据处理需要用到的九种编程语言

大数据处理需要用到的九种编程语言随着大数据的热潮不断升温，几乎各个领域都有洪水倾泻般的信息涌来，面对用户成千上万的浏览记录、记录行为数据，如果就单纯的Excel来进行数据处理是远远不能满足的。
Alukar·2023-08-10 18:18

用AIGC生成大数据教程

目录第一章：引言介绍大数据的概念和重要性解释为什么大数据在当今世界中如此关键第二章：大数据基础知识解释大数据的定义和特征探讨大数据的来源和类型介绍大数据的处理流程解释大数据技术背后的原理和概念第三章：大数据处理工具和技术介绍常用的大数据处理工具
醉心编码·2023-08-10 12:10

阿里、蚂蚁金服 Java面试问题

8、多线程、socket通讯；9、Java基础，spring、hibernate、struts、mybatis；10、Elasticsearch；11、PriorityQueue的底层数据结构；11、大数据处理相关技术
陈晓阳_矿洞程序员·2023-08-09 07:02

使用TransBigData快速高效地处理、分析、挖掘出租车GPS数据

01、TransBigData简介TransBigData是一个为交通时空大数据处理、分析和可视化而开发的Python包。
TiAmo zhang·2023-08-07 18:34

信息技术及python程序设计,信息技术python小海龟

2018年1月16日，教育部召开新闻发布会，正式将人工智能、物联网、大数据处理划入高中新课标，并于今年秋季开始执行。这就意味着，2018秋季入学的高中生，将要学习——Python。
小发猫·2023-08-07 12:52

大数据开发：Oozie调度框架简介

在大数据处理的各个环节当中，各种任务的执行，往往需要调度框架来协调。市面上的调度框架，也有很多开源产品，而Oozie框架还是占有一定的市场地位的。
成都加米谷大数据·2023-08-06 19:26

Hive执行引擎的区别

执行引擎Tez、Spark和MapReduce都是用于在大数据处理中执行任务的框架或引擎，它们在性能、优化、适用场景等方面有一些区别。
Matthew117·2023-08-06 06:43

python三方库Apache Spark，举例介绍基本的使用

ApacheSpark是一个快速、通用、基于内存的大数据处理系统，它可以用来处理大规模数据集。它提供了高级别的API，以便用户可以用Java、Scala、Python和R等语言编写Spark应用程序。
Dream SYC_UCC·2023-08-04 14:06

什么是大数据开发？

大数据开发其实分两种，第一类是编写一些Hadoop、Spark的应用程序，第二类是对大数据处理系统本身进行开发。第一类工作感觉更适用于dataanalyst这种职位吧，而
yoku酱·2023-08-04 13:19

Apache Flink概述

Flink是构建在数据流之上的一款有状态的流计算框架，通常被人们称为第三代大数据分析方案第一代大数据处理方案：基于Hadoop的MapReduce静态批处理|Storm实时流计算，两套独立的计算引擎，难度大
LJiaWang·2023-08-03 10:15

Flink

Flink提供了强大的流处理和批处理功能，具有低延迟、高吞吐量和高容错性，适用于各种大数据处理场景。
summer_west_fish·2023-08-03 10:15

Apache Spark 的基本概念和在大数据分析中的应用

ApacheSpark是一种快速、通用、可扩展的大数据处理引擎，用于大规模数据处理任务，如批处理、交互式查询、实时流处理、机器学习和图形处理等。
Dream SYC_UCC·2023-08-02 03:18

Flink教程-keyby 窗口数据倾斜的优化

在大数据处理领域，数据倾斜是一个非常常见的问题，今天我们就简单讲讲在flink中如何处理流式数据倾斜问题。
大数据技术与应用实战·2023-08-02 02:31
上一页 8 9 10 11 12 13 14 15 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他