大数据计算

大数据计算框架-FLINK精华篇1

前言：为什么大家会慢慢青睐上Flink呢？哪些场景会使用它呢？究其原因是因为，信息爆炸时代的来临，我们对数据的及时性和容错性要求越来越高。如双11的电商大屏，我们当然想实时看到销售的滚动数据。我们使用微信、博客等网络软件，当然希望实时接收到对方发送的消息。这些都迫使大数据开发人员需要掌握一种流（实时）处理框架。而Flink正是这块的佼佼者，因此Flink无疑就被捧上了神座。一、Flink是个什么玩
他们叫我技术总监·2022-09-16 13:07

第9章 Spark—基于内存的大数据计算框架

ApacheSpark是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UCBerkeleyAMPlab(加州大学伯克利分校的AMP实验室)所开源的类HadoopMapReduce的通用并行框架，Spark，拥有HadoopMapReduce所具有的优点；但不同于MapReduce的是——Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与
这里是_uuu·2022-09-16 13:06

五种大数据计算框架

大数据是收集、整理、处理大容量数据集，并从中获得见解所需的非传统战略和技术的总称。虽然处理数据所需的计算能力或存储容量早已超过一台计算机的上限，但这种计算类型的普遍性、规模，以及价值在最近几年才经历了大规模扩展。本文将介绍大数据系统一个最基本的组件：处理框架。处理框架负责对系统中的数据进行计算，例如处理从非易失存储中读取的数据，或处理刚刚摄入到系统中的数据。数据的计算则是指从大量单一数据点中提取信
小五怜惜·2022-09-16 13:35

大数据计算框架及引擎介绍

一、大数据处理框架主流的大数据处理框架包括以下三类五种：1、仅批处理框架：ApacheHadoop2、仅流处理框架：ApacheStorm、ApacheSamza3、混合框架：ApacheSpark、ApacheFlink处理框架相比处理引擎，处理引擎为实际处理数据操作的组件，而处理框架为承担类似作用的一系列组件。如ApacheHadoop可以看作一种以MapReduce作为默认处理引擎的处理框架
归去来？·2022-09-16 13:32

Apache Flink 简介

前言计算引擎大数据计算引擎分为离线计算和实时计算，离线计算就是我们通常说的批计算，代表是HadoopMapReduce、Hive等大数据技术。
小波同学·2022-09-12 23:52

深度解读！新一代大数据引擎Flink厉害在哪？（附实现原理细节）

导语|大数据计算分为离线计算和实时计算，其中离线计算就是我们通常说的批计算，代表技术是HadoopMapReduce、Hive等；实时计算也被称作流计算，代表技术是Storm、SparkStreaming
架构师小秘圈·2022-09-08 10:56

你必须要掌握的大数据计算技术，都在这了

01离线批处理这里所说的批处理指的是大数据离线分布式批处理技术，专用于应对那些一次计算需要输入大量历史数据，并且对实时性要求不高的场景。目前常用的开源批处理组件有MapReduce和Spark，两者都是基于MapReduce计算模型的。1.MapReduce计算模型MapReduce是Google提出的分布式计算模型，分为Map阶段和Reduce阶段。在具体开发中，开发者仅实现map()和redu
一个乖乖码字的程序猪·2022-09-07 09:53

大数据计算服务MaxCompute

数据采集（ETL）获取数据数据清洗数据转换数据分析计算根据需求获取想要的数据分析的结果需要存储起来MySQLredisES数据展示其他的业务系统需要使用分析计算好的数据从存储系统中查询数据大屏显示01MaxCompute相关概述精准营销用户画像供需预测=》需求非常强的算力实际工作中MR是用来做ETL数据加载数据清洗02相关概念项目空间Project开通MaxComputer服务--安装启动mysq
撸码的xiao摩羯·2022-08-23 07:29

万字详解 Spark开发调优（建议收藏）

1一、前言在大数据计算领域，Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。
公众号:肉眼品世界·2022-08-21 09:19

Spark学习之路 （八）SparkCore的调优之开发调优

《2021年最新版大数据面试题全面开启更新》欢迎关注github《大数据成神之路》前言在大数据计算领域，Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。
王知无(import_bigdata)·2022-08-21 09:43

阿里云MWC 2019发布7款重磅产品，助力全球企业迈向智能化

当地时间2月25日，在巴塞罗那举行的MWC2019上，阿里云面向全球发布了7款重磅产品，涵盖无服务器计算、高性能存储、全球网络、企业级数据库、大数据计算等主要云产品，可满足电子商务、物流、金融科技以及制造等各行业企业的数字化转型需求
云栖社区v·2022-08-18 13:08

大数据开发，Hadoop Spark太重？你试试esProc SPL

很多用户开始转向分布式计算路线，用多台廉价的PC服务器组成集群来完成大数据计算任务。Hadoop/Sp
华为云开发者联盟·2022-08-04 15:46

大数据入门：Hadoop HDFS存储原理

在大数据处理当中，最核心要解决的其实就是两个问题，大数据存储和大数据计算。在Hadoop生态当中，解决大数据存储，主要依靠就是HDFS，再配合数据库去完成。
加米谷大数据张老师·2022-08-02 09:32

数据湖：流计算处理框架Flink概述

系列专题：数据湖系列文章大数据计算引擎分为离线计算和实时计算，离线计算就是我们通常说的批计算，代表是HadoopMapReduce、Hive等大数据技术。
YoungerChina·2022-08-02 09:29

大数据运维架构师培训（5）：大数据管理平台（Cloudera CM/CDH/CDP）

课程目标：本套风哥大数据运维架构师实战培训课程，分5个阶段，分别是大数据Hadoop核心架构运维实战、大数据存储管理与查询分析实战、大数据计算框架与消息搜索实战、大数据安全调度与数据采集实战、大数据集群管理平台运维实战
风哥2号·2022-07-29 09:16

『UE4数字孪生』开发流程浅析2022版(持续更新）

并利用大数据计算，深度学习，人工智能等前沿技术，挖掘数据潜力，提高数据价值。大家好，我是石几衣束，Shader不写了，视频不剪了，蓝图也不连了...来当一段时间小作家。
石几衣束·2022-07-17 07:03

6000字干货分享：数据中台项目管理实践分享

阿里云数据中台以Maxcompute等大数据计算平台为载体，以三个One为理论基础构成数据中台方法论，实现在一个平台里完成数据全生命周期的管理工作。
阿里云技术·2022-07-16 08:20

#《机器学习》_周志华(西瓜书)&南瓜书__第1章 绪论 _第2章 模型评估与选择

待做：理解习题2.5补充修改西瓜书：机器学习周志华20世纪80年代：符号学习机器学习的主流20世纪90年代：统计机器学习符号智能统计智能统计学大数据计算能力的大幅提高认知科学研究统计机器学习算法都是基于样本数据独立同分布的假设
Gao&&Xi·2022-07-14 07:14

6000字干货分享：数据中台项目管理实践分享

阿里云数据中台以Maxcompute等大数据计算平台为载体，以三个One为理论基础构成数据中台方法论，实现在一个平台里完成数据全生命周期的管理工作。本文总结了企业级数据中台项目的实践经验，
·2022-07-12 18:15

大数据SQL优化之数据倾斜解决案例全集

1什么是数据倾斜数据倾斜即指在大数据计算任务中某个处理任务的进程（通常是一个JVM进程）被分配到的任务量过多，导致任务运行时间超长甚至最终失败，进而导致整个大任务超长时间运行或者失败。
OPPO互联网技术官方账号·2022-07-12 12:25

DataFunTalk：阿里建设一站式实时数仓的经验分享

导读：大数据计算正从规模化走向实时化，实时大数据建设过程中开始面临很多的痛点和问题。
·2022-06-20 17:25

阿里云大数据ACP认证学习笔记

阿里云大数据ACP认证学习笔记1.大数据基础2.大数据计算服务Maxcompute2.1基础知识2.1.1购买Maxcompute并创建项目增加子用户2.1.2创建ODPS2.1.3maxcompute
dzdzdzdzdzdzdz·2022-06-10 16:36

做 SQL 性能优化真是让人干瞪眼

很多大数据计算都是用SQL实现的，跑得慢时就要去优化SQL，但常常碰到让人干瞪眼的情况。
码农code之路·2022-06-06 08:52

【254期】这些 SQL 语句真是让我干瞪眼！

每一天进步一点点，是成功的开始...众所周知，很多大数据计算都是用SQL实现的，跑得慢时就要去优化SQL，但常常碰到让人干瞪眼的情况。
Java精选·2022-06-06 08:45

哎，做 SQL 性能优化真是让人干瞪眼

  很多大数据计算都是用SQL实现的，跑得慢时就要去优化SQL，但常常碰到让人干瞪眼的情况。
英雄哪里出来·2022-06-06 08:13

社交项目实战第一天(短信验证码实现用户登录)

项目实战《社交项目》1、功能介绍一乐交友是一个陌生人的在线交友平台，在该平台中可以搜索附近的人，查看好友动态，平台还会通过大数据计算进行智能推荐，通过智能推荐可以找到更加匹配的好友，这样才能增进用户对产品的喜爱度
魏帅坤·2022-05-31 19:21

【Java开源数据库语言】基于SPL如何提高SQL优化效率

很多大数据计算都是用SQL实现的，跑得慢时就要去优化SQL，但常常碰到让人干瞪眼的情况。
兴趣使然的草帽路飞·2022-05-29 00:15

蒋步星：轻量级大数据计算引擎

近几年，大数据非常热门，大数据计算的方案也较多，目前，大数据计算机平台有很多，但却越来越沉重，主要是由于这三个方面的原因：并不是任何事物都需要沉重的大数据平台，许多还是需要轻量级计算。
weixin_33670713·2022-05-28 03:30

轻量级大数据引擎

阅读字数：5125|13分钟阅读回顾嘉宾演讲视频及PPT：suo.im/4SvnGR摘要本次演讲介绍了轻量级大数据计算的各方面优势，后续通过分析轻量级大数据引擎—
weixin_34306446·2022-05-28 03:29

阿里云认证难考吗？该怎么准备才能通过考试？

考试内容阿里云认证考试内容基本是关于旗下产品的，包括有大数据计算服务（60%）、DataIDE（25%）、
·2022-05-25 18:08

一、人工神经元模型与感知机

深度学习------->与神经网络联系紧密传统人工神经网络是深度学习的基础Hadoop分布式文件系统的架构Namenode存储着文件系统的索引和元数据Datanode存储着具体的数据文件【数量可多达几千台】大数据计算模型
weixin_30505225·2022-05-13 07:28

国内唯一连续入选Gartner，Quick BI是如何做到的？

简介：阿里云QuickBI凭借灵活的公共云部署，私有化独立部署能力、无缝对接各类云上数据库和自建数据库、可视化搭建分析、高效数据处理能力与强大数据计算能力，使得在2022年持续入选GartnerABI魔力象限报告
·2022-04-20 15:01

不care工具，在大数据平台中Hive能自动处理SQL

MapReduce简化了大数据编程的难度，使得大数据计算不再是高不可攀的技术圣殿，普通工程师也能使用MapReduce开发大数据程序。但是对于经常需要进行大数据计算的
华为云开发者社区·2022-04-19 15:00

MapReduce分片阶段详解

MapReduce作为第一代的大数据计算引擎，其经典地位至今仍然得到认可，MapReduce之后的Spark计算引擎，本质上来说，依然是借用了MapReduce的核心思想。
贝拉美·2022-04-14 21:06

坐实大数据资源调度框架之王，Yarn为何这么牛

摘要：Yarn的出现伴随着Hadoop的发展，使Hadoop从一个单一的大数据计算引擎，成为大数据的代名词。本文分享自华为云社区《Yarn为何能坐实资源调度框架之王？》，作者：JavaEdge。
华为云开发者社区·2022-04-12 15:00

（一）大数据---Hadoop整体介绍（架构层）----（组件、引擎）分类

文章目录一、大数据介绍1、基本介绍2、大数据的特性二、大数据技术有哪些（`重点`）1、数据采集与预处理2、数据存储3、数据清洗（引擎）4、数据查询分析5、数据可视化大数据计算引擎的分类：三、大数据解决方案传统方案
（─__─）·2022-03-25 07:28

Flink、Iceberg和Hive的Catalog比较研究

元数据本身内容非常丰富，包括技术元数据、业务元数据和操作元数据，本文仅仅研究大数据计算存储框架本身的技术元数据，比如数据库、数据表、分区、视图、函数等。限于篇幅，参与比较的计算存储框架为Flin
·2022-03-24 14:12

Alluxio 与金山云达成合作，携手优化存算分离与湖仓一体架构

在大数据生态系统中，Alluxio数据编排技术产品基于存储、计算分离架构，通过提供新的数据抽象层，将上层大数据计算框架（如Presto、Spark、TensorFl
·2022-03-24 14:52

想让DBA瞬间崩溃，那就让他去做SQL性能优化

摘要：很多大数据计算都是用SQL实现的，跑得慢时就要去优化SQL，但常常碰到让人干瞪眼的情况。本文分享自华为云社区《做SQL性能优化真是让人干瞪眼》，作者：石臻臻的杂货铺。
华为云开发者社区·2022-03-23 14:00

大数据概述--第一章

数据产生方式的变革促成大数据时代的来临4.大数据的发展历程二、大数据概念三、大数据的影响1.对科学研究的影响2.对思维方式的影响3.对社会发展的影响4.对就业市场的影响5.对人才培养的影响四、应用五、大数据关键技术六、大数据计算模式七
想做大佬的菜鸟李·2022-03-18 07:30

Eat pyspark 2nd day | 1小时看懂Spark的基本原理

Eatpyspark1stday|快速搭建你的Spark开发环境一，Spark优势特点作为大数据计算框架MapReduce的继任者，Spark具备以下优势特性。
超哥的杂货铺·2022-03-18 04:58

大数据结合人工智能，助力智慧城市建设

PaddleSpatial是基于百度飞桨深度学习框架开发的时空大数据计算工具和平台，融合了百度领先的区域分割、时间序列、城市迁移学习等时空数据处理能力。
·2022-03-12 01:24

Flink、Iceberg和Hive的Catalog比较研究

元数据本身内容非常丰富，包括技术元数据、业务元数据和操作元数据，本文仅仅研究大数据计算存储框架本身的技术元数据，比如数据库、数据表、分区、视图、函数等。限于篇幅，参与比较的计算存储框架为Flin
·2022-02-28 11:26

大数据平台搭建-hbase集群的搭建

本系列文章主要阐述大数据计算平台相关框架的搭建，包括如下内容：虚拟服务器安装基础环境安装zookeeper集群的搭建kafka集群的搭建hadoop/hbase集群的搭建spark集群的搭建flink集群的搭建
weixin_30840253·2022-02-28 10:31

大数据计算框架与平台--深入浅出分析

http://mp.weixin.qq.com/s/s2DnbgieeQockaLKdZDCzA?utm_source=tuicool&utm_medium=referral1.前言计算机的基本工作就是处理数据，包括磁盘文件中的数据，通过网络传输的数据流或数据包，数据库中的结构化数据等。随着互联网、物联网等技术得到越来越广泛的应用，数据规模不断增加，TB、PB量级成为常态，对数据的处理已无法由单台
ArthurKingYs·2022-02-28 10:59

【spark2】【源码学习】【分区数】spark读取 本地/可分割/单个 的文件时是如何划分分区

大数据计算中很关键的一个概念就是分布式并行计算，意思就是将一份原始数据切分成若干份，然后分发到多个机器或者单个机器多个虚拟出来的内存容器中同时执行相同的逻辑，先分发(map)，然后聚合(reduce)的一个过程
kyle0349·2022-02-28 10:35

大数据时代，Flink是如何屹立于时代潮头的？你都了解Flink多少呢

前言Flink项目是大数据计算领域冉冉升起的一颗新星。
Java领域指导者·2022-02-21 10:29

MaxCompute MapReduce

摘要：大数据计算服务(MaxCompute)的功能详解和使用心得点此查看原文：http://click.aliyun.com/m/41384/前言MapReduce已经有文档，用户可以参考文档使用。
猫耳呀·2022-02-20 23:39

昨日广州云栖“大算”受追捧，今日揭秘阿里双11技术核武器MaxCompute，感恩节再放福利！（福利截止11.30日）

平日里说起我们“大算”（大数据计算服务MaxCompute），那是承载着阿里巴巴99%的数据存储以及95%的计算能力；那是2017双11单日数据处理量320PB，相当于为全球60亿人每人存储56张高清照片
鬼泣天下第一·2022-02-20 22:50

在工程师眼里，大数据计算与可视化究竟是怎样的？

数据计算当对数据进行处理时，处理简单、结构化的数据集较为简单，算法复杂度也易于预测和评估，但是对于处理半结构化，非结构化数据时呈现多样化的问题，分析数据困难更大，算法复杂度超越了经典摩尔定量，整个算法性能也不易控制。在数据中心数据价值链中，为了挖掘数据的价值。需要根据不同的数据类型分类，采取不同的算法分析。数据分类1时序数据基本描述：随着时间推移反复测量而得到的数值和事件序列。数据举例：股票数据，
yoku酱·2022-02-18 02:42
上一页 4 5 6 7 8 9 10 11 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他