大数据计算

想让DBA瞬间崩溃，那就让他去做SQL性能优化

摘要：很多大数据计算都是用SQL实现的，跑得慢时就要去优化SQL，但常常碰到让人干瞪眼的情况。本文分享自华为云社区《做SQL性能优化真是让人干瞪眼》，作者：石臻臻的杂货铺。
华为云开发者社区·2022-03-23 14:00

大数据概述--第一章

数据产生方式的变革促成大数据时代的来临4.大数据的发展历程二、大数据概念三、大数据的影响1.对科学研究的影响2.对思维方式的影响3.对社会发展的影响4.对就业市场的影响5.对人才培养的影响四、应用五、大数据关键技术六、大数据计算模式七
想做大佬的菜鸟李·2022-03-18 07:30

Eat pyspark 2nd day | 1小时看懂Spark的基本原理

Eatpyspark1stday|快速搭建你的Spark开发环境一，Spark优势特点作为大数据计算框架MapReduce的继任者，Spark具备以下优势特性。
超哥的杂货铺·2022-03-18 04:58

大数据结合人工智能，助力智慧城市建设

PaddleSpatial是基于百度飞桨深度学习框架开发的时空大数据计算工具和平台，融合了百度领先的区域分割、时间序列、城市迁移学习等时空数据处理能力。
·2022-03-12 01:24

Flink、Iceberg和Hive的Catalog比较研究

元数据本身内容非常丰富，包括技术元数据、业务元数据和操作元数据，本文仅仅研究大数据计算存储框架本身的技术元数据，比如数据库、数据表、分区、视图、函数等。限于篇幅，参与比较的计算存储框架为Flin
·2022-02-28 11:26

大数据平台搭建-hbase集群的搭建

本系列文章主要阐述大数据计算平台相关框架的搭建，包括如下内容：虚拟服务器安装基础环境安装zookeeper集群的搭建kafka集群的搭建hadoop/hbase集群的搭建spark集群的搭建flink集群的搭建
weixin_30840253·2022-02-28 10:31

大数据计算框架与平台--深入浅出分析

http://mp.weixin.qq.com/s/s2DnbgieeQockaLKdZDCzA?utm_source=tuicool&utm_medium=referral1.前言计算机的基本工作就是处理数据，包括磁盘文件中的数据，通过网络传输的数据流或数据包，数据库中的结构化数据等。随着互联网、物联网等技术得到越来越广泛的应用，数据规模不断增加，TB、PB量级成为常态，对数据的处理已无法由单台
ArthurKingYs·2022-02-28 10:59

【spark2】【源码学习】【分区数】spark读取 本地/可分割/单个 的文件时是如何划分分区

大数据计算中很关键的一个概念就是分布式并行计算，意思就是将一份原始数据切分成若干份，然后分发到多个机器或者单个机器多个虚拟出来的内存容器中同时执行相同的逻辑，先分发(map)，然后聚合(reduce)的一个过程
kyle0349·2022-02-28 10:35

大数据时代，Flink是如何屹立于时代潮头的？你都了解Flink多少呢

前言Flink项目是大数据计算领域冉冉升起的一颗新星。
Java领域指导者·2022-02-21 10:29

MaxCompute MapReduce

摘要：大数据计算服务(MaxCompute)的功能详解和使用心得点此查看原文：http://click.aliyun.com/m/41384/前言MapReduce已经有文档，用户可以参考文档使用。
猫耳呀·2022-02-20 23:39

昨日广州云栖“大算”受追捧，今日揭秘阿里双11技术核武器MaxCompute，感恩节再放福利！（福利截止11.30日）

平日里说起我们“大算”（大数据计算服务MaxCompute），那是承载着阿里巴巴99%的数据存储以及95%的计算能力；那是2017双11单日数据处理量320PB，相当于为全球60亿人每人存储56张高清照片
鬼泣天下第一·2022-02-20 22:50

在工程师眼里，大数据计算与可视化究竟是怎样的？

数据计算当对数据进行处理时，处理简单、结构化的数据集较为简单，算法复杂度也易于预测和评估，但是对于处理半结构化，非结构化数据时呈现多样化的问题，分析数据困难更大，算法复杂度超越了经典摩尔定量，整个算法性能也不易控制。在数据中心数据价值链中，为了挖掘数据的价值。需要根据不同的数据类型分类，采取不同的算法分析。数据分类1时序数据基本描述：随着时间推移反复测量而得到的数值和事件序列。数据举例：股票数据，
yoku酱·2022-02-18 02:42

Alluxio 与金山云达成合作，携手优化存算分离与湖仓一体架构

在大数据生态系统中，Alluxio数据编排技术产品基于存储、计算分离架构，通过提供新的数据抽象层，将上层大数据计算框架（如Presto、Spark、TensorFl
·2022-02-16 18:08

flink学习笔记-Window那些事

说明：本文为《Flink大数据项目实战》学习笔记，想通过视频系统学习Flink这个最火爆的大数据计算框架的同学，推荐学习课程：Flink大数据项目实战：http://t.cn/EJtKcD11.Window
大数据研习社·2022-02-15 03:57

复试准备

《计算方法》此书应尽快处理呐英语的笔试、口语、听力面试的简历大数据相关一文读懂大数据计算框架与平台咨询李冲大神关于大数据开发的步骤，大数据分析的步骤，可以提及一下。面试问题汇总：请做个简短的自我介绍。
光_武·2022-02-06 13:00

flink学习笔记-Flink初探

说明：本文为《Flink大数据项目实战》学习笔记，想通过视频系统学习Flink这个最火爆的大数据计算框架的同学，推荐学习CSDN官网课程：Flink大数据项目实战：http://t.cn/ExrHPl9
大数据研习社·2022-02-06 12:49

大数据SQL优化之数据倾斜解决案例全集

1什么是数据倾斜数据倾斜即指在大数据计算任务中某个处理任务的进程（通常是一个JVM进程）被分配到的任务量过多，导致任务运行时间超长甚至最终失败，进而导致整个大任务超长时间运行或者失败。
·2022-01-05 15:33

Spark概述（入门必看）

本篇学习目标初步认识Spark背景Spark作为一个用来快速实现大规模数据计算的通用分布式大数据计算引擎，是大数据开发工程师必备的一项技术栈。
Data跳动·2021-12-31 09:37

OPPO大数据计算集群资源调度架构演进

1背景随着公司这两年业务的迅速扩增，业务数据量和数据处理需求也是呈几何式增长，这对底层的存储和计算等基础设施建设提出了较高的要求。本文围绕计算集群资源使用和资源调度展开，将带大家了解集群资源调度的整体过程、面临的问题，以及我们在底层所做的一系列开发优化工作。2资源调度框架---Yarn2.1Yarn的总体结构从大数据的整个生态体系来说，hadoop处于离线计算的核心位置。为了实现大数据的存储和计算
·2021-12-24 15:36

简单、便捷、好用的财务报表制作软件有哪些？这篇就有推荐！

在这个科技发达的时代，大数据计算机已成为财会岗位必备的工具，熟练地使用一些常用的办公软件，是对财务岗位人员的基本要求。
·2021-12-22 18:07

ApacheCN 大数据译文集（二） 20211206 更新

Hadoop3大数据分析零、前言一、Hadoop简介二、大数据分析概述三、MapReduce大数据处理四、基于Python和Hadoop的科学计算和大数据分析五、基于R和Hadoop的统计大数据计算六、
·2021-12-08 21:56

jupyter notebook安装部署及实战组合漏斗图绘制

主要实现大多都是基于jupyter、Zeppelin进行定制化开发，重点会打通大数据计算、存储及底层资源管理，支持常见的机器学习和深度学习计算框架，算法分析及建模中最常见的是采用jupyternotebook
zhanghouse1·2021-12-01 12:24

《大数据技术原理与应用》第一章-大数据概述

01时代背景的支撑1.2大数据的概念和影响00大数据的`4V`特性⭐01大数据的影响1.3大数据的应用00影视剧的投拍01谷歌预测流感03新冠疫情地区分布图1.4大数据的关键技术00大数据技术的层次02大数据计算模式
Pola_·2021-11-20 17:44

Flink Sort-Shuffle 实现简介

主要内容包括：数据Shuffle简介引入Sort-Shuffle的意义FlinkSort-Shuffle实现测试结果调优参数未来展望Flink作为批流一体的大数据计算引擎，大规模批数据处理也是Flink
·2021-11-18 18:53

双十一云起实验室体验专场，七大场景，体验有礼

\大数据计算场景《基于EMR离线数据分析》E-MapReduce（简称“EM
·2021-11-10 17:44

Spark 架构设计与原理思想

在RDD上定义了许多常见的大数据计算函数，利用这些函数可以用极少的代码完成较为复杂的大数据计算。例如我们在介绍Hive架构设计时谈到的Wor
·2021-11-10 12:18

个推技术实践 | Spark性能调优看这篇，性能提升60%↑ 成本降低50%↓

前言Spark是目前主流的大数据计算引擎，功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作，应用范围与前景非常广泛。
·2021-09-23 20:26

最新发布！《阿里云实时计算 Flink 版解决方案白皮书-2021版》开放下载

简介：阿里云实时计算Flink版解决方案白皮书-2021版正式发布～ApacheFlink：全球领先的开源大数据计算引擎ApacheFlink是一个开源的分布式大数据处理引擎,可对有限数据流和无限数据流进行有状态计算
·2021-09-03 13:00

在腾讯云 EMR 上使用 GooseFS 加速大数据计算服务

本文将介绍如何在腾讯云EMR上使用GooseFS加速大数据计算任务。GooseFS是腾讯云对象存储团队近期面向下
·2021-08-26 13:44

hadoop 基本原理与应用

超级计算机虽然能够解决一部分大数据计算的问题，但是超级计算机价格高昂，主要在实验室和科研机构
·2021-08-19 19:39

GooseFS 透明加速能力，助力加速 CosN 访问 COS 的性能

01前言原生的对象存储接口协议并不兼容HDFS文件语义，因此对象存储COS提供了COSN工具这一的标准的Hadoop文件系统实现，可以为Hadoop、Spark以及Tez等大数据计算框架集成COS提供支持
·2021-08-09 19:44

Apache Flink Meetup 7.10 北京站，Flink x TiDB 专场等你来！

Flink，近年来广受欢迎，是最受认可的大数据计算引擎之一；TiDB作为开源的NewSQL数据库也以其优秀的横向扩展能力和高可用特点，颇受业界的好评。
·2021-07-27 19:45

Flink学习笔记：Flink初探

本文为《Flink大数据项目实战》学习笔记，想通过视频系统学习Flink这个最火爆的大数据计算框架的同学，推荐学习课程：Flink大数据项目实战：http://t.cn/EJtKhaz1.快速生成Flink
大数据研习社·2021-06-26 13:12

Apache Flink Meetup 7.10 北京站，Flink x TiDB 专场等你来！

简介：7月10日，ApacheFlinkMeetup北京站，不见不散～Flink，近年来广受欢迎，是最受认可的大数据计算引擎之一；TiDB作为开源的NewSQL数据库也以其优秀的横向扩展能力和高可用特点
·2021-06-22 16:05

Spark基础与数仓应用调优

文章内容主要参数网络与工作实践，有不足之处欢迎指出探讨计算引擎的发展大数据计算引擎的发展历程可分为四个阶段，目前主流的计算引擎是第三代Spark以及19年开始火起来的F
别停下思考·2021-06-21 13:16

Apache Flink Meetup 7.10 北京站，Flink x TiDB 专场等你来！

Flink，近年来广受欢迎，是最受认可的大数据计算引擎之一；TiDB作为开源的NewSQL数据库也以其优秀的横向扩展能力和高可用特点，颇受业界的好评。
·2021-06-18 22:39

ETL工程师必看！超实用的任务优化与断点执行方案

作为一家数据智能公司，个推在大数据计算领域沉淀了丰富的经验。本篇文章将对大数据离线计算过程中出现的任务缓慢和任务中断这两大痛点问题提出解决思路，期望读者能够有所收获。一
·2021-06-18 21:34

网易余利华：大数据技术升级脉络及认知陷阱

目前，基于分析的大数据计算平台在各大公司发挥着非常重要的基础设施的作用。
NetEaseResearch·2021-06-11 19:44

Spark性能优化指南——高级篇

数据倾斜调优调优概述有的时候，我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜，此时Spark作业的性能会比期望差很多。
Yezhiwei·2021-06-11 01:35

182、Spark 2.0新特性之智能化Structured Streaming介绍

StructuredStreaming介绍SparkStreaming应该说是将离线计算操作和流式计算操作统一起来的大数据计算框架之一。
ZFH__ZJ·2021-06-10 08:59

MapReduce既是编程模型又是计算框架

很显然，这样的系统无法复用到其他的大数据计算场景，每一种应用都需要开发与维护专门的系统。而HadoopMapReduce的出现，使得大数据计算通用编程成为可能。
tracy_668·2021-06-07 02:49

Spark 数据倾斜的解决办法

Spark数据倾斜的解决办法调优概述转载：http://blog.csdn.net/lw_ghy/article/details/51419877有的时候，我们可能会遇到大数据计算中一个最棘手的问题——
raincoffee·2021-05-20 09:28

在线教育学生数据分析

了解如何使用阿里云大数据计算服务、云数据库RDS、QuickBI来快速完成在线教育平台的数据分析，并将结果可视化呈现出来，最终使学员掌握使用云端相关大数据服务进行开发和测试的能力。
xmvip01·2021-05-19 06:56

大数据架构技术地图-学习大纲

传统的大数据三件套大数据采集大数据存储大数据计算也有说大数据可视化的，一般来说可视化的工作仍属于传统前端展示，与“
朝朝Mumu·2021-05-18 16:45

喜来快递|不可错过的i喜来使用指南

2点对点运输直达通过云端大数据计算，按最短、最经济的路径流转，效率高，成本低，快件破损率低。传统快递层层中转，层层分拨，效率低，快件流转时间长，距离
易淘·2021-05-18 12:26

利用碎片化时间，每日精进一点点

正好，昨天早上提前30分钟到单位，就在车上用碎片化时间看了一会儿《暗时间》，其中有一句话：CPU运行空闲进程也是一天，运行大数据计算的程序也是一天，对CPU来说同样的一天，价值却是完全不一样的。
冉茂睿·2021-05-07 14:51

关于MaxCompute的基本了解

大数据计算服务（MaxCompute，原名ODPS）是一种快速、完全托管的GB/TB/PB级数据仓库解决方案。
云计算小百科·2021-05-01 16:41

一个结了婚的程序员，买什么车，谁说了算？

那哥们过两天，又在群里发消息了，根据大数据计算，大众宝来是性价比最高的车，就打算买这个车了。后来我问他，宝来买了吗，感觉怎么样？他说我买了个迈腾，我靠你不是预算10万吗？你不是大数据计算要买宝来吗？
奋斗De奶爸·2021-05-01 13:54

阿里云大数据计算服务MaxCompute（下篇）

关于阿里云大数据计算服务MaxCompute的详细内容：阿里云大数据计算服务MaxCompute使用教程（MaxCompute（原ODPS）是一项大数据计算服务，它能提供快速、完全托管的PB级数据仓库解决方案
云计算小百科·2021-04-30 17:41

flink学习笔记-支持的数据类型

说明：本文为《Flink大数据项目实战》学习笔记，想通过视频系统学习Flink这个最火爆的大数据计算框架的同学，推荐学习课程：Flink大数据项目实战：http://t.cn/EJtKhaz4.支持的数据类型
大数据研习社·2021-04-19 10:54
上一页 5 6 7 8 9 10 11 12 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他