大数据计算

自由生态MIGO让全球进入数字文明

与此同时，大数据计算、AI人工智能、5G通讯技术也迅猛发展，在滚滚向前的时代浪潮中，具有去中心化的区块链技术尤其惹人关注。
weixin_48513424·2021-01-14 16:37

hive解决数据倾斜问题_这种数据倾斜解决方案，你会吗？

一、概述有的时候，我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜，此时Spark作业的性能会比期望差很多。
weixin_39982568·2021-01-10 19:37

大数据技术原理与应用——期末复习

大数据技术原理与应用大数据技术原理与应用第一章大数据概述1、大数据的4v特征2、大数据的影响3、大数据的两大核心技术4、大数据计算模式及代表产品5、大数据与云计算、物联网的关系第二章大数据处理架构Hadoop1
BKolo·2021-01-08 23:32

spark 算子例子_Spark性能优化指南——高级篇

调优概述有的时候，我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜，此时Spark作业的性能会比期望差很多。
weixin_39902085·2021-01-08 18:14

如何将离线计算业务的成本降低65%——弹性容器服务EKS「竞价实例」上线

在容器化的应用场景中，大数据计算是其中很大并且业务应用在逐渐增加的一个热门领域，包括越来越多的人工智能企业，都在使用容器技术来支持业务中的大量计算任务。
腾讯云原生·2021-01-05 03:20

大数据计算引擎MapReduce、Storm、Spark、Sparkstreaming、Flink到底哪家强？

自大数据的概念被提出以来，企业对于数据信息变为数据资产的诉求越来越强烈，进而在技术领域出现了很多大数据计算引擎服务，最著名、使用最广的莫过于MapReduce、Storm、Spark、Sparkstreaming
AI课工场·2021-01-04 14:37

[大数据计算基础] 大数据计算系统

大数据计算系统大数据计算框架的几个要素：•计算场景:适用于何种任务使用？•抽象：程序员看到的框架是什么样的？•API：程序员如何使用框架？•系统架构：系统有哪些模块？•基本数据操作：如何操作数据？
FZQuantum·2021-01-03 00:33

如何将离线计算业务的成本降低65%——弹性容器服务EKS「竞价实例」上线

在容器化的应用场景中，大数据计算是其中很大并且业务应用在逐渐增加的一个热门领域，包括越来越多的人工智能企业，都在使用容器技术来支持业务中的大量计算任务。
腾讯云原生·2020-12-28 12:36

膜拜！！终于学完了阿里云大数据架构师推荐的Flink入门与实战文档，真的强！

Flink项目是大数据计算领域冉冉升起的一颗新星。
互联网全栈工程师·2020-12-25 21:35

降本增效利器！趣头条Spark Remote Shuffle Service最佳实践

王振华，趣头条大数据总监，趣头条大数据负责人曹佳清，趣头条大数据离线团队高级研发工程师，曾就职于饿了么大数据INF团队负责存储层和计算层组件研发，目前负责趣头条大数据计算层组件Spark的建设范振，花名辰繁
阿里云云栖号·2020-12-08 15:18

融合7大领域！Apache Flink 在开源生态下的应用实践

ApacheFlink作为业界领先的开源大数据计算引擎，以其高吞吐低延时的优异实时计算能力成功解决了大规模数据处理难题。如何将Flink与其他大数据生态结合，更好的为企业及开发者提供数据服务？
Ververica·2020-12-06 22:00

腾讯云 CHDFS — 云端大数据存算分离的基石

随着网络性能提升，云端计算架构逐步向存算分离转变，AWSAurora率先在数据库领域实现了这个转变，大数据计算领域也迅速朝此方向演化。
云存储小天使·2020-12-03 20:30

腾讯云 CHDFS — 云端大数据存算分离的基石

随着网络性能提升，云端计算架构逐步向存算分离转变，AWSAurora率先在数据库领域实现了这个转变，大数据计算领域也迅速朝此方向演化。
云存储小天使·2020-12-02 01:41

直播｜双十一大数据技术难点分析

未来，基于大数据计算分析存储、数据挖掘、数据分析等数据产业的企业发展，我国需要更多的数据人才，先人一步学习就能快人一步抢
传智播客·2020-12-01 09:00

从“流处理”到“流批一体”，Apache Flink 的19个企业最佳实践

ApacheFlink作为领先的开源大数据计算引擎，在流批一体的探索上日臻成熟，并在稳定性、性能和效率方面都经受住了阿里巴巴双11的严苛生产环境考验。如今，除电商行业外，Flink流批一体的应用几何？
Ververica·2020-11-25 22:00

如何评价阿里云的飞天？

全球级大数据计算平台，自主研发！》又一个注定载入史册的日子！7月25日。又一个注定让人更有底气的核心科技！阿里云飞天大数据平台！这是目前国内规模最大的计算平台，当然也是全球级的。
Noosphere·2020-11-14 11:59

如何评价阿里云的飞天？

全球级大数据计算平台，自主研发！》又一个注定载入史册的日子！7月25日。又一个注定让人更有底气的核心科技！阿里云飞天大数据平台！这是目前国内规模最大的计算平台，当然也是全球级的。
Noosphere·2020-11-13 17:33

王者荣耀背后的实时大数据平台用了什么黑科技？

大家好我是许振文，今天分享的主题是《基于Flink+ServiceMesh的腾讯游戏大数据服务应用实践》，内容主要分为以下四个部分：背景和解决框架介绍实时大数据计算OneData数据接口服务OneFun
ApacheFlink·2020-10-10 01:44

8.6 Fork/Join

系统内多个任务同时存在，按时间分片切换执行；（切换时间很短让人感觉同时执行，实际未并行）并行：系统内多个任务同时进行；（单机多核/多机集群并行计算）Fork/Join：1.JDK7后的并行计算的框架，用于解决系统中大数据计算的性能问题
jadefly·2020-10-09 19:22

Scala核心编程-Scala概述

Spark新一代内存级大数据计算框架，是大数据的重要内容Spark就是使用Scala编写的。
韩二愣子·2020-10-09 12:43

Python里面的Spark，为啥是最火的大数据计算引擎？

点击上方“菜鸟学Python”，选择“星标”公众号回复"666"获取精选的学习资料！作者：朱凯来源：大数据DT（ID：hzdashuju）01概述十年前我们只有Hadoop，大家首先通过HDFS实现海量数据的共享存储，然后使用MapReduce以批处理的方式处理这些海量数据，这一切看起来似乎十分完美。但众口难调啊，有人觉得MapReduce的编程模型太难使用了，为什么不能使用SQL来分析数据呢？我
菜鸟学Python·2020-09-24 08:28

基于OGG Datahub插件将Oracle数据同步上云

本文用到的阿里云数加－大数据计算服务MaxCompute产品地址：https://www.aliyun.com/product/odps一、背景介绍随着数据规模的不断扩大，传统的RDBMS难以满足OLAP
weixin_34381666·2020-09-17 05:43

王者荣耀背后的实时大数据平台用了什么黑科技？

大家好我是许振文，今天分享的主题是《基于Flink+ServiceMesh的腾讯游戏大数据服务应用实践》，内容主要分为以下四个部分：背景和解决框架介绍实时大数据计算OneData数据接口服务OneFun
Ververica·2020-09-16 20:28

spark数据倾斜处理

本篇文章属于转载原文出处https://blog.csdn.net/lw_ghy/article/details/51419877调优概述有的时候，我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜
deepthinkers·2020-09-15 14:42

八种解决 Spark 数据倾斜的方法

有的时候，我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜，此时Spark作业的性能会比期望差很多。数据倾斜调优，就是使用各种技术方案解决不同类型的数据倾斜问题，以保证Spark作业的性能。
Hadoop技术博文·2020-09-15 13:09

数据倾斜

有的时候，我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜，此时Spark作业的性能会比期望差很多。数据倾斜调优，就是使用各种技术方案解决不同类型的数据倾斜问题，以保证Spark作业的性能。
A3301·2020-09-15 12:46

大数据计算处理框架区别

大数据计算框架分析批处理系统批处理在大数据世界有着悠久的历史。批处理主要操作大容量静态数据集，并在计算过程完成后返回结果。
数据小二·2020-09-15 02:51

大数据入门学习篇

1、大数据计算模式及其代表产品2、大数据与云计算和物联网的关系云计算处理的主要问题：解决海量数据分布式存储和分布式处理问题、虚拟化、多租户。
诚许愿·2020-09-15 02:23

全面解析腾讯大数据计算引擎——Shuffle

腾讯分布式数据仓库(TencentdistributedDataWarehouse,简称TDW)基于开源软件Hadoop和Hive进行构建，并且根据公司数据量大、计算复杂等特定情况进行了大量优化和改造，目前单集群最大规模达到5600台，每日作业数达到100多万，已经成为公司最大的离线数据处理平台。为了满足用户更加多样的计算需求，TDW也在向实时化方向发展，为用户提供更加高效、稳定、丰富的服务。TD
程序の之道·2020-09-15 02:35

阿里巴巴实时计算引擎Blink浅析

业务背景各大公司也都基于自身业务场景和数据规模定制了自己的大数据计算平台，但这些大数据计算平台大都是批处理系统，虽然具备海量数据处理能力，但在时效性上有明显的滞后。
西子湖畔的蜗牛·2020-09-14 02:02

为什么Spark能成为最火的大数据计算引擎？它是怎样工作的？

导读：零基础入门Spark必读。作者：朱凯来源：大数据DT（ID：hzdashuju）01概述十年前我们只有Hadoop，大家首先通过HDFS实现海量数据的共享存储，然后使用MapReduce以批处理的方式处理这些海量数据，这一切看起来似乎十分完美。但众口难调啊，有人觉得MapReduce的编程模型太难使用了，为什么不能使用SQL来分析数据呢？我们数据库领域已经有非常成熟的数据仓库模型了，为何不实
大数据v·2020-09-13 20:39

[徐培成系列实战课程]-docker篇-前序

Spark是时下非常热门的大数据计算引擎，现在apche官方网站已经更新至2.3.1的版本，而且热度居高不下。很多企业越来越多的倾向于使用spark进行海量数据处理，主要是源于其高效快速的架构设计。
十八掌教育·2020-09-13 20:40

Spark性能优化指南

Spark性能优化指南——基础篇李雪蕤·2016-04-2914:00前言在大数据计算领域，Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。
21989939·2020-09-13 19:49

浅谈物联网操作系统---导读

小数据节点可以将数据同步到云端，进一步实现更大范围的大数据计算。那么如何解决物联网中的设备联网？联网
panaimin·2020-09-12 04:26

第37课：Spark中Shuffle详解及作业

前言：对于大数据计算框架而言，Shuffle阶段的设计优劣是决定性能好坏的关键因素之一。shuffle的优化是一个不断发展的过程。
Frank201608·2020-09-11 18:13

蚂蚁金服与UC Berkeley RISE实验室启动合作，加速数据人才培养

RISE实验室的前身是著名伯克利AMP实验室，主导研发了当今大数据计算领域最前沿的开源系统：ApacheSpark和Apache
weixin_34284188·2020-09-11 17:45

十年磨一剑，王坚自研的MaxCompute如何解决世界级算力难题 ...

随着企业数据规模的急剧增长，传统软件已无法承载，这也推动了大数据技术的发展，Google、AWS、微软等硅谷巨头纷纷投入大数据技术的研发；而在国内，王坚也在十年前带领阿里云团队研发MaxCompute，率先在国内开启大数据计算平台的自研之路
cpongo1·2020-09-11 14:24

微服务架构下，DLI的部署和运维有何奥秘？

华为云数据湖探索DLI是支持多模引擎的Serverless大数据计算服务，其很好的实现了Serverless的特性：1.弱化了存储和计算之间的联系；2.代码的执行不再需要手动分配资源；3.按使用量计费。
华为云·2020-09-11 12:37

flink总结

为什么用flink目前我们我们熟知的大数据计算引擎有mapreduce、spark、storm等等，那为什么还要有flink呢？
樱花庄青山七海·2020-09-11 05:06

Spark性能优化-数据倾斜调优

###数据倾斜调优####调优概述有的时候，我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜，此时Spark作业的性能会比期望差很多。
ccddsdsdfsdf·2020-09-11 01:23

AI框架大牛贾扬清加盟，任职阿里巴巴技术VP

阿里巴巴宣布，贾扬清正式加盟，担任技术副总裁岗位，领导大数据计算平台的研发工作。贾扬清，本科和硕士毕业于清华大学，在美国加州大学伯克利分校计算机科学博士学位。
weixin_33971977·2020-09-10 19:45

确认！贾扬清下一站，阿里硅谷研究院任VP

源/雷锋网今日消息，原Facebook华人科学家贾扬清已正式加入阿里巴巴，担任技术副总裁岗位，领导大数据计算平台的研发工作。
机器学习算法与Python学习-公众号·2020-09-10 16:05

确认！贾扬清加盟阿里，任技术副总裁

阿里巴巴达摩院官方认证账号在知乎上宣布，贾扬清已正式加入阿里巴巴，担任技术副总裁岗位，领导大数据计算平台的研发工作。与此同时，贾扬清在领英上的履历也已经更新。
AI科技大本营·2020-09-10 10:38

[转]高压缩空间占用的 Hyper LogLog 算法

大数据计算：如何仅用1.5KB内存为十亿对象计数-HyperLogLog算法BigDataCounting:HowToCountABillionDistinctObjectsUsingOnly1.5KThisisaguestpostbyMattAbrams
黑夜路人·2020-08-25 16:28

MaxCompute管家详解--管家助力，轻松玩转MaxCompute

一、背景速览MaxCompute（原ODPS）是一项大数据计算服务，它能提供快速、完全托管的PB级数据仓库解决方案，使用户可以经济并高效的分析处理海量数据。
阿里云云栖号·2020-08-24 20:11

MaxCompute介绍

spm=a2c4e.11153940.blogcont78108.17.46c53af60mplZf一什么是MaxCompute大数据计算服务（MaxCompute，原名ODPSopendataprocessingservice
有石为玉·2020-08-24 20:04

MaxCompute基础与MaxCompute_SQL优化

总论：大数据计算服务(MaxCompute，原名ODPS)是一种快速、完全托管的TB/PB级数据仓库解决方案。
chengli1824·2020-08-24 19:43

【大数据】MaxCompute概述

什么是MaxCompute大数据计算服务（MaxCompute，原名ODPS）是一种快速、完全托管的GB/TB/PB级数据仓库解决方案。
binggetong·2020-08-24 19:03

阿里云大数据计算服务 - MaxCompute (原名 ODPS)

MaxCompute是阿里EB级计算平台，经过十年磨砺，它成为阿里巴巴集团数据中台的计算核心和阿里云大数据的基础服务。去年MaxCompute做了哪些工作，这些工作背后的原因是什么？大数据市场进入普惠+红海的新阶段，如何与生态发展共赢？人工智能进入井喷阶段，如何支持与借力？本文从过去一年的总结，核心技术概览，以及每条技术线路未来展望等几个方面做一个概述。BigData概念在上世纪90年代被提出，随
weixin_30550081·2020-08-24 18:02

官方剧透：1.11 发版前我们偷看了 Flink 中文社区发起人的聊天记录

作为备受瞩目的新一代开源大数据计算引擎，Flink无疑已成为Apache基金会和GitHub最为活跃的项目之一。
ApacheFlink·2020-08-24 17:38
上一页 6 7 8 9 10 11 12 13 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他