大数据计算

快速起步的Apache Flink，远比我们看到的更强大，难怪阿里会选择它

最近因为工作需要，接触了大数据计算引擎Flink。目前开源大数据计算引擎有很多选择，流计算如Storm,Flink,KafkaStream等，批处理如Spark,Hive,Pig,Flink等。
爱开发V·2020-08-01 09:12

大数据实验报告七 Spark

Spark，是一种通用并行分布式大数据计算框架，2009年由加州大学的伯克利分校的AMP实验室开发，它是当前大数据领域最活跃的开源项目之一，它基于MapReduce算法的分布式计算，拥有MapReduce
拼命微笑，扯痛嘴角·2020-08-01 06:50

阿里云大数据计算服务MaxCompute（上篇）

关于阿里云大数据计算服务MaxCompute的详细内容：阿里云大数据计算服务MaxCompute使用教程（MaxCompute（原ODPS）是一项大数据计算服务，它能提供快速、完全托管的PB级数据仓库解决方案
云计算小百科·2020-07-31 23:35

大数据-----spark底层通信交互简单原理与实现

Spark是一个基于内存的大数据计算引擎。提高了在大数据环境下数据处理的实时性，spark仅仅涉及到了数据的计算，没有涉及到数据的存储。
j_ys·2020-07-31 18:54

hadoop使用一(译文)

什么是apachehadoopapachehadoop项目是以高可靠，可扩展，分布式计算的开源软件apachehadoop软件包是一个使用简单的编程模型通过集群进行大数据计算的框架，它可以从单台增长到千台
神奇的天鹿·2020-07-31 12:05

流式计算领域新霸主Flink的那些事儿

Flink项目是大数据计算领域冉冉升起的一颗新星。
过往记忆·2020-07-31 10:12

Flink大数据计算的机遇与挑战

作者:王绍翾（大沙）本文来自于王绍翾在2018年08月11日FlinkChinaMeetup。王绍翾，花名“大沙”，加州大学圣迭戈分校计算机工程的博士，ApacheFlinkCommiter。目前在阿里负责Flink平台以及生态的一些工作。本文内容如下：流计算核心技术Flink是德国dataArtisans创造的，早期Flink主要是做偏批计算的，但是Spark在批处理上已经有一定优势，正面竞争没
weixin_33935505·2020-07-30 20:56

大数据流式计算：关键技术及系统实例

转载自：http://www.jos.org.cn/html/2014/4/4558.htm摘要：大数据计算主要有批量计算和流式计算两种形态，目前，关于大数据批量计算系统的研究和讨论相对充分，而如何构建低延迟
公众号：数海星辰·2020-07-30 20:52

看完你就牛了！2014年大数据行业深度梳理总结

确切的说是移动互联网、物联网产生了海量的数据，大数据计算技术完美地解决了海量数据的收集、存储、计算、分析的问题
miller_lover·2020-07-30 19:41

一张表看懂大数据计算框架，浅析Hadoop(MapReduce)、Spark、Storm比较

很多初学者在刚刚接触大数据的时候会有很多疑惑，比如对MapReduce、Storm、Spark三个计算框架的理解经常会产生混乱，下面我来简单为大家做一下区分，方便理解。学习大数据首先要明白生态系统蓝色部分为Hadoop生态组件，橙黄色部分为Spark生态组件，紫色部分为Storm应用一、工作机制MapReduce框架MapReduce是一个编程模型，封装了并行计算、容错、数据分布、负载均衡等细节问
言希灬·2020-07-30 18:21

MaxCompute（原ODPS） MapReduce常见问题解答

本文用到的阿里云数加－大数据计算服务MaxCompute产品地址：https://www.aliyun.com/product/odps1.作业出现ClassNotFoundException和NoClassDefFoundError
weixin_34321753·2020-07-30 17:44

Spark性能优化指南——基础篇

前言在大数据计算领域，Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。
达微·2020-07-30 17:00

GeoAnalyticsServer在Linux下集群部署手册

1GeoAnalyticsServer分布式部署架构图此次使用三台机器进行矢量大数据服务器分布式部署，与单机部署不同，此次部署剥离比较消耗硬件资源的大数据计算节点、存储节点，这两节点均可在后续进行横向扩展
weixin_33763244·2020-07-30 17:09

【干货分享】大数据计算服务MaxCompute使用教程

MaxCompute简介大数据计算服务(MaxCompute，原名ODPS)是一种快速、完全托管的TB/PB级数据仓库解决方案。
云计算小百科·2020-07-30 14:40

Spark简介以及最详细安装教程

Spark简介：Spark是一种通用的大数据计算框架,是基于RDD(弹性分布式数据集)的一种计算模型。那到底是什么呢？
天ヾ道℡酬勤·2020-07-30 11:56

使用SMACK堆栈进行快速数据分析

作者：马小龙，浙江财经大学数据分析和大数据计算的客座教授。2006年在德国不来梅大学获得数学博士学位后，在多特蒙德大学软件工程研究所从事研究和教学工作直到2011年来到中国。
923940cub·2020-07-30 08:04

基于Hadoop大数据分析应用场景与实战

基于Hadoop大数据分析应用场景与实战本期看点为了满足日益增长的业务变化，京东的京麦团队在京东大数据平台的基础上，采用了Hadoop等热门的开源大数据计算引擎，打造了一款为京东运营和产品提供决策性的数据类产品
LinkedKeeper·2020-07-30 03:46

spark性能优化指南——高级篇

数据倾斜调优调优概述有的时候，我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜，此时Spark作业的性能会比期望差很多。
达微·2020-07-30 02:50

刷脸支付的时代来临，时间就是金钱

刷脸支付是指无需携带任何媒介，基于微视觉、3D传感大数据计算，风险控制等技术，直接刷脸就可以完成的新型支付方式。
pang1124311·2020-07-29 21:27

差之毫厘谬以千里-计算中的精度问题

如果你只是i++来作计数器就可以跳过此post，主要是为进行大数据计算和与钱相关的计算的同志们写的，也许有谬误，欢迎批评指出很多时候，绝大部分的大学生在参加工作后都是把计算机当作一个大型计算器一般的来写程序
bilahone·2020-07-29 17:29

开源、开创、开心是软件开发界的核心发展趋势

2020年，贾扬清入职阿里已经一年，成为阿里开源技术委员会负责人，也取得了巨大的成功：2019年5月，自研大数据计算平台MaxCompute荣获浙江省科技进步一等奖。
软件开发不求人·2020-07-29 03:58

odps基础积累-创建表

所以,官网www.aliyun.com有最新最权威文档.1.概念ODPS(OpenDataProcessingService),是阿里云分析处理海量数据的产品.MaxCompute(原ODPS)是一项大数据计算服务
zhangbeizhen18·2020-07-29 02:34

这样才能正确解锁MaxCompute客户端

大数据计算服务(MaxCompute，原名ODPS)是一种快速、完全托管的TB/PB级数据仓库解决方案。
Ta oo·2020-07-29 00:12

《大数据》杂志——大数据技术发展的十个前沿方向（中）

.2096-0271.2015034TenFrontiesforBigDataTechnologies(PartB)WuGanshaIntelChinaResearchInstitute6前沿方向四：软硬兼施大数据计算的一个核心要义是软硬两手抓
唐名威·2020-07-28 23:27

阿里云大数据计算服务MaxCompute

阿里云大数据计算服务MaxCompute大数据计算服务（MaxCompute，原名ODPS）是一种快速、完全托管的TB/PB级数据仓库解决方案。
云特快·2020-07-28 22:24

MaxCompute SQL与Hive对比分析及使用注意事项

**摘要：**一个使用过Hadoop的Hive框架的大数据开发工程师，往往基本掌握了阿里云的大数据计算服务MaxCompute的90%。
阿里云技术·2020-07-28 22:57

Hadoop数据迁移MaxCompute最佳实践

本文向您详细介绍如何通过使用DataWorks数据同步功能，将Hadoop数据迁移到阿里云MaxCompute大数据计算服务上。
煊琰·2020-07-28 20:19

大数据_MapReduce和Hadoop的安装与配置

一、Google的基本思想1、GFS2、MapReduce：计算模型，进行大数据计算问题的来源：PageRank（网页排名）核心：先拆分，再合并3、BigTable：大
Casablanca_jhBi·2020-07-28 20:00

饿了么大数据计算引擎实践与应用

饿了么BDI-大数据平台研发团队目前共有20人左右，主要负责离线&实时Infra和平台工具开发。其中6人的离线团队需要维护大数据集群规模如下：Hadoop集群规模1300+HDFS存量数据40+PB，Read3.5PB+/天，Write500TB+/天14WMRJob/天，10WSparkJob/天，25WPresto/天此外还需要维护Hadoop、Spark、Hive、Presto等组件饿了么内
weixin_34406796·2020-07-28 19:47

《大数据算法》一导读

“算法设计与分析”是计算机科学的重要主题，进行大数据计算，“算法设计与分析”是必不可少的步骤，可以说，算法设计是“大数据落地”的关键之一。然而，虽然在今天
weixin_34321977·2020-07-28 19:34

双11背后的黑科技：大数据实时计算如何为你量身定制？

数据时代，大数据计算已经渗透到了各行各业，业务沉淀数据，数据计算产生新的业务价值，大数据计算正不断地用这种方式推动业务向前发展。
weixin_34308389·2020-07-28 19:21

阿里云大数据MaxCompute计算资源分布以及LogView分析优化

MaxCompute(原ODPS）的概念大数据计算服务(MaxCompute，原名ODPS)是一种快速、完全托管的PB/EB级数据仓库解决方案，具备万台服务器扩展能力和跨地域容灾能力，是阿里巴巴内部核心大数据平台
weixin_34293902·2020-07-28 19:39

MaxCompute( 原ODPS）下的表分区解释

大数据计算服务（MaxCompute，原名ODPS，https://www.aliyun.com/product/odps）是一种快速、完全托管的GB/TB/PB级数据仓库解决方案。
weixin_34128237·2020-07-28 18:14

理论与实践：如何从Hadoop迁移到MaxCompute

摘要：MaxCompute大数据计算服务，能提供快速、完全托管的PB级数据仓库解决方案，能够使用户经济且高效地分析处理海量数据。
weixin_33831196·2020-07-28 18:15

MaxCompute常见错误汇总（更新ing）

从今天开始，小编会为大家陆续解读MaxCompute常见问题，帮助大家快速上手MaxCompute，玩转大数据计算平台，同时，也欢迎大家一起补充。
weixin_33691598·2020-07-28 17:59

Spark学习（1）——初识spark

Spark是一种通用的大数据计算框架，就像传统的大数据技术Hadoop的MapReduce，Hive以及Storm流式实时计算引擎等。
Mbappe·2020-07-28 15:25

将本地mysql数据库表格导入到odps大数据计算服务项目中

将本地mysql数据库表格导入到odps大数据计算服务项目中一、工具下载以及部署方法一、直接下载DataX工具包(如果仅是使用，推荐直接下载)：1.1.下载DataX:wgethttp://datax-opensource.oss-cn-hangzhou.aliyuncs.com
keilson·2020-07-28 15:21

Spark性能优化：开发调优篇

1、前言在大数据计算领域，Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。
铭霏·2020-07-28 13:09

将本地mysql数据库表格导入到odps

将本地mysql数据库表格导入到odps大数据计算服务项目中将本地mysql数据库表格导入到odps大数据计算服务项目中（还有一种方式是通过odpstunnel的方式：https://help.aliyun.com
tony286186·2020-07-28 12:59

Scala学习笔记

过去大半年主要学习数据挖掘理论知识与实践比赛，对于大数据计算框架的学习搁置了，鉴于今年就要找工作了，决定重拾Hadoop、Spark等相关技术，并结合数据做些数据挖掘工作。
我曾经被山河大海跨过·2020-07-28 10:47

阿里云大数据计算服务MaxCompute（下篇）

关于阿里云大数据计算服务MaxCompute的详细内容：阿里云大数据计算服务MaxCompute使用教程（MaxCompute（原ODPS）是一项大数据计算服务，它能提供快速、完全托管的PB级数据仓库解决方案
云计算小百科·2020-07-28 05:40

阿里云大数据计算服务MaxCompute（下篇）

关于阿里云大数据计算服务MaxCompute的详细内容：阿里云大数据计算服务MaxCompute使用教程（MaxCompute（原ODPS）是一项大数据计算服务，它能提供快速、完全托管的PB级数据仓库解决方案
云计算小百科·2020-07-27 23:42

spark性能优化1

在大数据计算领域，Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。
easonworld·2020-07-27 22:43

Spark性能优化2

数据倾斜调优调优概述有的时候，我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜，此时Spark作业的性能会比期望差很多。
easonworld·2020-07-27 22:43

ODPS系列（1）：初识ODPS

注：MaxCompute，原名ODPS，出于使用习惯考虑，以下用ODPS代指MaxCompute，即阿里巴巴大数据计算服务。一、为什么选择ODPS？1．选择ApacheHadoop？
晓阳的数据小站·2020-07-27 22:08

大数据全攻略：10年老兵带你看尽MaxCompute大数据运算挑战与实践

大数据计算服务(MaxCompute，原名ODPS)是一种快速、完全托管的TB/PB级数据仓库解决方案。
dicyt·2020-07-27 21:36

算法岗位应该掌握的知识

type=2&order=3&pos=19&page=1来源：牛客网目录PythonC++智商题大数据计算机基础概率题HR常问问题开放题机器学习编程题PythonPython的元组和列表的区别。
dangshicanghai·2020-07-27 21:37

Spark、Flink、CarbonData技术实践最佳案例解析

当前无论是传统企业还是互联网公司对大数据实时分析和处理的要求越来越高，数据越实时价值越大，面向毫秒~秒级的实时大数据计算场景，Spark和Flink各有所长。
cpongo4'"\?;@·2020-07-27 20:45

小白从零开始学ApacheFlink

1.ApacheFlink介绍来源：http://www.54tianzhisheng.cn/...ApacheFlink是近年来越来越流行的一款开源大数据计算引擎，它同时支持了批处理和流处理，也能用来做一些基于事件的应用
二俊·2020-07-27 17:54

Spark 算子

Spark大数据计算框架Spark（火花）出现不全是代替MapReduce，里面有批处理（Spark运行在内存中，MapReduce运行在硬盘中，根据自身情况选择适应的开发环境（比如：机器的数量，配置，
TT15751097576·2020-07-27 17:28
上一页 9 10 11 12 13 14 15 16 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他