大数据全攻略:10年老兵带你看尽MaxCompute大数据运算挑战与实践(下)

大数据计算服务(MaxCompute,原名ODPS)是一种快速、完全托管的TB/PB级数据仓库解决方案。MaxCompute向用户提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速的解决用户海量数据计算问题,有效降低企业成本,并保障数据安全。产品地址:https://www.aliyun.com/product/odps

概况介绍:

以下为本套攻略(下半部分)的内容目录,查看每篇文章详细内容请点击链接进入学习:

Workshop:

《云数据·大计算:海量日志数据分析与应用》Workshop-入口

数据采集:日志数据上传

数据加工:用户画像

数据分析展现:可视化报表及嵌入应用

社交数据分析:好友推荐

MaxCompute1元试用体验馆:

Flume采集网站日志到MaxCompute

Hadoop数据表迁移到MaxCompute

快速搭建一个BI销售数据分析系统

机器学习实现海量新闻自动分类

机器学习为您揭秘雾霾怎么形成

数据上云专题:

数据进入阿里云数加-大数据计算服务MaxCompute(原ODPS)的N种方式

“零基础”系列课程--日志服务(Log Service)采集 ECS 日志数据到 MaxCompute

日志服务(原SLS)新功能发布(12)--日志投递MaxCompute(原ODPS)支持自动建表授权

Flume数据导入MaxCompute(原ODPS)方法

MaxCompute(原ODPS)功能介绍之数据导入

用Fluent实现MySQL到MaxCompute(原ODPS)数据集成

数据安全专题:

你的大数据安全么?“Hadoop集群遭遇勒索软件攻击 ”

【阿里云大数据产品MaxCompute】DT时代企业数据资产的护卫舰

可靠、安全、易用,阿里云数加大数据平台首批通过国家大数据标准检测

阿里云成为全国首家云等保试点示范平台 金融云通过国家等保四级备案测评

MaxCompute数据安全机制

还在用Hadoop么?Hadoop服务器造成5PB数据泄露,中国、美国受波及最大!

运维/容灾专题:

MaxCompute(ODPS)大数据容灾方案与实现(及项目落地实例)专有云

阿里云大数据计算平台的自动化、精细化运维之路

数仓专题:

干货:解码OneData,阿里的数仓之路。

企业大数据平台下数仓建设思路

大数据来了,数据库爆仓了,宝宝们怎么办?

淘宝大数据之路

MaxCompute大数据实践,电商数据仓库选择雪花还是星型模型?

MaxCompute大数据实践,电商数据仓库的星型模型和传统星型的区别

公开数据集:

阿里云数加(大数据)公开数据集(公测ing)

最佳实践:

手把手,教你用MaxCompute+OpenSearch搭建分布式搜索引擎

阿里云大数据利器Maxcompute学习之-假如你使用过hive

一场变美盛宴后面的大数据故事

理财农场大数据初探之路

报警分析云上集成解决方案

专访360医药大数据负责人侯晓锋:谈未来智能医疗的挑战及实践

【物流大数据实践】基于阿里云Maxcompute实现物流跟踪

袋鼠云助力光伏产业 | 基于阿里云数加平台做算法预测

基于数加分析政府工作报告

阿里云大数据利器Maxcompute学习之--分区表的使用

“零基础”系列课程--Flume收集网站日志数据到MaxCompute

“零基础”系列课程--如何通过大数据开发套件Data IDE玩转大数据

MaxCompute_2_MaxCompute数据迁移文档

基于大数据开发套件定时调度带资源文件的MapReduce作业

如何用大数据开发套件周期调度机器学习算法

[ETL实践指南]基于Kettle的MaxCompute插件实现数据上云

推荐引擎的离线算法和在线算法初探

OpenSearch:轻松构建大数据搜索服务

云上游戏数据分析实践

5分钟学会使用DataHub接入实时数据到MaxCompute(原ODPS)

Docker时代——如何实现日志数据一键上云

MaxCompute(原ODPS)使用总结-初级篇

MaxCompute实战之数据存储

基于 MaxCompute 的极速的基因测序分析

MaxCompute同步到AnalyticDB 任务报警简易处理

MaxCompute 存储优化技巧

MaxCompute OpenMR的7个性能优化策略

MaxCompute5个窗口函数限制

MaxCompute基础与MaxCompute SQL优化

MaxCompute(原ODPS)任务优化之列裁剪

MaxCompute应用限制整理

产品动手实践视频课-基于MaxCompute SQL实现商品推荐

MaxCompute SQL01-说在前面的话

MaxCompute SQL02-什么是个性化推荐系统

MaxCompute SQL03-个性化推荐系统是怎么实现的?

MaxCompute SQL04-推荐系统的评价和应用

MaxCompute SQL05-天猫应用场景介绍

MaxCompute SQL06-问题分析和思路整理

MaxCompute SQL07-简单实现:根据销量推荐

MaxCompute SQL08-简单实现:和随机推荐的对比

MaxCompute SQL09-个性化推荐:算法设计和特征分析

MaxCompute SQL10-个性化推荐:选择特征和采样

MaxCompute SQL11-个性化推荐:训练模型

MaxCompute SQL12-个性化推荐:参数优化和模型评估

MaxCompute SQL13-个性化推荐:模型应用与总结

MaxCompute SQL14-总结:不足与改进

MaxCompute分区表和非分区表使用对比

Oracle - MaxCompute(原ODPS)数据类型转换

大数据上云那些事儿:(一)上云工具之爬虫(Scrapy)数据

阿里云大数据利器Maxcompute学习之--窗口函数实现分组TopN

MaxCompute SQL中的更新和删除如何实现

用Java代码调用MaxCompute

通过Fluentd实时上传数据到DataHub实践

基于阿里云MaxCompute实现复杂事件检测

阿里云大数据利器Maxcompute-使用mapjoin优化查询

MaxCompute SQL Row_Sequence 实现列自增长

MaxCompute SQL-列转行和行转列

MaxCompute多团队协同数据开发项目管理最佳实践

门道多:一次MaxCompute PS任务的问题排查之旅

利用MaxCompute建立数据仓库的超强实战手册

E-MapReduce中Spark 2.x读写MaxCompute数据

MaxCompute如何实现跨项目授权

使用JDBC编程访问MaxCompute(原ODPS)

增量同步MaxCompute(原ODPS)数据解决方法

MaxCompute(原ODPS) JOB 长尾问题调优

MaxCompute(原ODPS) JOB logview 查看方法

DataX使用指南——MaxCompute(原ODPS) to ODPS

MaxCompute(原ODPS) 权限管理命令集合

MaxCompute(原ODPS)内置函数整理

OSS文件上传及OSS与MaxCompute(原ODPS)之间数据连通

MaxCompute(原ODPS)跨集群迁移与数据同步经验分享

五阿哥(wuage.com),携钢铁行业步入一场云的变革

基于自定义日志打印的UDAF调试

[免费]手把手,阿里算法专家教你21天搭建推荐系统

《企业大数据系统构建实战:技术、架构、实施与应用》

大数据分析平台产品对比之MaxCompute(原ODPS)篇

Oracle - ODPS数据类型转换

使用ODPS进行拼车分析

MaxCompute在网络舆情监控系统中的应用

使用MaxCompute快速实现企业数据化运营

使用MaxCompute快速实现企业数据化运营-博客-云栖社区-阿里云应用MaxCompute实现变压器局部放电相位分析

实践 —— 亲测从 RDS MySQL 通过数据集成导入 MaxCompute

常见问题:

MaxCompute百问集锦(持续更新)

大数据开发—常见问题(1)

大数据开发—常见问题(2)

大数据开发—常见问题(3)

大数据开发—常见问题(4)

MaxCompute数据下载/导出的SQL运行结果的方法总结

大数据开发套件中数据同步-日志报错回滚信息的一些问题总结

解决代码在本地IDE环境里调试成功了后,到线上调试出现结果不符合预期的情况

【大数据技巧】Flume采集网站日志到MaxCompute常见问题汇总

做ETL操作导入数据到MaxCompute的时候,对如何设置数据同步策略疑惑

如何用SQL对MaxCompute数据进行修改和删除

MaxCompute中实现IP地址归属地转换

MaxCompute(原ODPS) MapReduce常见问题解答

MaxCompute计算长尾问题

定位排查工作流的计算结果数据量不符合预期的方法

用脚本模式配置数据同步--用自定义的ECS来调度来解网络不可达的问题

大数据开发套件—调度运维常见问题

大数据开发套件—数据集成常见问题

MaxCompute—MaxCompute SQL 常见问题

生态兼容:

MaxCompute JDBC 2.2 发布说明

手把手教你完成MaxCompute JDBC自定义日志配置

MaxCompute JDBC 2.0 beta中的一些变更说明

使用 odps-jdbc 接入 MaxCompute(原ODPS),不再从零开始

原来MaxCompute还能这么玩系列(3)—— 借力QlikView玩转数据分析

原来MaxCompute还能这么玩系列(2)—— 利用HiveServer2 Proxy实现MaxCompute与Hive生态工具的互通

原来MaxCompute还能这么玩系列(1)—— 通过Apache Zeppelin 快速实现数据可视化

当 Elasticsearch 遇上 MaxCompute

Flume Java on MaxCompute介绍

Logstash + DataHub + MaxCompute/StreamCompute 进行实时数据分析

如何在MaxCompute上运行HadoopMR作业

基于OGG Datahub插件将Oracle数据同步上云

R语言和大数据

RODPS介绍

PyODPS

什么是PyODPS DataFrame

PyOdps 0.4版本发布,从一个故事说起

PyODPS DataFrame:统一的数据查询语言

PyOdps在交互式环境下的使用,让探索ODPS数据更容易些

PyOdps DataFrame来临,数据分析从未如此简单!

Python+大数据计算平台,PyODPS架构手把手教你搭建

MaxCompute上你从未体验过的数据分析和机器学习过程

零成本体验 ODPS 大数据分析

沙龙活动:

关于举办“天德π客”创业论坛——“基于阿里云的大数据实践—海量日志分析”的通知

快上车!老司机带你走进“大数据及阿里云数据分析平台”

万元大奖邀您参与阿里云数加 MaxCompute最佳实践征文大赛

产品功能:

MaxCompute(原ODPS) 脑图 - 常用知识总结

数据通道:

DataX:

阿里云开源离线同步工具DataX3.0介绍

MySQL超时参数以及相关DataX数据同步案例分享

Tunnel:Tunnel SDK数据上传利器——BufferedWriter使用指南

客户端工具:

Studio:使用 MaxCompute Studio 开发大数据应用

Console:Console 实用小命令

Eclispse插件:Mac 下如何安装odps eclipse插件

【MaxCompute学习】隐式转化的问题

使用 MaxCompute(原ODPS) java sdk 运行安全相关命令

ODPS功能介绍之CLT

ODPS 功能介绍之SQL

技术原理介绍:

【ATF】林伟:大数据计算平台的研究与实践

MaxCompute flighting —— Task灰度发布

数加MaxCompute计算资源分布以及LogView分析优化

MaxCompute Optimizer之表达式约化

MaxCompute 中的Code Generation技术简介

MaxCompute(原ODPS) 事件(Event)机制

Fuxi ServiceModeJob 多租户(Quota Group) 功能介绍

作业调度:

解析阿里云分布式调度系统伏羲

阿里云伏羲(fuxi)调度器FuxiMaster功能简介(一) 多租户(QuotaGroup)管理

阿里云伏羲(fuxi)调度器FuxiMaster功能简介(二) 调度模型

阿里云伏羲(fuxi)调度器FuxiMaster功能简介(三) 针对在线服务的资源强稳定

阿里云伏羲(fuxi)调度器FuxiMaster功能简介(四) NodeLabel调度

盘古:阿里云飞天分布式存储系统设计深度解析

MaxCompute( 原ODPS)下的表分区解释

大数据基础知识:

分布式大数据系统巧实现,全局数据调度管理不再难

大规模数据的分布式机器学习平台

分布式存储系统

分布式离线关系型计算最全总结

分布式编程模型的设计与演化

分布式调用跟踪与监控实战

内存计算

产品/技术资讯:

阿里云2020年预期净利100亿,碾压99%A股公司 | 新龙榜

从IaaS到AI,马云为何让阿里云去扛人工智能大旗?

数据新能源驱动智慧新世界:数据新能源时代来临

“NASA”计划背后,阿里巴巴大数据系统架构概述

三个词,让你看懂马云、刘强东力推的“新零售”

盘点全球最热门十家大数据公司中国占据三席

[大数据行业应用发展前景分析] 阿里潘永花报告:大数据产业将成为新的煤和石油介绍

基于阿里云数加平台的大数据Serverless实践

川普军完美逆袭,阿里大数据为你解读特朗普成功的真相

大数据简析“林丹出轨事件”背后的微博信息传播

《大数据漫谈 -- DT时代》连载之 NO.1

漫谈阿里大数据

巴黎科技展:“中国技术太厉害了,我们得赶紧学学!”

阿里云携大数据计算平台MaxCompute欧洲开服

数加平台如何通过Serverless 架构实现普惠大数据

重磅 | 2017年中国大数据企业生态图谱(一)大数据企业融资地图

数加:从数据工程师到CDO的七次升职路

Hadoop 这样业界顶级的大规模数据处理平台,均发现满足不了类似双十一这样全世界的剁手党蜂拥而至的热情

原文链接:http://click.aliyun.com/m/26509/

转载于:https://my.oschina.net/u/3579120/blog/1533263

你可能感兴趣的:(大数据,运维,java)