【数据湖架构】Azure 数据湖分析（Azure Data Lake Analytics )概述

在本文中，我们将探索 Azure 数据湖分析并使用 U-SQL 查询数据。

Azure 数据湖分析 (ADLA) 简介

Microsoft Azure 平台支持 Hadoop、HDInsight、数据湖等大数据。通常，传统数据仓库存储来自各种数据源的数据，将数据转换为单一格式并进行分析以做出决策。开发人员使用可能需要更长时间进行数据检索的复杂查询。组织正在增加他们在云基础架构中的足迹。它利用了云基础设施仓库解决方案，例如 Amazon RedShift、Azure Synapse Analytics（Azure SQL 数据仓库）或 AWS 雪花。云解决方案具有高度可扩展性和可靠性，可支持您的数据、查询处理和存储需求。

数据仓库遵循Extract-Transform-Load机制进行数据传输。

• 提取：从不同的数据源中提取数据

• 转换：将数据转换为特定格式

• 加载：将数据加载到预定义的数据仓库模式、表中

数据湖不需要严格的模式，并在分析之前将数据转换为单一格式。它以原始格式存储数据，例如二进制、视频、图像、文本、文档、PDF、JSON。它仅在需要时转换数据。数据可以是结构化、半结构化和非结构化格式。

数据湖的一些有用功能是：

• 它存储原始数据（原始数据格式）

• 它没有任何预定义的schema

• 您可以在其中存储非结构化、半结构化和结构化

• 它可以处理 PB 甚至数百 PB 的数据量

• 数据湖在读取方法上遵循模式(schema )，根据需求对数据进行转换

概括地说，Azure 数据平台体系结构如下所示。图片参考：微软文档

• 摄取：从各种数据源收集数据并以其原始格式存储到 Azure 数据湖中

• 存储：将数据存储到 Azure Data Lake Storage、AWS S3 或 Google 云存储

• 处理：将原始存储中的数据处理成兼容的格式

• 分析：使用存储和处理的数据执行数据分析。您可以使用 Azure 数据湖分析 (ADLA)、HDInsight 或 Azure Databricks

本文 :https://architect.pub/overview-azure-data-lake-analytics
讨论：知识星球【首席架构师圈】或者加微信小号【ca_cto】或者加QQ群【792862318】
公众号	【jiagoushipro】 【超级架构师】 精彩图文详解架构方法论，架构实践，技术原理，技术趋势。 我们在等你，赶快扫描关注吧。
微信小号	【ca_cea】 50000人社区，讨论：企业架构，云计算，大数据，数据科学，物联网，人工智能，安全，全栈开发，DevOps，数字化.
QQ群	【285069459】深度交流企业架构，业务架构，应用架构，数据架构，技术架构，集成架构，安全架构。以及大数据，云计算，物联网，人工智能等各种新兴技术。 加QQ群，有珍贵的报告和干货资料分享。
视频号	【超级架构师】 1分钟快速了解架构相关的基本概念，模型，方法，经验。 每天1分钟，架构心中熟。
知识星球	【首席架构师圈】向大咖提问，近距离接触，或者获得私密资料分享。
喜马拉雅	【超级架构师】路上或者车上了解最新黑科技资讯，架构心得。	【智能时刻，架构君和你聊黑科技】
知识星球	认识更多朋友，职场和技术闲聊。	知识星球【职场和技术】
领英	Harry	https://www.linkedin.com/in/architect-harry/
领英群组	领英架构群组	https://www.linkedin.com/groups/14209750/
微博‍‍	【超级架构师】	智能时刻‍
哔哩哔哩	【超级架构师】
抖音	【cea_cio】超级架构师
快手	【cea_cio_cto】超级架构师
小红书	【cea_csa_cto】超级架构师
网站	CIO(首席信息官)	https://cio.ceo
网站	CIO,CTO和CDO	https://cioctocdo.com
网站	架构师实战分享	https://architect.pub
网站	程序员云开发分享	https://pgmr.cloud
网站	首席架构师社区	https://jiagoushi.pro
网站	应用开发和开发平台	https://apaas.dev
网站	开发信息网	https://xinxi.dev
网站	超级架构师	https://jiagou.dev
网站	企业技术培训	https://peixun.dev
网站	程序员宝典	https://pgmr.pub
网站	开发者闲谈	https://blog.developer.chat
网站	CPO宝典	https://cpo.work
网站	首席安全官	https://cso.pub    ‍
网站	CIO酷	https://cio.cool
网站	CDO信息	https://cdo.fyi
网站	CXO信息	https://cxo.pub

谢谢大家关注，转发，点赞和点在看。