什么是大数据架构

大数据架构是用于摄取和处理大量数据（通常称为“大数据”）的总体系统，以便可以出于业务目的对其进行分析。该架构可以被视为基于组织业务需求的大数据解决方案的蓝图。大数据架构旨在处理以下类型的工作：

大数据源的批处理。
大数据实时处理。
预测分析和机器学习。
精心设计的大数据架构可以为您的公司节省资金并帮助您预测未来趋势，以便您做出良好的业务决策。

大数据架构的好处
可用于分析的数据量每天都在增长。而且，流媒体源比以往任何时候都多，包括来自流量传感器、健康传感器、事务日志和活动日志的可用数据。但拥有数据只是成功的一半。您还需要能够理解数据并及时使用它来影响关键决策。使用大数据架构可以帮助您的企业节省资金并做出关键决策，包括：

降低成本。Hadoop 和基于云的分析等大数据技术可以显着降低存储大量数据的成本。
做出更快、更好的决策。使用大数据架构的流组件，您可以实时做出决策。
预测未来需求并创造新产品。大数据可以帮助您利用分析来衡量客户需求并预测未来趋势。
大数据架构的挑战
如果做得正确，大数据架构可以为您的公司节省资金并帮助预测重要趋势，但它也并非没有挑战。使用大数据时请注意以下问题。

数据质量
每当您使用不同的数据源时，数据质量都是一个挑战。这意味着您需要努力确保数据格式匹配，并且没有重复数据或丢失数据，从而使您的分析不可靠。您需要先分析和准备数据，然后才能将其与其他数据结合起来进行分析。

缩放
大数据的价值在于其数量。然而，这也可能成为一个重要问题。如果您没有设计可扩展的架构，那么您很快就会遇到问题。首先，如果您不进行规划，支持基础设施的成本可能会增加。这可能会给您的预算带来负担。其次，如果您不计划扩展，您的性能可能会显着下降。这两个问题都应该在构建大数据架构的规划阶段得到解决。

安全
虽然大数据可以让您深入了解数据，但保护这些数据却充满挑战。欺诈者和黑客可能对您的数据非常感兴趣，他们可能会尝试添加自己的虚假数据或浏览您的数据以获取敏感信息。网络犯罪分子可以伪造数据并将其引入您的数据湖。例如，假设您跟踪网站点击次数以发现流量中的异常模式并发现网站上的犯罪活动。网络犯罪分子可以渗透您的系统，为数据添加噪音，从而无法发现犯罪活动。相反，在您的大数据中可以找到大量敏感信息，如果您不保护外围、加密数据并努力对数据进行匿名化以删除敏感信息，网络犯罪分子可能会挖掘您的数据以获取这些信息。信息。

大数据架构是什么样的？
大数据架构根据公司的基础设施和需求而有所不同，但通常包含以下组件：

数据来源。所有大数据架构都从您的来源开始。这可以包括来自数据库的数据、来自实时源（例如 IoT 设备）的数据以及从应用程序生成的静态文件（例如 Windows 日志）。
实时消息摄取。如果有实时源，您需要在架构中构建一种机制来摄取该数据。
数据存储。您需要存储将通过大数据架构处理的数据。通常，数据将存储在数据湖中，这是一个易于扩展的大型非结构化数据库。
批处理和实时处理的结合。您将需要处理实时数据和静态数据，因此应将批处理和实时处理的组合构建到您的大数据架构中。这是因为处理的大量数据可以使用批处理来高效处理，而实时数据需要立即处理才能带来价值。批处理涉及长时间运行的作业来过滤、聚合和准备数据以供分析。
分析数据存储。准备好用于分析的数据后，您需要将其集中到一处，以便可以对整个数据集进行分析。分析数据存储的重要性在于，您的所有数据都位于一处，因此您的分析可以是全面的，并且它针对分析而不是事务进行了优化。根据您的需求，这可能采用基于云的数据仓库或关系数据库的形式。
分析或报告工具。摄取和处理各种数据源后，您需要包含一个工具来分析数据。通常，您会使用 BI（商业智能）工具来完成这项工作，并且可能需要数据科学家来探索数据。
自动化。通过这些不同的系统移动数据通常需要以某种形式的自动化进行编排。摄取和转换数据、批量和流式处理移动数据、将其加载到分析数据存储以及最终获得见解都必须采用可重复的工作流程，以便您能够不断从大数据中获得见解。