什么是大数据架构？

风晓 2023-12-31 11:31:40  54360

分类专栏：资讯

大数据体系结构是用于摄取和处理大量数据（通常称为“大数据”）的总体系统，以便可以出于业务目的对其进行分析。根据组织的业务需求，可以将体系结构视为大数据解决方案的蓝图。大数据架构旨在处理以下类型的工作：

大数据源的批处理。
实时处理大数据。
预测分析和机器学习。

精心设计的大数据架构可以为您的公司节省资金，并帮助您预测未来的趋势，以便您制定良好的业务决策。

大数据架构的好处

可用于分析的数据量每天都在增长。而且，流媒体来源比以往任何时候都多，包括来自流量传感器，运行状况传感器，事务日志和活动日志的可用数据。但是拥有数据只是成功的一半。您还需要能够理解数据并及时使用它来影响关键决策。使用大数据架构可以帮助您的企业节省资金并做出关键决策，包括：

降低成本。诸如Hadoop和基于云的分析之类的大数据技术可以显着降低存储大量数据的成本。
做出更快，更好的决策。使用大数据架构的流组件，您可以实时做出决策。
预测未来需求并创造新产品。大数据可以帮助您评估客户需求并使用分析预测未来趋势。

大数据架构的挑战

如果做得正确，大数据架构可以为您的公司节省资金并帮助预测重要趋势，但这并非没有挑战。处理大数据时，请注意以下问题。

资料品质

无论何时使用不同的数据源，数据质量都是一个挑战。这意味着您需要做一些工作以确保数据格式匹配，并且没有重复的数据或缺少数据，从而使分析不可靠。您需要先分析并准备数据，然后才能将其与其他数据一起进行分析。

缩放比例

大数据的价值在于其数量。但是，这也可能成为重要问题。如果您尚未设计出可扩展的体系结构，则可能会很快遇到问题。首先，如果您不计划为基础架构提供支持的成本可能会增加。这可能是您预算的负担。其次，如果您不计划扩展，则性能可能会大大下降。这两个问题都应在构建大数据架构的规划阶段中解决。

安全

虽然大数据可以为您提供有关数据的深刻见解，但是保护该数据具有挑战性。欺诈者和黑客可能会对您的数据非常感兴趣，他们可能会尝试添加自己的虚假数据或浏览您的数据以获取敏感信息。网络罪犯可以伪造数据并将其引入您的数据湖。例如，假设您跟踪网站的点击以发现流量中的异常模式并在您的网站上发现犯罪活动。网络罪犯可能会渗透到您的系统中，从而给数据增加噪音，因此不可能发现犯罪活动。相反，在大数据中会发现大量敏感信息，如果您不保护边界，加密数据并进行匿名处理以删除敏感信息，网络罪犯可能会从您的数据中挖掘该信息。信息。

大数据架构是什么样的？

大数据架构会根据公司的基础架构和需求而有所不同，但它通常包含以下组件：

数据来源。所有大数据架构都始于您的资源。这可以包括来自数据库的数据，来自实时源（例如IoT设备）的数据，以及从应用程序生成的静态文件（例如Windows日志）。
实时消息提取。如果有实时源，则需要在体系结构中构建一种机制来吸收该数据。
数据存储。您需要存储将通过大数据架构处理的数据。通常，数据将存储在数据湖中，这是一个易于扩展的大型非结构化数据库。
批处理和实时处理相结合。您将需要同时处理实时数据和静态数据，因此应将批处理和实时处理结合到您的大数据体系结构中。这是因为使用批处理可以有效地处理大量数据，而实时数据需要立即处理以带来价值。批处理涉及长时间运行的作业，以过滤，汇总和准备要分析的数据。
分析数据存储。准备好要分析的数据后，需要将它们放在一个地方，以便可以对整个数据集进行分析。分析数据存储的重要性在于，所有数据都放在一个地方，因此您的分析可以是全面的，并且针对分析而不是事务进行了优化。根据您的需要，这可以采用基于云的数据仓库或关系数据库的形式。
分析或报告工具。摄取和处理各种数据源后，您需要包括一个分析数据的工具。通常，您将使用BI工具来完成这项工作，并且可能需要数据科学家来探索数据。
自动化。通过这些各种系统移动数据通常需要某种形式的自动化来进行编排。摄取和转换数据，分批处理和流处理，将其加载到分析数据存储中以及最终得出见解必须在可重复的工作流程中，以便您可以不断从大数据中获取见解。

网站声明：如果转载，请联系本站管理员。否则一切后果自行承担。

本文链接：https://www.xckfsq.com/news/show.html?id=33228

赞同 0

评论 0 条