使用 Hive 作为传统 ELT 工具的替代

Apache Hive 数据仓库软件有助于查询和管理位于分布式存储中的大型数据集。对于 ETL 而言，Hive 是一个强大的工具，而对于 Hadoop，它既是数据仓库，也是 Hadoop 的数据库。不过，相对于传统的数据库，它是相对缓慢的。它没有提供所有的 SQL 特性，甚至没有提供与传统的数据库相同的数据库特性。但它支持 SQL，它的确像一个数据库那样工作，它让更多的人（即使那些不是程序员的人）可以获得 Hadoop 技术。它提供了一种将非结构化和半结构化数据转化为基于模式的可用数据的方法。要建立一个主数据管理系统？您可以利用 Hive。要建立一个数据仓库？您也可以利用 Hive，但您需要学习一些技巧，使 Hive 成为一个强大的 ETL 工具。

相对于 Apache Pig 和 MapReduce，Hive 让传统的 RDBMS 数据库开发人员或了解 SQL 的其他人可以更容易访问和转换 Hadoop 中的数据。然而，Pig 不太容易理解，对于那些没有软件开发背景的人来说道，学习曲线是陡峭的。MapReduce 是 Java™、C ++ 和 Python 程序员可以相对迅速学会的技术。但是，如果没有一项技术（如 Java）基础，几乎不可能学会 MapReduce。因此，如果您知道 SQL，那么学习和使用 Hive 就会比较容易。