如何通俗地理解Hive的工作原理?

Hive是基于Hadoop的一个数据仓库工具,主要用来对数据进行抽取、转换、加载操作。HiveQL可以将结构化的数据文件映射为一张数据表,允许熟悉SQL的用户查询数据,也允许熟悉MapReduce的开发者开发自定义的mapper和reducer来处理内建的mapper和 reducer无法完成的复杂的分析工作,相对于Java代码编写的MapReduce来说,Hive的优势更加明显。Hive利用Hadoop的HDFS存储数据,利用Hadoop的MapReduce执行查询。

如何通俗地理解Hive的工作原理?_第1张图片

编辑切换为居中

添加图片注释,不超过 140 字(可选)

Hive和Hadoop协作执行任务的工作原理 (1) 用户通过用户接口向Driver提交executeQuery。 (2) Driver向Compiler发送获取计划的请求。 (3) Compiler根据用户提交的executeQuery去MetaStore获取需要的元数据信息。 (4) MetaStore向Compiler发送元数据信息。 (5) Compiler得到元数据信息,并向Driver发送计划。 (6) Driver 向EXECUTION ENGINE提交executePlan。 (7) 用户接口向Driver发起获取结果集(fetchResults)的请求。 (8)Driver向EXECUTION ENGINE发起获取结果集的请求。 (9)EXECUTION ENGINE向Driver发送结果集,Driver获取到结果集后返回用户接口。 文 / 黑马程序员 Python自学必备教程,打包送给你:

  • Python 入门教程完整版(全 547 集)

  • Python 深入浅出进阶课程 - 知乎

  • Python 进阶之 MySQL 入门教程

  • 2 小时玩转 Python 多线程编程

  • Python 数据挖掘基础教程 - 知乎

  • Python 3 天快速入门机器学习项目 - 知乎

  • 7 天入门机器学习(人工智能必学基础课) - 知乎

  • Python 深度学习之神经网络 - 知乎

  • Python 爬虫入门:180 分钟轻松获取疫情数据 - 知乎

零基础学Python篇:

  • 零基础小白学python最重要的是什么?

  • 为什么有人说python学到后面会很难,难在哪里?

  • 怎么自学python,大概要多久?

  • 新手学习Python还是VBA呢?

  • 如何运行程序hello_world.py?

  • 关于 Python 的经典入门书籍有哪些?

  • 计算机专业学编程和非计算机专业学编程差距在哪儿?

  • 我自学python,但是学了知识点又忘,总感觉学不好。有什么建议吗?

计算机就业、面试篇:

  • 00 后计算机学生的最优解在哪里?

  • 计算机科学与技术(CS)专业学生该如何系统地自学?

  • 计算机专业学编程和非计算机专业学编程差距在哪儿?

  • 作为一个应届毕业生在面试的时候如何自我介绍?

  • 程序员简历应该怎么写?

  • 计算机专业的学生需要每天刷题吗?

  • 计算机专业如何自己增加项目经验?

     

你可能感兴趣的:(python,开发语言)