基于Hortonworks的HDP Sandbox

Hadoop基础学习:基于Hortonworks HDP

我最开始是通过 Hadoop Fundamentals这个课程学习了Hadoop的基础知识,该课程使用了 Hortonworks的HDP作为Hadoop平台。HDP是一个与Cloudera, MapR类似的一个企业级Hadoop解决方案,而HDP Sandbox给开发者提供了一个安装好所有Hadoop组件的虚拟机,将其导入到VirtualBox后就可以直接启动(注意需要给虚拟机分配至少2G内存)。

Big Data和Hadoop

大数据是一个热门词汇,而Hadoop可以说是目前大数据处理的基石。大数据并不是说一定要处理特别大规模的数据,而是在于可以在各种数据尺度上找到你要的答案,这些数据包括:用户数据,机器数据等等。我们可以从基础设施,算法和可视化等各个方面来理解大数据。

在基础设施方面,我们有Hadoop的HDFS作为文件系统,MapReduce来做批处理,此外有HBase,Cassandra,Riak等NoSQL数据库,还有Kafka,RabbitMQ等消息中间件。在算法方面,主要是对现有的机器学习算法的实现。在可视化方面,常见的有Matplotlib(python语言),R语言,D3(JavaScript语言)。 

初步认识HDP

HDP是操作系统是CentOS 6,启动后除了可以用ssh登陆以外,还可以登陆网页界面(http://127.0.0.1:8888)。系统默认帮我们安装的软件主要包括:

  • HDFS + MapReduce
  • Hue
  • HCatelog
  • Pig
  • Hive

HBase默认没有安装,启用HBase的话应该需要给虚拟机分配更多内存。

Hadoop是一个开源的数据分析平台,它与传统的数据分析平台相比当然有很多优点(开源,性价比,扩展性等),但是它们本质上并没有太大不同。一个完整的数据分析平台需要的组件Hadoop都有涉及:

  • 数据存储 : HDFS提供一个可扩展和容错的文件系统
  • 数据处理:MapReduce等提供了的数据访问和处理模型
  • 数据管理:HCatelog提供数据管理,管理数据到文件的映射(相当于RDBMS数据库中管理表结构与表文件的关系)
  • 数据查询:Pig和Hive对数据文件的查询,它们在底层都基于MapReduce模型来处理数据。其中Hive的特点在于提供类似于SQL语言的查询环境,Pig提供了自己的数据处理语言
  • 系统管理:Zookeeper和Oozie等

通过HDP自带的教程学习了Hive和Pig的基本知识,HDP自带了基于Web的Hive和Pig的查询界面,使用起来比命令行要友好。

Pig脚本

Pig首先实现了一种ETL语言(PigLatin),通过使用LOAD,GROUP等系统命令以及自定义命令,可以对数据进行复杂的处理。另一方面,Pig在执行命令时会把命令转化为MapReduce任务,也就是说对于很多MapReduce操作用户不再需要使用冗长的Java编程=》编译=》执行流程。最后,Pig也允许用户实现自定义方法(UDF)来扩展功能。

  
  
  
  
  1. //从文件中加载数据
  2. batting = load 'Batting.csv' using PigStorage(',');
  3.  
  4. //读取文件中的若干列
  5. runs = FOREACH batting GENERATE $0 as playerID, $1 as year, $8 as runs;
  6.  
  7. //按照年份划分数据
  8. grp_data = GROUP runs by (year);
  9.  
  10. //对划分后的数据进行进一步处理
  11. max_runs = FOREACH grp_data GENERATE group as grp,MAX(runs.runs) as max_runs;
  12.  
  13. //连接max_runs和runs,按照指定的两个列连接,连接的表包括两表的所有列
  14. join_max_run = JOIN max_runs by ($0, max_runs), runs by (year,runs);
  15.  
  16. //重新选取部分列
  17. join_data = FOREACH join_max_run GENERATE $0 as year, $2 as playerID, $1 as runs;
  18.  
  19. dump join_data;
  20.  

Hive查询

如果说Pig在传统数据仓库的意义上是一种ETL语言(当然Pig的用处不止于此),那么Hive相当于传统数据仓库中的SQL语言。Hive则可以允许你创建表,在表中导入和处理数据,数据处理的结果可以再保存到表中。Hive和Pig的详细比较可以参照这篇文章。

下面这写Hive命令实现了与前面Pig脚本一样的功能。

  
  
  
  
  1. create table temp_batting (col_value STRING);
  2.  
  3. LOAD DATA INPATH '/user/hue/Batting.csv' OVERWRITE INTO TABLE temp_batting;
  4.  
  5. create table batting (player_id STRING, year INT, runs INT);
  6.  
  7. insert overwrite table batting
  8. SELECT
  9. regexp_extract(col_value, '^(?:([^,]*)\,?){1}', 1) player_id,
  10. regexp_extract(col_value, '^(?:([^,]*)\,?){2}', 1) year,
  11. regexp_extract(col_value, '^(?:([^,]*)\,?){9}', 1) run
  12. from temp_batting;
  13.  
  14. SELECT year, max(runs) FROM batting GROUP BY year;
  15.  
  16. SELECT a.year, a.player_id, a.runs from batting a
  17. JOIN (SELECT year, max(runs) runs FROM batting GROUP BY year ) b
  18. ON (a.year = b.year AND a.runs = b.runs) ;

HBase和MapReduce编程

HBase是Google的BigTable的一种实现,即面向列的数据库。HBase相对于Hadoop比较独立,原因在于:1)HBase不依赖于MapReduce,它可以完全不在HDFS上部署,虽然在生产环境上会推荐部署到HDFS上;2)HBase的编程模型也不一定是MapReduce。

HBase和MapReduce编程可以参考Hadoop: The Definitive Guide。

Hadoop的最新发展

Apache Tez, 新一代的准实时(near real-time)大数据处理。在Hadoop 2.0的环境下,MapReduce(也就是传统的Batch编程模式)仅仅是其一种实现,而Tez成为了新一代的任务执行引擎,反过来支持MapRecue,Pig,Hive等功能。

基于Hortonworks的HDP Sandbox_第1张图片

Apache Storm,实时数据处理

Apache Flume,流式数据(例如日志)的处理

Apache Mahout,机器学习算法库

Apache ZooKeeper 分布式系统协调服务

你可能感兴趣的:(SA)