PyHusky快速开始

快速开始

构建

本节假设Husky已经被成功部署。若Husky还未被部署于集群之上，请参照Husky中文文档-部署.

1. 编译Daemon后端应用程序.

   PyHusky需要编译Maser和Daemon。在构建目录，使用 make Master 编译Master 和 make Daemon 编译Daemon。需确保构建目录已经被cmake正确创建。

2. 启动Master和Daemon

   Daemon的启动类似于运行其余Husky应用程序。

   首先使用 ./Master conf/myhusky.conf 启动Master。其次，使用 ./Daemon conf/myhusky.conf 启动单机的Daemon，若配置文件是单机环境。 使用 ./exec.sh Daemon conf/myhusky.conf 运行一个分布式Daemon，若配置文件是分布式环境。 需要确保配置文件的正确性(例如socket文件已被书写正确)。确认Daemo，配置文件，和对应的目录已经被发送到各个机器上。

运行

1. 运行一个python程序!

   创建并保存以下代码到一个文件内（比如，wc.py）。

   import bindings.frontend as ph
   ph.env.pyhusky_start(<master_host>, <master_port>)
   a = ["hello", "world", "hello", "husky"]
   words = ph.env.parallelize(a)
   wc = words.map(lambda x:(x,1)).reduce_by_key(lambda x,y:x+y).collect()
   print wc
   

   输入以下命令，python wc.py --host <master_host> --port <master_port>， 运行WordCount应用程序。

   结果如下：

   Connected to Master
   <parallelize_py>
   <map_py>
   <reduce_by_key_py>
   <collect_py>
   Executing... 0 %
   Executing... 33 %
   Executing... 67 %
   Executing... 100 %
   [('world', 1), ('husky', 1), ('hello', 2)]
   

   以上信息显示你的程序里面包含的操作和他们的执行进度。最后，结果将会显示在控制台上。

2. 使用PyHusky的交互式界面

   PyHusky提供了一个交互式界面。使用 bindings/pyhusky.sh --host <master_host> --port <master_port> 启动该界面，用户可以利用高级的运算符交互式地分析数据。

PyHusky 运算符

PyHusky所支持的操作符列表：Husky中文文档-PyHusky 运算符.

PyHusky 架构

查看PyHusky 架构。