分布式框架

最近蛋疼,准备给自己点动力,先规划一个最土的分布式框架(前段看了点storm,受了点影响)

https://github.com/huangwei2013/distlite

2013-10-30 正在很丑的实现中

2013-11-04 通信框架:eventlet; 存储:mangodb

----------------------------------------

角色&服务
       1.master
              - task data
              - slave data
       2.slave
              - task run
       3.manage client
              - 提交任务
              - 查询和统计
启动期:
       1.master启动
       2.slave启动
              向master注册(约定心跳)
空档期:
       1.slave心跳
              定时向master提交心跳(同时可获取新的心跳配置)
执行期:      
       1.下发任务
              manage client{task}-->master{ack,taskId}
       2.查询任务
              manage client{taskId}-->master{ack,task result}
       3.执行任务
              master{task}-->slave{ack}
       4.提交任务结果
              slaver{task result}-->master{ack}


通信形式:
       1.短消息
       2.请求返回uuid

通信协议格式:
       1.请求
              type:string,操作类型
              task:dict,任务信息
       2.响应
              uuid:int,唯一标识/taskId
              code:int,请求结果
              message:string,出错信息
              data:dict,详细信息
       
  

你可能感兴趣的:(框架,python,分布式,mangodb,eventlet)