openstack nova 源码解析 — Nova API 执行过程从(novaclient到Action)
目录
- 目录
- Nova API
- Nova API 的执行过程
- novaclient 将 Commands 转换为标准的HTTP请求
- PasteDeploy 将 HTTP 请求路由到具体的 WSGI Application
- Routes 将 HTTP 请求路由到具体的操作函数并执行
Nova API
Nova API 是访问、使用 Nova 各组件服务的唯一途径，作为 novaclient 和 Nova services 之间的中间层。Nova API 需要保证高度的稳定性，所以这些 API 的名称和返回的数据结构都不能轻易的改变。
Nova API 的目录结构：
.
|-- ec2
|-- metadata
|-- openstack
| |-- __init__.py
| |-- api_version_request.py
| |-- auth.py
| |-- common.py
| |-- compute
| |-- extensions.py
| |-- rest_api_version_history.rst
| |-- urlmap.py
| |-- urlmap.pyc
| |-- versioned_method.py
| |-- wsgi.py
|-- opts.py
|-- sizelimit.py
|-- validation
| |-- __init__.py
| |-- parameter_types.py
| |-- validators.py
|-- validator.pyec2 | metadata | openstack 这三个目录，分别对应了 Nova 所提供的三种类型 API 服务(EC2 API/Openstack API/Metadata API)。其中 Openstack API 含有 v2/v3/v2.1 三个版本，它们的源代码存放于 nova/api/openstack/compute/ 路径下。对于 Openstac API 而言，每一个 API 都对应一种资源。 v2 版本的核心资源就存放在nova/api/openstack/compute/ 路径下，包含了一些 images.py/servers.py 等资源，所有的资源在 API 服务启动的时候就会被加载。
Nova API 的执行过程
1. novaclient 将 Commands 转换为标准的HTTP请求
一般的 Openstack 用户和管理员能够通过执行简易的 Openstack Commands 来管理和使用 Openstack 。但需要注意的是，Openstack Services 的 API 并不会识别这类指令，所以在 API 的外层还需要一重转化机制 —— novaclient。
如果是使用 Devstack 进行部署的话，novaclient 会被默认安装在本地，安装目录为 /usr/local/lib/python2.7/dist-packages/novaclient ，我们可以通过设置该目录下的 shell.py 文件中的DEFAULT_OS_COMPUTE_API_VERSION选项来修改 novacliient 的版本。AS BELOW:
DEFAULT_OS_COMPUTE_API_VERSION = '2.latest'执行 Openstack Commands 都发生了什么？ (以 nova list 为例)
1. 执行 nova list指令
2. 该指令被 shell.py 捕获
3. shell.py 将所需要的 Header/Context 等信息和 nova list 的操作请求内容进行组合封装，形成一个标准的 HTTP 请求
4. HTTP 请求被 nova-api 监听捕获
5. nova-api 按照 WSGI 规范的流程来完成HTTP请求的分发、路由、执行、响应的操作。
EXAMPLE:(为了方便查看对下面的Output做了处理)
fanguiju@jmilkfan:~/devstack$ nova --debug list # --debug 选项：打印出一些中间的请求信息
×××××××××××××××××××××××××××××××××××××××××××××××# 1.GET http://200.21.18.2:5000/v2.0 验证 keystone v2.0 version 是否为稳定版本
DEBUG (session:198) REQ: curl -g -i -X GET http://200.21.18.2:5000/v2.0 -H "Accept: application/json" -H "User-Agent: python-keystoneclient"
INFO (connectionpool:207) Starting new HTTP connection (1): 200.21.18.2
DEBUG (connectionpool:387) "GET /v2.0 HTTP/1.1" 200 337
DEBUG (session:216) RESP: [200] Content-Length: 337 Vary: X-Auth-Token Keep-Alive: timeout=5, max=100 Server: Apache/2.4.7 (Ubuntu) Connection: Keep-Alive Date: Thu, 04 Aug 2016 03:31:34 GMT Content-Type: application/json x-openstack-request-id: req-39b02ac4-7cce-441b-bc25-140e75ab4e2e
RESP BODY: {
"version": {
"status": "stable", "updated": "2014-04-17T00:00:00Z", "media-types": [{
"base": "application/json", "type": "application/vnd.openstack.identity-v2.0+json"}], "id": "v2.0", "links": [{
"href": "http://200.21.18.2:5000/v2.0/", "rel": "self"}, {
"href": "http://docs.openstack.org/", "type": "text/html", "rel": "describedby"}]}}
××××××××××××××××××××××××××××××××××××××××××××××××# 1. End
××××××××××××××××××××××××××××××××××××××××××××××××# 2. POST /v2.0/tokens HTTP/1.1 添加一个 tokens
#注意：其实这个token是请求Keystone发放的，但是这里的Output并没有展现出来这一步，所以从经验上建议Output只作为参考
DEBUG (v2:86) Making authentication request to http://200.21.18.2:5000/v2.0/tokens
DEBUG (connectionpool:387) "POST /v2.0/tokens HTTP/1.1" 200 2844
DEBUG (session:198) REQ: curl -g -i -X GET http://200.21.18.2:8774/v2.1/6c4e4d58cb9d4451b36e774b348e8813 -H "User-Agent: python-novaclient" -H "Accept: application/json" -H "X-Auth-Token: {SHA1}ac4acef5a9f5a568af553beb59ff5d99f1928849"
INFO (connectionpool:207) Starting new HTTP connection (1): 200.21.18.2
DEBUG (connectionpool:387) "GET /v2.1/6c4e4d58cb9d4451b36e774b348e8813 HTTP/1.1" 404 52
DEBUG (session:216) RESP: [404] Date: Thu, 04 Aug 2016 03:31:34 GMT Connection: keep-alive Content-Type: text/plain; charset=UTF-8 Content-Length: 52 X-Compute-Request-Id: req-c1edb651-a398-4f02-a580-920bec9f1252
RESP BODY: 404 Not Found
The resource could not be found.
#没有路由到该资源(没有Mapper)
××××××××××××××××××××××××××××××××××××××××××××××××# 2. End
××××××××××××××××××××××××××××# 3. GET http://200.21.18.2:8774/v2.1/ 使用 tokens ;验证 Nova v2.1 version 是否为稳定版本
DEBUG (session:198) REQ: curl -g -i -X GET http://200.21.18.2:8774/v2.1/ -H "User-Agent: python-novaclient" -H "Accept: application/json" -H "X-Auth-Token: {SHA1}ac4acef5a9f5a568af553beb59ff5d99f1928849"
DEBUG (connectionpool:387) "GET /v2.1/ HTTP/1.1" 200 385
DEBUG (session:216) RESP: [200] Content-Length: 385 X-Compute-Request-Id: req-f4056355-11f5-4064-9ac9-5dfe1e722655 Vary: X-OpenStack-Nova-API-Version Connection: keep-alive X-Openstack-Nova-Api-Version: 2.1 Date: Thu, 04 Aug 2016 03:31:34 GMT Content-Type: application/json
RESP BODY: {
"version": {
"status": "CURRENT", "updated": "2013-07-23T11:33:21Z", "links": [{
"href": "http://200.21.18.2:8774/v2.1/", "rel": "self"}, {
"href": "http://docs.openstack.org/", "type": "text/html", "rel": "describedby"}], "min_version": "2.1", "version": "2.12", "media-types": [{
"base": "application/json", "type": "application/vnd.openstack.compute+json;version=2.1"}], "id": "v2.1"}}
××××××××××××××××××××××××××××××××××××××××××××××××# 3. End
×××××××××××××××××# 4. GET http://200.21.18.2:8774/v2.1/6c4e4d58cb9d4451b36e774b348e8813/servers/detail 获取虚拟机的列表详细信息
DEBUG (session:198) REQ: curl -g -i -X GET http://200.21.18.2:8774/v2.1/6c4e4d58cb9d4451b36e774b348e8813/servers/detail -H "User-Agent: python-novaclient" -H "Accept: application/json" -H "X-OpenStack-Nova-API-Version: 2.6" -H "X-Auth-Token: {SHA1}ac4acef5a9f5a568af553beb59ff5d99f1928849"
DEBUG (connectionpool:387) "GET /v2.1/6c4e4d58cb9d4451b36e774b348e8813/servers/detail HTTP/1.1" 200 1975
DEBUG (session:216) RESP: [200] Content-Length: 1975 X-Compute-Request-Id: req-1089b520-09b5-4c37-b57a-04123d30504f Vary: X-OpenStack-Nova-API-Version Connection: keep-alive X-Openstack-Nova-Api-Version: 2.6 Date: Thu, 04 Aug 2016 03:31:35 GMT Content-Type: application/json
RESP BODY: {
"servers": [{
"status": "ACTIVE", "OS-EXT-SRV-ATTR:ramdisk_id": "", "updated": "2016-08-02T07:45:56Z", "hostId": "7e4e4bc79676933ebc8359ea7e954050084589d5805a1e50e009de48", "OS-EXT-SRV-ATTR:host": "fanguiju", "addresses": {
"private": [{
"OS-EXT-IPS-MAC:mac_addr": "fa:16:3e:5f:bf:b2", "version": 4, "addr": "10.0.0.2", "OS-EXT-IPS:type": "fixed"}]}, "links": [{
"href": "http://200.21.18.2:8774/v2.1/6c4e4d58cb9d4451b36e774b348e8813/servers/42da5d12-a470-4193-8410-0209c04f333a", "rel": "self"}, {
"href": "http://200.21.18.2:8774/6c4e4d58cb9d4451b36e774b348e8813/servers/42da5d12-a470-4193-8410-0209c04f333a", "rel": "bookmark"}], "key_name": null, "image": {
"id": "f76a9eb1-e976-4d50-9185-e7b256d14c40", "links": [{
"href": "http://200.21.18.2:8774/6c4e4d58cb9d4451b36e774b348e8813/images/f76a9eb1-e976-4d50-9185-e7b256d14c40", "rel": "bookmark"}]}, "OS-EXT-SRV-ATTR:user_data": null, "OS-EXT-STS:task_state": null, "OS-EXT-STS:vm_state": "active", "OS-EXT-SRV-ATTR:instance_name": "instance-00000001", "OS-EXT-SRV-ATTR:root_device_name": "/dev/vda", "OS-SRV-USG:launched_at": "2016-08-02T07:26:16.000000", "OS-EXT-SRV-ATTR:hypervisor_hostname": "fanguiju", "flavor": {
"id": "84", "links": [{
"href": "http://200.21.18.2:8774/6c4e4d58cb9d4451b36e774b348e8813/flavors/84", "rel": "bookmark"}]}, "id": "42da5d12-a470-4193-8410-0209c04f333a", "security_groups": [{
"name": "default"}], "OS-SRV-USG:terminated_at": null, "OS-EXT-SRV-ATTR:kernel_id": "", "OS-EXT-AZ:availability_zone": "nova", "user_id": "135b2cb86962401c82044fd4ca9daae4", "name": "TestVMwareInterface", "OS-EXT-SRV-ATTR:launch_index": 0, "created": "2016-08-02T07:25:49Z", "tenant_id": "6c4e4d58cb9d4451b36e774b348e8813", "OS-DCF:diskConfig": "AUTO", "os-extended-volumes:volumes_attached": [], "accessIPv4": "", "accessIPv6": "", "OS-EXT-SRV-ATTR:reservation_id": "r-kud9zm9w", "OS-EXT-SRV-ATTR:hostname": "testvmwareinterface", "progress": 0, "OS-EXT-STS:power_state": 0, "config_drive": "True", "metadata": {}}]}
+--------------------------------------+---------------------+--------+------------+-------------+------------------+
| ID | Name | Status | Task State | Power State | Networks |
+--------------------------------------+---------------------+--------+------------+-------------+------------------+
| 42da5d12-a470-4193-8410-0209c04f333a | TestVMwareInterface | ACTIVE | - | NOSTATE | private=10.0.0.2 |
+--------------------------------------+---------------------+--------+------------+-------------+------------------+
*******************************************# 4. ENDNOTE 1： 在使用 Openstack Cammands 的时候一般会发送两次请求：
第一次请求(http://200.21.18.2:5000/v2.0/tokens)发送给 keystone 获取授权 token ，并填充到 X-Auth-Token 字段中。
基于第一次请求获取的 token ，发送了第二次请求(http://200.21.18.2:8774/v2.1/servers/detail)给 Nova service 获取虚拟机的列表。
NOTE 2: 如果这个请求是直接使用 Restful API 发出的，那么我们只需要处理最后一次就可以了。例如上述的第4次请求：GET http://200.21.18.2:8774/v2.1/6c4e4d58cb9d4451b36e774b348e8813/servers/detail
而且从上面的 Output 可以看出，我们甚至可以直接使用curl指令来发送HTTP请求。
下面是最后一次 Response 的 JSON 数据( Openstack service 的响应数据以 JSON 数据结构返回)，我们可以从中获取一些有用的信息作为 DEBUG 的依据。
{
"servers": [
{
"status": "ACTIVE",
"OS-EXT-SRV-ATTR:ramdisk_id": "",
"updated": "2016-08-02T07:45:56Z",
"hostId": "7e4e4bc79676933ebc8359ea7e954050084589d5805a1e50e009de48",
"OS-EXT-SRV-ATTR:host": "fanguiju",
"addresses": {
"private": [
{
"OS-EXT-IPS-MAC:mac_addr": "fa:16:3e:5f:bf:b2",
"version": 4,
"addr": "10.0.0.2",
"OS-EXT-IPS:type": "fixed"
}
]
},
"links": [
{
"href": "http://200.21.18.2:8774/v2.1/6c4e4d58cb9d4451b36e774b348e8813/servers/42da5d12-a470-4193-8410-0209c04f333a",
"rel": "self"
},
{
"href": "http://200.21.18.2:8774/6c4e4d58cb9d4451b36e774b348e8813/servers/42da5d12-a470-4193-8410-0209c04f333a",
"rel": "bookmark"
}
],
"key_name": null,
"image": {
"id": "f76a9eb1-e976-4d50-9185-e7b256d14c40", #Image ID
"links": [
{
"href": "http://200.21.18.2:8774/6c4e4d58cb9d4451b36e774b348e8813/images/f76a9eb1-e976-4d50-9185-e7b256d14c40",
"rel": "bookmark"
}
]
},
"OS-EXT-SRV-ATTR:user_data": null,
"OS-EXT-STS:task_state": null,
"OS-EXT-STS:vm_state": "active",
"OS-EXT-SRV-ATTR:instance_name": "instance-00000001",
"OS-EXT-SRV-ATTR:root_device_name": "/dev/vda",
"OS-SRV-USG:launched_at": "2016-08-02T07:26:16.000000",
"OS-EXT-SRV-ATTR:hypervisor_hostname": "fanguiju",
"flavor": {
"id": "84",
"links": [
{
"href": "http://200.21.18.2:8774/6c4e4d58cb9d4451b36e774b348e8813/flavors/84",
"rel": "bookmark"
}
]
},
"id": "42da5d12-a470-4193-8410-0209c04f333a", # GuestOS ID
"security_groups": [
{
"name": "default"
}
],
"OS-SRV-USG:terminated_at": null,
"OS-EXT-SRV-ATTR:kernel_id": "",
"OS-EXT-AZ:availability_zone": "nova",
"user_id": "135b2cb86962401c82044fd4ca9daae4",
"name": "TestVMwareInterface",
"OS-EXT-SRV-ATTR:launch_index": 0,
"created": "2016-08-02T07:25:49Z",
"tenant_id": "6c4e4d58cb9d4451b36e774b348e8813", #tenant_id 会在 novaclient 的 shell.sh 组装 HTTP URL 的时候被添加进去
"OS-DCF:diskConfig": "AUTO",
"os-extended-volumes:volumes_attached": [],
"accessIPv4": "",
"accessIPv6": "",
"OS-EXT-SRV-ATTR:reservation_id": "r-kud9zm9w",
"OS-EXT-SRV-ATTR:hostname": "testvmwareinterface",
"progress": 0,
"OS-EXT-STS:power_state": 0,
"config_drive": "True",
"metadata": {}
}
]
}
2. PasteDeploy 将 HTTP 请求路由到具体的 WSGI Application
首先，Openstack 在启动 nova-api service 时，会根据 Nova 配置文件 nova.conf 中的配置项 enabled_apis = ec2,osapi_compute,metadata 来创建一个或多个 WSGI Server 。每一个 WSGI Server 负责处理一种类型的 Nova API 请求，上述的选项值表示了三种类型的 Nova API 。而且在创建 WSGI Server 的同时会根据 Paste 的配置文件 nova/etc/nova/api-paste.ini 加载 WSGI Application 。在加载 WSGI Application 之后， WSGI Application 就处在等待和监听请求的状态。加载的动作由nova/nova/service.py实现。
# nova/nova/service.py
class WSGIService(service.Service):
"""Provides ability to launch API from a 'paste' configuration."""
def __init__(self, name, loader=None, use_ssl=False, max_url_len=None):
self.name = name
self.manager = self._get_manager()
self.loader = loader or wsgi.Loader()
#从配置文件加载 Nova API 对应的 WSGI Application，由 HTTP 请求的 URL 来决定
self.app = self.loader.load_app(name)
# inherit all compute_api worker counts from osapi_compute
if name.startswith('openstack_compute_api'):
wname = 'osapi_compute'
else:
wname = name
self.host = getattr(CONF, '%s_listen' % name, "0.0.0.0")
self.port = getattr(CONF, '%s_listen_port' % name, 0)
self.workers = (getattr(CONF, '%s_workers' % wname, None) or
processutils.get_worker_count())
if self.workers and self.workers < 1:
worker_name = '%s_workers' % name
msg = (_("%(worker_name)s value of %(workers)s is invalid, "
"must be greater than 0") %
{
'worker_name': worker_name,
'workers': str(self.workers)})
raise exception.InvalidInput(msg)
self.use_ssl = use_ssl
#使用指定的 HostIP 和 Port 创建用于监听HTTP请求的 Socket，这个Socket只会捕获与 host 和 port 对应的 HTTP 请求。
self.server = wsgi.Server(name,
self.app,
host=self.host,
port=self.port,
use_ssl=self.use_ssl,
max_url_len=max_url_len)
# Pull back actual port used
self.port = self.server.port
self.backdoor_port = None
api-paste.ini 配置文件定义了不同类型的 composite section。 EG. [composite:metadata] / [composite:ec2] / [composite:ec2cloud] / [composite:osapi_compute] / [composite:openstack_compute_api_v21] 等。当 Socket 监听到 HTTP 请求： GET http://200.21.18.2:8774/v2.1/6c4e4d58cb9d4451b36e774b348e8813/servers/detail时，composite section 是该请求进入到 nova-api 后第一个通过的 Section。下面是该请求通过 api-paste.ini 配置映射到一个 WSGI Application 的步骤：
- Step1. 因为这个请求是 OpenstackAPI 类型，所以会被 [composite:osapi_compute] 监听到，并使用
nova.api.openstack.urlmap模块下的urlmap_factory函数将请求分发到[composite:openstack_compute_api_v21]。
[composite:osapi_compute]
use = call:nova.api.openstack.urlmap:urlmap_factory
/: oscomputeversions
/v1.1: openstack_compute_api_v21_legacy_v2_compatible
/v2: openstack_compute_api_v21_legacy_v2_compatible
/v2.1: openstack_compute_api_v21
- Step2.
[composite:openstack_compute_api_v21]再使用nova.api.auth模块下的pipeline_factory_v21函数对请求进一步分发。
而且这里需要根据 nova.conf 配置文件中的认证策略选项auth_strategy来确定使用那一种认证方式 (keystone/noauth2)，在 nova/api/auth.py 文件定义了默认为认证方式为 keystone 。
[composite:openstack_compute_api_v21]
use = call:nova.api.auth:pipeline_factory_v21
noauth2 = compute_req_id faultwrap sizelimit noauth2 osapi_compute_app_v21
keystone = compute_req_id faultwrap sizelimit authtoken keystonecontext osapi_compute_app_v21- Step3. keystone/noauth2 这两个 Pipeline 的参数列表中除了最后一个参数之外的都是 filter section，最后一个参数对应了一个 app section( Application) 。
等这个 pipeline 里所有的 filter 都执行完了之后，最终再调用 applicationosapi_compute_app_v21。
[app:osapi_compute_app_v21]
paste.app_factory = nova.api.openstack.compute:APIRouterV21.factory所以说，将 HTTP 请求路由到哪一个 WSGI Application 是由配置文件 api-paste.ini 来决定的。
而且需要注意的是：Openstack Project 拥有着各自不同的 Paste 配置文件，即拥有各自不同的 WSGI Serever 和 WSGI Application 。
3. Routes 将 HTTP 请求路由到具体的操作函数并执行
在 Openstack 中，每个资源都被封装成为一个 nova.api.openstack.wsgi.Resource 对象，且对应着一个 WSGI Application ，这样就保证了资源的独立性。上面，我们已经确定了处理 HTTP 请求的 Application ，除此之外，我们还需要继续的去确定这个 HTTP 请求希望执行 Application 中具体的哪一个操作函数。这需要 Routes Module 的 Mapper 对象来支撑。
Routes Module：主要用于把接收到的 HTTP URL 请求的后缀 Path(EG. /servers/detail)映射到具体的操作函数。其实现原理是创建一个 mapper 对象，然后调用该对象的 connect() 方法把后缀 Path 和 HTTP 内建方法映射到一个 Controller 的某个 Action 上。Controller 是一个自定义的类实例对象，每一个OPenstack 资源都会对应一个 Controller，同时 Controller 也是资源操作函数的集合。Action 表示 Controller 对象提供的操作函数(EG. index/show/delect/update/create )。一般调用这些 Action 之前会把这个 Action 映射到 HTTP 的内置方法。EG. GET/POST/DELETE/PUT 。 HTTP 请求的 URL Path 和 HTTP 内置方法能够确定对 Openstack 中唯一的一个资源执行何种操作。
class Router(object):
"""WSGI middleware that maps incoming requests to WSGI apps."""
def __init__(self, mapper):
"""Create a router for the given routes.Mapper.
Each route in `mapper` must specify a 'controller', which is a
WSGI app to call. You'll probably want to specify an 'action' as
well and have your controller be an object that can route
the request to the action-specific method.
Examples:
mapper = routes.Mapper()
sc = ServerController()
# Explicit mapping of one route to a controller+action
mapper.connect(None, '/svrlist', controller=sc, action='list')
# Actions are all implicitly defined
mapper.resource('server', 'servers', controller=sc)
# Pointing to an arbitrary WSGI app. You can specify the
# {path_info:.*} parameter so the target app can be handed just that
# section of the URL.
mapper.connect(None, '/v1.0/{path_info:.*}', controller=BlogApp())
"""
self.map = mapper
# 使用 routers 模块将 mapper 和 _dispatch 关联起来
# routes.middleware.RoutesMiddleware
self._router = routes.middleware.RoutesMiddleware(self._dispatch,
self.map)
@webob.dec.wsgify(RequestClass=Request)
def __call__(self, req):
"""Route the incoming request to a controller based on self.map.
If no match, return a 404.
"""
# 根据 mapper 将HTTP请求路由到适当的 WSGI Application，即资源上。再根据 HTTP 请求的 URL 将其路由到对应的 Controller 中的 Action。
return self._router
@staticmethod
@webob.dec.wsgify(RequestClass=Request)
def _dispatch(req):
"""Dispatch the request to the appropriate controller.
Called by self._router after matching the incoming request to a route
and putting the information into req.environ. Either returns 404
or the routed WSGI app's response.
"""
# 根据 HTTP 请求的 environ 信息并根据上述设置的 environ 来找到 URL 对应的 Controller 。
match = req.environ['wsgiorg.routing_args'][1]
if not match:
return webob.exc.HTTPNotFound()
app = match['controller']
return app
通过 Route 模块，一个 HTTP 请求 的 URL 能够映射到对应的资源的 Action(对资源操作的方法) 。