VMware vSphere ESX 4 安装指南
1/24/2010
VMware vSphere ESX 4 安装指南
转载请务必注明原出处。本文在本人Live空间( http://delxu.spaces.live.com/blog/cns!D04F87F9ED029F69!2583.entry)和51cto技术博客( http://delxu.blog.51cto.com)首发。
【ESX4 安装前的考虑】
(1)关于硬件的考虑
首先，要确保你采购的硬件在VMware兼容性列表里面。这个网站是必须访问的： http://www.vmware.com/resources/compatibility
其次，内存容量。因为VMware可以榨干硬件的每一滴内存或者运算能力，所以，物理服务器往往向满配方向靠拢。但是，成本的因素有的时候会制约采购。比如当单条8GB的内存是单条4GB内存的4倍价格的时候，你可能会考虑采购2条4GB的内存来代替单条8GB的内存。这个时候，一个具有16个内存插槽的服务器会比一个只具有8个内存插槽的服务器更合适。
再次，CPU的运算能力和集群。构建一个12个CPU的VMware群集，6台双CPU的服务器比3台4-CPU的服务器效率更高（你只损失了2个CPU的运算能力用于HA特性，而不是4个CPU）。当然，如果是构建一个具有120个CPU的虚拟化数据中心，那么就另当别论了。
之后，CPU和内存的匹配。现在CPU的运算能力大大提高，如果CPU只用到20%，而内存使用已经到了80%，显然这不是一个好的方案。比较好结果是内存和CPU能都用到60%-70%，当应用持续增加时，可以考虑添加新的ESX主机。
再再次，本地硬盘。由于ESX集群的应用是必须要外部存储的，因此服务器本地存储通常也就只是安装ESX本身的操作系统，需要的空间不多，一般来说72GB的10Krpm的硬盘就足够了。（现阶段貌似最小的也是146GB了？）
关于存储网络的选择，请参考其他文档。拙文《 NFS还是iSCSI？关于VMware vSphere的存储连接的选择题》也做了部分分析和判断。
在现阶段（2009年底和2010年初）我的6主机应用中，计划使用双CPU XEON 5540，64GB内存，双146GB SAS硬盘的HP BL280c G6刀片服务器。
(2)关于ESX还是ESXi的选择
因为要选择安装HP SIM Agent用来进行硬件健康监控，必须采用带Service Console的ESX。如果没有第三方工具要装，是可以选择ESXi的，因为这个版本没有Service Console，理论上也更少OS的漏洞，需要打的补丁少，维护工作量小，而且还可以节约一部分CPU和内存资源。我选择ESX还考虑可以利用Service Console多一些命令行和Script的管理，以防Host出现问题时，缺乏必要的诊断工具。
【ESX4 安装前的准备】
时钟：推荐ESX使用NTP来校时。所以，请准备好局域网内可用的NTP服务器地址（或者如果该ESX能连通Internet的话，也可以用Internet上的NTP服务器地址，比如0.us.pool.ntp.org。不过一般而言，为安全考虑，ESX Host都是和外网不通的）。如果没有NTP服务，则要保证硬件时钟使用的是UTC时间（在BIOS中设置）
网络：必须至少有一块网卡，而且确保网线已经插好（link up）。当然，对于HP刀片服务器不存在这个问题。
为了避免安装之后因为网络问题无法连通Host，建议在安装之前分配好哪一个网口是对应管理VLAN，记录下这个网卡的MAC地址，并配置好上联交换机的端口和VLAN。如果安装时选错，见【ESX安装后配置】章节，来修复这个问题。
分区：ESX4 的service console本身也是一台虚机，运行一个简化的Linux操作系统，4.0版本是存在一个vmdk文件(esxconsole.vmdk)中，而且必须位于一个VMFS分区上，（这可以是一个本地硬盘分区，或者是一个可引导的SAN分区）。通过这个esxconsole (这里指用作管理ESX的那台虚机)不仅可以用命令行或者Script的方式进行ESX的管理，还可以在其中安装第三方的工具（比如HP SIM Agent来进行硬件健康监控）。因此其默认大小5GB偏小，必须在安装的时候手工配置。（也就是不要选自动）
有专家建议建立/opt和/var分区。我个人建议一个比较简单的做法是，对于一个146GB的HD，分50GB给root分区/，这同时保证了/home, /opt和/var不会空间不足。
此外，有一部分内存是分配给esxconsole这台虚机的，默认是300MB左右(根据物理内存大小略有不同)。Swap分区大小默认是内存的2倍。但是esxconsole因为会运行第三方工具，300MB内存偏小。建议调整为800MB（最大值），相应地Swap分区要调整到1600MB。这个分区调整必须在初次安装的时候就做好。
所以安装时候要调整的分区最终是这样的：
-------------------------------------
Mount Point Type Size
/ EXT3 50000MB (50GB)
(none) SWAP 1600MB (1.6GB)
/var/log EXT3 2000MB (2GB)
-------------------------------------
关于分区的更多考虑，请参考Sybex出版Scott Lowe著的《Mastering VMware vSphere 4.0》第23-26页。（这本书网上很多地方下载的到，是学习vSphere 4.0的最佳参考书。）
【ESX4 的安装步骤】
前面的准备工作都做充分了之后，实际安装其实是个很简单的过程。具体安装见拙文：《 VMware vSphere ESX 4 安装图解》
必须注意的是，其中的分区配置是默认的，请根据前一节叙述的建议值进行手工调整。（等我有空重装系统的时候更改之）
【ESX4 安装后配置】
(1) Service Console内存调整
先用vSphere Client连到ESX host（或者vCenter），然后点你要配置的那台ESX Host，并在右边点Configuration → Memory，然后点Properties
内存值可以是256-800之间的某个值，建议直接设成最大的800MB。因为既然是ESX主机，通常内存都不会小于8GB，800MB只是10%。更常见的情况是，管理员们在购买的时候就选择了32GB，64GB甚至128GB内存！（俺个人觉得2个4核至强5500系列CPU配64GB，或者4个4核至强配128GB内存比较合适）
(2) 网卡重新配置
假设你之前完全没有任何VWware ESX环境，一个全新的安装过程是这样：
* 安装ESX Host，安装过程中配置正确的TCP/IP（至少包括静态IP和网关）
* 在客户端上打开一个web浏览器，输入ESX的IP地址，然后下载vShpere Client，并安装在客户机上
* 打开vSphere Client，通过IP地址连接到ESX Host，然后进行安装后的初次配置
如果网卡在安装过程中选错了，那么很有可能安装完以后，用Web方式无法联通ESX HOST，也就无法进行后续的配置。这时候怎么办？
(注：图片截取自《Mastering VMware vSphere 4.0》第46页）
解决方法一：
拔插网线，一个一个网口尝试过来，并重复刷新网页，直到试通为止。
这个办法比较简单，但是对刀片服务器不适用。（刀片服务器的网卡是直接连通背板的，没有网线）
解决方法二：
如果你同时也是网管，你可以重新配置交换机，将ESX网卡对应的端口，都先暂时放进ESX的管理VLAN中。（也可以一个一个试）
解决方法三：
重新配置vmnic和vSwitch之间的连接关系。
1) 用root帐号物理登录到ESX的service console。（HP刀片服务器可以用iLO）
2) 用以下命令查看vmnic
esxcfg-nics -l
3) 用以下命令查看vSwitch
esxcfg-vswitch -l
4) 用以下命令解除vmnic和vSwitch之间的错误配置
esxcfg-vswitch -U vmnic# vSwitch#
其中#是你通过上面2和3命令查看到的
例如
esxcfg-vswitch -U vmnic0 vSwitch0
5) 用以下命令重新绑定vmnic和vSwitch
esxcfg-vswitch -L vmnic# vSwitch#
其中#是你通过上面2和3命令查看到的
例如
esxcfg-vswitch -L vmnic1 vSwitch0
6) 用web方式重试，如果不通，重复步骤4和5，直到试通。
【参考文档】
本文的主要参考的文档如下：
(1) Scott Lowe, 《Mastering VMware vSphere 4.0》
(2) NetApp, TR-3749 《NetApp and VMware vSphere Storage Best Practices》 (在now.netapp.com可以下载到，但是必须有一个now帐号)
(3) VMware Inc., 《ESX and vCenter Server Installation Guide》
【ESX4 安装前的考虑】
(1)关于硬件的考虑
首先，要确保你采购的硬件在VMware兼容性列表里面。这个网站是必须访问的： http://www.vmware.com/resources/compatibility
其次，内存容量。因为VMware可以榨干硬件的每一滴内存或者运算能力，所以，物理服务器往往向满配方向靠拢。但是，成本的因素有的时候会制约采购。比如当单条8GB的内存是单条4GB内存的4倍价格的时候，你可能会考虑采购2条4GB的内存来代替单条8GB的内存。这个时候，一个具有16个内存插槽的服务器会比一个只具有8个内存插槽的服务器更合适。
再次，CPU的运算能力和集群。构建一个12个CPU的VMware群集，6台双CPU的服务器比3台4-CPU的服务器效率更高（你只损失了2个CPU的运算能力用于HA特性，而不是4个CPU）。当然，如果是构建一个具有120个CPU的虚拟化数据中心，那么就另当别论了。
之后，CPU和内存的匹配。现在CPU的运算能力大大提高，如果CPU只用到20%，而内存使用已经到了80%，显然这不是一个好的方案。比较好结果是内存和CPU能都用到60%-70%，当应用持续增加时，可以考虑添加新的ESX主机。
再再次，本地硬盘。由于ESX集群的应用是必须要外部存储的，因此服务器本地存储通常也就只是安装ESX本身的操作系统，需要的空间不多，一般来说72GB的10Krpm的硬盘就足够了。（现阶段貌似最小的也是146GB了？）
关于存储网络的选择，请参考其他文档。拙文《 NFS还是iSCSI？关于VMware vSphere的存储连接的选择题》也做了部分分析和判断。
在现阶段（2009年底和2010年初）我的6主机应用中，计划使用双CPU XEON 5540，64GB内存，双146GB SAS硬盘的HP BL280c G6刀片服务器。
(2)关于ESX还是ESXi的选择
因为要选择安装HP SIM Agent用来进行硬件健康监控，必须采用带Service Console的ESX。如果没有第三方工具要装，是可以选择ESXi的，因为这个版本没有Service Console，理论上也更少OS的漏洞，需要打的补丁少，维护工作量小，而且还可以节约一部分CPU和内存资源。我选择ESX还考虑可以利用Service Console多一些命令行和Script的管理，以防Host出现问题时，缺乏必要的诊断工具。
【ESX4 安装前的准备】
时钟：推荐ESX使用NTP来校时。所以，请准备好局域网内可用的NTP服务器地址（或者如果该ESX能连通Internet的话，也可以用Internet上的NTP服务器地址，比如0.us.pool.ntp.org。不过一般而言，为安全考虑，ESX Host都是和外网不通的）。如果没有NTP服务，则要保证硬件时钟使用的是UTC时间（在BIOS中设置）
网络：必须至少有一块网卡，而且确保网线已经插好（link up）。当然，对于HP刀片服务器不存在这个问题。
为了避免安装之后因为网络问题无法连通Host，建议在安装之前分配好哪一个网口是对应管理VLAN，记录下这个网卡的MAC地址，并配置好上联交换机的端口和VLAN。如果安装时选错，见【ESX安装后配置】章节，来修复这个问题。
分区：ESX4 的service console本身也是一台虚机，运行一个简化的Linux操作系统，4.0版本是存在一个vmdk文件(esxconsole.vmdk)中，而且必须位于一个VMFS分区上，（这可以是一个本地硬盘分区，或者是一个可引导的SAN分区）。通过这个esxconsole (这里指用作管理ESX的那台虚机)不仅可以用命令行或者Script的方式进行ESX的管理，还可以在其中安装第三方的工具（比如HP SIM Agent来进行硬件健康监控）。因此其默认大小5GB偏小，必须在安装的时候手工配置。（也就是不要选自动）
有专家建议建立/opt和/var分区。我个人建议一个比较简单的做法是，对于一个146GB的HD，分50GB给root分区/，这同时保证了/home, /opt和/var不会空间不足。
此外，有一部分内存是分配给esxconsole这台虚机的，默认是300MB左右(根据物理内存大小略有不同)。Swap分区大小默认是内存的2倍。但是esxconsole因为会运行第三方工具，300MB内存偏小。建议调整为800MB（最大值），相应地Swap分区要调整到1600MB。这个分区调整必须在初次安装的时候就做好。
所以安装时候要调整的分区最终是这样的：
-------------------------------------
Mount Point Type Size
/ EXT3 50000MB (50GB)
(none) SWAP 1600MB (1.6GB)
/var/log EXT3 2000MB (2GB)
-------------------------------------
关于分区的更多考虑，请参考Sybex出版Scott Lowe著的《Mastering VMware vSphere 4.0》第23-26页。（这本书网上很多地方下载的到，是学习vSphere 4.0的最佳参考书。）
【ESX4 的安装步骤】
前面的准备工作都做充分了之后，实际安装其实是个很简单的过程。具体安装见拙文：《 VMware vSphere ESX 4 安装图解》
必须注意的是，其中的分区配置是默认的，请根据前一节叙述的建议值进行手工调整。（等我有空重装系统的时候更改之）
【ESX4 安装后配置】
(1) Service Console内存调整
先用vSphere Client连到ESX host（或者vCenter），然后点你要配置的那台ESX Host，并在右边点Configuration → Memory，然后点Properties
内存值可以是256-800之间的某个值，建议直接设成最大的800MB。因为既然是ESX主机，通常内存都不会小于8GB，800MB只是10%。更常见的情况是，管理员们在购买的时候就选择了32GB，64GB甚至128GB内存！（俺个人觉得2个4核至强5500系列CPU配64GB，或者4个4核至强配128GB内存比较合适）
(2) 网卡重新配置
假设你之前完全没有任何VWware ESX环境，一个全新的安装过程是这样：
* 安装ESX Host，安装过程中配置正确的TCP/IP（至少包括静态IP和网关）
* 在客户端上打开一个web浏览器，输入ESX的IP地址，然后下载vShpere Client，并安装在客户机上
* 打开vSphere Client，通过IP地址连接到ESX Host，然后进行安装后的初次配置
如果网卡在安装过程中选错了，那么很有可能安装完以后，用Web方式无法联通ESX HOST，也就无法进行后续的配置。这时候怎么办？
(注：图片截取自《Mastering VMware vSphere 4.0》第46页）
解决方法一：
拔插网线，一个一个网口尝试过来，并重复刷新网页，直到试通为止。
这个办法比较简单，但是对刀片服务器不适用。（刀片服务器的网卡是直接连通背板的，没有网线）
解决方法二：
如果你同时也是网管，你可以重新配置交换机，将ESX网卡对应的端口，都先暂时放进ESX的管理VLAN中。（也可以一个一个试）
解决方法三：
重新配置vmnic和vSwitch之间的连接关系。
1) 用root帐号物理登录到ESX的service console。（HP刀片服务器可以用iLO）
2) 用以下命令查看vmnic
esxcfg-nics -l
3) 用以下命令查看vSwitch
esxcfg-vswitch -l
4) 用以下命令解除vmnic和vSwitch之间的错误配置
esxcfg-vswitch -U vmnic# vSwitch#
其中#是你通过上面2和3命令查看到的
例如
esxcfg-vswitch -U vmnic0 vSwitch0
5) 用以下命令重新绑定vmnic和vSwitch
esxcfg-vswitch -L vmnic# vSwitch#
其中#是你通过上面2和3命令查看到的
例如
esxcfg-vswitch -L vmnic1 vSwitch0
6) 用web方式重试，如果不通，重复步骤4和5，直到试通。
【参考文档】
本文的主要参考的文档如下：
(1) Scott Lowe, 《Mastering VMware vSphere 4.0》
(2) NetApp, TR-3749 《NetApp and VMware vSphere Storage Best Practices》 (在now.netapp.com可以下载到，但是必须有一个now帐号)
(3) VMware Inc., 《ESX and vCenter Server Installation Guide》
1/22/2010
VMware vSphere vCenter 4.0 安装图解
Technorati Tags: vCenter, installation, 安装, 图解, Best Practice, delxu, VMware
转载请务必注明原出处http://delxu.spaces.live.com
【安装前的准备】
首先检查硬件是不是符合要求。
内存：至少2GB，如果和Update Manager装在同一服务器上，则需要4GB，如果和MS SQL Server 2005安装在同一台物理服务器上，则需要再增加1GB内存
数据库：5个Host和50个VM以下的情况下，可以用vCenter自带的MS SQL 2005 Express，否则请用专门的数据库服务器。
我准备了1台具有8GB内存的HP服务器，并在这台服务器上安装好了MS SQL Server 2005
【数据库准备】
1) 打开Microsoft SQL Server Management Studio
2) 直接点New Query按钮
3) 用下面这段script来创建一个数据库，起名为VCDB，并创建一个DB_owner权限的用户帐号vpxuser
这个script在安装目录下\vpx\dbschema\DB_and_schema_creation_scripts_MSSQL.txt
记得有一个地方要修改，就是vpxuser的密码，下面script里面是vpxuser0!，记得改成随便什么你喜欢的， 但是为了安全考虑，不要用这个默认密码。
vpxuser及其密码会在下面的安装中用到。
===========================
use [master]
go
CREATE DATABASE [VCDB] ON PRIMARY
(NAME = N'vcdb', FILENAME = N'C:\VCDB.mdf', SIZE = 2000KB, FILEGROWTH = 10% )
LOG ON
(NAME = N'vcdb_log', FILENAME = N'C:\VCDB.ldf', SIZE = 1000KB, FILEGROWTH = 10%)
COLLATE SQL_Latin1_General_CP1_CI_AS
go
use VCDB
go
sp_addlogin @loginame=[vpxuser], @passwd=N'vpxuser0!', @defdb='VCDB',
@deflanguage='us_english'
go
ALTER LOGIN [vpxuser] WITH CHECK_POLICY = OFF
go
CREATE USER [vpxuser] for LOGIN [vpxuser]
go
sp_addrolemember @rolename = 'db_owner', @membername = 'vpxuser'
go
use MSDB
go
CREATE USER [vpxuser] for LOGIN [vpxuser]
go
sp_addrolemember @rolename = 'db_owner', @membername = 'vpxuser'
go
===========================
点Execute运行这段query就能创建数据库和用户。
如图：
建完db后是这样的：
细心的同学应该已经发现，我这个截图里面还有一个VUDB的库，这个是为Update Manager准备的啦，创建的方法类似。
（注：你也可以在SQL Management Studio图形化界面中通过Wizard来创建VUDB）
注意: (1)vCenter的库不要用系统数据库master。(2)vCenter的库和Update Manager的库不要用同一个。
4) 创建DSN
到Control Panel → Administrative Tools → Date Source (ODBC) → System DSN，点Add按钮
然后选SQL Native Client。具体过程不详细描述了。
有一个地方要注意的，要勾选Change default database to，并选刚才给vCenter新建的那个库VCDB。
创建完了以后是这个样子的。（顺便把Update Manager的DSN也建了吧）
这样，数据库就准备好了。现在准备开始安装vCenter了。这个过程比较简单，就不具体描述了，上图。 （多图杀猫！）
【安装】
【安装前的准备】
首先检查硬件是不是符合要求。
内存：至少2GB，如果和Update Manager装在同一服务器上，则需要4GB，如果和MS SQL Server 2005安装在同一台物理服务器上，则需要再增加1GB内存
数据库：5个Host和50个VM以下的情况下，可以用vCenter自带的MS SQL 2005 Express，否则请用专门的数据库服务器。
我准备了1台具有8GB内存的HP服务器，并在这台服务器上安装好了MS SQL Server 2005
【数据库准备】
1) 打开Microsoft SQL Server Management Studio
2) 直接点New Query按钮
3) 用下面这段script来创建一个数据库，起名为VCDB，并创建一个DB_owner权限的用户帐号vpxuser
这个script在安装目录下\vpx\dbschema\DB_and_schema_creation_scripts_MSSQL.txt
记得有一个地方要修改，就是vpxuser的密码，下面script里面是vpxuser0!，记得改成随便什么你喜欢的， 但是为了安全考虑，不要用这个默认密码。
vpxuser及其密码会在下面的安装中用到。
===========================
use [master]
go
CREATE DATABASE [VCDB] ON PRIMARY
(NAME = N'vcdb', FILENAME = N'C:\VCDB.mdf', SIZE = 2000KB, FILEGROWTH = 10% )
LOG ON
(NAME = N'vcdb_log', FILENAME = N'C:\VCDB.ldf', SIZE = 1000KB, FILEGROWTH = 10%)
COLLATE SQL_Latin1_General_CP1_CI_AS
go
use VCDB
go
sp_addlogin @loginame=[vpxuser], @passwd=N'vpxuser0!', @defdb='VCDB',
@deflanguage='us_english'
go
ALTER LOGIN [vpxuser] WITH CHECK_POLICY = OFF
go
CREATE USER [vpxuser] for LOGIN [vpxuser]
go
sp_addrolemember @rolename = 'db_owner', @membername = 'vpxuser'
go
use MSDB
go
CREATE USER [vpxuser] for LOGIN [vpxuser]
go
sp_addrolemember @rolename = 'db_owner', @membername = 'vpxuser'
go
===========================
点Execute运行这段query就能创建数据库和用户。
如图：
建完db后是这样的：
细心的同学应该已经发现，我这个截图里面还有一个VUDB的库，这个是为Update Manager准备的啦，创建的方法类似。
（注：你也可以在SQL Management Studio图形化界面中通过Wizard来创建VUDB）
注意: (1)vCenter的库不要用系统数据库master。(2)vCenter的库和Update Manager的库不要用同一个。
4) 创建DSN
到Control Panel → Administrative Tools → Date Source (ODBC) → System DSN，点Add按钮
然后选SQL Native Client。具体过程不详细描述了。
有一个地方要注意的，要勾选Change default database to，并选刚才给vCenter新建的那个库VCDB。
创建完了以后是这个样子的。（顺便把Update Manager的DSN也建了吧）
这样，数据库就准备好了。现在准备开始安装vCenter了。这个过程比较简单，就不具体描述了，上图。 （多图杀猫！）
【安装】
建议用一个AD的服务帐号来运行vCenter Server服务，这个帐号应该是永不更改密码的服务帐号，在AD中存放在一个特定的OU中，实施特定的安全策略。这个帐号不需要是域管理员帐号，但是必须具有vCenter服务器的本地管理员权限。
如果你没将此帐号加入到本地管理员组里面，就会出现如下警告。
安装Update Manager的方法和安装vCenter Server的方法雷同。就不再赘述了。
1/20/2010
VMware vSphere ESX 4 安装图解
转载请务必注明原出处。本文在本人Live空间( http://delxu.spaces.live.com/blog/cns!D04F87F9ED029F69!2533.entry)和51cto技术博客( http://delxu.blog.51cto.com)首发。
关于安装前的准备工作和考量，请务必参考拙文：《 VMware vSphere ESX 4 安装指南》
http://delxu.spaces.live.com/blog/cns!D04F87F9ED029F69!2583.entry
安装本身其实是很简单的，图解说明之。没有注解的大多数图片，意思就是你跟图片里面的选项就行。 注意：多图杀猫！
首先，将安装光盘放入光驱，（记得在BIOS里面设光盘启动哦）。如果你和我一样，玩的是HP刀片服务器，那么可以通过iLO2方便地映射远程光驱或者直接挂载ISO文件。
关于安装前的准备工作和考量，请务必参考拙文：《 VMware vSphere ESX 4 安装指南》
http://delxu.spaces.live.com/blog/cns!D04F87F9ED029F69!2583.entry
安装本身其实是很简单的，图解说明之。没有注解的大多数图片，意思就是你跟图片里面的选项就行。 注意：多图杀猫！
首先，将安装光盘放入光驱，（记得在BIOS里面设光盘启动哦）。如果你和我一样，玩的是HP刀片服务器，那么可以通过iLO2方便地映射远程光驱或者直接挂载ISO文件。
这里要输入序列号。如果你有正版的，可以直接输入。如果没有，可以选择以后再输。
这里不要用DHCP，老老实实的准备一个。DNS也是重要的，如果你想搞HA和DRS的话，得有一个Windows AD环境支持。
可以选上海，或者重庆。嘿嘿，都一样。
时间配置，最好是设置一个NTP server。如果你局域网内有NTP Server的话，不要犹豫，填上地址。如果没有，但是这个Host能访问Internet，那可以填写一个可靠的Internet上的时间服务器。实在没有，就只能选下面的Manually了。
填写好NTP服务器，记得按 Synchronize来同步时间
好了，大功告成。
 |
 |
 fancy0042425 |
1人
|
了这篇文章 |
类别： delxu的文章┆阅读(
0)┆评论(
0) ┆ 返回博主首页┆ 返回博客首页
上一篇 VMware NIC Teaming技术探讨 下一篇 NFS还是iSCSI？关于VMware vSphere的存储连接..
文章评论
[1楼]
fancy0042425 回复
fancy0042425 回复
2012-08-31 13:28:00
写的真好，一看就知道是个高手啊！
发表评论
- 昵 称：
- 登录 快速注册
- 验证码：
-
点击图片可刷新验证码请点击后输入验证码博客过2级，无需填写验证码
- 内 容：
同时赞一个
每日博报 精彩不止一点
Copyright By 51CTO.COM 版权所有
