自制工具：CSV代码生成器：自动生成CSV文件对应的C++实体类和字段类型解析代码
本文乃Siliphen原创，转载请注明出处：http://blog.csdn.net/stevenkylelee
更有开发效率地使用CSV文件
为了更有效率地使用CSV文件，我制作了一个工具：Code代码生成器。
这个工具可以对CSV文件进行简单地配置，自动生成这个CSV文件对应的C++数据结构和字段类型解析函数代码。
工程项目只要加入这些自动生成的代码，就可以更方便地使用来自CSV配置文件的数据。
用工具自动生代码，可以省去了手工编写、手工维护那些大量的、无聊繁琐的类型定义、数据转换的代码的过程，
还可以防止手工编程可能的错误。
工具截图如下：
CSV代码生成器的下载地址
http://download.csdn.net/detail/stevenkylelee/8546461
程序的CSV文件夹下有一些CSV文件，可供参考。
回顾一下之前写的CSV类
上次发的CSV解析类：《CSV文件格式解析器的实现：从字符串Split到FSM》
http://blog.csdn.net/stevenkylelee/article/details/38440663
资源下载页面评论的反响还不错。
无意中在网上也看到一些人基于我写的CSV类进行扩展、修改、发表博文的，
比如：《Cocos数据篇[3.4](5) ——CSV文件解析》
http://shahdza.blog.51cto.com/2410787/1614802
这哥们貌似对我的类进一步做了封装，支持更灵活、更细粒的数据访问。
自从写了那个CSV解析类后，我就在后来的几个cocos2d-x的项目中一直用它。
为了使用简单方便，我都是在程序运行初时，把所有的csv表读入内存保留，
用的时候查表获取数据，而不是需要时再读取磁盘。
这样做的好处不仅是使用简单，而且也加快了访问速度，
实时读取磁盘的速度太慢，如果csv表加密了的话，还要经过一层解密，
这些都可能会造成延迟卡顿。
若表太大不适合常驻内存，那么可能已经不适合用csv存储了，
应该考虑用Sqlite等数据库。
我的CSV类设计的接口很简单。
主要就是一个Parse解析函数，可以从内存中解析CSV数据。
一个GetGrid函数，返回解析的结果。
解析结果是一个vector< vecotr< string > > 类型的数据结构，
用来模拟二维数组，表示原始的CSV网格数据。
CSV类遵循SRP（单一职责原则），它的用处就是对CSV数据流进行解析。
在实际项目中使用自己的CSV类的总结
最早使用CSV类，我是写了一个函数，
把 vector< vecotr< string > > 原始CSV表数据转换成
unordered_map< string , unordered_map< string , string > > 来用。
这样的数据结构表示了它是一种用Key来访问内容的结构。
最外层的map的key是一个记录的key，
内层的map的key是这条记录的字段名。
图示如下：
对于以上的表，要访问Id为12的记录的TaskName字段的值可以这样做：
unordered_map< string , unordered_map< string , string > > Table ;
.... // 调用函数，把vector< vector< stirng > > 原始CSV表数据转换成Table的类型。
Table[ "12" ][ "TaskName" ] ; // 访问数据
约定某一列为记录的Key，某一行为字段的Key进行数据转换。
数据转换的好处是，让代码更清晰，适应性更强。
要获取具体的值，不依赖于这个值所在的CSV表中的单元格位置。
只要索引的Key不变，单元格的位置改变是不影响的，
还是可以通过Key索引到内容。
在游戏项目中，经常会通过工厂函数创建出实体。
这些实体会根据配置的数据进行初始化。
我传给工厂Create函数的就是这个实体在CSV表中某条记录的Key，
表示用这条记录来创建实体。
因为之前的2级映射的数据结构是无类型的，所有的字段值都是string类型，
所以，在工厂函数中，就有了大量的数据类型转换函数，
atoi , atof , Split等把数据转换后再填到实体上。
结果，实体工厂函数塞满了大量的类型转换，把string转换成各种不同的类型。
有一天我突然觉得，某些CSV表字段太多，工厂函数实在太长，
每次创建一个实体，都要进行大量的数据类型转换，会影响性能。
转换应该只进行一次。
考虑了一段时间，我觉得应该为每个CSV表手工定义一个数据结构，预先转换好字段的值。
对于像这样的表：
应该有一个对应的数据结构：
例如 一个对应的头文件应该如下
#include
using namespace std ;
// 道具信息数据结构
class PropInfo
{
public:
// 字段的ID
string Id ;
// 字段的备注
string Remark ;
// 使用说明
int UseTip ;
// 价格
int Price ;
} ;
// 道具信息表。道具信息数据结构的集合
unordered_map< string , Prop > TableProp ;
这个想法冒出后，在新的小项目中，
我就为每个CSV表手工建立了对应的XXX.h头文件，
头文件中，包含了这个表表示的实体class的定义，
并且配套了一个解析转换函数，
把从CSV原始数据中读入的string值转换成各种不同的实体字段的类型，然后对应赋值。
在程序运行初时，就把表类型都转换成对应的专属class数据结构，
原先的Create工厂函数，就消除了对字段做类型转换的职责。
这样干了一段时间后，发现用于配置的CSV表不断增多，
并且时常会在原有的表上进行增加，删除字段。
一直手工增加，维护那些对应的class类，写类定义，写类字段的解析转换代码，
让我感觉有点不太科学。
这些大量、无聊，重复、无技术含量的工作占用了我的精力和时间，
我的精力应该集中在更加高层的设计和算法的实现上。
观察自己写的那些代码，突然想到：这些代码是否可以用工具来自动生成和维护？
身为深圳华强北第一程序猿！
拒绝做码工！
拒绝写那些有规律的重复无聊的代码！
几年前在的一家公司就有尝试用过《动软.Net代码生成器》来做项目。
我不妨自己设计一个CSV代码生成器来替我做那些劳动。
CSV代码生成器对CSV表数据的规定
有了做这个工具的想法后，腾出了一些时间，用了几天设计和实现。
并且对表的结构做了一些定义，以便于能让工具正确作用在其上。
表数据有2种风格排列：字段横着排。字段竖着排。
字段横着排如下图：
第2行是字段的注释。
第3行是字段名。
从第4开始往后，是记录。记录是竖着堆叠的。
字段竖着排如下图：
第1列从第2行开始是字段的注释。
第2列从第2行开始是字段名。
从第3列第2行开始，是记录。记录横着向右排列。
这2种风格的表排列都是等价的，只是在Excel中看起来不同。
表的第一行用作保留。可以表示表本身的一些数据。
第一行第一列，目前有2种可能的取值：
FieldOrientation=Landscape
FieldOrientation=Portrait
前者表示CSV表的字段是横向排列的，也就是第一种风格。
后者表示CSV表的字段是纵向排列的，第二种风格。
我写了一个类，输入CSV的原始数据，可以转换成逻辑上的用关键字索引的
unordered_map< string , unordered_map< string , string > > 结构，
内部通过CSV表第一行第一列单元格的内容进行判断。
代码如下：
头文件：
#pragma once
#include
#include
#include
using namespace std ;
typedef unordered_map< string , unordered_map< string , string > > TableWithKey ;
/*
CSV原始网格型数据转换器。
*/
class CsvRawGridDataConvert
{
public:
CsvRawGridDataConvert( );
~CsvRawGridDataConvert( );
public :
//转换成带关键字索引的表
static void ToTableWithKey( const vector< vector< string > >& GridData ,
unordered_map< string , unordered_map< string , string > >& Ret ) ;
private :
/*
处理横向风格的表格
KeyColumnIndex 指定主键列
ColumnHeaderIndex 指定列头的行索引
DataStartIndex 数据列开始的索引
*/
static void ProcessLandscape(
const vector< vector< string > >& GridData ,
unordered_map< string , unordered_map< string , string > >& Ret ,
int KeyColIdx = 0 ,
int HeaderRowIdx = 0 ,
int RecordStartRowIdx = 1
) ;
/*
处理纵向风格的表格
*/
static void ProcessPortrait(
const vector< vector< string > >& GridData ,
unordered_map< string , unordered_map< string , string > >& Ret ,
int KeyRowIdx = 0 ,
int HeaderColIdx = 0 ,
int RecordRowIndex = 1
) ;
};
实现文件：
#include "CsvRawGridDataConvert.h"
CsvRawGridDataConvert::CsvRawGridDataConvert( )
{
}
CsvRawGridDataConvert::~CsvRawGridDataConvert( )
{
}
void CsvRawGridDataConvert::ToTableWithKey( const vector< vector< string > >& GridData , unordered_map< string , unordered_map< string , string > >& Ret )
{
// 通过 0,0 单元格判断表类型
auto str = GridData[ 0 ][ 0 ] ;
if ( str == "FieldOrientation=Landscape" )
{
ProcessLandscape( GridData , Ret , 0 , 2 , 3 ) ;
}
else if ( str == "FieldOrientation=Portrait" )
{
ProcessPortrait( GridData , Ret , 1 , 1 , 1 ) ;
}
}
void CsvRawGridDataConvert::ProcessLandscape( const vector< vector< string > >& GridData ,
unordered_map< string , unordered_map< string , string > >& Ret ,
int KeyColIdx ,
int HeaderRowIdx ,
int RecordStartRowIdx )
{
Ret.clear( ) ;
// 获取列名
const auto& ColHeader = GridData[ HeaderRowIdx ] ;
for ( size_t row = RecordStartRowIdx ; row < GridData.size( ) ; ++row )
{
const string& Key = GridData[ row ][ KeyColIdx ] ;
auto& Row = Ret[ Key ] ;
for ( size_t col = 0 ; col < GridData[ row ].size( ) ; ++col )
{
const string& ColName = ColHeader[ col ] ;
Row[ ColName ] = GridData[ row ][ col ] ;
}
// end for
}
// end for
}
void CsvRawGridDataConvert::ProcessPortrait( const vector< vector< string > >& GridData ,
unordered_map< string , unordered_map< string , string > >& Ret ,
int KeyRowIdx ,
int HeaderColIdx ,
int RecordRowIndex )
{
Ret.clear( ) ;
for ( size_t row = RecordRowIndex ; row < GridData.size( ) ; ++row )
{
const auto& KeyRecord = GridData[ KeyRowIdx ][ RecordRowIndex ] ;
const string& Key = GridData[ row ][ HeaderColIdx ] ;
for ( size_t col = 0 ; col < GridData[ row ].size( ) ; ++col )
{
Ret[ KeyRecord ][ Key ] = GridData[ row ][ col ] ;
}
}
}
CSV代码生成器的使用
首先点击菜单“CSV文件 -> 打开CSV文件” 打开一个按照上述规定的CSV表。
可以打开多个不同的CSV表，这些CSV表以Tab页的形式排列。
然后可以设置每个表的每个字段的代码生成配置。
如下图：
上图中，可以设置字段的注释，字段的类型，字段的解析函数 等。
然后点“输出 -> 输出代码”
可以把这个CSV文件表示的C++类代码给生成出来。
生成的C++代码如下：
/*
本代码由“CSV代码生成器”生成。
该软件作者：Siliphen（李锋）
CSDN Blog：http://blog.csdn.net/stevenkylelee
*/
#pragma once
#include "SiliphenCodeGenHeader.h"
class Sprite
{
public:
/*
字段ID
*/
string Id ;
/*
文件名
*/
string FileName ;
/*
位置
*/
Point Position ;
/*
透明度
*/
float Opacity ;
/*
缩放
*/
float Scale ;
/*
本地Z序
*/
int LocalZOrder ;
/*
全局Z序
*/
int GlobalZOrder ;
/*
锚点
*/
Point AnchorPoint ;
};
// CSV数据表转换器
class CsvTableConvertSprite
{
public:
// CSV数据表转换成实体数据表
static void Convert( const unordered_map< string , unordered_map< string , string > >& csvTable , unordered_map< string , Sprite >& Table )
{
const string* pStr = 0 ;
for ( auto it = csvTable.begin( ) , end = csvTable.end( ) ; it != end ; ++it )
{
const auto& Ci = it->second ;
Sprite item ;
pStr = &Ci.find( "Id" )->second ;
Parser::ParseString( *pStr , item.Id ) ;
pStr = &Ci.find( "FileName" )->second ;
Parser::ParseString( *pStr , item.FileName ) ;
pStr = &Ci.find( "Position" )->second ;
Parser::ParsePoint( *pStr , item.Position ) ;
pStr = &Ci.find( "Opacity" )->second ;
Parser::ParseFloat( *pStr , item.Opacity ) ;
pStr = &Ci.find( "Scale" )->second ;
Parser::ParseFloat( *pStr , item.Scale ) ;
pStr = &Ci.find( "LocalZOrder" )->second ;
Parser::ParseInt( *pStr , item.LocalZOrder ) ;
pStr = &Ci.find( "GlobalZOrder" )->second ;
Parser::ParseInt( *pStr , item.GlobalZOrder ) ;
pStr = &Ci.find( "AnchorPoint" )->second ;
Parser::ParsePoint( *pStr , item.AnchorPoint ) ;
Table[ item.Id ] = item ;
} // end for
}
};
以上生成的代码实际上和cocos2d-x的Sprite类名冲突了。
可以设置生成的实体类名，比如，加一个前缀：CiSprite，CfgSprite什么的。
Ci：ConfigItem 配置项。Cfg：Config。
应该为这些自动生成的类加一个统一的前缀或者后缀，防止名字冲突。
我个人比较喜欢前缀的做法，这会让有相同前缀的东西以列表形式在一起显示时排列很整齐。
工具只生成头文件，字段类型解析转换的实现代码也放到头文件中。
Remark字段没生成出来，因为设置中，没有勾选“是否生成代码”。
每个字段从string的解析函数也生成了。
但解析的过程，是调用一些Parser::ParseXXX方法。
每个头文件都会有一句：#include "SiliphenCodeGenHeader.h"。
每次“输出代码”都会复制程序的“Prefabs”文件夹下的所有文件到目标目录中。
这个 SiliphenCodeGenHeader.h 头文件就是从 Prefabs文件夹下复制的。
如果用户想修改SiliphenCodeGenHeader.h 里面的内容，可以到程序的Prefabs文件夹下修改原始模板。
SiliphenCodeGenHeader.h头文件中，会包含#include "Parser.h"，
这个 Parser.h 有一些默认的Parser::ParseXXX 方法的实现。我自己编写的默认实现 ^_^
如果用户设置的字段是一种工具不知道的类型，那怎么自动生成代码呢？
比如有一个是UserCustom类型的字段。
在“类型”一栏中输入用户自定义的类型名。
在”解析函数“一栏中输入自己实现的解析函数名。
如下图：
解析函数名的签名应该是：void ( const string& str , 用户自定义类型& Ret )
在工具的Prefabs文件夹下编写MyParser类，
实现 staitcvoid ParseUserCustom(const string& str,UserCustom& Ret ) 函数。
然后在 SiliphenCodeGenHeader.h 中加上一句 #include "MyParser.h" 包含自己写的类的头文件就可以了。
工具会自动在Convert函数中生成调用 MyParser::ParseUserCustom 的语句。
其实，我的工具类似QT的代码生成系统。
输出代码的话，会把所有打开的CSV文件的一并输出代码到目标目录下，如下图：
用户配置完每个CSV文件的每个字段后，希望保存这些配置以便于下次使用。
有时候，一个CSV表增加了一些字段，会想用工具再生成一次代码，
而之前的配置过的字段不想再重新配置。
用户只需要点“配置->保存配置”，保存下当前的配置即可。
工具会记下，当前打开了多少个CSV文件，这些CSV文件的字段是如何配置的。
当一些CSV表结构改变时，从CSV中删除的字段不会在工具中显示，
从CSV表中增加的字段会显示出来，使用默认的配置。
使用工具生成的代码的流程
Setp 1 :
先用指定平台的文件读取函数，把整个CSV文件从磁盘读到内存。
比如C语言的fopen，Win32的CreateFile , QT，cocos2d-x 引擎的文件读取函数。
Setp2 :
使用我的CSV类的Parse方法解析内存的CSV数据流。
也许CSV文件需要加密，用户自己处理解密再把明文数据传给CSV类解析。
这一步会得到CSV原始网格数据，数据结构是：vector< vector< string > >
Setp3 :
把 Setp 2 的结果转换为使用关键字Key来索引数值的结构：
unordered_map< string , unordered_map< string , string > >
使用这种数据结构的代码更易读、易维护。
这一步会把各种不同数据组织的表转换成统一的格式，屏蔽差异方便下一步处理。
上面我提供了一份自己的实现。
Setp4.
把 Setp 3 的结果，传给工具自动生成的解析函数。
这一步会输出另一种指定结构的表，记录的字段有专有的数据类型。
到了这一步，表数据才是程序最终能直接使用的数据类型。
工具其实只是做第4步的自动化工作。
注意，工具要求CSV表具备指定的格式，
也就是上面说的纵向和横向排列的格式。
编写、使用这个工具的意义
在新的小项目中，我用自己的工具，生成了总共1000多行无趣的C++代码。
以后CSV表改变，也是用工具来重新生成一遍代码，不人工修改。
也就是说，表结构的维护也交给工具了。
手工去编写那些代码虽然不难，也可能并不费时。
但会耗掉人的精力和时间。
想象一下，如果某个表增加了一个字段，那么，我们要去修改2个地方：
1.去那个表对应的class中增加一个字段。
2.去那个表对应的转换函数中增加对这个字段的转换代码的调用。
项目的文件稍微多点后，要找到表对应的class文件也需要一点精力。
干嘛要把精力放在这种事上呢，能省一点就算一点。
CSV表的字段注释修改了，那么也要去代码中手工修改那个字段的注释。
用工具只是点点鼠标的事，更加方便维护。
用工具其实更切合数据驱动的编程思想。
类可以通过CSV表的定义自动生成出来，
也就是说，CSV表的设置驱动了类代码的生成。
这刚好就是数据驱动的思想。
总结
自己动手丰衣足食。
写完这个工具蛮高兴的，可以给自己的工作带来些许方便。
使用工具也是一种流程化的建立，流程化是能提高生产力的。
也许这个工具现在还不完善，在以后的实践使用中，再慢慢完善它吧。