终于搞定GAE的bulkloader 中文问题

阅读更多

在 GAE 的bulkupload tool 里，一直就有 中文的utf-8 的问题。且不同的版本，解决方案还不一样。很容易出错。 下面分享下我的解决方案。

 

版本： GoogleAppEngine_1.1.9  注意，是1.1.9 哦，千万别弄错了，其他版本解决方法藐视不一样

 

步骤

 

1） 将要导入的数据初始化到EXCEL 文件，并且保存为 .csv 格式。(注意，第一行数据会被忽略掉)

 

2） 用notepad 或者 editplus 将文件另存为 uft-8 格式

 

3）在安装GAE的路径里找到 bulkloader.py 文件，并用notepad 打开，找到 class Loader(object): 类的def CreateEntity 方法，定位到 

    for (name, converter), val in zip(self.__properties, values):
      if converter is bool and val.lower() in ('0', 'false', 'no'):
          val = False
      properties[name] = converter(val)

，我的版本是在 1931 行 

 

 把上面的代码修改为

    for (name, converter), val in zip(self.__properties, values):
      if converter is bool and val.lower() in ('0', 'false', 'no'):
          val = False
      properties[name] = converter(val)
      if isinstance(properties[name],str) and not isinstance(properties[name], unicode):  
  properties[name]=unicode(properties[name],'utf-8')

 

只是增加了一段代码。

 

4） 用 http://code.google.com/intl/zh-CN/appengine/docs/python/tools/uploadingdata.html 介绍的命令就可以完成上传了。 bulkuploader.py --config_file=album_loader.py --filename=album_data.csv --kind=Album --app_id= --url=

注意，有时候会提示找不到 文件什么的，请设置 pythonpath ，指定文件所在的目录。