CEAMS集成工具：可视化、自动化解决EXCEL文件表头格式不一致问题
Hello，大家好，在这辞旧迎新的2020年初，小编又来更新啦。这次将给大家分享一款对于企业来说超级实用的数据集成工具。在实际工作中，经常需要将数据以图表的形式来展示数据的价值，并且进一步大数据分析；然而数据处理过程中，数据整理经常就花费了80%的时间，尤其经常会碰到excel文件数据表头格式不一致的问题，“某某部门又没有按格式反馈数据”、“每个分公司的报表，表头五花八门，整理起来太头疼”……是的，excel数据汇总，每每碰到数据表头格式不一致时，只想大声喊到：我太“南”了！！！ 数据格式统一实在是太重要了。
今天，小编给大家分享一款数据集成工具：CEAMS集成工具，生成通用的excel表头，快速实现数据格式标准化，节省日常数据处理人工消耗，数据变现最大化。假设，我们手头上有几份来自不同省份的食品监管数据excel文件，其中每份数据表头格式是不一致的，需要将它们转换成统一规范的格式。接下来，我们一起看看如何通过CEAMS集成工具实现数据格式标准化。以湖北省食品、甘肃省、江苏省抽检不合格数据为例。
- 现有excel文件数据表头：
①湖北省食品抽检不合格数据部分截图
②甘肃省食品抽检不合格数据部分截图
③江苏省食品抽检不合格数据部分截图
问题描述：仔细看看这些表格会发现，它们的表头都不大一致，其中一些关键信息的格式都差了很多，比如“不合格项目||检验结果||标准值”这列，湖北省、江苏省用的是
，而甘肃省用的是
，如果直接用原格式开展大数据分析工作，出来的结果可能会出现偏差，不够精细化。
- 经过CEAMS集成工具处理之后，标准化格式的数据表头：
使用格式标准化的数据，确保数据的一致性，有利于开展大数据与可视化数据集成和强大的预测分析，有助于企业实时决策。
一、CEAMS集成工具的整体工作流程
二、CEAMS集成工具简易的操作方法
1、从左边的工具箱中选择对应的组件，按照上图1所示顺序依次放置，并用连线将其连接好。
2、双击下图所示组件，创建其属性设置：对应的服务以及接口；点击保存。
3、双击下图所示组件，创建其属性设置：选择对应的服务以及接口；点击保存。
4、双击下图所示组件，在Transform Message处，将鼠标放在输入中的某个字段，然后鼠标长按，拖动到输出中匹配的字段，从而创建输入和输出字段之间的实际映射。匹配所有相同和相似的名称，如抽样编号匹配抽样编号、产品名称匹配名称。
5、点击右上角的“测试”按钮，根据提示，选择需要处理的excel源文件，点击保存，CEAMS集成工具在线完成测试。
6、下方的Console中提示“测试成功！”，即表示数据成功转换标准化格式，并且标准化格式数据也同步导入到数据库中了。
拿着这些转换好的标准数据，进一步开展大数据整合、建模、分析、管理工作，就方便多了，无需再为了数据整理劳心劳力，实现运营的数据报表自动化，实现大数据分析可视化。
三、关于CEAMS集成工具的三大重要组件
操作步骤说完了，现在我们来看看CEAMS集成工具中三个非常重要的组件。
1、组件1
由CEAMS平台负责，针对用户具体需求进行定制化开发。该组件的主要功能为将输入的源数据解析成JSON格式输出。以上述食品监管数据为例，具体输出的JSON格式内容如下（内容较多，仅展示一行数据转换的JSON内容）：
测试 湖北省数据 组件
输出:
{
"output":[
{
"sid":"GC19420000003335391",
"pname":"/",
"paddress":"/",
"cname":"武汉中商超市连锁有限公司黄石延安路店",
"caddress":"黄石市延安路122号",
"name":"韭菜",
"standard":"散装称重",
"trademark":"/",
"pdate":"/",
"reason":"腐霉利",
"test_results":"腐霉利",
"rlimit":"腐霉利",
"result":"不合格",
"type":"食用农产品",
"notification_no":"2019年第41期",
"time":"2019-10-31",
"province":"湖北",
"level":"总局国抽",
"notifying_unit":"湖北省食品质量安全监督检验研究院",
"remark":"抽样日期：2019-07-31"
}2、组件2
由用户自行操作，匹配数据字段；该组件的主要功能为将组件1解析出来的JSON格式内容转换成具有统一标准化格式的数据输出。以上述食品监管数据为例，具体输出的标准化数据内容如下（内容较多，仅展示一行数据转换的标准化格式内容）：
开始Transform数据
输出:
[
{
"sid":"GC19420000003335391",
"pname":"/",
"paddress":"/",
"cname":"武汉中商超市连锁有限公司黄石延安路店",
"caddress":"黄石市延安路122号",
"name":"韭菜",
"standard":"散装称重",
"trademark":"/",
"pdate":"/",
"reason":"腐霉利",
"test_results":"腐霉利",
"result":"不合格",
"rlimit":"腐霉利",
"type":"食用农产品",
"notifying_no":"2019年第41期",
"time":"2019-10-31",
"province":"湖北",
"level":"总局国抽",
"notifying_unit":"湖北省食品质量安全监督检验研究院",
"remark":"抽样日期：2019-07-31"
}
3、组件3
，与组件1相同，由CEAMS平台负责开发；主要功能提供数据标准化统一格式，同步将组件2输出的数据导入到数据库中。
四、总结
CEAMS集成工具，基于微服务的理念，将应用模块化封装，通过统一的API调用实现模块间交互；为企业提供云端一体化的集成开发环境，无需安装配置单独的开发环境工具，登陆浏览器即可随时随地在线处理数据集成工作；基于node.js开发，输入数据源，将其自动转换成标准简洁的JSON数据格式，对数据结构进行编排重组聚合集成；提供可视化、自动化的数据集成流程，帮助企业降本增效，最大化实现数据价值。
（完）
想了解更多关于CEAMS集成工具的信息，可以发送邮件至灵长科技邮箱：
邮箱 : [email protected] [email protected]
公司网址：
灵长科技www.apemesh.com
今天的分享就到这里了，感谢各位读者的阅读。如您对小编分享的文章感兴趣，您可以在文章下方点赞、分享或收藏；还可以通过搜索关注知乎专栏《微服务应用开发和API管理》，或者扫描下方二维码关注灵长科技官方公众号，点击关注，获取最新更新动态。
<未经同意，本文禁止转载或摘编>