自动化你的所有数据处理流程的10种方式
原文发布之间：2016-10-25 12:20:59
翻译：LKFREE
推特：
技术能够让人们自动化完成几乎所有的事情-无论是在制造业还是微博还是太空探索方面。我们创造了FME，实现让大家可以自动化完成自己的数据相关任务。这里有一些实际的FME Server应用场景来启发你,连同一些建议来让您实现自动化自己的数据工作流。
为什么我们需要数据自动化?请允许我先通过一张流程图来解释FME背后的动机。
好,现在就很清晰明了…FME和FME Server的目的是自动完成您所有的工作流，而不用你再去费心了。
“ FMEServer在我晚上睡觉时就能完成我所有的工作。”- - -Jerrod,德文能源公
数据自动化意味着下面几件事的实现:
? 可以在任何时间任何地点提供数据-例如压缩zip格式文件、网址、可视化报表、网络地图等其它格式与方式。
? 每当需要对工作流设置一个计划任务使其定时运行。
? 触发一个事件。触发器可以是系统、传感器或者人为的动作，例如在网站上删除目录中的文件或提交请求。
让我们来看看一些例子和建议
当需要的时候实时加载数据或是计划任务
在数据加载前验证数据
例子:瑞典环境保护署必须加载收集的字段数据同时确保它符合质量标准。首先,收集的人使用一个web表单上传文件数据。之后FME Server分析数据质量并通过邮件发送报告。
定时的复制数据
例子:圣何塞水务公司必须保持不同系统之间的数据同步。他们FME工作空间转换Oracle空间数据并加载到PostGIS中。FME Server定期的运行这些工作空间，实现数据同步。
“FMEServer在看管着,让我们可以关注其他的事情。“圣何塞水务公司
建议:对于复制系统,夜间的复制可以避免白天中断。
当系统更新时发送一个通知
例子:当圣何塞水务公司系统中的数据进行更新时,另一个部门必须接收到更新审查请求。当他们的数据库被修改时, FME Server触发一个工作流，使用Pivotal Tracker创建一个通知给其他部门。
建议:连接实时系统如果需要尽快启动下一个行动。“时间洞察力”是一个越来越重要的指标。
处理大数据
大数据量的网络查询
例子:伦敦消防队必须确定所有消防站之间整个道路网络的行程时间,并且必须反映不断变化的交通状况。这需要超过10000个路线查询,这意味着需要超过40小时的加班才能完成。FME Sever自动化的完成路线查询并将时间削减到了仅2小时(由计算机来完成,不需要人工干预)。
建议: 估计手动执行任务所需的总时间(时间x频率),确定自动化会有所帮助。
生成巨大的地图
例子: 爱尔兰陆地测量部必须为急救服务而定期生成国家紧急地图。FME工作空间重组、转换14000 +矢量数据和生成地图瓦片。数据非常庞大,在一个桌面端运行是远远不够的,所以他们利用FME Server的多个FME引擎进行并行处理。
“大量的数据需要进行处理，需要在FME Server上自动化运行工作空间。”——爱尔兰陆地测量部
建议:当处理大数据时,寻找方法来提高FME工作空间的性能。使用64位FME完全访问内存资源,跟进最佳方案、使用转换器的并行处理功能，综合考虑利用FME高效的点云转换器。使用专用FME Server机器,并考虑使用多个FME引擎并行处理。
生成更为巨大的地图
例子:Pelmorex必须每12小时生成880000 -瓦片的全球气象网络地图。在AWS S3中,每次需要80小时的处理时间（而必须每12小时生成）。解决方案:使用5个16核的FME Cloud，花费1小时开始完成数据的处理需求,完成之后关闭。
建议:云计算允许您根据需求来提供处理能力(例如,你可以在需要它们的时候才调度实例)。如果您的数据已经在云端,你需要在短时间内处理大量数据,FME Cloud比起本地的FME Server肯定会更便宜且更为效
实时显示数据
例如:某铁路公司必须生成一个具有实时位置和成千上万资产状态的网络地图。这意味着每天有超过300万条消息通过JMS。FME写信息到数据库,做一些GIS转换和使用WebSockets发送流服务给网络地图。添加多个FME引擎作为处理能力和容错是必要的。
建议:如果您需要每秒处理超过1条消息,这就是“快速数据”。快速的数据可能是天气,社会传媒,GPS,物联网,或任何其他以这样的速度发送的消息。为此,使用消息流(例如JMS,SQS)并保持运行多个FME引擎。
数据可用性
创建一个地图数据下载器
例子:蒙大拿的政府允许用户在地图上选择一个感兴趣的范围,并自动提供他们所需的格式和坐标系统。
建议:一个有地图焦点数据门户网站允许用户迅速缩小他们关注的感兴趣的地理区域。
创建一个元数据数据下载器
例子:纽约地区允许用户选择一个类别的兴趣元数据和一个图层,并自动提供他们所需的格式和坐标系统。
建议:有元数据的门户网站让用户可以迅速缩小关注他们感兴趣类型的数据范围。
供数据以外的分析
例子:戈尔韦郡议会让用户点击地图来表明他们想要的地址,同时利用FME分析数据(空间覆盖,KPI计算等)并提供报告。
建议:提供在线决策支持工具而不是原始数据可以帮助简化和刺激经济活动。
你受到启发了吗?数据自动化意味着事件触发,可以安排一个工作流来运行,或让数据能够满足需求。这是FME Server的精髓。让我们知道你在做什么样的自动化工作。我们很乐意听到您的声音!
你受到启发了吗?数据自动化意味着事件触发,可以安排一个工作流来运行,或让数据能够满足需求。这是FME Server的精髓。让我们知道你在做什么样的自动化工作。我们很乐意听到您的声音!