让流动的数据结构化

结构化数据加上一个支持schema变更的存储,加上一个高效易用的支持SQL的数据处理和查询的引擎,简直无所不能和极度高效。

阿里云的数据流变换和机器学习的web化 都依赖于Odps结构化支持。

任何数据都是可以结构化的,极端情况是可以把数据映射成只有一个字段的表

为了实现这一点,譬如将HDFS的任意文件映射成只有一个字段的表,然后通过SQL解析转换成多个字段输出到一张新表,接着再在新表做查询统计或者输出到特定存储中

转化为结构化后  可以有效加快数据的流动  并且提高效率  使得各个环节更加抽象通用

现在准备集成机器学习工具库到StreamingPro中,实现简单配置即可完成数据转换,模型训练,数据预测

让你流动的数据结构化吧

你可能感兴趣的:(让流动的数据结构化)