算法中的特征的保存, es 和 mysql 和 odps hadoop hbase的区别

父文章

  hbase hive elasticsearch(elsearch) mysql mongodb 技术选型_个人渣记录仅为自己搜索用的博客-CSDN博客

   mongodb没有显式的schema但是如果把不同的schema的文档插入进去,会报错某个字段的类型不一致. es有显示的index (schema)

   es的index,即文档结构, 对比mysql的话就是 挂载子表的单行/多行 ( 单文档应该足够小 )

特征大小 es hbase / odps

特征不太大时,存成es的文档

"一个es的index(我称之为doc_schema)可以有多个文档,每个文档有一个id,  Elasticsearch 单个文档的大小上限一般是默认限制在 100MB。然而,建议单个文档的大小最好不要超过几兆字节,这将有助于提高搜索效率和响应速度。"

bad方案:  orm关系拆成不同的表,每行维度很多,度量值也有一些,如果要存到es中,需要给每一行分配一个自增id,作为es文档的主键. 然后每行的id又保存到mysql中. 这样就显得多次一举. 还不如设置一个mysql的ext, 这样处理即可. 如果单个文件太大建议把文档按orm关系拆成不同的表, 存到odps中.

你可能感兴趣的:(elasticsearch,mysql,odps)