【解决】Mysql 使用group_concat函数 出现拼接的数据缺失

问题出现的背景：

        需要对hive 中的元数据进行concat 操作，在把concat后的数据导入的另一张数据表时发现后面的数据被截取了，如下图：

解决思路：

       1、查询hive 元数据找出所有的columns

#根据表名查询sd_id
select sd_id from TBLS where tbl_name='dwd_clue_detail_dt';



#根据sd_id 查询cd_id
select cd_id from SDS where sd_id=6429191;



#根据cd_id 查询出所有的列
SELECT COLUMN_NAME FROM COLUMNS_V2  WHERE CD_ID = 32446;

上面所有组合直接查询并concat，里面sd_id用了max是因为出现了两条记录取最大id那条

SELECT group_concat(COLUMN_NAME) FROM COLUMNS_V2  WHERE CD_ID = (select cd_id from SDS where sd_id=(select max(sd_id) from TBLS where tbl_name='dwd_clue_detail_dt')) GROUP BY CD_ID;

 2、发现查询出来的结果拼接的不全，查询group_concat_max_len 大小，发现只有1024

#查询group_concat_max_len 大小
SHOW VARIABLES LIKE "group_concat_max_len";

  2.1 在当前会话中修改大小，不过退出后就失效，试用于临时场景

SET SESSION group_concat_max_len=1024000;

  2.2 在配置文件里修改my.cnf，以后都有效

#找到group_concat_max_len 若填-1表示最大值，表示2^32 -1 = 4294967295
#若没有该项 直接添加即可 
group_concat_max_len = 1024000

发现问题就解决好了！！！