PostgreSQL去掉表中所有不可见字符

---

问题描述

数据库中的某些数据中包含了某些不可见字符。ASCII码中的0-31,127属于控制字符，不可见，详情见wiki–控制字符。

这些不可见字符往往是不需要的，我们要想办法删除它。

---

解决办法

写一函数，将所有字段中的不可见字符替换为空格。

---

测试流程

环境准备

建表，并插入带不可见字符的记录。注：下列数据中的不可见字符在粘贴过来的时候自动去掉了，请按ALT+数字键加入。

CREATE TABLE public.test_table
(

  xm character varying(50),
  pinyin character varying(200),
  sm character(15)
)
WITH (
  OIDS=FALSE
);
ALTER TABLE public.test_table
  OWNER TO postgres;


-- ----------------------------
-- Records of test_table
-- ----------------------------
INSERT INTO ry_syrk_copy VALUES ('周小星xx', 'xx测试','测试' );
INSERT INTO ry_syrk_copy VALUES ('李华', '测试xx','世xx界' );

注：因不可见字符无法在CSDN中无法打出，故用xx代替。实际上在其它地方可以用ALT+数字键打印出来。

去掉表中所有的不可见字符

-- 函数说明：将表test_table中所有的不可见字符替换掉
CREATE OR REPLACE FUNCTION delete_special_char() RETURNS int8 AS $$
DECLARE
    row RECORD;      
BEGIN

-- 查询表中所有类型为字符串的列
FOR row in select column_name from information_schema.columns where table_name = 'test_table' and data_type like 'character%' LOOP   
    FOR i IN 1..31 LOOP --替换所有的不可见字符为空格（除了chr(0)之外）
        EXECUTE  'update test_table set ' || row.column_name || ' = replace(' || row.column_name || ', chr(' || i || '), '' '' )';
    END LOOP;           
END LOOP;

RETURN 1;

END;

$$ LANGUAGE plpgsql;

执行函数

执行函数–select * from delete_special_char()，之后查看表数据，所有的不可见字符都被替换为空格。

---

补充–如何删除chr(0)

值得注意的是上述函数并不能删除chr(0)的不可见字符，见如下测试。

但oracle中上述语句却可以成功执行，见参考博文3。

---

参考

[1]. SQL Server 不可见字符处理
[2]. 字符串中的不可见字符应该如何清除？
[3]. Oracle中varchar2字段的不可见字符处理