Mysql 插入值到longtext中报错或丢失数据

最近的一个项目中,使用Hibernate JPA 作为持久层,有个字段为longtext,注解为@Lob

 

Mysql的版本为5.0

 

插入数据时报错:

 

Caused by: java.sql.BatchUpdateException: Data too long for column 'N_CONTENT' at row 1

 

 

google了一下,有人说把my.ini 中的STRICT_TRANS_TABLES 去掉,可以解决问题

 

照做,错误不报了,但是有了新的问题,插入的数据会丢到一部分!

 

现在还是没有解决,只好先改回了，改回后，发现错误不报的情况下，数据也会丢失。

 

数据库驱动版本也换了，问题仍在，只好明天看看是不是特殊字符的问题。

 

今天验证了一下,果然是特殊字符的问题.\r与\n是罪魁祸首.

 

下面是自己用以前用的将文本中特殊字符转换成html的代码

 

public class CodeFilter   
	{   
	    public CodeFilter()   
	    {   
	    }   
	       
	    public static String change(String s)   
	    {   
	      s = toHtml(s);   
	      return s;   
	    }   
	  
	    //特殊字符转为Html   
	    public static String toHtml(String s){   
	        if(s == null){   
	            s = "";   
	            return s;   
	        }  
	        s = Replace(s,"&","&");   
	        s = Replace(s,"<","<");   
	        s = Replace(s,">",">");
	        s = Replace(s,"  "," ");  
	        
	        s = Replace(s,"\'","'");    //一个 ASCII 39 单引号 (') 字符  
	        s = Replace(s,"\\","\");   //一个 ASCII 92 反斜线 (\) 字符 
	        s = Replace(s,"\r","
");   //一个 ASCII 13 回车符
	        s = Replace(s,"\n","
");   //一个 ASCII 10 换行符
	        s = Replace(s,"\0","�");	   //一个 ASCII 0(NUL)字符    	
	        s = Replace(s,"\t","	");    //一个 ASCII 9 制表符(TAB)	
	        		
	        return s;   
	    }   
	       
	    //逆   
	    public static String unHtml(String s){     
	        s = Replace(s,"
","\n");   
	        s = Replace(s," "," ");   
	        return s;   
	    }   
	    
	  //Replace   
	   public static String Replace(String source,String oldString,String newString)   
	   {   
		   	if(source == null) return null;   
	        StringBuffer output = new StringBuffer();   
	        int lengOfsource = source.length();   
	        int lengOfold = oldString.length();   
	        int posStart = 0;   
	        int pos;   
	        while((pos = source.indexOf(oldString,posStart)) >= 0){   
	            output.append(source.substring(posStart,pos));   
	            output.append(newString);   
	            posStart = pos + lengOfold;   
	        }   
	        if(posStart < lengOfsource)
	        {   
	            output.append(source.substring(posStart));   
	        }   
	        if(!source.equals(output.toString()))
	        {
	        	System.out.println("[Replace]"+oldString+"[to]"+newString);
	        	
	        }
	        return output.toString();   
	   }  
	   
	}

 

 

 

 

 

[参考资料]

 

1.在MySQL 5.0.2之前，MySQL对非法或不当值并不严厉，而且为了数据输入还会强制将它们变为合法值。在MySQL 5.0.2和更高版本中，保留了以前的默认行为，但你可以为不良值选择更传统的处理方法，从而使得服务器能够拒绝并放弃出现不良值的语句

 

2.以前很少使用mysql，在导数据的时候也蛮顺利。最近由于公司网站的新系统使用mysql，要将原来的mssql的数据导入mysql，使用odbc竟然大出错。老提示Data too long for column 'xxx' at row 1。郁闷的不少时间，猛然想起来安装的时候启用了strict模式。可能造成数据的严格校检导致错误。修改my.ini后解决。

 

3.需要处理特殊字符

 

yourtext = replace(yourtext, "'", "''")
2. 转义字符"\"

yourtext = replace(yourtext, "", "\")
3. 空字符chr(0)，注意不是空格，这个问题找了2个小时才找到。

yourtext = replace(yourtext, chr(0), "")