利用Spark把数据写进mysql数据库时候遇到的问题

写入数据库的方式是:

df2.write.mode(SaveMode.Append).jdbc(url,"student",properties)

impossible to write to binary log since BINLOG_FORMAT = STATEMENT

这是因为,mysql默认的binlog_format是STATEMENT。

从 MySQL 5.1.12 开始,可以用以下三种模式来实现:基于SQL语句的复制(statement-based replication, SBR),基于行的复制(row-based replication, RBR),混合模式复制(mixed-based replication, MBR)。相应地,binlog的格式也有三种:STATEMENT,ROW,MIXED。

如果你采用默认隔离级别REPEATABLE-READ,那么建议binlog_format=ROW。如果你是READ-COMMITTED隔离级别,binlog_format=MIXED和binlog_format=ROW效果是一样的,binlog记录的格式都是ROW,对主从复制来说是很安全的参数。

方法一

mysql> STOP SLAVE;
Query OK, 0 rows affected (0.02 sec)

 mysql>  SET GLOBAL binlog_format=ROW;
Query OK, 0 rows affected (0.00 sec)

 mysql> START SLAVE;
Query OK, 0 rows affected (0.00 sec)

但是这样只是一次性的,重启后失效。


永久生效,需要修改my.ini

# binary logging format - ROW
binlog_format=ROW
修改后,记得右击我的电脑-》管理-》服务和应用程序-》mysql 把服务停掉再重启

你可能感兴趣的:(大数据,spark)