mysql写数据库优化 Spark——Spark写MySQL太慢、很慢、非常慢的原因分析及优化方法

文章目录

问题背景

有这样一个业务场景：需要将通过Spark处理之后的数据写入MySQL，并在在网页端进行可视化输出。Spark处理之后有大概40万条数据，写入MySQL却要耗费将近30分钟，这也太慢了！

原因分析

后来翻看了Spark向JDBC数据源写数据的那部分源码，虽然源码中的实现使用的确实是 PreparedStatement 的addBatch()方法和executeBatch()方法，但是我们再去翻看executeBatch()方法的实现后发现，它并不是每次执行一批插入，而是循环的去执行每条insert插入语句，这就造成只插入一条数据，而不是一批数据，导致大多数的时间都耗费在了与数据库的交互连接上了。

下面是Spark DataFrame向JDBC数据库写数据的源码：

上图中executeBatch()方法的具体实现其实是在StatementImpl类（mysql-connector-java-x.x.xx.jar）的executeBatchInternal()方法中：

上图中我们可以看到，executeBatchInternal()还是对nbrCommands（要执行的SQL语句）进行的循环执行。

解决方法

从上面我们可以知道，executeBatch()方法仅仅是执行多条SQL语句，而不是将多条SQL语句合并成一条发送给数据库。

比如我们要执行1000条insert语句向MySQL插入数据：

INSERT INTO table1 (name, age) VALUES ("Spark", 10);INSERT INTO table1 (name, age) VALUES ("Flink", 5);...

我们想要的优化效果是多条insert语句合并为一条，因为这样能大大减少客户端与数据库之间的连接数，也就减少了连接产生的耗时，从而提高写入性能：

INSERT INTO table1 (name, age) VALUES ("Spark", 10), ("Flink", 5), ...;

那么，如何才能产生这样的优化效果呢？答案就是在jdbc url中添加配置rewriteBatchedStatements=true，它就会将原本需要单条执行的insert语句转成一批批插入。

url=jdbc:mysql://10.1.1.1:3306/db_name?rewriteBatchedStatements=true

参考