加速mysql批量数据插入（mysql 批量添加数据）
sinye56 2024-10-04 23:42 2 浏览 0 评论
问题描述：
由于测试需要，需要将生产库的一些数据导入到测试库进行开发测试。一些表的数据量有些多，达到6W+条，从生产库导出的文件达到10.6M，内容是每行一条插入语句（INSERT INTO TableName VALUES(…);）。
将这个导出的.sql文件通过工具载入到测试库后，点击了“运行”，只见信息栏一条条SQL语句“疯狂”的执行着，心想，应该很快应该执行完了吧，但是等了好一会儿，见到信息栏还在一条条努力的输出着插入的消息。
仔细看了下控制台，发现平均每条语句执行0.03s以上，多的甚至达到了0.09s，算了一下，如果按每条0.03s的速度执行，插入完这批数据一共需要花费0.03s/条*66176条=1985.28s，也就是大概33.088分钟！
这个时候，SQL已经执行了993.598s，也就是16多分钟，还要再执行16多分钟，才能将66176条数据插入完毕，这显然是不能忍的！
查询时间
分析解决尝试中。。。
为什么会这么慢呢？后来分析了一下，每个insert语句，大体都要经过发送数据到服务器端、解析SQL、预处理、优化SQL执行计划等步骤，有没有哪个步骤是可以优化或减少的呢？
顺着这个思路，后来把SQL语句改造了一下：
SQL改造
只保留一个INSERT INTO tableName，剩下的改为逗号相隔。这样做的好处，一是减少文件大小（改造前.sql文件10.6M，改造后，文件大小为8.09M），减少发送到服务器的时间；二是减少SQL语句多余的解析操作，改造后，只需要解析一次就可以进行数据插入操作。
后来通过工具的“状态”栏也可以证明这一点：
改造前后对比
状态
在寻求解决方案过程中，曾想到多线程，想找到一种像oracle中的并行操作技术parallel
insert /*+parallel(t 16)*/ into tableName(...)
但是没有找到，但无意中发现了一种更快的方法：加上事务！
START TRANSACTION;
INSERT INTO TABLE_NAME VALUES(...), (...), (...), ...;
COMMIT;
原因是：在进行insert操作时，mysql内部会建立一个事务，在事务内进行真正的处理。主动加上事务语句，可以减少创建事务的操作，减少执行时间。
通过这种方法，我做了下尝试，结果如下：
执行结果
相比于一条条插入语句，效率提高了100多倍！
总结：
通过改造SQL语句可以减少网络传输IO，减少解析时间，提高批量插入速度。通过主动创建事务，进一步减少执行时间。
这里需要注意的是，发送到服务器端的数据大小是有默认限制的，有的是1M，有的是4M，可以通过改动max_allowed_packet配置跳过该限制：
方法一（具有linux权限）：改动服务器的mysql配置文件my.cnf，增加： max_allowed_packet=20M, 然后重启mysql服务
方法二（具有mysql修改配置权限）：执行SQL语句，set global max_allowed_packet=20*1024*1024
相关推荐
- Linux基础知识之修改root用户密码
-
现象：Linux修改密码出现：Authenticationtokenmanipulationerror。故障解决办法：进入单用户，执行pwconv，再执行passwdroot。...
- Linux如何修改远程访问端口
-
对于Linux服务器而言，其默认的远程访问端口为22。但是，出于安全方面的考虑，一般都会修改该端口。下面我来简答介绍一下如何修改Linux服务器默认的远程访问端口。对于默认端口而言，其相关的配置位于/...
- 如何批量更改文件的权限
-
如果你发觉一个目录结构下的大量文件权限(读、写、可执行)很乱时,可以执行以下两个命令批量修正：批量修改文件夹的权限chmod755-Rdir_name批量修改文件的权限finddir_nam...
- CentOS「linux」学习笔记10:修改文件和目录权限
-
?linux基础操作：主要介绍了修改文件和目录的权限及chown和chgrp高级用法6.chmod修改权限1：字母方式[修改文件或目录的权限]u代表所属者，g代表所属组，o代表其他组的用户，a代表所有...
- Linux下更改串口的权限
-
问题描述我在Ubuntu中使用ArduinoIDE，并且遇到串口问题。它过去一直有效，但由于可能不必要的原因，我觉得有必要将一些文件的所有权从root所有权更改为我的用户所有权。...
- Linux chown命令:修改文件和目录的所有者和所属组
-
chown命令，可以认为是"changeowner"的缩写，主要用于修改文件（或目录）的所有者，除此之外，这个命令也可以修改文件（或目录）的所属组。当只需要修改所有者时，可使用...
- chmod修改文件夹及子目录权限的方法
-
chmod修改文件夹及子目录权限的方法打开终端进入你需要修改的目录然后执行下面这条命令chmod777*-R全部子目录及文件权限改为777查看linux文件的权限：ls-l文件名称查看li...
- Android 修改隐藏设置项权限
-
在Android系统中，修改某些隐藏设置项或权限通常涉及到系统级别的操作，尤其是针对非标准的、未在常规用户界面显示的高级选项。这些隐藏设置往往与隐私保护、安全相关的特殊功能有关，或者涉及开发者选项、权...
- 完蛋了!我不小心把Linux所有的文件权限修改了!在线等修复!
-
最近一个客户在群里说他一不小心把某台业务服务器的根目录权限给改了，本来想修改当前目录，结果执行成了根目录。...
- linux改变安全性设置-改变所属关系
-
CentOS7.3学习笔记总结（五十八）-改变安全性设置-改变所属关系在以前的文章里，我介绍过linux文件权限，感兴趣的朋友可以关注我，阅读一下这篇文章。这里我们不在做过的介绍，注重介绍改变文件或者...
- Python基础到实战一飞冲天(一)--linux基础(七)修改权限chmod
-
#07_Python基础到实战一飞冲天（一）--linux基础（七）--修改权限chmod-root-groupadd-groupdel-chgrp-username-passwd...
- linux更改用户权限为root权限方法大全
-
背景在使用linux系统时，经常会遇到需要修改用户权限为root权限。通过修改用户所属群组groupid为root，此操作只能使普通用户实现享有部分root权限，普通用户仍不能像root用户一样享有超...
- 怎么用ip命令在linux中添加路由表项?
-
在Linux中添加路由表项，可以使用ip命令的route子命令。添加路由表项的基本语法如下：sudoiprouteadd<network>via<gateway>这...
- Linux配置网络
-
1、网卡名配置相关文件回到顶部网卡名命名规则文件：/etc/udev/rules.d/70-persistent-net.rules#PCIdevice0x8086:0x100f(e1000)...
- Linux系列---网络配置文件
-
1.网卡配置文件在/etc/sysconfig/network-scripts/下:[root@oldboynetwork-scripts]#ls/etc/sysconfig/network-s...
欢迎 你 发表评论:
- 一周热门
- 最近发表
- 标签列表
-
- oracle忘记用户名密码 (59)
- oracle11gr2安装教程 (55)
- mybatis调用oracle存储过程 (67)
- oracle spool的用法 (57)
- oracle asm 磁盘管理 (67)
- 前端 设计模式 (64)
- 前端面试vue (56)
- linux格式化 (55)
- linux图形界面 (62)
- linux文件压缩 (75)
- Linux设置权限 (53)
- linux服务器配置 (62)
- mysql安装linux (71)
- linux启动命令 (59)
- 查看linux磁盘 (72)
- linux用户组 (74)
- linux多线程 (70)
- linux设备驱动 (53)
- linux自启动 (59)
- linux网络命令 (55)
- linux传文件 (60)
- linux打包文件 (58)
- linux查看数据库 (61)
- linux获取ip (64)
- linux进程通信 (63)