百度360必应搜狗淘宝本站头条
linux文件压缩linux用户组查看linux磁盘mysql安装linuxlinux多线程
当前位置：网站首页 > 优雅编程 > 正文

加速mysql批量数据插入（mysql 批量添加数据）

sinye56 2024-10-04 23:42 8 浏览 0 评论

问题描述：

由于测试需要，需要将生产库的一些数据导入到测试库进行开发测试。一些表的数据量有些多，达到6W+条，从生产库导出的文件达到10.6M，内容是每行一条插入语句（INSERT INTO TableName VALUES(…);）。

将这个导出的.sql文件通过工具载入到测试库后，点击了“运行”，只见信息栏一条条SQL语句“疯狂”的执行着，心想，应该很快应该执行完了吧，但是等了好一会儿，见到信息栏还在一条条努力的输出着插入的消息。

仔细看了下控制台，发现平均每条语句执行0.03s以上，多的甚至达到了0.09s，算了一下，如果按每条0.03s的速度执行，插入完这批数据一共需要花费0.03s/条*66176条=1985.28s，也就是大概33.088分钟！

这个时候，SQL已经执行了993.598s，也就是16多分钟，还要再执行16多分钟，才能将66176条数据插入完毕，这显然是不能忍的！

查询时间

分析解决尝试中。。。

为什么会这么慢呢？后来分析了一下，每个insert语句，大体都要经过发送数据到服务器端、解析SQL、预处理、优化SQL执行计划等步骤，有没有哪个步骤是可以优化或减少的呢？

顺着这个思路，后来把SQL语句改造了一下：

SQL改造

只保留一个INSERT INTO tableName，剩下的改为逗号相隔。这样做的好处，一是减少文件大小（改造前.sql文件10.6M，改造后，文件大小为8.09M），减少发送到服务器的时间；二是减少SQL语句多余的解析操作，改造后，只需要解析一次就可以进行数据插入操作。

后来通过工具的“状态”栏也可以证明这一点：

改造前后对比

状态

在寻求解决方案过程中，曾想到多线程，想找到一种像oracle中的并行操作技术parallel

insert /*+parallel(t 16)*/ into tableName(...)

但是没有找到，但无意中发现了一种更快的方法：加上事务！

START TRANSACTION;

INSERT INTO TABLE_NAME VALUES(...), (...), (...), ...;

COMMIT;

原因是：在进行insert操作时，mysql内部会建立一个事务，在事务内进行真正的处理。主动加上事务语句，可以减少创建事务的操作，减少执行时间。

通过这种方法，我做了下尝试，结果如下：

执行结果

相比于一条条插入语句，效率提高了100多倍！

总结：

  1. 通过改造SQL语句可以减少网络传输IO，减少解析时间，提高批量插入速度。通过主动创建事务，进一步减少执行时间。

  2. 这里需要注意的是，发送到服务器端的数据大小是有默认限制的，有的是1M，有的是4M，可以通过改动max_allowed_packet配置跳过该限制：

    方法一（具有linux权限）：改动服务器的mysql配置文件my.cnf，增加： max_allowed_packet=20M, 然后重启mysql服务

    方法二（具有mysql修改配置权限）：执行SQL语句，set global max_allowed_packet=20*1024*1024

相关推荐

Linux中10大常用命令之sort使用案例

请关注本头条号，每天坚持更新原创干货技术文章。如需学习视频，请在微信搜索公众号“智传网优”直接开始自助视频学习1.前言Linux中的sort命令用于对文本文件的内容进行排序。本教程向您展示了sort...

java开发常用的Linux命令，高频的没你想象的多

Linux的命令非常多，多到有些使用的场景你工作两三年也没有遇到过，工作三四年才能遇到（Linux内核开发，Shell脚本开发，嵌入式开发、、、），但这个不是今天分享的重点，今天分享的重点是Java开...

linux常用命令(收藏版)

linux小白注意啦，给大家分享一点干货，请笑纳！1.关机命令shutdown-hnow关闭系统(1)init0关闭系统(2)，0为系统的进程号telinit0关闭系统(3)shutdo...

延续Win10三年需付超3000元!微软彻底封堵:删除绕过Win11系统要求教程、将第三方工具标记为恶意软件

一切都是为了用户能够正规地升级到Windows11。整理|屠敏出品|CSDN（ID：CSDNnews）距离Windows10退役仅剩8个月，微软最近这段时间，终是忍不住接连出手了...

敲完就让你提桶跑路的Linux命令

不谨慎可能就会让你提桶的Linux命令！！！删除文件rm-rf该命令是删除文件或文件夹等最快的方式之一。删除后的内容很难恢复，如果删除系统文件可能会导致系统崩坏。˃rm-rf/#强制删除根...

超级蠕虫，累计感染40万台服务器，让Linux内核服务器感染两年

最近著名安全公司ESET发布安全报告，报告分析了其对一个超级蠕虫Ebury的15年追踪分析。在15年中该病毒持续感染了40万台服务器，曾经在2011年（2009年）攻克了Linux内核维护站点kern...

linux redhat破解密码

适用于RedhatCentosFedora1.开机选择第一个启动项，按e进入编辑模式2.在启动项编辑模式找到linux16开头的文件，按ctrl+e快速定位到该行的行末，输入空格rd.break...

慎用!Linux最危险的10个命令!

Linux是一个强大而灵活的操作系统，它提供了许多功能丰富的命令和工具，让用户可以方便地管理和控制系统。但是，有些命令如果不小心或不知情地使用，可能会造成严重的后果，甚至导致系统崩溃或数据丢失。因此，...

Linux文件和目录删除

今天只讲一个命令，这个命令已经让万千运维人既爱又恨。rm删除文件或者目录基本用法：-i显示删除提示信息-f强制删除文件-r进行目录的递归删除在公司里为了保证数据安全，一般会创建一个alias...

给你的Linux系统穿上“防弹衣”:安全加固全攻略

为什么Linux系统需要安全加固在当今数字化时代，Linux系统以其开源、稳定、高效等特性，在服务器领域占据着举足轻重的地位。无论是大型互联网公司的核心业务，还是中小企业的日常运营，都离不开L...

一天一个Linux命令:文件操作「删」rm

命令：rm-rf文件名(慎用，慎用，慎用)rm(选项)(参数)命令功能：rm-rf是一条UNIX系统下的文件删除命令，作用是无提示地强制递归删除一个目录中的一个或多个文件或目录，如果没有使用...

Linux下通过 rm -f 删除大量文件时报错:Argument list too long

问题现象云服务器ECSLinux下通过rm-f删除大量的小文件时出现类似如下错误信息：-bash:?/bin/rm:?Argument?list?too?long如下图所示：问题原因如?待删...

这10个Linux命令太危险，千万慎用!数据毁灭的瞬间只需一个回车

你好，这里是网络技术联盟站，我是瑞哥。Linux系统，以其开源自由的特性，吸引了无数开发者和科技爱好者。其强大的命令行工具赋予了用户前所未有的控制能力。然而，正如俗话所说，“能力越大，责任越大”。某些...

Linux的10大危险命令，用过的运维都很刑

rm-rf命令该命令可能导致不可恢复的系统崩坏。˃rm-rf/#强制删除根目录下所有东西。˃rm-rf*#强制删除当前目录的所有文件。˃rm-rf.#强制删除当前...

Linux环境变量设置与查看全攻略

Linux环境变量设置与查看全攻略在Linux系统中，环境变量是用于定义系统和用户级设置的一种方法，它可以影响程序的行为和系统的运行方式。了解如何设置和查看环境变量对于Linux用户来说是非常重要的技...

取消回复欢迎 你 发表评论:

一周热门
最近发表
标签列表