MyBatis 批量插入使用 foreach 循环插入的优化，使用分片多线程
sinye56 2024-10-04 23:42 2 浏览 0 评论
在使用MyBatis进行批量插入数据时，我们常用的方法是在使用insert语句进行批量插入，这种方式在数据量比较少的时候，插入较快，但是当数据量较大的时候，不仅耗时，而且占用的CPU资源比较高。今天我们来对比说明一下，并在最后给出优化的方案。
先设计一张MySQL数据库，用来存储批量插入的数据，以插入用户信息为例，本次表在设计时多设计一些字段，在插入时的差异凸显的更加明显。
接下来我以插入50000条数据为例，由浅入深，分别从循环单条插入、批量插入等进行对比分析。
1、循环单条插入
模拟生成用户的姓名、手机号、身份证号码这些信息，避免因相同数据造成的缓存误差，然后逐条插入数据库中。
随机生成用户姓名：
随机生成11位手机号码：
随机生成身份证号码：
逐条插入用户数据的实现方法（使用JUnit进行单元测试），需要了解JUnit进行单元测试，可以访问上一篇文章SpringBoot框架集成JUnit单元测试：
插入完毕，查看控制台总耗时，以及数据库的数据入库情况：
执行总共耗时1634240ms，也就是27分钟左右。
2、使用foreach批量插入
在同等条件下进行测试验证，还是自动生成用户信息，封装成list，然后一次性插入。
这种方式相对于第一种方式，进行了提升，原理就是将
转换为
此时我们去执行程序发现，程序报错
如果我们将批量插入的50000条数据改成10000条，发现1秒左右就执行结束了。
从上面可以看出，使用foreach进行批量插入，原理上就是让多条insert into插入语句变成一条插入语句，可以带来性能上的提升，但同时也带来了两个问题：
（1）当插入的数据较多时，相当于拼接的sql语句会特别的长，甚至超过sql语句的长度，一旦超出，就会抛出异常导致无法插入。
（2）当插入的数据较多时，也比较耗时，针对这点官方也做了说明，这里我们就不做详细的拓展，我们继续讨论怎么解决这个问题。这里贴一张官方的说明截图。
这句话要表达的意思就是，当插入数量很多时，不能一次性全放在一条语句里。
3、使用foreach配合分片批量插入
既然不能封装成一条SQL，那我们考虑有没有其他的方式，当然有，可以采用分片的方式。
主要原理就是将list集合按"指定长度"进行切分，返回新的List<List<类型>>集合。
可以看出，50000条数据，不到2秒钟就插入完成，大大提高了效率。
这里分片的目的有两个：
1、批量插入，拼接的SQL语句过长，sql语句会有限制；
2、分片后采用stream多线程并行插入可以提高效率；
此外，不管是mysql还是oracle数据库，都可以使用分片进行插入。
相关推荐
- Linux基础知识之修改root用户密码
-
现象：Linux修改密码出现：Authenticationtokenmanipulationerror。故障解决办法：进入单用户，执行pwconv，再执行passwdroot。...
- Linux如何修改远程访问端口
-
对于Linux服务器而言，其默认的远程访问端口为22。但是，出于安全方面的考虑，一般都会修改该端口。下面我来简答介绍一下如何修改Linux服务器默认的远程访问端口。对于默认端口而言，其相关的配置位于/...
- 如何批量更改文件的权限
-
如果你发觉一个目录结构下的大量文件权限(读、写、可执行)很乱时,可以执行以下两个命令批量修正：批量修改文件夹的权限chmod755-Rdir_name批量修改文件的权限finddir_nam...
- CentOS「linux」学习笔记10:修改文件和目录权限
-
?linux基础操作：主要介绍了修改文件和目录的权限及chown和chgrp高级用法6.chmod修改权限1：字母方式[修改文件或目录的权限]u代表所属者，g代表所属组，o代表其他组的用户，a代表所有...
- Linux下更改串口的权限
-
问题描述我在Ubuntu中使用ArduinoIDE，并且遇到串口问题。它过去一直有效，但由于可能不必要的原因，我觉得有必要将一些文件的所有权从root所有权更改为我的用户所有权。...
- Linux chown命令:修改文件和目录的所有者和所属组
-
chown命令，可以认为是"changeowner"的缩写，主要用于修改文件（或目录）的所有者，除此之外，这个命令也可以修改文件（或目录）的所属组。当只需要修改所有者时，可使用...
- chmod修改文件夹及子目录权限的方法
-
chmod修改文件夹及子目录权限的方法打开终端进入你需要修改的目录然后执行下面这条命令chmod777*-R全部子目录及文件权限改为777查看linux文件的权限：ls-l文件名称查看li...
- Android 修改隐藏设置项权限
-
在Android系统中，修改某些隐藏设置项或权限通常涉及到系统级别的操作，尤其是针对非标准的、未在常规用户界面显示的高级选项。这些隐藏设置往往与隐私保护、安全相关的特殊功能有关，或者涉及开发者选项、权...
- 完蛋了!我不小心把Linux所有的文件权限修改了!在线等修复!
-
最近一个客户在群里说他一不小心把某台业务服务器的根目录权限给改了，本来想修改当前目录，结果执行成了根目录。...
- linux改变安全性设置-改变所属关系
-
CentOS7.3学习笔记总结（五十八）-改变安全性设置-改变所属关系在以前的文章里，我介绍过linux文件权限，感兴趣的朋友可以关注我，阅读一下这篇文章。这里我们不在做过的介绍，注重介绍改变文件或者...
- Python基础到实战一飞冲天(一)--linux基础(七)修改权限chmod
-
#07_Python基础到实战一飞冲天（一）--linux基础（七）--修改权限chmod-root-groupadd-groupdel-chgrp-username-passwd...
- linux更改用户权限为root权限方法大全
-
背景在使用linux系统时，经常会遇到需要修改用户权限为root权限。通过修改用户所属群组groupid为root，此操作只能使普通用户实现享有部分root权限，普通用户仍不能像root用户一样享有超...
- 怎么用ip命令在linux中添加路由表项?
-
在Linux中添加路由表项，可以使用ip命令的route子命令。添加路由表项的基本语法如下：sudoiprouteadd<network>via<gateway>这...
- Linux配置网络
-
1、网卡名配置相关文件回到顶部网卡名命名规则文件：/etc/udev/rules.d/70-persistent-net.rules#PCIdevice0x8086:0x100f(e1000)...
- Linux系列---网络配置文件
-
1.网卡配置文件在/etc/sysconfig/network-scripts/下:[root@oldboynetwork-scripts]#ls/etc/sysconfig/network-s...
欢迎 你 发表评论:
- 一周热门
- 最近发表
- 标签列表
-
- oracle忘记用户名密码 (59)
- oracle11gr2安装教程 (55)
- mybatis调用oracle存储过程 (67)
- oracle spool的用法 (57)
- oracle asm 磁盘管理 (67)
- 前端 设计模式 (64)
- 前端面试vue (56)
- linux格式化 (55)
- linux图形界面 (62)
- linux文件压缩 (75)
- Linux设置权限 (53)
- linux服务器配置 (62)
- mysql安装linux (71)
- linux启动命令 (59)
- 查看linux磁盘 (72)
- linux用户组 (74)
- linux多线程 (70)
- linux设备驱动 (53)
- linux自启动 (59)
- linux网络命令 (55)
- linux传文件 (60)
- linux打包文件 (58)
- linux查看数据库 (61)
- linux获取ip (64)
- linux进程通信 (63)