百度360必应搜狗淘宝本站头条
linux文件压缩linux用户组查看linux磁盘mysql安装linuxlinux多线程
当前位置：网站首页 > 优雅编程 > 正文

MyBatis 批量插入使用 foreach 循环插入的优化，使用分片多线程

sinye56 2024-10-04 23:42 5 浏览 0 评论

在使用MyBatis进行批量插入数据时，我们常用的方法是在使用insert语句进行批量插入，这种方式在数据量比较少的时候，插入较快，但是当数据量较大的时候，不仅耗时，而且占用的CPU资源比较高。今天我们来对比说明一下，并在最后给出优化的方案。

先设计一张MySQL数据库，用来存储批量插入的数据，以插入用户信息为例，本次表在设计时多设计一些字段，在插入时的差异凸显的更加明显。

接下来我以插入50000条数据为例，由浅入深，分别从循环单条插入、批量插入等进行对比分析。

1、循环单条插入

模拟生成用户的姓名、手机号、身份证号码这些信息，避免因相同数据造成的缓存误差，然后逐条插入数据库中。

随机生成用户姓名：

随机生成11位手机号码：

随机生成身份证号码：

逐条插入用户数据的实现方法（使用JUnit进行单元测试），需要了解JUnit进行单元测试，可以访问上一篇文章SpringBoot框架集成JUnit单元测试：

插入完毕，查看控制台总耗时，以及数据库的数据入库情况：

执行总共耗时1634240ms，也就是27分钟左右。

2、使用foreach批量插入

在同等条件下进行测试验证，还是自动生成用户信息，封装成list，然后一次性插入。

这种方式相对于第一种方式，进行了提升，原理就是将

转换为

此时我们去执行程序发现，程序报错

如果我们将批量插入的50000条数据改成10000条，发现1秒左右就执行结束了。

从上面可以看出，使用foreach进行批量插入，原理上就是让多条insert into插入语句变成一条插入语句，可以带来性能上的提升，但同时也带来了两个问题：

（1）当插入的数据较多时，相当于拼接的sql语句会特别的长，甚至超过sql语句的长度，一旦超出，就会抛出异常导致无法插入。

（2）当插入的数据较多时，也比较耗时，针对这点官方也做了说明，这里我们就不做详细的拓展，我们继续讨论怎么解决这个问题。这里贴一张官方的说明截图。

这句话要表达的意思就是，当插入数量很多时，不能一次性全放在一条语句里。

3、使用foreach配合分片批量插入

既然不能封装成一条SQL，那我们考虑有没有其他的方式，当然有，可以采用分片的方式。

主要原理就是将list集合按"指定长度"进行切分，返回新的List<List<类型>>集合。

可以看出，50000条数据，不到2秒钟就插入完成，大大提高了效率。

这里分片的目的有两个：

1、批量插入，拼接的SQL语句过长，sql语句会有限制；

2、分片后采用stream多线程并行插入可以提高效率；

此外，不管是mysql还是oracle数据库，都可以使用分片进行插入。

相关推荐

Linux中10大常用命令之sort使用案例

请关注本头条号，每天坚持更新原创干货技术文章。如需学习视频，请在微信搜索公众号“智传网优”直接开始自助视频学习1.前言Linux中的sort命令用于对文本文件的内容进行排序。本教程向您展示了sort...

java开发常用的Linux命令，高频的没你想象的多

Linux的命令非常多，多到有些使用的场景你工作两三年也没有遇到过，工作三四年才能遇到（Linux内核开发，Shell脚本开发，嵌入式开发、、、），但这个不是今天分享的重点，今天分享的重点是Java开...

linux常用命令(收藏版)

linux小白注意啦，给大家分享一点干货，请笑纳！1.关机命令shutdown-hnow关闭系统(1)init0关闭系统(2)，0为系统的进程号telinit0关闭系统(3)shutdo...

延续Win10三年需付超3000元!微软彻底封堵:删除绕过Win11系统要求教程、将第三方工具标记为恶意软件

一切都是为了用户能够正规地升级到Windows11。整理|屠敏出品|CSDN（ID：CSDNnews）距离Windows10退役仅剩8个月，微软最近这段时间，终是忍不住接连出手了...

敲完就让你提桶跑路的Linux命令

不谨慎可能就会让你提桶的Linux命令！！！删除文件rm-rf该命令是删除文件或文件夹等最快的方式之一。删除后的内容很难恢复，如果删除系统文件可能会导致系统崩坏。˃rm-rf/#强制删除根...

超级蠕虫，累计感染40万台服务器，让Linux内核服务器感染两年

最近著名安全公司ESET发布安全报告，报告分析了其对一个超级蠕虫Ebury的15年追踪分析。在15年中该病毒持续感染了40万台服务器，曾经在2011年（2009年）攻克了Linux内核维护站点kern...

linux redhat破解密码

适用于RedhatCentosFedora1.开机选择第一个启动项，按e进入编辑模式2.在启动项编辑模式找到linux16开头的文件，按ctrl+e快速定位到该行的行末，输入空格rd.break...

慎用!Linux最危险的10个命令!

Linux是一个强大而灵活的操作系统，它提供了许多功能丰富的命令和工具，让用户可以方便地管理和控制系统。但是，有些命令如果不小心或不知情地使用，可能会造成严重的后果，甚至导致系统崩溃或数据丢失。因此，...

Linux文件和目录删除

今天只讲一个命令，这个命令已经让万千运维人既爱又恨。rm删除文件或者目录基本用法：-i显示删除提示信息-f强制删除文件-r进行目录的递归删除在公司里为了保证数据安全，一般会创建一个alias...

给你的Linux系统穿上“防弹衣”:安全加固全攻略

为什么Linux系统需要安全加固在当今数字化时代，Linux系统以其开源、稳定、高效等特性，在服务器领域占据着举足轻重的地位。无论是大型互联网公司的核心业务，还是中小企业的日常运营，都离不开L...

一天一个Linux命令:文件操作「删」rm

命令：rm-rf文件名(慎用，慎用，慎用)rm(选项)(参数)命令功能：rm-rf是一条UNIX系统下的文件删除命令，作用是无提示地强制递归删除一个目录中的一个或多个文件或目录，如果没有使用...

Linux下通过 rm -f 删除大量文件时报错:Argument list too long

问题现象云服务器ECSLinux下通过rm-f删除大量的小文件时出现类似如下错误信息：-bash:?/bin/rm:?Argument?list?too?long如下图所示：问题原因如?待删...

这10个Linux命令太危险，千万慎用!数据毁灭的瞬间只需一个回车

你好，这里是网络技术联盟站，我是瑞哥。Linux系统，以其开源自由的特性，吸引了无数开发者和科技爱好者。其强大的命令行工具赋予了用户前所未有的控制能力。然而，正如俗话所说，“能力越大，责任越大”。某些...

Linux的10大危险命令，用过的运维都很刑

rm-rf命令该命令可能导致不可恢复的系统崩坏。˃rm-rf/#强制删除根目录下所有东西。˃rm-rf*#强制删除当前目录的所有文件。˃rm-rf.#强制删除当前...

Linux环境变量设置与查看全攻略

Linux环境变量设置与查看全攻略在Linux系统中，环境变量是用于定义系统和用户级设置的一种方法，它可以影响程序的行为和系统的运行方式。了解如何设置和查看环境变量对于Linux用户来说是非常重要的技...

取消回复欢迎 你 发表评论:

一周热门
最近发表
标签列表