你知道插入大批量数据时有哪几种方案吗?
sinye56 2024-10-04 23:42 3 浏览 0 评论
前言
数据库大批量插入操作常见于导入上传等场景，如果不对其进行一定优化，会出现上传时间过长导致超时等问题，所以这次阿海基于Mybatis和大家分享一下插入数据时常见的几种方案。
方案1：循环逐条插入（不推荐）
初学者第一想到的就是写一个for循环，然后每次插入一条，但该方案会频繁使我们的Mybatis创建statment，接入db执行insert语句，效率较低（实际执行语句如图1），数据量大时也会对咱们db的性能造成一定影响，所以阿海老师是不建议童鞋们使用该种方案的。
方案2：使用foreach批量插入（数据量不大时可以使用）
既然一条一条插入效率较低，那可以采用批量插入的方式，该方案相对方案1主要有2点改动：
1.首先将我们要插入的数据封装为一个List集合，并对我们Dao层接口作一定改造，使其可以接收一个List集合；
2.其次我们对Mybatis mapper文件中的SQL进行改造，主要使用Mybatis的<foreach>标签将传入的List集合进行循环插入：
这种方案相对于第一种方案，插入性能有了大幅提升，原理就是Mybatis将insert语句
转换为
这样就让多条insert into插入语句变成了一条插入语句，可以带来性能上的提升，但也存在着两个问题：
（1）当插入的数据较多时，相当于拼接的sql语句会特别的长，甚至超过sql语句的长度，一旦超出，就会抛出异常导致无法插入；
（2）当插入的数据较多时，也比较耗时。
方案3.使用foreach配合分片批量插入（数据量较大时推荐使用）
既然不能封装成一条SQL，那我们考虑有没有其他的方式，当然有，可以采用分片的方式。
主要原理就是将list集合按"指定长度"进行切分，返回新的List<List<T>>集合。
这里分片的目的有两个：
1、批量插入，拼接的SQL语句过长，sql语句会有限制；
2、分片后采用stream多线程并行插入可以提高效率。
此外，不管是mysql还是oracle数据库，都可以使用分片进行插入。
总结
总的来说，当实际业务场景数据量不是很大时，大家使用方案2就可以了，但插入数据量较大时，阿海还是推荐大家使用方案3，可以大大提升插入效率。 在面试时，同学们可以着重讲讲方案3，相信面试官会对你刮目相看。
相关推荐
- Linux基础知识之修改root用户密码
-
现象：Linux修改密码出现：Authenticationtokenmanipulationerror。故障解决办法：进入单用户，执行pwconv，再执行passwdroot。...
- Linux如何修改远程访问端口
-
对于Linux服务器而言，其默认的远程访问端口为22。但是，出于安全方面的考虑，一般都会修改该端口。下面我来简答介绍一下如何修改Linux服务器默认的远程访问端口。对于默认端口而言，其相关的配置位于/...
- 如何批量更改文件的权限
-
如果你发觉一个目录结构下的大量文件权限(读、写、可执行)很乱时,可以执行以下两个命令批量修正：批量修改文件夹的权限chmod755-Rdir_name批量修改文件的权限finddir_nam...
- CentOS「linux」学习笔记10:修改文件和目录权限
-
?linux基础操作：主要介绍了修改文件和目录的权限及chown和chgrp高级用法6.chmod修改权限1：字母方式[修改文件或目录的权限]u代表所属者，g代表所属组，o代表其他组的用户，a代表所有...
- Linux下更改串口的权限
-
问题描述我在Ubuntu中使用ArduinoIDE，并且遇到串口问题。它过去一直有效，但由于可能不必要的原因，我觉得有必要将一些文件的所有权从root所有权更改为我的用户所有权。...
- Linux chown命令:修改文件和目录的所有者和所属组
-
chown命令，可以认为是"changeowner"的缩写，主要用于修改文件（或目录）的所有者，除此之外，这个命令也可以修改文件（或目录）的所属组。当只需要修改所有者时，可使用...
- chmod修改文件夹及子目录权限的方法
-
chmod修改文件夹及子目录权限的方法打开终端进入你需要修改的目录然后执行下面这条命令chmod777*-R全部子目录及文件权限改为777查看linux文件的权限：ls-l文件名称查看li...
- Android 修改隐藏设置项权限
-
在Android系统中，修改某些隐藏设置项或权限通常涉及到系统级别的操作，尤其是针对非标准的、未在常规用户界面显示的高级选项。这些隐藏设置往往与隐私保护、安全相关的特殊功能有关，或者涉及开发者选项、权...
- 完蛋了!我不小心把Linux所有的文件权限修改了!在线等修复!
-
最近一个客户在群里说他一不小心把某台业务服务器的根目录权限给改了，本来想修改当前目录，结果执行成了根目录。...
- linux改变安全性设置-改变所属关系
-
CentOS7.3学习笔记总结（五十八）-改变安全性设置-改变所属关系在以前的文章里，我介绍过linux文件权限，感兴趣的朋友可以关注我，阅读一下这篇文章。这里我们不在做过的介绍，注重介绍改变文件或者...
- Python基础到实战一飞冲天(一)--linux基础(七)修改权限chmod
-
#07_Python基础到实战一飞冲天（一）--linux基础（七）--修改权限chmod-root-groupadd-groupdel-chgrp-username-passwd...
- linux更改用户权限为root权限方法大全
-
背景在使用linux系统时，经常会遇到需要修改用户权限为root权限。通过修改用户所属群组groupid为root，此操作只能使普通用户实现享有部分root权限，普通用户仍不能像root用户一样享有超...
- 怎么用ip命令在linux中添加路由表项?
-
在Linux中添加路由表项，可以使用ip命令的route子命令。添加路由表项的基本语法如下：sudoiprouteadd<network>via<gateway>这...
- Linux配置网络
-
1、网卡名配置相关文件回到顶部网卡名命名规则文件：/etc/udev/rules.d/70-persistent-net.rules#PCIdevice0x8086:0x100f(e1000)...
- Linux系列---网络配置文件
-
1.网卡配置文件在/etc/sysconfig/network-scripts/下:[root@oldboynetwork-scripts]#ls/etc/sysconfig/network-s...
欢迎 你 发表评论:
- 一周热门
- 最近发表
- 标签列表
-
- oracle忘记用户名密码 (59)
- oracle11gr2安装教程 (55)
- mybatis调用oracle存储过程 (67)
- oracle spool的用法 (57)
- oracle asm 磁盘管理 (67)
- 前端 设计模式 (64)
- 前端面试vue (56)
- linux格式化 (55)
- linux图形界面 (62)
- linux文件压缩 (75)
- Linux设置权限 (53)
- linux服务器配置 (62)
- mysql安装linux (71)
- linux启动命令 (59)
- 查看linux磁盘 (72)
- linux用户组 (74)
- linux多线程 (70)
- linux设备驱动 (53)
- linux自启动 (59)
- linux网络命令 (55)
- linux传文件 (60)
- linux打包文件 (58)
- linux查看数据库 (61)
- linux获取ip (64)
- linux进程通信 (63)