【Oracle】亿级表下in查询替代方案
sinye56 2024-09-19 02:08 4 浏览 0 评论
文中使用的Oracle版本为10g。
在真实的业务场景中往往很难避免有“in”条件查询的时候,但我们都知道用“in”做条件查询时SQL是一般不会走索引(某些新版数据库除外),那如果“in”含大量条件甚至超过1000条该怎么办呢(大部分数据库在基于性能方面考虑限制了“in”条件不能超过1000个)?下面将结合一个例子,给各位详述我的解决方案。
后台输出截获的SQL脚本如下(因可能涉及敏感信息,为此将部分字段表述进行转换):
SELECT *
FROM (SELECT SHOWDATA.*, ROWNUM RN
FROM (SELECT DISTINCT A.OWNER_PHONE,
GP.NAME,
A.CALLTYPE AS CALLEDTYPE,
A.TRANS_PHONE,
A.TRANS_NAME NAMES,
A.TRANS_CALLED_INFO,
TO_CHAR(A.TRANS_STARTTIME,'yyyy-mm-dd HH24:mi:ss') AS TRANS_STARTTIME,
TO_CHAR(A.TRANS_STARTTIME, 'HH24') TRANS_HH,
A.TRANS_DURATION,
A.AR,
A.LAC,
A.CS,
A.LN,
A.CB,
A.CL,
A.CC,
A.CA,
A.OI,
A.CI,
A.TL,
A.TLA,
A.TCL,
A.TCLA,
A.TA,
A.ISR,
A.ISO
FROM GPB A
INNER JOIN GPBI GP ON A.PBII = GP.ID
WHERE A.IS = 0
AND A.TRANS_STARTTIME BETWEEN
TO_DATE('2015-09-09 00:00:00', 'YYYY-MM-DD HH24:MI:SS') AND
TO_DATE('2016-09-09 00:00:59', 'YYYY-MM-DD HH24:MI:SS')
AND A.OWNER_PHONE IN (15000000000, 15100000000, 15200000000, ...)
ORDER BY TRANS_STARTTIME DESC nulls last)
SHOWDATA)
WHERE RN > 0 AND RN <= 100
以上SQL有好几处地方可以优化但性能瓶颈在于“in”查询。以上看到的脚本内容是经过性能排查后截录的脚本片段,真实的脚本足够翻好几页(真想不明白之前写这个脚本的人是怎么想的)。
言归正传,这语句给我感觉:
1) 查询条件受到限制,最多只能查询1000个手机号码;
2) 由于使用“in”查询,这里OWNER_PHONE字段不能使用索引;
3) ORDER BY在完成“in”操作后还需进行一次全表扫描排序,这个也是另一个性能消耗点;
4) 最讽刺的是GPB 和 GPBI两个表前者是亿级表,后者是万级表,在INNER JOIN后最终只需要展示前100条数据,这前面大量运算有点浪费;
既然这样先将“in”查询问题先解决,这里我分成3步:
1. 建立一个TYPES(tabletype)
这个TYPE是一个TABLE类型的,代码如下:
CREATE OR REPLACE TYPE TABLETYPE AS TABLE OF VARCHAR2(32676);
2. 建立自定义函数STRSPLIT以PIPE ROW返回
不说废话,上代码:
CREATE OR REPLACE FUNCTION STRSPLIT (p_list CLOB, p_sep VARCHAR2 := ',')
RETURN tabletype
PIPELINED
IS
l_idx PLS_INTEGER;
v_list VARCHAR2 (32676) := trim(replace(p_list,chr(10),''));
BEGIN
LOOP
l_idx := INSTR (v_list, p_sep);
IF l_idx > 0
THEN
PIPE ROW (SUBSTR (v_list, 1, l_idx - 1));
v_list := SUBSTR (v_list, l_idx + LENGTH (p_sep));
ELSE
PIPE ROW (v_list);
EXIT;
END IF;
END LOOP;
END;
这个关于Oracle的字符串分割函数网上一搜一大把,各位酌情参考就可以了。函数生成后通过:
SELECT * FROM TABLE(STRSPLIT(‘A,B,C,D,E’));
得到一个虚拟的表。
3. 改造原SQL脚本
SELECT *
FROM (SELECT SHOWDATA.*, ROWNUM RN
FROM (SELECT DISTINCT A.OWNER_PHONE,
GP.NAME,
A.CALLTYPE AS CALLEDTYPE,
A.TRANS_PHONE,
A.TRANS_NAME NAMES,
A.TRANS_CALLED_INFO,
TO_CHAR(A.TRANS_STARTTIME,'yyyy-mm-dd HH24:mi:ss') AS TRANS_STARTTIME,
TO_CHAR(A.TRANS_STARTTIME, 'HH24') TRANS_HH,
A.TRANS_DURATION,
A.AR,
A.LAC,
A.CS,
A.LN,
A.CB,
A.CL,
A.CC,
A.CA,
A.OI,
A.CI,
A.TL,
A.TLA,
A.TCL,
A.TCLA,
A.TA,
A.ISR,
A.ISO
FROM GPB A
INNER JOIN GPBI GP ON A.PBII = GP.ID
INNER JOIN (
SELECT INN.COLUMN_VALUE AS IN_DATA
FROM (SELECT '' AS COLUMN_VALUE FROM DUAL WHERE 1 > 2
UNION ALL
SELECT * FROM TABLE(STRSPLIT('15000000000,15100000000,...'))
UNION ALL
SELECT * FROM TABLE(STRSPLIT('15200000000,15300000000,...'))
UNION ALL
......
) INN
) B ON A.OWNER_PHONE = B.IN_DATA
WHERE A.IS = 0
AND A.TRANS_STARTTIME BETWEEN
TO_DATE('2015-09-09 00:00:00', 'YYYY-MM-DD HH24:MI:SS') AND
TO_DATE('2016-09-09 00:00:59', 'YYYY-MM-DD HH24:MI:SS')
AND A.OWNER_PHONE IN (15000000000, 15100000000, 15200000000, ...)
ORDER BY TRANS_STARTTIME DESC nulls last)
SHOWDATA)
WHERE RN > 0 AND RN <= 100
这里用虚拟表进行内连接可以代替“in”操作,SELECT … UNION ALL 这部分内容通过MyBatis进行循环拼接也是可以实现的。由于不想在字符串末尾再删除UNION ALL字符,因此在查询开头加上一个查询DUAL表的操作并判断1>2即可。
动态条件内容将在Java内进行原数据的重组。Oracle自定义函数中参数内容不能太长(函数字段有长度限制),因此在Java中进行字符串长度限制分割,分割内容将保存到集合(List)中,通过参数传入DAO并在MyBatis中进行循环二次拼接。
这种方法无论需要“in”条件是多少,即使个数超过1000的情况下也是可以查询的,同时OWNER_PHONE字段可走索引。
具体查询性能对比如下:
改造前
改造后
同样是查询前100条数据,前者是16.475秒,而后者是1.841秒,可以看出查询速度的差异。
最后附上Java和MyBatis的代码,如下图:
这根据长度切割数据集的代码虽然不影响使用但有待改进ε=(′ο`*)))唉。
至于MyBatis就还是那样了。
相关推荐
- Linux在线安装JDK1.8
-
首先在服务器pingwww.baidu.com查看是否可以连网然后就可以在线下载一、下载安装JDK1.81、在下载安装的同时做好一些准备工作...
- Linux安装JDK,超详细
-
1、了解RPMRPM是Red-HatPackageManager(RPM软件包管理器)的缩写,这一文件格式名称虽然打上了RedHat的标志,但是其原始设计理念是开放式的,现在包括OpenLinux...
- Linux安装jdk1.8(超级详细)
-
前言最近刚购买了一台阿里云的服务器准备要搭建一个网站,正好将网站的一个完整搭建过程分享给大家!#一、下载jdk1.8首先我们需要去下载linux版本的jdk1.8安装包,我们有两种方式去下载安装...
- Linux系统安装JDK教程
-
下载jdk-8u151-linux-x64.tar.gz下载地址:https://www.oracle.com/technetwork/java/javase/downloads/index.ht...
- 干货|JDK下载安装与环境变量配置图文教程「超详细」
-
1.JDK介绍1.1什么是JDK?SUN公司提供了一套Java开发环境,简称JDK(JavaDevelopmentKit),它是整个Java的核心,其中包括Java编译器、Java运行工具、Jav...
- Linux下安装jdk1.8
-
一、安装环境操作系统:CentOSLinuxrelease7.6.1810(Core)JDK版本:1.8二、安装步骤1.下载安装包...
- Linux上安装JDK
-
以CentOS为例。检查是否已安装过jdk。yumlist--installed|grepjdk或者...
- Linux系统的一些常用目录以及介绍
-
根目录(/):“/”目录也称为根目录,位于Linux文件系统目录结构的顶层。在很多系统中,“/”目录是系统中的唯一分区。如果还有其他分区,必须挂载到“/”目录下某个位置。整个目录结构呈树形结构,因此也...
- Linux系统目录结构
-
一、系统目录结构几乎所有的计算机操作系统都是使用目录结构组织文件。具体来说就是在一个目录中存放子目录和文件,而在子目录中又会进一步存放子目录和文件,以此类推形成一个树状的文件结构,由于其结构很像一棵树...
- Linux文件查找
-
在Linux下通常find不很常用的,因为速度慢(find是直接查找硬盘),通常我们都是先使用whereis或者是locate来检查,如果真的找不到了,才以find来搜寻。为什么...
- 嵌入式linux基本操作之查找文件
-
对于很多初学者来说都习惯用windows操作系统,对于这个系统来说查找一个文件简直不在话下。而学习嵌入式开发行业之后,发现所用到的是嵌入式Linux操作系统,本想着跟windows类似,结果在操作的时...
- linux系统查看软件安装目录的方法
-
linux系统下怎么查看软件安装的目录?方法1:whereis软件名以查询nginx为例子...
- Linux下如何对目录中的文件进行统计
-
统计目录中的文件数量...
- Linux常见文件目录管理命令
-
touch用于创建空白文件touch文件名称mkdir用于创建空白目录还可以通过参数-p创建递归的目录...
- Linux常用查找文件方法总结
-
一、前言Linux系统提供了多种查找文件的命令,而且每种查找命令都具有其独特的优势,下面详细总结一下常用的几个Linux查找命令。二、which命令查找类型:二进制文件;...
你 发表评论:
欢迎- 一周热门
- 最近发表
- 标签列表
-
- oracle忘记用户名密码 (59)
- oracle11gr2安装教程 (55)
- mybatis调用oracle存储过程 (67)
- oracle spool的用法 (57)
- oracle asm 磁盘管理 (67)
- 前端 设计模式 (64)
- 前端面试vue (56)
- linux格式化 (55)
- linux图形界面 (62)
- linux文件压缩 (75)
- Linux设置权限 (53)
- linux服务器配置 (62)
- mysql安装linux (71)
- linux启动命令 (59)
- 查看linux磁盘 (72)
- linux用户组 (74)
- linux多线程 (70)
- linux设备驱动 (53)
- linux自启动 (59)
- linux网络命令 (55)
- linux传文件 (60)
- linux打包文件 (58)
- linux查看数据库 (61)
- linux获取ip (64)
- 关闭防火墙linux (53)