百度360必应搜狗淘宝本站头条
linux文件压缩linux用户组查看linux磁盘mysql安装linuxlinux多线程
当前位置：网站首页 > 优雅编程 > 正文

Sqlserver的窗口函数的精彩应用之数据差距与数据岛-答案篇

sinye56 2024-09-22 08:26 5 浏览 0 评论

上一篇介绍过数据差距与数据岛的背景，这里不再赘述，请翻阅上一文。此篇在Sqlserver上给大家演示1000万条记录的计算性能。

测试电脑软硬件说明

一般般的笔记本电脑，2017年7月，价格：4500+。



电脑配置

数据构造

1000万行数据，由10万个用户+每用户100条记录组成，同样使用书中所提及的构造序列的表值函数轻松构造完成。



同样使用窗口函数完成的表值函数


生成1000万条数据记录


数据源结构

使用循环和随机函数，实现删除10万条数据，因测试时先建了索引再删除数据，慢得一塌糊涂，最终中途中止了，没有实际删除这么多数据。



随机删除10万条记录，用于实现数据差距和数据岛效果

关系型数据库，性能优化的核心是适当的索引，此次肯定要加上索引才能客观地表现出该有的合理效果。



增加聚集索引

算法代码演示

数据差距范围

此部分计算的逻辑是将每个用户分组下本来连续的序号中，缺失了某些记录，这些缺失的部分对应的区间范围，若缺失的为连续的，返回连续的区间，若缺失为单个记录，返回首尾相同的序号。



数据差距的SQL代码及结果

原理：关键思路是使用LEAD函数，使用“用户”列作分区，按序号的升序排列，取当前用户组的当前行序号为cur列,其下一行内容作为nxt列，最终构造结构表是，将当前行的cur列值+1构造出差距的首范围，当前行的nxt列值-1作为结束范围。

而最终的结果只会取nxt和cur之差大于1的记录，即开始有缺失产生差距的行记录。

总记录1000万条，10万个用户，分组计算后，返回数据产距90899条记录，用时27秒

分解下步骤，将CTE虚拟表C给大家看下效果，可以看到97和100之间是缺失了98、99两值，最终在97序号上，cur为97、nxt为100，此行记录是我们后面where条件要筛选出来的记录行(模拟删除数据过程中，尽量删除连续的两条记录，让差距结果更清晰)。

将cur+1,nxt-1后，就拿到98-99这样的差距区间。



分步骤演示

数据岛范围

这个就是一般来说连续记录的区间，如现实场景中的用户连续打卡天区间。10万个用户测试，100天打卡天数，足够满足一般互联网中等规模的活动场景使用。



数据岛范围的SQL代码及结果

原理：使用排名窗口函数，对用户进行分组计算。若有数据缺失时，排名的序号和正常序号之差会有跳跃性的差距（正常无缺失时序号和排名是相同，且差异为0）。

下一步对排名产生的相同的数值进行分组汇总，连同用户字段，最终可统计出某用户在某个差异值grp下的连续区间。

分解步骤后可知，在用户1中，58后缺失了59、60两个值，最终在61的排名与序号差grp为2，直到下一次有缺失时，此2的值再更新为下一个缺失的值区间长度2+2=4。



分步骤演示


下一个缺失值为98和99两值

结语

Sqlserver的窗口函数，非常多的应用场景，对传统的SQL的查询进行了极大的简化，在PowerBI的DAX查询语言中，暂时还缺少其在集合的基础上进行窗口的处理，致使同样都是对数据集合进行运算，但因为缺失窗口函数特性支持，性能上仍然和SQL中的窗口函数处理有非常大的差距。

想必有人好奇地问，这些内容在其他数据库中是否同样可以？窗口函数在其他关系型数据库中是否也一样支持？

据笔者知识范围所知，MySQL和Sqlite是没有的，Oracle是有的，并且比Sqlserver更强大（为何不推荐，因为笔者是微软系的信徒呗，Oracle人家是法务团队强大，你懂得）。

相关推荐

程序员:JDK的安装与配置(完整版)_jdk的安装方法

对于Java程序员来说，jdk是必不陌生的一个词。但怎么安装配置jdk，对新手来说确实头疼的一件事情。我这里以jdk10为例，详细的说明讲解了jdk的安装和配置，如果有不明白的小伙伴可以评论区留言哦下...

Linux中安装jdk并配置环境变量_linux jdk安装教程及环境变量配置

一、通过连接工具登录到Linux(我这里使用的Centos7.6版本)服务器连接工具有很多我就不一一介绍了今天使用比较常用的XShell工具登录成功如下：二、上传jdk安装包到Linux服务器jdk...

麒麟系统安装JAVA JDK教程_麒麟系统配置jdk

检查检查系统是否自带java在麒麟系统桌面空白处，右键“在终端打开”，打开shell对话框输入：java–version查看是否自带java及版本如图所示，系统自带OpenJDK，要先卸载自带JDK...

学习笔记-Linux JDK - 安装&配置

前提条件#检查是否存在JDKrpm-qa|grepjava#删除现存JDKyum-yremovejava*安装OracleJDK不分系统#进入安装文件目...

Linux新手入门系列:Linux下jdk安装配置

本系列文章是把作者刚接触和学习Linux时候的实操记录分享出来，内容主要包括Linux入门的一些理论概念知识、Web程序、mysql数据库的简单安装部署，希望能够帮到一些初学者，少走一些弯路。注意：L...

测试员必备:Linux下安装JDK 1.8你必须知道的那些事

1.简介在Oracle收购Sun后，Java的一系列产品就被整合到Oracle官网中，打开官网乍眼一看也不知道去哪里下载，还得一个一个的摸索尝试，而且网上大多数都是一些Oracle收购Sun前，或者就...

Linux 下安装JDK17_linux 安装jdk1.8 yum

一、安装环境操作系统：JDK版本：17二、安装步骤第一步：下载安装包下载Linux环境下的jdk1.8，请去官网（https://www.oracle.com/java/technologies/do...

在Ubuntu系统中安装JDK 17并配置环境变量教程

在Ubuntu系统上安装JDK17并配置环境变量是Java开发环境搭建的重要步骤。JDK17是Oracle提供的长期支持版本，广泛用于开发Java应用程序。以下是详细的步骤，帮助你在Ubuntu系...

如何在 Linux 上安装 Java_linux安装java的步骤

在桌面上拥抱Java应用程序，然后在所有桌面上运行它们。--SethKenlon（作者）无论你运行的是哪种操作系统，通常都有几种安装应用程序的方法。有时你可能会在应用程序商店中找到一个应用程序...

Windows和Linux环境下的JDK安装教程

JavaDevelopmentKit（简称JDK），是Java开发的核心工具包，提供了Java应用程序的编译、运行和开发所需的各类工具和类库。它包括了JRE（JavaRuntimeEnviro...

linux安装jdk_linux安装jdk软连接

JDK是啥就不用多介绍了哈，外行的人也不会进来看我的博文。依然记得读大学那会，第一次实验课就是在机房安装jdk，编写HelloWorld程序。时光飞逝啊，一下过了十多年了，挣了不少钱，买了跑车，娶了富...

linux安装jdk,全局配置，不同用户不同jdk

jdk1.8安装包链接：https://pan.baidu.com/s/14qBrh6ZpLK04QS8ogCepwg提取码：09zs上传文件解压tar-zxvfjdk-8u152-linux-...

运维大神教你在linux下安装jdk8_linux安装jdk1.7

1.到官网下载适合自己机器的版本。楼主下载的是jdk-8u66-linux-i586.tar.gzhttp://www.oracle.com/technetwork/java/javase/downl...

window和linux安装JDK1.8_linux 安装jdk1.8.tar

Windows安装JDK1.8的步骤：步骤1：下载JDK打开浏览器，找到JDK下载页面https://d.injdk.cn/download/oraclejdk/8在页面中找到并点击“下载...

最全的linux下安装JavaJDK的教程(图文详解)不会安装你来打我?

默认已经有了linux服务器，且有root账号首先检查一下是否已经安装过java的jdk任意位置输入命令：whichjava像我这个已经安装过了，就会提示在哪个位置，你的肯定是找不到。一般我们在...

取消回复欢迎 你 发表评论:

一周热门
最近发表
标签列表