百度360必应搜狗淘宝本站头条
当前位置:网站首页 > IT技术 > 正文

数据位移玩出花,SQL窗口函数:LAG/LEAD/FIRST/LAST案例解析

wptr33 2025-05-26 19:24 13 浏览

前些天有粉丝留言,多些高级查询案例总结分享,也有粉丝私信问了查询的案例问题,这里就一起安排上



粉丝问题

埋点表,想按照某个事件,把发生这个事件的时间到下次这个事件发生的时间中间所有的事件分成一个组应该怎么做?


解决思路

1.先获取到相邻两个特定事件之间的时间段;

2.再把所有事件与上面的结果1关联,时间段内的进行统一标识特定事件的开始发生时间;

最终就能通过开始发生时间完成分组了

Mysql 8.0+的话可以直接窗口函数来解决

WITH specific_events AS (
SELECT     
user_id,   
event_time AS session_start,   
LEAD(event_time)OVER (PARTITIONBY user_id ORDERBY event_time) AS next_session_start 
FROM events  WHERE event_name ='特定事件')
SELECT   
e.user_id, 
e.event_time, 
e.event_name, 
s.session_start AS session_id
FROM events e 
LEFTJOIN specific_events s 
ON e.user_id = s.user_id 
AND e.event_time >= s.session_start 
AND (e.event_time < s.next_session_start OR s.next_session_start ISNULL) 

要是mysql5.7+的话,就是用变量来了

-- 初始化变量
SET @group_id = 0;
SET @prev_user = NULL;

-- 执行分组查询
SELECT   
user_id,  event_time,  event_name,  group_id
FROM (  
SELECT     user_id,    event_time,    event_name,    
@group_id := IF(event_name = '特定事件', IF(user_id = @prev_user, @group_id + 1, 1), @group_id) AS group_id,    
@prev_user := user_id  
FROM     events  
ORDER BY     user_id, event_time) tmp
WHERE group_id > 0;  
-- 可选:排除首个分组前的事件


下面是LAG/LEAD/FIRST/LAST的介绍及案例

分类

函数示例

说明

前后值函数

LAG(col, n, default)

取当前行前第n行的值


LEAD(col, n, default)

取当前行后第n行的值

首尾值函数

FIRST_VALUE(col)

窗口第一行的值


LAST_VALUE(col)

窗口最后一行的值

一、LAG(col, n, default)

核心价值:不用自连接!轻松获取历史数据

经典场景:计算环比增长、用户行为路径分析

案例:电商GMV周环比暴增分析

SELECT
  统计周,
  GMV,
  LAG(GMV, 1, 0) OVER (ORDER BY 统计周) AS 上周GMV, -- 默认0避免NULL
  ROUND((GMV - LAG(GMV) OVER (ORDER BY 统计周))/LAG(GMV) OVER (ORDER BY 统计周)*100,2) AS 环比增长率
FROM 周销售报表

避坑指南:

1 必加ORDER BY:无排序的LAG就像乱序时空穿越!

2 处理NULL值:用default参数给历史数据兜底

3 性能优化:相同OVER()子句可复用,减少重复计算




二、LEAD(col, n, default)

核心价值:提前获取未来数据,轻松计算差值

经典场景:用户下一步行为预测、库存消耗预警


案例:用户行为路径分析

SELECT
  user_id,
  event_time,
  current_action,
  LEAD(current_action, 1, '退出') OVER (PARTITION BY user_id ORDER BY event_time) AS 下一步动作
FROM 用户行为日志
WHERE event_date = '2023-06-18'

避坑指南:

1 分区陷阱:一定要用PARTITION BY隔离不同用户/业务

2 数据边界:末尾数据默认返回NULL,用default参数给明确状态

3 性能杀器:避免在十亿级日志表全量使用,先过滤时间分区!




三、FIRST_VALUE(col)

核心价值:快速定位窗口起点,计算累计值神器

经典场景:用户首单金额分析、累计销售额计算


案例:用户生命周期价值分析

SELECT
  user_id,
  order_date,
  amount,
  FIRST_VALUE(order_date) OVER (PARTITION BY user_id ORDER BY order_date) AS 首单日期,
  SUM(amount) OVER (PARTITION BY user_id ORDER BY order_date) AS 累计消费
FROM 订单表

避坑指南:

1 排序陷阱:不加ORDER BY会导致取值为窗口随机第一行!

2 窗口帧控制:默认RANGE BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW

3 去重技巧:结合DISTINCT快速获取用户首单信息




四、LAST_VALUE(col)

核心价值:捕捉窗口终点数据,动态跟踪最新值

经典场景:库存最新状态跟踪、用户最近一次登录时间


案例:动态库存监控

SELECT
  product_id,
  stock_time,
  current_stock,
  LAST_VALUE(current_stock) OVER (
    PARTITION BY product_id 
    ORDER BY stock_time 
    ROWS BETWEEN UNBOUNDED PRECEDING AND UNBOUNDED FOLLOWING -- 关键!
  ) AS 最新库存
FROM 库存流水表

避坑指南:

1 窗口帧必改:默认只看到当前行!必须扩展窗口范围

2 性能警报:UNBOUNDED FOLLOWING在大数据量时慎用

3 替代方案:用LEAD(0)或反向排序的FIRST_VALUE更高效




四大函数通用避坑指南:

1 索引优化:窗口函数依赖排序,提前在ORDER BY字段建索引

2 内存控制:一次处理10万+数据时,调大数据库的sort_buffer_size

3 版本陷阱:MySQL 8.0+才能用,MariaDB 10.2+语法略有不同

4 执行顺序:窗口函数在WHERE之后执行,不能作为过滤条件




高阶组合技:四大函数合体

案例:用户复购间隔分析

WITH 用户订单 AS (
  SELECT
    user_id,
    order_date,
    LAG(order_date) OVER (PARTITION BY user_id ORDER BY order_date) AS 上次购买日,
    FIRST_VALUE(order_date) OVER (PARTITION BY user_id ORDER BY order_date DESC) AS 最近购买日
  FROM 订单表
)
SELECT 
  user_id,
  DATEDIFF(order_date, 上次购买日) AS 购买间隔,
  DATEDIFF(CURRENT_DATE(), 最近购买日) AS 沉默天数 
FROM 用户订单

粉丝福利


你在工作中还遇到过哪些数据处理难题? 评论区告诉我,后面专题解决!

相关推荐

C++企业级开发规范指南(c++开发gui)

打造高质量、可维护的C++代码标准一、前言C++作为一门功能强大的系统级编程语言,被广泛应用于操作系统、游戏引擎、高性能服务器、数据库系统等领域。知名互联网公司(如Google、Microsoft、腾...

C++|整型的最值、上溢、下溢、截断、类型提升和转换

整数在计算机内以有限字长表示,当超出最值(有限字长)时,需要截断(溢出,求模)操作。不同字长的整型具有不同的值域,混合运算时,需要类型提升和转换。1整形最值在<limit.h>中有整型的...

C++|漫谈STL细节及内部原理(c++ std stl)

1988年,AlexanderStepanov开始进入惠普的PaloAlto实验室工作,在随后的4年中,他从事的是有关磁盘驱动器方面的工作。直到1992年,由于参加并主持了实验室主任BillWo...

C++11新特性总结 (二)(c++11新特性 pdf)

1.范围for语句C++11引入了一种更为简单的for语句,这种for语句可以很方便的遍历容器或其他序列的所有元素vector<int>vec={1,2,3,4,5,6};f...

C++ STL 漫谈(c++中的stl到底指的什么)

标准模板库(StandardTemplateLibrary,STL)是惠普实验室开发的一个函数库和类库。它是由AlexanderStepanov、MengLee和DavidRMusser在...

C++学习教程_C++语言随到随学_不耽误上班_0基础

C++学习教程0基础学C++也可以,空闲时间学习,不耽误上班.2019年C语言新课程已经上线,随到随学,互动性强,效果好!带你征服C++语言,让所有学过和没有学过C++语言的人,或是正准备学习C++语...

C++遍历vector元素的四种方式(c++ 遍历vector)

vector是相同类型对象的集合,集合中的每个对象有个对应的索引。vector常被称为容器(container)。C++中遍历vector的所有元素是相当常用的操作,这里介绍四种方式。1、通过下标访问...

一起学习c++11——c++11中的新增的容器

c++11新增的容器1:array当时的初衷是希望提供一个在栈上分配的,定长数组,而且可以使用stl中的模板算法。array的用法如下:#include<string>#includ...

C++编程实战基础篇:一维数组应用之投票统计

题目描述班上有N个同学,有五位候选人“A,B,C,D,E”,请所有的同学投票并选举出班长,现在请你编写程序来他们计算候选人的得票总数,每位同学投票将以数字的形式投票“12345”分别代表五位候选人,...

C++20 新特性(6):new表达式也支持数组大小推导

new表达式也支持数组大小推导在C++17标准中,在定义并初始化静态数组时,是可以忽略数组大小,然后通过初始化数据来推导数组的大小。但使用new来定义并初始化动态数组时,并不支持这种自动推导数组大...

C++ 结构体(struct)最全详解(c++结构体用法)

一、定义与声明1.先定义结构体类型再单独进行变量定义structStudent{intCode;charName[20];charSex;intA...

自学 C++ 第 6 课 二维数组找最值

键盘输入一个m×n的二维数组,通过C++编程找出元素中的最大值,并输出其所在的位置坐标。例如,输入一个4×5的二维数组,数组元素分别为{{556623749},{578964563},...

从缺陷中学习C/C++:聊聊 C++ 中常见的内存问题

在写C/C++程序时,一提到内存,大多数人会想到内存泄露。内存泄露是一个令人头疼的问题,尤其在开发大的软件系统时。一个经典的现象是,系统运行了10天、1个月都好好的,忽然有一天宕机了:OOM(Out...

C++开发者都应该使用的十个C++11特性(上)

在C++11新标准中,语言本身和标准库都增加了很多新内容,本文只涉及了一些皮毛。不过我相信这些新特性当中有一些,应该成为所有C++开发者的常规装备。你也许看到过许多类似介绍各种C++11特性的文章。下...

深度解读C/C++指针与数组(c++指针和数组的区别)

指针和数组是密切相关的。事实上,指针和数组在很多情况下是可以互换的。例如,一个指向数组开头的指针,可以通过使用指针的算术运算或数组索引来访问数组。今天我们就来聊一聊数组和指针千丝万缕的关系;一维数组与...