DISTINCT仅作用于子查询自身结果，JOIN后重复源于关联字段不唯一或条件未收敛；其去重基于整行逐字节比对，非业务逻辑判断；含聚合或窗口函数时冗余甚至报错；ORDER BY字段须在SELECT列表中，否则引发错误或顺序异常。

子查询里加了DISTINCT，外层JOIN后还是重复

根本不是DISTINCT没生效，而是它只作用于子查询自身结果——一旦这个“去重后”的结果被用作派生表参与JOIN，而关联字段（比如user_id）在主表中本身就不唯一，或JOIN条件没收敛，就会立刻产生笛卡尔积式膨胀。例如：SELECT * FROM orders o JOIN (SELECT DISTINCT user_id, region FROM users) u ON o.user_id = u.user_id，如果orders里一个user_id对应多条订单，那每条都会和u里该user_id的行匹配，重复就出来了。

• 先用SELECT *查出原始JOIN结果，看哪几列在变——常是时间戳、明细ID、状态变更记录这类天然不唯一的字段
• 若只需主表数据，别JOIN子查询，改用EXISTS或IN：把JOIN (SELECT DISTINCT ...)换成WHERE EXISTS (SELECT 1 FROM users u WHERE u.user_id = o.user_id AND u.status = 'active')
• DISTINCT必须写在子查询最内层SELECT开头，不能只在外层套一层SELECT DISTINCT *，否则只是对已膨胀的结果“事后补救”，性能差还掩盖问题

DISTINCT去不掉“看起来一样”的行

DISTINCT判断重复是逐字节比对整行所有字段值，不是按业务理解“算重复”。两行name相同但created_at差1毫秒、或lotno末尾多了个空格、或一个是NULL一个是空字符串''，全都被视为不同行。

• 检查重复行的差异字段：用SELECT HEX(col)或LENGTH(col)确认是否有隐藏空格、不可见字符
• 对字符串字段预处理：TRIM(LOWER(name))、COALESCE(status, 'UNKNOWN')，避免NULL和空值混用
• MySQL默认不区分大小写，PostgreSQL区分——跨库迁移时DISTINCT行为可能突变

子查询含聚合或窗口函数时DISTINCT冗余甚至报错

在子查询已使用GROUP BY或ROW_NUMBER()的情况下，再添加DISTINCT，不仅是多余的操作，甚至可能破坏逻辑或导致语法错误。比如说，在SELECT DISTINCT user_id, MAX(create_time) FROM orders GROUP BY user_id这个语句中，GROUP BY本身就已经确保了user_id的唯一性，DISTINCT在这里完全是干扰项；而在SELECT DISTINCT *, ROW_NUMBER() OVER (...) FROM t这个语句中，多数数据库会直接报错，这是因为窗口函数需要明确的排序依据，而DISTINCT会打乱行序。

• 先确认子查询语义是否已隐含唯一性：GROUP BY主键、ROW_NUMBER() ... WHERE rn = 1等场景下删掉DISTINCT
• 需要“按某列去重并保留完整行”时，DISTINCT完全无能为力，必须用ROW_NUMBER() + CTE或子查询过滤
• 别在WHERE子句里嵌套窗口函数——ROW_NUMBER()只能出现在CTE、派生表或SELECT列表中

ORDER BY字段不在SELECT列表中导致DISTINCT失效错觉

不少人写SELECT DISTINCT name FROM users ORDER BY created_at，却发现结果顺序不对劲，甚至还报错，就以为DISTINCT失效了。但其实啊，这是因为ORDER BY引用了未选字段。在这种情况下，数据库要么就拒绝执行（像MySQL 5.7+严格模式就是这样），要么就按内部顺序返回，看起来就好像是“没去重”一样。

• ORDER BY字段必须出现在SELECT列表中，或为其定义别名后引用
• 想按未选字段排序，得改写成子查询：SELECT name FROM (SELECT DISTINCT name, MAX(created_at) AS max_time FROM users GROUP BY name) t ORDER BY max_time
• PostgreSQL支持DISTINCT ON (col)，但MySQL/SQL Server不兼容，线上别依赖

真正麻烦的从来不是DISTINCT写没写，而是你没想清楚：这行重复，到底是数据本身冗余、JOIN路径发散、字段组合天然不唯一，还是业务上根本就需要“留最新那一行”——这时候DISTINCT连入场券都没有。

《夸克》非常好用的免费AI浏览器

下载APP查看