文本去重

怎么用

1. 把文本或清单粘贴到左侧输入框，每行一条。
2. 选好重复的判定方式：默认逐字节精确比较，也可以忽略大小写或忽略行尾空白。
3. 保持保持首次出现顺序勾选可维持原有顺序；取消勾选则改为保留每行的最后一次出现。
4. 点 Dedupe。右侧显示去重结果，下方区域列出被移除的行。
5. 看状态栏的前后行数，然后 Copy 复制结果。

常见用法

• 合并多份清单 —— 几份导出的名单先拼在一起，再用去重收敛成一份不重的集合。
• 关键词与标签清理 —— 只差一个尾部空格或大小写的重复标签一次清掉。
• 日志排查 —— 去掉完全相同的重复行，看看到底发生过哪些不同的事件。
• 合并待办清单 —— 几个人各写一份合并后去重，不会丢内容也不会留重复。

常见问题

问：重复是按什么规则比较的？ 答：默认逐字节比较。勾选忽略大小写或忽略行尾空白后，比较前会先做对应归一化，但保留的行始终是原始文本。

问：「保留最后一次出现」具体是什么行为？ 答：每组重复里保留最后一份，位置就是它原本出现的位置，更早的几份会列进被移除区域。

问：会顺带给我的行排序吗？ 答：不会。顺序按粘贴原样保留。需要排序的话，先去重，再把结果粘进行排序工具。