文本行去重

什么是文本行去重？

文本行去重工具以换行符为单位，删除文本中的重复行并保持原有顺序。它常用于整理从 Excel 导出的名单、清理日志中的重复记录、合并多个列表时的重复项处理、以及去除配置文件中重复的条目等场景。与直接使用文本编辑器的「去重排序」不同，本工具不改变行的先后顺序，只删除重复项，因此结果更贴近原始数据。

工具提供两种去重策略：「保留首次出现」删除后续重复行，适合大多数整理场景；「保留末次出现」删除前面的重复行，只保留最后一行，适合日志、聊天记录等按时间追加、希望取最新值的场景。勾选「忽略空白差异」后，比较时忽略每行首尾的空格，但输出时仍保留行的原始内容。去重基于 JavaScript 的 Set 结构实现，处理大量行时依然快速，全部在浏览器本地完成。

使用步骤

1. 将需要去重的文本粘贴到输入框，每行一条；
2. 选择「保留首次出现」或「保留末次出现」策略，按需勾选「忽略空白差异」；
3. 点击「开始去重」按钮，结果立即显示在结果区，并提示去重前后的行数；
4. 点击「复制」按钮将去重结果一键复制到剪贴板。

常见问题

「保留首次出现」和「保留末次出现」有什么区别？

保留首次出现会删除后续的重复行，只保留最靠前的那一行；保留末次出现则删除前面的重复行，只保留最后出现的那一行，适合日志、聊天记录等按时间追加的场景。

勾选「忽略空白差异」会怎样？

比较时会把每行首尾的空格去掉再判断是否重复，但输出时仍保留该行的原始内容，避免把前后空格不同、内容相同的行误判为两行。

去重会改变行的顺序吗？

不会。工具保持各行原有的先后顺序，只删除重复项，不会对内容进行排序。

空行会被去重吗？

会，多个连续空行会被视为重复行只保留一个；如果不想处理空行，可以先在文本中删除空行再使用本工具。