文本重复行去重

如何删除重复行

1. 粘贴列表，每行一条，或选择 UTF-8 文本文件。
2. 默认精确匹配，也可主动选择忽略大小写、比较时忽略两端空白，以及是否移除空白行。
3. 点击去重，检查统计和重复内容，再复制结果或下载文件。

会保留原来的顺序吗？

会。工具检查整个列表中的重复行，不要求它们相邻；保留首次出现的位置，不进行排序。例如分三行输入 A、B、A，结果为 A、B。主动移除的空白行会单独统计，不混入重复行数量。

匹配选项会修改原文吗？

默认区分大小写和空格：Apple、apple 与前面带空格的行是不同内容。忽略两端空白只影响比较，不会改写保留的第一行。“忽略大小写”使用 JavaScript 的 Unicode 小写转换，并不是完整的语言专用大小写折叠。对大小写敏感的网址或编号，请保持精确匹配。

看起来一样的行一定会合并吗？

不一定。工具不会自动进行 Unicode 规范化。预组合的重音字母和字母加组合音标可能显示相同，但仍视为不同文字，以保护原始内容。中文、表情、前导零以及看起来像 HTML 的文字都会作为纯文本保留，不会被执行。

空行如何统计？

完全没有输入时为零行。末尾单个换行表示上一条记录结束，不额外增加一行。重复的完全空行默认保留一条，启用空白行移除后才全部删除。只含空白的行也属于移除选项的处理范围；启用比较时忽略两端空白后，它们会与空行匹配。

换行格式会怎样处理？

接受 CRLF、LF、CR 作为行分隔符，输出统一使用你选择的 LF 或 CRLF。结果非空时保留原有的末尾终止换行；若最后保留的是空记录，可能补一个换行，避免该记录消失。下载使用 UTF-8，不额外添加 BOM；读取 UTF-8 文件时会移除开头的编码 BOM。

适合处理哪些数据？

适合纯文本列表、关键词、网址、编号和重复日志行。它不是 CSV 记录去重工具：CSV 的带引号字段可能跨越多行，应使用结构化数据工具处理。超出大小限制时会报错，不会只返回一部分结果；无效的 Unicode 代理项会被拒绝，不会在导出时偷偷替换。