Ubuntu中文论坛

发表于： **2008-08-22 15:54**

我有个纯文本的词汇表，日积月累，不知不觉中，竟有很多重复行（即，两行的内容是一样的）。

请教: 如何删除这些重复行？Vim中用正则表达式，或者是 Perl, Python脚本都行。

（最好是通用的解决方案，在Windows下，有些Unix命令就用不了。）

非常感谢。

发表于： **2008-08-22 16:05**

发表于： **2008-08-22 16:10**

发表于： **2008-08-22 16:57**

cat file |sort|uniq >newfile

发表于： **2008-08-22 17:01**

xiooli 写了：cat file |sort|uniq >newfile

Windows下没有cat命令。（还是要谢谢你）

发表于： **2008-08-22 17:04**

eexpress 写了：sort

Unix/Linux下sort命令很好用，如 sort -u 可Windows下不行。

发表于： **2008-08-22 17:06**

nickleeh 写了：
xiooli 写了：cat file |sort|uniq >newfile
Windows下没有cat命令。（还是要谢谢你）

搞那么复杂，你传上来，搞定给你发回去 ${L_SMILIES_SHOCKED}$

发表于： **2008-08-22 17:17**

perl -lne 'print unless $seen{$_}++' file

请教：如何在Vim中删除相同的重复行