Ubuntu中文论坛

发表于： **2010-01-18 2:36**

怎么用VIM清除重复的一行（单词）
最近在用PDA学英语，觉得那些4 6级单词很多用不到，就自己在网上找了3份按照英语中词频分类的最常用单词2000，貌似一个是口语，一个是书写的
想把2个文本整合一下，去处重复的保留不一样的，应该怎么办啊
例如文本1：

代码：全选

a
s
d
f
g
h
j

文本2

代码：全选

a
s
d
v
f
b
n
j
m

应该整合成

代码：全选

a
s
d
f
g
h
j
v
n
m

不知道其他有有需要不，我把文本传上来了

发表于： **2010-01-18 2:38**

偶也整理的很累啊都凌晨2点半了都是VIM学的不扎实～～

发表于： **2010-01-18 7:52**

这个不是用vim来做的事。
man uniq

发表于： **2010-01-18 10:34**

yingfei 写了：这个不是用vim来做的事。
man uniq

可以试试这个
:%s/^$.*$\n\1$/\1/

发表于： **2010-01-18 13:35**

yingfei 写了：这个不是用vim来做的事。
man uniq

我觉得可以的，比如把3个文本复制在一个文本内，按照单词长度从小到大排列，这样一样的单词会在一起，
然后应该有办法把上下一样的单词（行）去掉的吧

发表于： **2010-01-18 17:06**

代码：全选

cat file_a  file_b file_c | uniq   > file_ok

这样应该就差不多了。不用那么麻烦。

发表于： **2010-01-18 18:15**

Emeditor 貌似就可以

发表于： **2010-01-18 18:22**

六楼正解，什么工具干什么事。。

发表于： **2010-01-18 22:10**

要先排序才行吧！

发表于： **2010-01-22 0:40**

yingfei 写了：
代码：全选
cat file_a  file_b file_c | uniq   > file_ok
这样应该就差不多了。不用那么麻烦。

排序！！

代码：全选

 cat file_a file_b file_c | sort | uniq > file_ok

发表于： **2010-02-06 7:04**

Vim 是神器。

代码：全选

:sort u

发表于： **2010-02-19 21:54**

怎么感觉sort|uniq就可以解决？

发表于： **2010-02-25 23:30**

很简单的东西搞这么复杂干嘛……

怎么用VIM清除重复的一行（单词）