分页： 1 / 3
有没有在一个目录十几万个文件里面搜索所有相同的文件方法 （已找到很多解决方案）
发表于 ： 2007-11-08 9:04
由 xiehuoli
有没有在一个目录，十几万个文件里面搜索所有相同的文件方法
并把它归类出来
尝试用find不行。
如果有软件也行，软件最好
懂的知会一声，谢谢。
发表于 ： 2007-11-08 9:17
由 sqlfm
相同意思是什么？
如果是 txt html doc ... 之类，可以用PHP 写个小程式 （PDF／IMAGE的话, 没测试过）
发表于 ： 2007-11-08 9:17
由 eexpress
照片？那gqview有多级别的比较照片的功能。
其他文件？那不知道了。
文本？你建立一个svn。。。。也不知道如何搞。
Re: 有没有在一个目录十几万个文件里面搜索所有相同的文件方法
发表于 ： 2007-11-08 9:20
由 bones7456
xiehuoli 写了：有没有在一个目录，十几万个文件里面搜索所有相同的文件方法
并把它归类出来
尝试用find不行。
如果有软件也行，软件最好
懂的知会一声，谢谢。
相同的文件?不懂啊,是指里面的内容相同吗?是文本文件吗?估计写个 shell script 可以搞定的吧..
发表于 ： 2007-11-08 9:28
由 ofewiofewo
一种方法：find + md5sum ，根据md5判断重复文件
发表于 ： 2007-11-08 9:29
由 eexpress
这妹托疯了。巨大的索引。md5会想死的。随便几个电影目录，你就别做事了。
发表于 ： 2007-11-08 9:35
由 ofewiofewo
十几万部电影 ？
lz那估计是服务器吧，使劲折腾
发表于 ： 2007-11-08 9:54
由 yaoms
find /your/dir/ -type f -exec ls -l {} \; | awk '{print $5 "\t" $8}' | sort > list.txt
list.txt 中大小相同的在一起，然后再想办法用md5sum比较。。
发表于 ： 2007-11-08 9:54
由 ltkun
用hash呢
发表于 ： 2007-11-08 10:57
由 xiehuoli
是内容和名字 都一样
不一定是文本文件，只要内容相同的，都要找出来
发表于 ： 2007-11-08 11:01
由 yiding_he
同一目录下，内容一样的文件，有可能；但是名字一样的，可能吗？
发表于 ： 2007-11-08 11:27
由 xiehuoli
yiding_he 写了：同一目录下，内容一样的文件，有可能；但是名字一样的，可能吗？
可能，因为还有子文件夹
发表于 ： 2007-11-08 11:27
由 bones7456
xiehuoli 写了：是内容和名字 都一样
不一定是文本文件，只要内容相同的，都要找出来
你的意思是同个目录下有很多子目录,然后各子目录里面有同名的又同内容的文件,是吗?
写脚本吧~
问题是你找出来以后想怎么处理呢?
发表于 ： 2007-11-08 11:29
由 leeaman
傻瓜建议:先找名字一样 大小一样的找出来再说,能满足这两个条件的恐怕都不是很多了,不过这个只能是用来找文件而已,如果要做什么自动处理的话,那还要把符合上面两个条件的文件在比较过才行
发表于 ： 2007-11-08 11:38
由 xiehuoli
bones7456 写了：xiehuoli 写了：是内容和名字 都一样
不一定是文本文件，只要内容相同的，都要找出来
你的意思是同个目录下有很多子目录,然后各子目录里面有同名的又同内容的文件,是吗?
写脚本吧~
问题是你找出来以后想怎么处理呢?
先找出来
等上头通知在处理