【知行合一】-Poople's Blog

CCF的讨论,有参考价值,转过来研究一下

服务器上有上亿的25k~40k小文件约4T左右（每天还在不停增加），但磁盘马上要满了

磁盘结构NTFS

用treesize 列目录用了一个晚上，大概8小时

用killcopy拷贝到NAS，在收集信息时就崩溃了

现在还没有好的方法处理这些文件

打开磁盘并不慢，因为这些文件被分在不同的目录下，目录也很多

A1:

RAR 估计够呛，我感觉 RAR 是先收集文件列表然后开始压缩的，而且还会故意把不同路径文件名相同的放在一起压。我们算一下，假如每个文件路径和相关信息存放在内存里平均需要 512 字节空间，那么收集 10 亿个文件列表就需要 476.8GB 内存，就算更乐观的情况——256 字节一个 file path entry，1 亿文件的列表也需要 23.84GB 内存空间。

这显然不具备实际意义。所以要是真想备份出去就只能用 ghost 之类的磁盘镜像工具了。ghost 出来以后要是想恢复部分文件，可以使用官方的 ghost Explorer。

A2:

这么多小文件，只能用block的方式去操作

以上的思路应该是正解,继续关注此帖,等待更好的解决思路.