使用BinaryReader读取大文件（> 1 GB）时，最佳缓冲区大小是多少？

Amir Pournasserian 发表于 Dev

阿米尔（Amir Pournasserian）

我正在读取二进制文件，这是一个示例：

public static byte[] ReadFully(Stream input)
{
    byte[] buffer = new byte[16*1024];
    int read;
    while ((read = input.Read(buffer, 0, buffer.Length)) > 0)
    {
        ......
    }

}

显然，缓冲区大小（16 * 1024）对性能起着很大的作用。我已经读到它取决于I / O技术（SATA，SSD，SCSI等），还取决于该文件上存在的分区的片段大小（我们可以在格式化分区时定义）。

但是这里有一个问题：是否有任何公式或最佳实践来定义缓冲区大小？现在，我正在基于反复试验进行定义。

编辑：我已经在服务器上使用不同的缓冲区大小测试了该应用程序，并且使用4095 * 256 * 16（16 MB）获得了最佳性能！4096慢4秒。

以下是一些较旧的帖子，它们非常有帮助，但我仍然无法找到原因：

用户名

“ .NET的顺序文件编程模式和性能”是有关I / O性能改进的精彩文章。

在此PDF文件的第8页中，它表明大于8个字节的缓冲区大小的带宽是恒定的。考虑到本文是在2004年编写的，硬盘驱动器是“ Maxtor 250 GB 7200 RPM SATA磁盘”，其结果应该与最新的I / O技术有所不同。

如果您正在寻找最佳性能，请查看pinvoke.net或PDF文件的第9页，非缓冲文件性能测量显示出更好的结果：

在无缓冲的I / O中，磁盘数据直接在应用程序的地址空间和设备之间移动，而无需任何中间复制。

概要

对于单个磁盘，请使用.NET框架的默认值-它们为顺序文件访问提供了出色的性能。
创建文件时，预先分配较大的顺序文件（使用SetLength（）方法）。与碎片文件相比，这通常可以将速度提高约13％。
至少就目前而言，磁盘阵列需要非缓冲I / O才能达到最高性能-缓冲I / O的速度可能比非缓冲I / O慢八倍。我们希望此问题将在.NET框架的更高版本中得到解决。
如果您自己进行缓冲，请使用较大的请求大小（64 KB是一个不错的起点）。使用.NET框架，单个处理器可以使用未缓冲的I / O以超过800 MB / s的速度读写磁盘阵列。

本文收集自互联网，转载请注明来源。

如有侵权，请联系[email protected] 删除。