津田の開発な日記

いったい何を開発しているのか? (RunRunDietOnline プロトタイプ build 0026)

ファイルロード処理時間 (2008/05/02 19:46)

ViVi のファイルロード処理を高速化するための予備実験

CreateFile でファイルを開き、メモリマップトファイルにマップして、中をスキャン。改行の数を数えてみた
アパッチログファイル（ANSI）＠ウルフデール3GHz, 2GMem, SATA2 HDD, WinXP、VC6 リリースモード

約50メガ、40万行のログ：49ミリ秒
585メガ、460万行のログ：594ミリ秒

次に、ファイルサイズ分のメモリをアロケートし、そこにファイル内容をコピーしてみた

約50メガ、40万行のログ：63ミリ秒
585メガ、460万行のログ：719ミリ秒

おおむね、ファイルサイズに比例している。
32ビット XP の仮想記憶は 3G程度しかないので、あまり大きなファイルの内容をそのまま内部バッファに格納するのは困難だ。

数G以上のもっと大きなファイルでも、行数を数えるだけなら、メモリマップトファイルのビューを分割すれば
1Gあたり1秒程度で処理できそうな雰囲気だ。