びびすけ さんのページ

3件の日記があります。

本サイト統計 (2008/05/02 10:11) 0 comment

前回 から約一ヶ月が経過したので、本サイトのセッション数、ユーザ数、ページビュー数のグラフを保存しておく
少し増えたような気がしないでもないが、あまり変わってないな

ファイルロード処理時間 (2008/05/02 19:46) 0 comment

ViVi のファイルロード処理を高速化するための予備実験

CreateFile でファイルを開き、メモリマップトファイルにマップして、中をスキャン。改行の数を数えてみた
アパッチログファイル（ANSI）＠ウルフデール3GHz, 2GMem, SATA2 HDD, WinXP、VC6 リリースモード

約50メガ、40万行のログ：49ミリ秒
585メガ、460万行のログ：594ミリ秒

次に、ファイルサイズ分のメモリをアロケートし、そこにファイル内容をコピーしてみた

約50メガ、40万行のログ：63ミリ秒
585メガ、460万行のログ：719ミリ秒

おおむね、ファイルサイズに比例している。
32ビット XP の仮想記憶は 3G程度しかないので、あまり大きなファイルの内容をそのまま内部バッファに格納するのは困難だ。

数G以上のもっと大きなファイルでも、行数を数えるだけなら、メモリマップトファイルのビューを分割すれば
1Gあたり1秒程度で処理できそうな雰囲気だ。

ファイルロード処理時間 (2) (2008/05/02 20:56) 0 comment

次に、読み込んだバッファをスキャンし、new/delete を使って行を構築・開放する
行のデータ構造は双方向リンクを使用する。ひとつの行構造体のバイト数は20バイトとする
約50メガ、40万行のアパッチログファイルについて時間計測してみた結果は 4.969秒だった
（ファイルをオープンし内部バッファにコピーする時間は63ミリ秒だった）

40万*20 = 800万なので、メモリを約58メガ消費する計算になる。
タスクマネージャで使用メモリ量を見ると、約65メガ程度を消費してた。
余分の7メガは メモリマップトファイルの分とメモリ管理に必要な分と考えられる

3件の日記があります。