PSO2のファイルチェックの高速化検討

結論とか

PSO2のファイルチェックについていろいろ考える。

結論としては、とことん高速化するならNVMeのSSDは必須NVMeのSSDが理想で、SATAのSSDでは（RAIDでも組まない限り）帯域が足りない。細かいファイルは圧倒的に多いが、IOPSとかランダムリード速度よりシーケンシャルリード速度のほうが重要。

CPUのシングルスレッド性能も重要かもしれない（CPU変えて検証したいところだけれども面倒なので断念）。

追記：↑CPU強化したけど変わらなかったので、シングルスレッド性能自体が問題ではなさそう。

というわけで、とことん高速化するならシングルスレッド性能の良いデスクトップ向けCPU（Ryzen 3000番台、Core i7以上）と、シーケンシャルリード速いNVMeのSSDがほしい。

ちなみにそんな条件(Read 3GB/s以上)で安いSSDとなるとこんなのとかになる。

A-DATA SX8200 Pro

NVMe以外でもSATA3のSSDなら理想的ではないが問題ないと思う。HDDの人は買い替えるべき。

私のPCの環境

ちなみに私のPCでこんな感じ。CPUが骨董品なので、こんな環境で何偉そうに書いてるんだと思われる方もおられるでしょうがご容赦を。

PCのスペック

• CPU FX-8350 4.0Ghz
• メモリ 8GB
• GPU GeForce GTX780ti(2-way SLI)
• ストレージ Goodram CX300 240GB(システム)+Crucial P1 500GB(PSO2など用)

ファイルチェックを観察してみる

私の環境のファイルチェック

PSO2アプデタイムアタック(4/8日分)
ファイル一覧読み込み：1:21
ファイルチェック：2:22
ダウンロード：0:43
Ryzen5使ったらもっと早くなりそう。ストレージ負荷は半分くらいだし（今はFX-8350）

— nanabach (@nanabach5) April 10, 2020

以下少々技術的な話

さて、目視で見た感じファイルチェック中の速度は、670MB/s、6000ファイル/s程度が最大だった。Crucial P1はQ1T1（並列で読み込まない条件）でReadが最大1300MB/s、ランダムなら12000IOPSは出るはずなので、だいぶ少なく感じる。

タスクマネージャーから見た感じ、ストレージのアクティブな時間はだいたい60%となっていた。これは実測値/理想値に近いので、ストレージは性能を発揮しきれておらず、何らかのボトルネックがあると思われる。

メモリが不足している様子はなく、となるとCPUが原因の可能性が高い。CPU使用率は全体で50%台後半、コア別にみれば6コア/8コアで70%となっているが、タスクマネージャーから確認できないほどの速さで負荷100%のコアが交代して、多くのコアに70%負荷がかかっているように見える可能性がある（そういったのに対応したモニタソフトもあるらしいのだが）。つまりコア数は足りているがシングルスレッド性能が足りずこのような結果になっているのではないだろうか。

なおFX-8350では4Ghzなら上記の通り全体としては使用率50%台、クロック半分にすると使用率100%に張り付く程度の負荷である。

多分シーケンシャルリードのほうが重要

後述の通りPSO2のファイルの半分(4万くらい)は30KB以下のファイルであり、IOPSが高いほど処理が速くなるように思える。しかし仮にストレージ性能がやや低めの5000IOPS(4KBランダム20MB/s)としても4万ファイルが8秒でチェック終わる計算なので、いくらIOPSが高くても大した高速化にならない。

なので、IOPSよりシーケンシャルリードが重要となるはず。さすがにHDDのように数百IOPSでは1.5ダースほどRAIDしない限り論外だが。

参考：PSO2のファイルサイズとファイル数

PSO2のデータのファイル数はおよそ8.6万、ファイルサイズは73GB程度。平均ファイルサイズは平均800KBとなる。

が、その他色々見た感じからざっと計算すると内訳は

• 上位100ファイル 平均サイズ140MB（最小80MB）
• 上位100~500ファイル 平均30MB
• 500位以下 平均550KB
• 半分近くは30KB以下

また冒頭のように上位1300ファイルで半分の37GBもある。