実験計画法の３つの原則 - より良い評価のために -

実験計画法（Wikipedia）には性能やユーザビリティの評価を考える際に役立ちそうな３つの原則があります。

局所管理化

比較するもの以外は条件を揃える事です。性能評価やユーザビリティ評価を行う際に、試験毎に条件が変わっていたのでは比較ができません。試験内容に合わせて、環境や被験者の条件を揃えます。

反復

複数回実施して誤差を無くします。性能試験やユーザビリティ試験では試験毎のばらつきが出ますので、複数回試験します。統計処理をする場合は20回以上すると良いと言われていますが、もう少し少ない件数でも検定できる場合がある様です。

無作為化（ランダム化）

条件を揃える事が難しい場合は、組合せによってその影響を除きます。学習効果がある場合などは2群に分けて、試験順序を帰る事で学習効果の影響を除きます。性能に影響するキャッシュの場合は、影響を除くよりも影響のある場合とない場合に分けて局所管理化、つまり分けて試験する方が良いでしょう。

性能試験やユーザビリティ試験について書きましたが、これらの内容は統計処理を行う際にも気をつけるべきことです。良いデータであるか、常に考慮していたいものです。

ソフトウェア工学の中で統計処理といえば、信頼度成長モデルが有名です。もちろん試験に偏りがない事が前提ですので、ランダム化が必須です。利用されているところでは、ランダムかができているでしょうか？

＃下記の本は読んだ事がありません。読まれたら感想を教えてください。