実験計画法の3つの原則 - より良い評価のために -
実験計画法(Wikipedia)には性能やユーザビリティの評価を考える際に役立ちそうな3つの原則があります。
局所管理化
比較するもの以外は条件を揃える事です。性能評価やユーザビリティ評価を行う際に、試験毎に条件が変わっていたのでは比較ができません。試験内容に合わせて、環境や被験者の条件を揃えます。
反復
複数回実施して誤差を無くします。性能試験やユーザビリティ試験では試験毎のばらつきが出ますので、複数回試験します。統計処理をする場合は20回以上すると良いと言われていますが、もう少し少ない件数でも検定できる場合がある様です。
無作為化(ランダム化)
条件を揃える事が難しい場合は、組合せによってその影響を除きます。学習効果がある場合などは2群に分けて、試験順序を帰る事で学習効果の影響を除きます。性能に影響するキャッシュの場合は、影響を除くよりも影響のある場合とない場合に分けて局所管理化、つまり分けて試験する方が良いでしょう。
性能試験やユーザビリティ試験について書きましたが、これらの内容は統計処理を行う際にも気をつけるべきことです。良いデータであるか、常に考慮していたいものです。
ソフトウェア工学の中で統計処理といえば、信頼度成長モデルが有名です。もちろん試験に偏りがない事が前提ですので、ランダム化が必須です。利用されているところでは、ランダムかができているでしょうか?
#下記の本は読んだ事がありません。読まれたら感想を教えてください。
« 残業地獄に光をあてろ! - チームを再生する - | トップページ | 効果的に対策を打つための5つの戦略 »
「ソフトウェア」カテゴリの記事
- One fact in one placeとチケット駆動開発 - Software Processes are Software, Too -(2021.12.21)
- マルチスレッド処理と進捗管理・配員・作業分割/割り当て- Software Processes are Software, Too -(2021.12.20)
- カプセル化と組織パターン - Software Processes are Software, Too -(2021.12.20)
- 論文研修会(導入編)- 論理的思考のすすめ -(2019.12.01)
- デブサミ関西でNode-REDとペンギンと勇気の話をしました #devsumiB(2018.10.28)
コメント