【コラム】人事コンサルタントの視点

はじめに

良い人事アセスメントとはどんなものでしょう。利用目的にあっていたり、優秀な人材をきちんと見分けられたり、普段の仕事ぶりや面接での対話からは出てこない内面をあぶりだすことができたり、受検者にとって公平で納得できるものであったり、利用者にとって運営が容易で結果が使いやすかったり、受検者へのフィードバックがやりやすかったり、コストや時間の負担が合理的であったり、システムが安定していてセキュリティーが万全であったり、サポートが丁寧であったりなど、まだまだたくさんの条件が思いつきます。今、申し上げたものはどれも大事ですが、人事アセスメント開発事業者が確認している品質に関連する重要な二つの概念があります。信頼性と妥当性です。
過去のコラムでも妥当性についてたびたび言及されていましたが、その妥当性について詳しくご説明したことはなかったように思います。このコラムでは人事アセスメントの品質基準である信頼性、妥当性について前後編で述べていきます。

信頼性とは

まずは信頼性についてです。人事アセスメントにおける信頼性は測定精度に関する概念です。測定の安定性、一貫性であり、正確に測定できているかどうかを表しています。例えば、信頼性の高い体重計は同じ人が連続で10回体重を測ったとしても全て同じ結果が表示されますが、信頼性の低い体重計は毎回異なる体重が表示されます。毎回異なる体重が表示されたら、最も軽いものを信じたい気持ちになりますが、それでは正確な体重測定はできません。信頼性の高いものほど測定誤差が少ないと考えてください。
どんな精巧な測定ツールであっても完全に誤差をなくすことは出来ません。高精度な原子時計でも数千万年に1秒ほどの誤差が生じます。アセスメント結果も完全に正確なものではなく、あくまでも知的能力やパーソナリティの推定値であり、必ず誤差を含むものだということを知っておく必要があります。
信頼性は各アセスメントツールの測定尺度が持っている精度ですが、アセスメントツールの内容だけではなく、実施環境なども影響します。以下4つが不適切であると信頼性を低下します。

・状況や環境
照明、騒音、気温、気が散る、机の配置が悪い、過密、不正ができる
・アセスメント内容
項目が曖昧、テストが短すぎる、デザインやレイアウトが悪い、例題が悪い、採点システムが間違っている
・受検者の一時的な状態
病気、気分、疲労、意欲、時間帯
・運営や実施管理
標準的な説明がない、例題を行わない、実施管理者の不十分な説明、時間管理の不正確さ

先般の大学入学共通テスト会場で発生した刺傷事件は、被害者にとって許せない事件であるとともにその会場で受験した全ての受験生の状態に悪影響を及ぼしたであろうと思われます。

信頼性の確認方法

人事アセスメントを開発する際に開発事業者は概ね以下3つの方法で信頼性を確認します。
・再テスト信頼性
同じアセスメントを何日かおいて、もう一度同じ人たちに実施します。1回目と2回目の測定結果の相関を調べることで、結果の安定性（どのくらい同じ結果になるか）を確認します。
・並行テスト信頼性
内容、難易度、時間が等しい並行版テストを作り、同じ人たちに実施して得点の相関を調べます。
・内部一貫性信頼性
アセスメントの全項目が一貫しているかどうかを確認します。例えば50問出題されるアセスメントの奇数番号の項目25問と偶数番号の項目25問の得点をそれぞれ集計し、各得点の相関を調べます。その他には、テストの各項目とその他の項目との相関を調べるα（アルファ）係数などがよく使われます。それぞれ概ね同じものを測っているということを確認するものです。

これらの信頼性は信頼性係数として表示されます。信頼性係数は主に相関分析によって算出されますが、相関係数とは異なり、負の値をとりません。0から1.0の値をとり、値が大きいほど信頼性が高い尺度と言えます。アセスメント内容や形式、採点手法などによって異なりますが、知的能力検査やパーソナリティ検査の適性テストでは一般的に0.7～0.9程度の信頼性が必要とされています。SHLグループでは信頼性係数の最低基準を0.7と定めテスト開発を行っています。

アセスメントにおける信頼性の意味

信頼性は誤差に関わるもの。アセスメント結果を見る際に考慮する誤差の程度は、測定の標準誤差によって決まります。そしてこの標準誤差は測定尺度の信頼性と得点の標準偏差によって算出されます。式は以下の通りです。

標準誤差＝標準偏差√（1-信頼性係数）

測定尺度の標準偏差と信頼性係数については、アセスメントツールの技術マニュアルを参照するか、提供事業者へ問い合わせることで確認ができます。
当社のアセスメント尺度得点は主に標準点と呼ばれる10段階の偏差値で表示されます。この標準点は、測定尺度の平均値を5.5、標準偏差を2とする標準得点です。また、当社アセスメントの信頼性は0.7以上であるため、上記の式で標準誤差を計算すると、概ね標準点1点分を標準誤差として考慮すべきということがわかります。（このあたりの詳しい説明は当社コンサルタントにお気軽に質問してください。）標準誤差は、ある個人が複数回同じアセスメントを受検した際の得点分布の標準偏差と考えることができるため、再度受検した時の得点を以下のように予測することが可能です。

・元の得点にプラスマイナス標準点1点の範囲に入る確率は約68％
・元の得点にプラスマイナス標準点2点の範囲に入る確率は約95％

当社のOPQコース（パーソナリティ検査OPQの使い方を学ぶトレーニング）で、得点の解釈について説明する際に、「標準点のプラスマイナス1点を誤差として考えてください。」と申し上げている根拠は上記の通りです。より厳密に2名の得点を比較する場合には、標準点2点以上の差があれば両者の間に違いがあると判断できます。

信頼性データは事業者の信用に関わるもの

人事アセスメントの品質基準である信頼性は測定尺度の安定性を決める概念であることはおわかりいただけたと思います。
加えて、人事アセスメントを提供する事業者が信用に足るかどうかを判断する情報にもなります。信頼性データを持たないアセスメントは使用するべきではありません。信頼性データを持たないアセスメントは、素人が思い付きで作った問題やアンケートと何ら違いがないのです。しかし、いくら信頼性が高くても問題数が多く時間がかかり過ぎるアセスメントでは使い勝手が悪過ぎます。信頼性は問題項目の数が多いほど高くできるため、実施時間を犠牲にすれば高い信頼性のアセスメントツールを開発することは可能です。短時間、かつ信頼性の高いアセスメントを開発できる事業者は優れた開発者と言えます。

今回は信頼性についてご説明しました。人事アセスメントの品質は信頼性だけではなく、妥当性も含め総合的に判断すべきものです。次回後編は妥当性について述べます。