AI利用時の得点変化とそのメカニズムー評価支援としてのAI

はじめに

この度、当社は、東京大学松尾研発スタートアップ®であり、人事領域のAI研究開発に特化したBAKUTAN株式会社 （本店：東京都文京区、代表取締役CEO：小森谷周大、以下「BAKUTAN」）と協働し、生成AI*1の利用が管理職向けインバスケット（以下「IB」）演習に及ぼす影響について検証しました。また、本取り組みでは、受検者がAIを利用して回答した場合の影響に加え、AIが採点・評価支援の役割を担いうるかについても確認しました。

検証の結果、同一対象者について「自力回答」と「AI利用回答」の2条件でIB演習結果を比較したところ、AI利用により得点分布と順位に一定の変動が確認されました。また、評価支援の観点では、AIはアセスメント評価者のパートナーとして一定の機能を果たしうることが示唆されました。一方、現段階ではAI単独で評価業務を完全に代替するには課題が残り、演習の特性や評価基準に応じた設計とチューニングが必須であることも確認されました。本稿では、主要な検証結果とそれらから得られる示唆を報告します。

取り組みの背景と前提

生成AIの業務への利活用が急速に進む中、人材アセスメントの領域においてもAI利用の影響を明らかにしていくことが求められています。当社にも、「受検者がAIを利用してアセスメント演習に回答したと推測される場合、測定結果をどのように捉えればよいのか」という問いが少しずつ寄せられるようになってきています。

私たちは、それらの声に応えるべくBAKUTANと共同でプロジェクトを立ち上げ、IB演習を題材に①AI利用がアセスメント結果に与える影響、②AIによる採点（評価）能力、の２つの観点から検証を行いました。

なお、企画にあたっては2023年に実施された大手コンサルティングファームにおけるAIの業務への影響に関する実験結果*2を参照し、検証対象としてシミュレーション型アセスメント*3における代表的手法のひとつであるIB演習にフォーカスし検証を進めました。

検証内容

●IB演習回答におけるAI利用効果について

当社のコンサルタント・セールスプランナー32名を対象に、演習領域・難易度は同一であるが内容の異なるIB演習を一定の期間を空けて２回実施しました。第１回は自力で回答し、第２回は当社内で業務利用が許可されている生成AIのひとつであるMicrosoft 365 Copilot（以下、「AI」）を利用して回答しました。評価項目は意思疎通能力、意思決定能力、業務遂行能力、個人特性*4の4カテゴリー、計13のマネジメントディメンション（以下「Dim」）とし、各Dimを5段階（1～5）で評価しました。あわせてAIの利用実態との関係を探るために、AI利用時のプロンプトログを収集し、対象者自身への振り返りアンケートも実施しました。なお、アセスメントへの習熟度の差が結果に影響することを避けるため、対象者はアセスメント経験の浅い者に限定しました。

●AIの評価能力について

当社が保有するアセスメントに関するマニュアルおよび各種資料を基に、AI採点に適した汎用採点ルールならびに演習固有の採点マニュアルを作成し、AIによるアセスメント（評価）能力の検証を試みました。検証では、熟練アセッサーと評価AIの得点一致度を、以下2つの方法で比較しました。

①演習固有の採点マニュアルを用いて（同一の演習回答を）評価する
➁演習横断で汎用的に用いる採点ルールを用いて（同一の演習回答を）評価する

検証結果

IB演習回答におけるAI利用効果

（1）得点分布・順位の変動

参加者の平均点（各Dim得点の合計）は、37.6点から38.5点へ0.9点上昇しました（得点レンジ34～43点：図1参照）。参考として、AIを用いずに同一難易度のIB演習を同一対象者に一定間隔で2回実施した場合の平均値の上昇幅は＋0.5点（当社調べ、N=146）*5でした。両者を比較すると 、 AI 利用時の方が平均点はやや上昇する傾向が確認されました。

図１：参加者得点平均値の変化

一方、個人レベルで見ると、32名中17名（53%）が上昇、8名（25%）が維持、7名（22%）が下降とばらつきがあり、 AI 利用が一律に得点を向上させるわけではないことも確認されました。

この後、以下のトピックが続きます。

• 検証結果
  ーIB演習回答におけるAI利用効果
  　（2）ディメンション別の変化
  　（3）AIの使い方と得点の関係
  ーAIの評価能力
• 検証結果から得られた示唆と今後の展望

■レポートの続きは下記からダウンロードください。。

ダウンロードはこちら

---

執筆者

---

検証協力