「AIスキルテスト」では測れないもの

「まず社員のAI習熟度を測りましょう」。AI活用の話が具体化してくると、この一言がだいたいどこかで出てきますよね。悪い提案には聞こえません。現在地が分からなければ計画も立てられませんし、研修の効果も測れません。上申する側からすると、数字があったほうが話が通りやすいという事情もあります。

それで、プロンプトの選択式問題や、ツールの操作を確認する小テストが用意されます。点数が出ます。部署別の平均も出ます。

ただ、その点数を見ながら「では誰に何を任せようか」と考え始めると、たいてい手が止まります。使えそうな情報が、思ったより少ないんですね。

スキルテストが実際に測っているもの

AIのスキルテストが測れるものは、はっきりしています。ツールの操作を知っているか、用語を知っているか、プロンプトの型をいくつ覚えているか。どれも本物の知識ですし、研修の前後で比べれば、研修が効いたかどうかも分かります。そこは疑っていません。

問題は、そこから先です。テストが高い人は「知っている人」であって、「実際にやっている人」とは限りません。この二つは、思っているよりずれるものです。心当たり、ありませんか。用語を全部言えるのに自分の業務では一度も使っていない人がいますし、専門用語をひとつも知らないのに毎日の段取りに組み込んでいる人もいます。

もうひとつ、テストには構造上の弱点があります。点数がつくと分かった瞬間、人は身構えるということです。評価されると思えば、良く見える答えを選びます。これは不誠実というより自然な反応で、そして困ったことに、いちばん正直な回答が欲しい相手ほど身構えます。AIを使っていない人、疑っている人。推進がうまくいくかどうかを実際に握っているのは、その人たちのほうです。

この記事が役に立つ人

ここで一度、誰に向けて書いているかを書いておきます。ひとつは、社内でAI活用を進める立場の方です。「まずスキル測定から」と言われて、なんとなく違和感があるなら、その違和感はたぶん正しい、という話をします。

もうひとつは、診断そのものが好きな方です。「AI診断」と聞いて100点満点を想像した経験があるなら、そこが分かれ道です。この記事の後半では、点数のかわりに何を見ればいいのかを説明します。

測るべきは、量ではなく向き

職場の人を何人か思い浮かべてみてください。頼まれてもいない使い方を次々に見つける人。他人の工夫をテンプレートに変える人。出力の根拠を必ず確かめる人。自分では触らないのに、誰に頼めばいいかを正確に知っている人。

この四人に順位をつけてください、と言われたら困ります。上手い下手の差ではなく、向いている方向が違うからです。スキルテストは一本の物差しなので、この違いを一列に押し込めてしまいます。一列に押し込めた時点で、いちばん知りたかった情報が消えてしまいますよね。

RELACTISが7つの因子を測っているのは、この理由からです。創出・横断・自走・伝播・仕組み化・検証・関与。どの因子にも、高く出たときの意味と、低く出たときの意味があります。それぞれが何を見ているかは別の記事にまとめました。

点数で選ぶと、人選を誤る3つの場面

抽象的な話に聞こえるかもしれないので、実務で困る場面を挙げます。

新しいツールを最初に試す人を選ぶとき。テストの点数が高い人に頼みたくなります。でも、この役に向いているのは、まだ整っていない道具を面白がれる人です。粗い挙動に苛立たず、誰も思いつかなかった使い道を三つ持って帰ってくる人。開拓者型がここに来ます。丁寧に手順を守るのが得意な人に同じ役を渡すと、手順どおりに確かめた正確な報告が返ってきます。それ自体は良い仕事です。ただ、その場で知りたかったのは「どこまで使えるか」のほうでした。

品質を見る人を決めるとき。AIを使う流れには、遅かれ早かれ「この出力、根拠は？」と最初に聞く人が必要になります。この役に向いているのは、検証者型です。ところがこの人は、スキルテストでは目立ちません。むしろAIに批判的な発言が多いぶん、推進の障害物として扱われることさえあります。点数だけを見ていると、いちばん必要な人を自分から外すことになります。

社内で教える人を決めるとき。ここがいちばん外しやすい場面です。AIを上手に使えることと、AIを教えられることは、別の資質だからです。教えるのが上手いのは伝道師型で、機能の説明を相手の業務の言葉に翻訳します。最上級ユーザーのデモは感心されますが、伝道師型の手ほどきは一週間後もまだ使われています。テストの点数で先生役を決めると、たいてい前者を選んでしまいます。

三つに共通しているのは、必要な情報が「どのくらいできるか」ではなく「どちらを向いているか」だということです。前者しか持っていない状態で人を配ると、外れたことに気づくのは配り終えたあとになります。

スキルテストが効く場面もあります

公平に書いておきます。スキルテストが向いている場面も、私は確かにあると思っています。

特定のツールの操作研修をやったなら、その前後で理解度を測るのは理にかなっています。社内規程の理解、たとえば機密情報を入力してはいけない、といった知識の確認も、テストの形が合っています。到達してほしい水準がはっきりしていて、全員が同じ水準に届くべき場面では、テストは正しい道具です。

向いていないのは、「誰に何を任せるか」を決めたいときです。そこで欲しいのは、水準より配置の情報です。テストはその形で答えを返してくれません。

では、何を測るのか

私たちの答えは、点数ではなく類型です。24問に答えると、7因子の出方と、15タイプのうちどれに近いかが出ます。順位はつきません。

順位をつけないことには、実務上の効きがあります。負ける答えが存在しない設問には、身構えずに答えられるからです。AIを使っていない人からも、疑っている人からも、正直な回答が返ってきます。冒頭に書いたとおり、その二層こそ、いちばん知りたい相手です。

チーム単位で並べると、誰がいて、どの役割が空いているかが見えてきます。この読み方は別の記事に書きました。ただ、そこまで行かなくても、まず自分ひとりの結果を見るだけで、点数とは違う情報が出てくることは分かるはずです。

「AI習熟度を測りましょう」と言われたときに返せる言葉があるとすれば、私はこれだと思います。測るのはいい、ただし測るものを間違えないようにしましょう、と。無料・登録不要・約4分なので、判断材料としてまず自分で受けてみてください。