「AIスキルテスト」では測れないもの

「まず社員のAI習熟度を測りましょう」。AI活用の話が具体化してくると、この一言がだいたいどこかで出てきますよね。悪い提案には聞こえません。現在地が分からなければ計画も立てられませんし、研修の効果も測れません。上申する側からすると、数字があったほうが話が通りやすいという事情もあります。

そこで、プロンプトの選択式問題や、ツールの操作を確認する小テストを作ることになります。点数が出て、部署別の平均も並びます。

ただ、その点数を見ながら「では誰に何を任せようか」と考え始めると、たいてい手が止まります。使えそうな情報が、思ったより少ないからです。

スキルテストが実際に測っているもの

AIのスキルテストが測れるものは、はっきりしています。ツールの操作を知っているか、用語を知っているか、プロンプトの型をいくつ覚えているか。どれも本物の知識ですし、研修の前後で比べれば、効果があったかどうかも分かります。そこは疑っていません。

問題は、そこから先です。点数が高い人は「知っている人」であって、「実際にやっている人」とは限りません。この二つは、思っているよりずれます。心当たり、ありませんか。用語を全部言えるのに、自分の業務では一度も使っていない人がいます。逆に、専門用語はひとつも知らないのに、毎日の段取りに組み込んでいる人もいます。

もうひとつ、テストには構造上の弱点があります。点数がつくと分かった瞬間、人は身構えます。評価されると思えば、良く見える答えを選びます。これは不誠実というより自然な反応です。そして困ったことに、いちばん正直な答えが欲しい相手ほど、その反応が強く出ます。AIを使っていない人や、疑っている人です。推進がうまくいくかどうかを実際に握っているのは、その人たちのほうです。

この記事が役に立つ人

ここで一度、誰に向けて書いているかをはっきりさせておきます。ひとつは、社内でAI活用を進める立場の方です。「まずスキル測定から」と言われて、なんとなく違和感があるなら、その違和感はたぶん正しい、という話をします。

もうひとつは、診断そのものが好きな方です。「AI診断」と聞いて100点満点を思い浮かべたことがあるなら、そこが分かれ道です。この記事の後半では、点数のかわりに何を見ればいいのかを説明します。

量を測っても、向きは出ません

職場の人を何人か思い浮かべてみてください。頼まれてもいない使い方を次々に見つける人、他人の工夫をテンプレートに変える人、出力の根拠を必ず確かめる人、自分では触らないのに誰に頼めばいいかは正確に知っている人が、それぞれいるはずです。

この四人に順位をつけてください、と言われたら困ります。四人とも、向いている方向が違うからです。スキルテストは一本の物差しなので、この違いを一列に押し込めてしまいます。その時点で、いちばん知りたかった情報が消えます。

RELACTISが7つの因子を測っているのは、そのためです。創出・横断・自走・伝播・仕組み化・検証・関与の7つで、どれにも高く出たときの意味と、低く出たときの意味があります。それぞれが何を見ているかは別の記事にまとめました。

点数で選ぶと、人選を誤る3つの場面

抽象的な話に聞こえるかもしれないので、実務で困る場面を挙げます。

ひとつめは、新しいツールを最初に試す人を選ぶ場面です。テストの点数が高い人に頼みたくなります。でも、この役に向いているのは、まだ整っていない道具を面白がれる人です。粗い挙動に苛立たず、誰も思いつかなかった使い道を三つ持って帰ってきます。ここに来るのが開拓者型です。丁寧に手順を守るのが得意な人に同じ役を渡すと、手順どおりに確かめた正確な報告が返ってきます。それ自体は良い仕事です。ただ、その場で知りたかったのは「どこまで使えるか」のほうでした。

ふたつめは、品質を見る人を決める場面です。AIを仕事に組み込んでいくと、遅かれ早かれ、「この出力、根拠は？」と最初に聞く人が必要になります。この場面で頼りになるのが、検証者型です。ところがこの人は、スキルテストでは目立ちません。むしろAIに批判的な発言が多いぶん、周囲から推進の障害物として扱われることさえあります。点数だけを見ていると、いちばん必要な人を自分から外すことになります。

みっつめは、社内で教える人を決める場面です。ここがいちばん外しやすいところです。AIを上手に使えることと、AIを教えられることは、別の資質だからです。教えるのが得意なのは伝道師型で、機能の説明を相手の業務の言葉に翻訳します。いちばん使い込んでいる人のデモを見ると、その場では感心します。ただ、一週間後も現場に残っているのは、伝道師型が教えたやり方のほうです。テストの点数で先生役を決めると、たいていデモのほうを選んでしまいます。

三つとも、知りたいのは「どのくらいできるか」ではなく「どちらを向いているか」です。できる量しか分からないまま人を配ると、外したことに気づくのは、配り終えたあとです。

スキルテストが効く場面もあります

向いている場面も、確かにあります。特定のツールの操作研修をやったなら、その前後で理解度を測るのは理にかなっています。機密情報を入力してはいけない、といった社内規程を知っているかどうかの確認も、テストの形が合っています。届いてほしい水準がはっきりしていて、そこに全員が届くべき場面なら、テストは正しい道具です。

向いていないのは、「誰に何を任せるか」を決めたいときです。そこで知りたいのは、どこまでできるかより、誰をどこに置くかです。テストは、その形では答えを返してくれません。

では、何を測るのか

私たちが返すのは、類型です。24問に答えると、7因子の出方と、15タイプのうちどれに近いかが出ます。順位はつきません。

順位をつけないのには、実務上の意味があります。負ける答えがひとつもない設問なら、身構えずに答えられるからです。AIを使っていない人からも、疑っている人からも、正直な答えが返ってきます。冒頭に書いたとおり、その人たちこそ、いちばん知りたい相手です。

チーム単位で並べると、誰がいて、どの役割が空いているかが見えてきます。この読み方はチームの分布図の記事に書きました。ただ、そこまで行かなくても、まず自分ひとりの結果を見てください。点数とは違うものが出てくるのは、それで分かります。

「AI習熟度を測りましょう」と言われたときに、私が返せる言葉はこれです。測るのはいい、ただし測るものを間違えないようにしましょう。無料で、登録も要らず、約4分で終わります。判断材料として、まず自分で受けてみてください。