診断ツールに「評価」を持ち込まない(前編: ベーシック診断)——質問票設計の構造的矛盾

内省力を診断する質問票を作っていたとき、やはりこの問題に真正面から向き合う必要があると確信しました。

「この質問票、メタ認知できてない人ほどyesって答えちゃって、本当の評価にならないんじゃないか」

心理測定に携わる人なら誰もが知っている、この構造的矛盾。理論としては理解していても、実際に自分が設計する側に立つと、その重さが違って見えてくる。

ベーシック診断とは

内省力診断として、私は2つのアプローチを設計していました。

ベーシック診断: 質問票形式で、自分の傾向を知る（20問）

アドバンス診断: 自由記述で、一つの出来事を振り返る（LLM分析）

この記事では、ベーシック診断（質問票型）の設計で直面した構造的矛盾と、その解決策について書きます。

実際のツール:

ORIMDを質問票にする

まず前提として、私はORIMD（事実→感情→解釈→意味→決定）という内省フレームワークを、5つの能力に分解して測定しようとしていました。

各能力を4問ずつ、合計20問。5段階評価（まったく当てはまらない〜とても当てはまる）。

例えば、こんな質問です:

I-1: 自分の考えが「事実」ではなく「解釈」だと気づくことがある
M-1: 出来事を振り返って、自分なりの学びや気づきを見つけることが多い

技術的には問題ない設計だと思っていました。既存の心理尺度のライセンス問題も回避できている。エビデンスベースの理論（Flavell、Schönなど）を参考にしつつ、質問文は完全オリジナル。

でも、ここに根本的な欠陥がありました。

メタ認知について体系的に学びたい方には、こちらの書籍がおすすめです。

Dunning-Kruger効果の直撃領域

「メタ認知できてない人ほどyesって答えちゃう」

この指摘は、心理測定の世界では超有名な問題です。Dunning-Kruger効果（認知バイアス）の直撃領域なんです。

メタ認知できていない人ほど
「できていると思い込んでYesを押す」

なぜこれが起きるかというと:

逆に、メタ認知が高い人ほど:

つまり、測りたい能力が低い人ほど高スコアになり、高い人ほど低スコアになるという逆転現象が起きうる。

これは致命的です。

認知バイアスについて深く知りたい方には、こちらの書籍が参考になります。

問題の本質: 能力を"直接"聞いていた

冷静に質問を見返してみると、多くが:

という自己能力の直接評価になっていました。

例:

出来事を振り返るとき、評価や感情を交えず「起きたこと」だけを整理できる

これは、「事実把握力」という能力を直接聞いています。

でも、事実把握力が低い人は、そもそも「評価や感情を交えている」ことに気づけません。だから「できている」と答えてしまう。

ここが、質問票設計における最大の難関です。

解決策①: 行動ベース質問への変更

心理測定の王道的な解決策は、能力を直接聞かず、行動や具体を聞くことでした。

❌ ダメな聞き方（能力直接評価）

✅ 良い聞き方（行動ベース）

出来事を客観的に捉えられる
出来事を振り返るとき、最初に「何が起きたか」を箇条書きで書くことが多い

違いが分かるでしょうか。

後者は「できるか？」ではなく「何をしているか？」を聞いています。これなら、実際の行動として起きているかどうかを答えられます。

ORIMD各軸での行動ベース質問例

O（事実）の場合:

R（感情）の場合:

I（解釈）の場合:

M（意味）の場合:

D（決定）の場合:

ここが最も重要なポイントです。能力ではなく、能力が現れる具体的な行動を聞く。これで自己評価の歪みを相当減らせます。

解決策②: 逆転項目（キャリブレーション）

もう一つの手法が、逆転項目の導入です。

これは、メタ認知が弱い人ほどYesを連打しやすい項目を、あえて入れる方法です。

例（I: 解釈可視化力）

自分の考えは、だいたい正しいと思っている

メタ認知が高い人は、この質問に「当てはまらない」と答えます（自分の考えが解釈に過ぎないと分かっているから）。

でも、メタ認知が低い人は「当てはまる」と答えてしまう可能性が高い。

この回答を逆スコア化することで、自己評価の歪みを検出できます。

他の例

M（意味構築）:

振り返りをしても、得られるものは少ないと感じることが多い

D（意思決定）:

良い振り返りができたと思っても、実際には行動が変わらないことが多い

こういう項目を混ぜることで、無自覚にYesを連打する傾向を補正できます。

解決策③: その他の検討手法

他にも、満点を取れない設計という手法も検討しました。

どういうことか。

質問文を、わざと矛盾するペアにする方法です。

例（O: 事実把握力）

質問A:

出来事を振り返るとき、事実と感情を分けて考える

質問B:

出来事を振り返るとき、事実と感情を統合して考える

どちらも内省の高度な形なんです。でも、両方に「とても当てはまる」と答えるのは矛盾します。

本当にメタ認知が高い人は、自分がどちらを使っているか、または場面によって使い分けているかを自覚しているので、慎重に答えます。

でも、メタ認知が低い人は、両方に「当てはまる」と答えてしまいやすい。

この矛盾を検出することで、無自覚な高評価を補正する、という手法も存在します。

ただし、最終的には質問数を抑えることを優先し、この手法は採用しませんでした。

これからの実装方針

これらの手法を踏まえて、ベーシック診断の質問票を改訂する予定です。

具体的には、各能力4問の構成を維持しつつ:

これで、自己評価の歪みを複数の角度から補正できるようになると考えています。

でも、これで完璧ではない

ここまでやっても、完璧ではありません。

自己評価である以上、どうしても限界があります。

特に:

だからこそ、診断結果の見せ方が重要になります。

点数を絶対視せず、傾向として見せる。

「高い/低い」ではなく、「このパターンが見られる」という表現にする。

完璧を求めさせない設計にする。

技術的判断のまとめ

メタ認知を測る質問票、つまりベーシック診断には、構造的な矛盾があります:

測りたい能力が低い人ほど、自分を高く評価してしまう

この矛盾を完全に解決することはできませんが、以下の手法で相当改善できます:

そして何より重要なのは、この限界を自覚した上で設計することです。

質問票は万能ではない。

自己評価には歪みがある。

それでも、鏡として機能する価値はある。

その前提で、どう作るか。

この問いを持ち続けることが、ベーシック診断のような質問票型の診断ツールを作る上で最も大切なことだと、今は思っています。

参考書籍

質問票設計や心理測定について、より専門的に学びたい方には以下の書籍をおすすめします。

内省力を深めたい方には、体系的に学べる書籍もおすすめです。

また、自己認識を深めるためにプロのコーチと対話することも効果的です。

実際のツール: