AI Deskilling / Research Fact Check

AI使用3カ月でスキル7%低下という表現を検証

見出しの「7%」は一般的なスキルの測定値ではありません。内視鏡研究、コーディング実験、MITの作文研究を分け、割合とパーセントポイント、相関と因果を検証します。

判定:「スキルが7%低下」は不正確で一般化しすぎ

主張判定確認結果
AIを3カ月使うとスキルが7%落ちる不正確特定の内視鏡指標が6.0ポイント低下
AI利用が低下の原因と証明された未確定導入前後を比べた観察研究
AIコーディングで理解度が下がった条件付きで確認52人のRCTで67%対50%
ChatGPTが脳を損傷させた誤り作文中のEEG機能的結合などを測定

「3カ月」「7%」の出所は内視鏡の観察研究

Lancet Gastroenterology & Hepatology掲載研究は、ポーランド4施設でAI導入前3カ月と導入後3カ月を比較しました。19人の経験ある内視鏡医が行った非AI支援の大腸内視鏡1,443件を分析しています。

腺腫検出率は導入前28.4%(226/795件)から導入後22.4%(145/648件)へ低下しました。差は6.0パーセントポイントで、95%信頼区間はマイナス10.5からマイナス1.6ポイントです。相対的には約21%の低下になります。

「能力が7%低下」とは別の意味です。測ったのは、患者1人につき少なくとも1個の腺腫を見つけた検査の割合であり、一般的な知能、医師全体の技術、すべてのAI利用者の能力ではありません。

Anthropic研究は17%ではなく17ポイント差

Anthropicの無作為化比較試験では、主に若手のソフトウェア開発者52人が、初めて使うPythonのTrioライブラリで課題を解きました。直後の理解度テストはAI群50%、手作業群67%でした。

公式記事はこれを「17% lower」と表現していますが、得点率の差として示す場合は17パーセントポイントです。相対差なら約25%になります。AI群は約2分早かったものの、速度差は統計的に有意ではありませんでした。

この結果は「AIでコードを書くと長期的に17%能力が落ちる」ことを示しません。新しいライブラリを短時間で学んだ直後の理解度を測った実験です。

「認知負債」は興味深いが確定的な診断名ではない

MIT Media Labのプレプリントは、LLM、検索、ツールなしの群で作文中のEEG、文章、想起、所有感を比較しました。最初の3回は54人、条件を切り替えた4回目は18人です。LLM群は最も弱いEEG機能的結合を示し、自分の文章の正確な引用にも苦労しました。

研究者は「認知負債」という表現を使いましたが、これは医学的に脳の損傷や神経接続の永久的消失を診断したものではありません。また、別の研究者からサンプルサイズ、再現性、EEG解析、報告の一貫性と透明性について方法論的コメントが出ています。

3研究を足して「AIは人を無能にする」とは言えない

確認できること確認できないこと
一部の利用条件で認知的関与や直後の理解が下がり得るすべてのAI利用者に同じ低下が起きる
AI導入後に非AI内視鏡の検出率低下が観察されたAIだけが低下を引き起こした
AIへの質問方法と習熟度に関連があったAIを禁止すれば常に学習成果が上がる
作文中のEEGと想起に群間差があった脳が損傷し、知能が永久に低下した

類似記事を読むときの確認項目

  1. 「%」が相対変化かパーセントポイントかを分ける。
  2. 一般能力ではなく、何の指標を測ったか確認する。
  3. 無作為化試験、観察研究、プレプリントを区別する。
  4. 人数、期間、職種、課題が自分の状況に近いかを見る。
  5. AIの有無だけでなく、AIへ何を依頼したかを確認する。
  6. 速度、品質、理解度、長期保持を別々の指標として扱う。

関連ページ

確認した研究資料