Coocolab

AI 幻覺是什麼?三個真實案例+怎麼在它唬你的時候看出來

AI 每次都很自信地給你一個聽起來很專業的答案,但你怎麼知道那不是它憑空編出來的?這篇拆解三種最常見的 AI 幻覺類型:過時資訊、捏造細節、張冠李戴,附上一份可以立刻上手的檢查清單,教你在它唬你的時候當場看出來,不再被漂亮的胡說八道牽著鼻子走。

Jimmy · · 約 7 分鐘
#AI 幻覺#Claude#ChatGPT#AI 工具#AI 教學

我問 AI 一件很簡單的事——某個工具的最新定價。它給了我一個看起來很專業的答案,還附上「即日起改成按量計費」的理由。

我覺得怪怪的,去官網對一次——公告寫的是相反的,即日起是「回到訂閱方案」。

這不是第一次遇到。之前也有 AI 給我一段程式碼,用了一個聽起來很合理的 method 名,我複製貼上、跑起來噴 TypeError。回頭查文件——那個 method 根本不存在,是 AI 自己拼出來的。

這種現象有個專有名詞——AI 幻覺(AI hallucination)它就是模型「一定要給你一個答案」的副作用,不是壞掉、也不是它想騙你,是它的本性。搞懂它為什麼會這樣,你就知道什麼時候要相信、什麼時候要多問一句

什麼是 AI 幻覺?先給個生活比喻

想像你請了一個實習生,人很聰明、口才很好,但有一個致命的毛病:他不會說「我不知道」

你問他一個他沒查過的事,他不會停下來。他會用他聽過的類似東西,拼一個「聽起來應該對」的答案交給你——語氣還會非常肯定。

AI 幻覺就是這個實習生的軟體版。

技術上講,大型語言模型(LLM,就是你在用的那類 AI)是根據訓練資料,算出「下一個字最可能是什麼」。它不是在查一份真實世界的資料庫,是在預測一個像人類講話的字串

所以當你問的東西超出它訓練過的範圍,它不會像 Google 一樣說「找不到相關結果」——它會用機率合成一個看起來像的答案

幻覺跟正確答案,長得一模一樣。 同樣自信、同樣流暢、同樣有條理。你不去對照原始來源,光看回答本身分不出來——這才是它最麻煩的地方。

案例一:時效性幻覺——它引用的資料已經過期

這是最常見的一種。AI 的訓練資料有個「知識截止日」,多半落後現在半年到一年。你問它「今天某某產品多少錢」「這個工具的最新版本什麼參數」,它腦袋裡沒有這個時間點之後的資訊。

問題來了:它不會跟你說「我不知道」,它會給你一個舊版本的答案,或者直接掰一個看起來很合理的新答案。

開頭那個定價的例子就是這種。我問 AI 一款工具最新的收費模式,它非常自信地告訴我「即日起改成按量計費」——但那是舊新聞。發稿前臨時再去對一次官網公告,寫的是「回到訂閱方案」,剛好相反。差一點就把錯的資訊寫成一篇文章。

6–12
各家 AI 的知識截止日普遍落後現在幾個月(它不會主動告訴你)
0
模型主動說「這個我不確定」的次數(除非你在提示裡明確要求它承認)
100%
看起來一樣肯定的機率——幻覺跟真答案的語氣分不出來

怎麼在它唬你的時候看出來:

  • 會變的事實一律去原文對:定價、日期、版本號、公告內容——這幾類先當成「參考」,去官方頁面確認一次再寫進你的文件或程式
  • 叫它自己標時間戳:問它「你這個資訊的來源是什麼時間?」,它會告訴你「我的訓練資料是 X 年 X 月」。這時你就知道要另外找更新的
  • 關鍵時效問題直接請它爬原文:我平常會叫 AI 用專門的爬蟲工具去讀官方原文,而不是靠內建的網路搜尋摘要——搜尋摘要一樣會過時,甚至更差

案例二:捏造細節——它給你一個不存在的 method

這一種比較賊,因為要有點技術背景才抓得到。

我叫 AI 幫我用某個套件寫功能,它給了一段程式碼,用了一個 method 叫 .parseWithSchema()。名字很合理、動作也對,我直接複製貼上。跑起來噴 TypeError

回頭查那個套件的官方文件——根本沒這個 method。它有 .parse() 也有 .safeParse(),但沒有 .parseWithSchema()。AI 是根據「這種套件通常會有的方法名」拼出來的

這種幻覺在寫程式時特別常見,但不只寫程式會遇到。你請 AI 引用一本書、一篇論文、一個歷史事件的細節,它一樣會把類似主題的東西混在一起,拼一個看起來對的答案

怎麼在它唬你的時候看出來:

  1. 01

    關鍵物件直接反問

    問它「這個 method 真的存在嗎?貼一段官方文件的原文給我看」,答不出來就是編的

  2. 02

    要求可驗證的證據

    請它給網址、頁碼、原始碼位置。給不出來、或給的網址點下去 404,都是紅旗

  3. 03

    把可執行的東西真的跑一次

    程式碼直接 run、公式帶數字算、SQL 拿到資料庫跑——不執行的答案不能算數

  4. 04

    給它更完整的脈絡

    在專案裡的話,用[知識圖譜](/blog/graphify-codebase-knowledge-graph/)讓 AI 先看過整個專案再回答,能大幅減少「編一個像是這裡會有的東西」的機率

案例三:張冠李戴——把 A 家的做法安到 B 家頭上

第三種是最陰險的:AI 給的每一件事單獨看都是真的,只是組合起來是錯的

例如你問一個交易所的功能怎麼開,AI 把另一個交易所的介面步驟寫給你——那些步驟真的存在,只是不在你要用的那家。你問某個模型的參數限制,AI 把上一代模型的數字告訴你——那個數字真的曾經存在,只是這一代改了。

這種錯誤特別難抓,因為你就算查證,如果查到的是另一半正確的資料,你會以為 AI 是對的。要抓到它,只有一個辦法:每個關鍵陳述都要對到「這個具體對象、在這個具體時間點」的原文

兩種問法,抓錯效果差很多

不建議
模糊問法

容易被幻覺牽走

  • 「這個交易所有沒有 X 功能?」
  • AI 從一堆交易所的資料裡拼一個答案
  • 你收到的答案不一定屬於你問的那家
  • 對照時如果剛好有別家有,你會以為它對了
推薦
具體問法

逼 AI 落到單一來源

  • 「以 X 交易所官方文件為準,這功能怎麼開?貼原文段落」
  • AI 要嘛給你原文段落,要嘛承認沒查過
  • 答案跟原文段落綁在一起,你可以直接對照
  • 沒有原文的話它至少會標「這是我推測」

為什麼 AI 一定要編?就不能說「不知道」嗎?

有兩層原因,一層是技術的、一層是被訓練成這樣的。

技術層面:模型不是在查資料庫,是在預測下一個字。它每一步都在算「這個位置最可能是什麼字」,機率會給出一個看起來像的組合。「不知道」對它來說也只是一種字串,而且是很少出現在訓練資料裡的字串——因為人類的文字資料裡,很少有人會鄭重其事地寫「我不知道」。

訓練層面:AI 是被人類的偏好訓練出來的。訓練過程中,「給出一個答案」通常比「說不知道」得到更高的評分——因為評分的人覺得「不知道」的回答沒幫助。長久下來,模型就被雕塑成一個寧可猜也不承認的性格

AI 幻覺這個特性 · 優缺點

優點
  • + 碰到冷門問題也會給你一個起點,不會完全卡住
  • + 創意任務(寫故事、想 slogan、發想角度)反而需要這種「編」的能力
  • + 你逼它給答案,它會試——不會像搜尋引擎一樣直接空白
缺點
  • 講真的事跟編的事語氣一樣自信,你要自己分
  • 越流暢的段落越危險——因為它的訓練目標就是「讓文字看起來像人寫的」
  • 不會主動說「我這裡不確定」,除非你明講要它標

一份給你自己用的自救清單

寫給每次跟 AI 工作、又不想被牽著鼻子走的你。

  1. 01

    把「不確定就講」寫進 system prompt

    在 Claude 或 ChatGPT 的系統提示裡加一句:「不確定的資訊請標『這是我推測』,寧可少答也不要編」。這一條改善很多

  2. 02

    關鍵事實去一手來源對一次

    定價、日期、版本號、法規、政府數據——這幾類不要相信任何 AI 回答,直接去官方頁面查

  3. 03

    要求可驗證的證據

    「請貼原文段落」「請給網址」「請貼原始碼位置」——AI 給不出來就當作沒回答

  4. 04

    把 AI 的答案當「初稿」不是「定稿」

    對你重要的東西(要發布、要下單、要花錢),都要人工再過一次;AI 是加速器不是替代者

  5. 05

    幫 AI 準備一雙好眼睛

    重要查詢別用內建搜尋摘要,改成[讓它爬原文](/blog/claude-code-scrapling-scraper/);長期用一個工具就在系統提示裡把它綁進工作流

  6. 06

    重要決策留一個「打對台」的機會

    同一個問題問兩家 AI(例如 Claude 跟 GPT),兩邊答案不一樣的地方就是最需要人工確認的地方

最後說兩句

AI 不是壞掉,是它的本性就是這樣。 你把它當成一個口才很好、但不會說「我不知道」的實習生,你就會知道什麼時候要放手、什麼時候要盯著。

真正會用 AI 的人不是相信它,也不是不相信它——是知道什麼時候該相信、什麼時候該多問一句

如果你想看更多我用 AI 工作、踩過的坑跟拆解,我把過程都拍成影片放在 YouTube,歡迎訂閱酷可實驗室

延伸閱讀:

AI 工具

MCP server 教學:自己寫一個要多久?我從空資料夾實測一次

網路上的 MCP server 教學都是寫給工程師看的。這篇不談原理,我從一個空資料夾實測一次:裝官方套件花 3 秒、能跑起來的檔案只有 19 行,工具真的把一行字寫進我的檔案。也誠實講清楚門檻在哪裡,還有哪些人其實根本不需要自己動手寫一個。

AI 工具

Claude 設定你可能忽略了:我用 6 個月後留下的 System Prompt 拆解

ChatGPT / Claude 預設回答又長又繞,是因為你沒給它『規則』。這篇直接拆我自己用了大半年的 Claude system prompt,怎麼讓 AI 變成『不講廢話的同事』而不是『百科全書』。

AI 工具

graphify 知識圖譜:讓 AI 不用每次都重新認識你的專案

AI 每次開新對話都要重讀你的專案,翻一輪就燒掉一大段額度。graphify 知識圖譜先把整個專案畫成一張地圖,之後 AI 是查圖、不是一個一個檔案翻。程式碼在你自己電腦上跑完、不外送,也不用另外辦帳號。這篇是我實跑六個專案的真實數字,還有我自己踩到的四個坑。

AI 工具

AI 幫你寫程式老是衝太快、還自稱「完成了」?幫它裝一套資深工程師的工作紀律(一行指令)

AI 很會寫 code,但它像個超聰明卻很衝動的新人:你說『做個 X』它二話不說開始狂寫,不問清楚、不寫測試、出錯亂猜、還沒驗證就說『完成了』。問題不在它笨,在它沒紀律。這篇介紹 Superpowers —— 一套讓 AI 像資深工程師一樣工作的方法論(動手前先想清楚、測試先行、驗證才算完成),一行指令就能裝。附一鍵上手 prompt,Coocolab 免費會員可拿。

想把這些變成你的實戰能力?

加入 免費會員 — 解鎖「加密貨幣新手 30 天」+「AI 工具 21 天」實戰課、免費 prompt 資源區,還有每天自動生息的放貸 Bot 可試用。email 一鍵註冊、不用密碼。