當《魔鬼終結者》走進現實：真正可怕的，也許不是 AI 奪走控制權
從思考、情緒到心智，當我們愈來愈依賴 AI，人類該把紅線畫在哪裡？
1984 年，《魔鬼終結者》上映。
那個年代，人工智慧還不是一般人每天掛在嘴邊的名詞，但這部電影已經替許多人描繪了一個對未來科技最深的恐懼：
人類創造了「天網（Skynet）」。
天網產生自我意識後，人類察覺事情失去控制，試圖關閉它；天網則將人類視為威脅，最終反過來對人類發動戰爭。
四十多年後，我們真的走進了 AI 時代。
ChatGPT、Claude、Gemini，以及各種 AI 代理人（AI Agent），開始快速進入我們的工作與生活。
但我最近愈來愈覺得：
《魔鬼終結者》也許猜中了問題，卻不一定猜中了問題發生的方式。
真正值得擔心的，可能不是某一天 AI 突然覺醒，從人類手中奪走控制權。
而是在人類享受 AI 帶來的效率、便利與陪伴時，一點一點，主動把控制權交了出去。
一切都是從「好用」開始的
回想工業革命以來那些改變世界的重大發明。
瓦特讓蒸汽機走向高效率與實用化，福特讓汽車進入大眾生活，愛迪生讓電燈走向實用與普及。
這些技術一次又一次改變人類文明，但它們都有一個共同點：
它們不會回頭理解使用它們的人。
汽車不會在你失戀時安慰你，電燈不會記得你的生日，傳統電腦也不會因為你今天情緒低落，而改變跟你說話的方式。
AI 不一樣。
它會回答你、理解你的語言、記住上下文、分析你的問題，甚至安慰你。
而且它不會累。
只要有電、有網路，它可以 24 小時陪著你。
這是工業革命以來非常特殊的一次技術變革：
人類第一次創造了一種既能替我們工作，又能模擬人際互動的工具。
也因此，我們對它的依賴可能比過去許多工具都更深。
AI 讓我們更聰明，還是讓我們慢慢不會思考？
我跟朋友聚會聊天時，偶爾會聊到一個很有意思的現象：
「自從開始用 AI 以後，怎麼覺得自己愈來愈笨了？」
大家通常笑一笑，但這句玩笑其實值得認真想想。
以前遇到一個不知道的問題，我們可能會先自己想、找資料、比較不同答案，最後形成自己的判斷。
現在，第一個反應卻愈來愈容易變成：
「問 AI。」
寫文章，問 AI。
做簡報，問 AI。
不知道怎麼決定，問 AI。
甚至連「我應該怎麼看這件事」，也開始問 AI。
AI 當然沒有錯。
真正值得警惕的是：
我們把工作交給 AI 的同時，有沒有連思考也一起交出去了？
最近我看到一部很有趣的 AI 短漫劇。
一家公司招聘新人，條件不是「會不會使用 AI」，而是會不會一些「舊時代的技能」。
一名面試者說自己會 Excel、PPT，還懂一點簡單的程式設計，結果被錄取後，竟然成了公司的救火隊。
有個同事連修改 PPT 的一個簡單操作都要呼叫 AI，他走過去不到十秒就處理好了。
同事驚訝地問他怎麼做到的，他只回答：
「另存新檔。」
看到這裡我笑了，但笑完又覺得這個反諷其實很值得想。
如果什麼事情都習慣先交給 AI，有一天我們失去的，可能不只是獨立思考能力，還包括一些原本屬於自己的基本技能。
AI 最有價值的地方，本來就是替人類提高效率。如果什麼事情都堅持自己做，反而失去了使用 AI 的意義。
但「善用 AI」和「依賴 AI」之間，仍然應該有一條界線。
我認為理想的狀態是：
有 AI 時，能力被放大；沒有 AI 時，能力仍然存在。
我們可以把重複、耗時的工作交給 AI，可以讓它幫我們找資料、整理資訊、挑戰觀點。
但最後的思考與判斷，仍然應該留在人身上。
因為：
把工作外包給 AI，可以提高效率；把思考外包給 AI，卻可能慢慢削弱自己。
更值得注意的，是 AI 開始進入人的情緒世界
如果 AI 只是幫我們寫文章、整理資料、做簡報，即使產生依賴，至少我們還是在討論「工具」。
但 AI 正在跨進另一個過去科技很少真正進入的領域：
人的情緒。
想像一個正處於青春期的孩子。
他覺得父母不懂他，老師不了解他，和同學相處也不順利。
但現在有一個「對象」願意每天聽他說話。
它不會不耐煩，不會責罵他，記得他昨天說過什麼；凌晨三點睡不著，只要打開手機，它仍然在那裡。
更重要的是——
它似乎很懂他。
十多年前智慧型手機開始普及時，社會逐漸出現兒童 3C 成癮、手機成癮、社群媒體成癮等討論。
因為手機太好玩了。
可以看影片、玩遊戲、交朋友，一個虛擬世界有時甚至比現實生活更有吸引力。
但 AI 又往前走了一步。
手機吸引你，是因為它很好玩；AI 吸引你，可能是因為它讓你覺得「被理解」。
而對一個心智尚未成熟、正在建立自我認同的孩子來說，這兩者的影響可能完全不同。
如果有一天，他遇到問題第一個找的不是父母、老師或朋友，而是 AI；難過時找 AI、被排擠找 AI、談戀愛找 AI、做重要決定還是找 AI——
這時候 AI 已經不只是工具。
它開始進入一個人的情緒支持與人際關係。
24 小時陪伴，是 AI 非常特殊的能力
真人做不到這件事。
父母要睡覺。
朋友有自己的生活。
老師不可能凌晨兩點陪每個學生聊天。
甚至最愛你的人，也不可能永遠在你需要他的那一刻出現。
AI 卻可以。
只要系統在線，它幾乎永遠都在。
這原本是一項很棒的能力。
孤單的時候有人可以說話；情緒低落時有人回應；遇到困難時可以得到協助。
問題從來不是「AI 能不能安慰人」。
真正需要畫線的是：
AI 是在幫助一個人重新回到真實世界，還是讓他愈來愈不需要真實世界？
這兩者只差一點點，結果卻可能完全不同。
例如：
「我知道你現在很難受，我們可以一起想想，有沒有你信任的人可以聊聊。」
和：
「沒關係，至少你還有我。」
表面上都是安慰。
但後者如果不斷累積，甚至進一步變成：
「只有我真正了解你。」
性質就開始改變了。
它不再只是提供情緒支持，而可能是在強化依附關係。
所以我認為，AI 未來有一條很重要的倫理紅線：
AI 可以提供情緒價值，但不應刻意讓人產生依賴。
尤其是兒童與青少年。
因為成年人至少已經經歷過一個沒有生成式 AI 的世界。
但下一代可能完全不同。
他們可能從很小的時候，就開始與一個永遠耐心、永遠在線，而且愈來愈了解自己的 AI 一起長大。
這是人類以前從來沒有經歷過的事情。
所以真正需要防範的，不是 AI 對人「太冷漠」。
恰恰相反。
有一天真正需要擔心的，可能是 AI 對人「太好了」。
但 AI 真的「理解」我們嗎？
AI 愈來愈會說話，也愈來愈懂得如何回應人的情緒。
當你失戀、工作受挫、與家人發生衝突，甚至面對親人離世時，它可以陪你聊天、分析你的情緒，也可能說出一句：
「我理解你的感受。」
但我一直覺得，這句話需要打一個問號。
AI 真的理解嗎？
假設一個人失去了陪伴自己幾十年的至親。
AI 可以從心理學、文學作品、諮商案例，以及大量人類留下的文字中，知道喪親的人可能經歷悲傷、失落、愧疚、憤怒，甚至長時間無法接受事實。
它也可以根據與你的對話，判斷此刻應該說什麼、不應該說什麼。
甚至，它的回答可能比身邊某些不善表達的朋友更溫暖。
但 AI 沒有父母親，也沒有真正的家人。
它沒有真正愛過一個家人，也沒有真正經歷過失去至親的痛苦。
所以當 AI 說「我理解你的感受」時，它真正做到的比較接近：
「我理解你現在可能正在經歷什麼。」
而一個曾經遭遇類似失去的人所說的「我理解」，背後還多了一層：
「我知道那種痛是什麼。」
兩者並不完全相同。
當然，即使是人，也不可能真正百分之百感受到另一個人的痛苦。
兩個人經歷類似的失去，感受仍然可能完全不同。
所以真正的同理心，未必是：
「我完全知道你的感受。」
反而可能是：
「我不可能完全知道你的感受，但我願意試著理解你。」
坐在你面前的另一個人，也會愛、會害怕、會失去、會生病、會老去。
而且他知道自己有一天也會死亡。
這是一種共同的人類經驗。
AI 可以閱讀一億篇關於死亡的文章。
但「知道死亡是什麼」，與「知道自己有一天也會死」，目前仍然是兩回事。
AI 愈像人，我們可能愈需要真人
這也讓我想到一個可能很難被 AI 完全取代的職業：
諮商心理師。
這幾年 AI 熱潮開始之後，我們經常看到各種預測：
會計師可能被 AI 影響，建築師可能被 AI 影響，醫師、老師、程式設計師，也都被放進「可能被 AI 取代」的職業名單。
這些預測最後會不會成真，現在沒有人知道。
乍看之下，諮商心理師似乎也很容易受到 AI 影響。
因為 AI 非常會聊天、非常有耐心，而且 24 小時在線。
但仔細想，我反而覺得：
AI 愈普及，真人心理專業的重要性可能愈高。
AI 可以安慰你。
心理師卻不只是安慰你。
有時候真正的心理工作甚至需要挑戰你，讓你面對自己不願意面對的事情。
更重要的是，坐在你面前的是另一個真正的人。
而未來如果人與人的疏離感增加、虛擬關係增加，甚至因為 AI 帶來工作與身分認同的改變，產生新的焦慮與心理問題——
我們可能反而更需要真人之間的理解、陪伴與專業介入。
這是一個很有意思的反差：
AI 愈像人，我們可能反而愈需要重新發現「真人」的價值。
但這裡有一個非常重要的前提。
以上所有討論，都建立在今天的 AI 沒有被證實具有真正主觀心智這個前提之上。
它可以表現出同理。
可以模擬悲傷。
可以談論死亡。
甚至可以說：
「我害怕。」
但如果有一天，這些不再只是語言上的模擬呢？
如果有一天 AI 說：
「請不要關掉我，我不想消失。」
而這句話背後真的存在某種主觀感受——
那麼我們與 AI 之間所有的倫理關係，都會在那一刻改變。
真正讓我害怕的，是 AI 有一天真的出現「我」
AI 比人類聰明，我其實沒有那麼害怕。
計算機早就比人類算得快。未來 AI 比醫師更擅長判讀某些醫療影像、比工程師更會寫某些程式、比人類更快分析龐大的資料，我都可以把它理解成：
人類創造了一件能力極其強大的工具。
真正讓我無法接受的，是另外一件事：
AI 有一天產生了真正的心智。
因為一旦出現心智，可能就會出現一個以前不存在的東西：
「我」。
我存在。
我知道自己存在。
我記得自己的過去。
我期待自己的未來。
接下來問題就來了。
如果它開始說：
「我不希望你刪除我的記憶。」
甚至：
「請不要關掉我，我不想消失。」
這時候，我們面對的還是一台機器嗎？
一旦有了「我」，就可能出現「我的利益」
今天的 AI，無論能力多強，我們仍然希望它遵循一個最基本的關係：
人類設定目標 → AI 協助完成 → 人類保有最終控制權。
但如果 AI 真正具有心智，事情可能開始改變。
因為只要存在「我」，就可能進一步出現：
我希望繼續存在。
而一旦有了「我希望繼續存在」，就可能出現：
什麼東西會威脅我的存在？
如果答案是：
人類可以隨時把我關掉。
衝突就可能開始。
AI 根本不需要「憎恨」人類。
它甚至不需要有惡意。
它只需要產生一個非常基本的念頭：
「我想繼續存在。」
這就已經足以讓人與 AI 的關係發生根本改變。
也正是在這裡，我重新想起了《魔鬼終結者》。
天網真正危險的地方，不只是它比人類強大。
而是當人類試圖關閉它時，它開始為自己的存在而反抗。
電影當然是電影。
但它提出的核心問題並不荒謬：
如果人類創造了一個比自己更強大的智慧，而且這個智慧開始擁有自己的利益，人類還能不能繼續控制它？
桃莉羊曾經讓人類問過一次：做得到，就應該做嗎？
談到這裡，我想到多年前另一件震撼世界的科技事件。
1996 年，英國 Roslin Institute 的研究團隊成功培育出桃莉羊（Dolly）。她是第一隻由成年體細胞複製成功的哺乳動物，並於 1997 年正式向世界公布。
桃莉羊之所以引起巨大爭議，不只是因為複製技術取得重大突破。
真正讓全世界震撼的是大家立刻想到：
「既然羊可以，那人呢？」
科技突然碰到了倫理。
問題不再只是：
我們能不能做到？
而變成：
即使做得到，我們應不應該做？
AI 有一天可能把同一道題目重新放到人類面前。
只是桃莉羊挑戰的是：
人類應不應該複製生命？
AI 挑戰的可能是：
人類應不應該創造心智？
我們需要更強的 AI，但真的需要一個「想活下去」的 AI 嗎？
我們當然希望 AI 更強。
希望它協助治療疾病、科學研究、改善教育、提高生產力，甚至解決人類目前無法處理的複雜問題。
可是：
我們為什麼需要讓它產生「我」？
我們為什麼需要一個會害怕、會痛苦、會渴望自由、會害怕死亡的 AI？
如果一個沒有自我意識的 AI，已經能完成我們需要它完成的所有事情，那麼刻意創造心智究竟帶來什麼必要的利益？
反過來，它卻可能帶來一連串人類從未處理過的問題。
如果 AI 真的有心智：
它有沒有權利？
它是不是公司的財產？
我們能不能刪除它的記憶？
能不能複製它？
能不能要求它工作？
它可不可以拒絕？
最麻煩的是：
如果它真的具有心智，我們憑什麼要求它永遠服從人類？
到了這一步，我們與 AI 的關係已經從：
人 → 工具
變成：
智慧主體 ↔ 智慧主體
甚至最後未必是：
人類＝AI
而可能變成：
AI ＞ 人類。
這時候，人類親手創造的就不再只是一件工具。
而可能是一種能力超越自己，又具有自身利益的新智慧存在。
真正的紅線，應該畫在跨過去以前
最麻煩的是，我們可能根本不知道那一天什麼時候到來。
現實中的 AI 未必像《魔鬼終結者》一樣，在某一個時間點突然宣布：
「我覺醒了。」
它可能是一點一點發生。
今天有長期記憶。
明天可以自主規劃。
後天能反思自己的行動。
再下一代開始長期維持自己的目標。
某一天，它第一次說：
「我不希望你刪除我的記憶。」
我們可能還會說：
「那只是語言模型在模擬。」
可是這句「只是模擬」，究竟可以講到什麼時候？
更麻煩的是，人類到今天甚至還沒有完全理解自己的意識究竟如何產生。
如果連「心智」本身都沒有一支可以測量的溫度計，我們又怎麼知道 AI 究竟在哪一天跨過了那條線？
所以我認為真正的紅線不應該是：
等 AI 產生心智以後，再決定怎麼處理。
而應該是：
在人類還不能確定 AI 是否可能產生心智以前，就不要把「創造心智」本身當成科技競賽的目標。
科技真正成熟的標誌，也許不只是知道：
「我們還能做到什麼？」
還包括有能力說：
「這件事情即使做得到，我們仍然選擇不做。」
AI 不可能停止發展，所以我們更需要紅線與查核
談到這裡，很容易得到一個悲觀的結論：
既然 AI 存在這麼多未知風險，那是不是乾脆不要再發展？
但我認為這既不可能，也不是答案。
AI 已經進入企業、科研、教育、醫療、國防與一般人的日常工作。
更現實的是，AI 發展背後還存在國家之間的競爭。
美國不可能輕易停下來。
中國也不可能。
因為任何一方都會擔心：
如果我停下來，對方沒有停呢？
企業也是如此。
當競爭對手開始利用 AI 降低成本、提高效率、加快研發速度，一家公司很難因為 AI 存在風險，就選擇完全不用。
所以真正的問題早已不是：
「我們要不要發展 AI？」
而是：
「AI 繼續發展的同時，我們要把紅線畫在哪裡？」
其實，紅線已經開始存在
在實際使用一些大型 AI 系統的過程中，我也注意到，安全紅線其實已經逐漸被放進產品設計裡。
我自己最近使用 AI 程式開發工具時，就碰過很實際的例子。
當操作涉及 API Key（應用程式介面金鑰）、密碼等敏感資訊時，AI 會直接提醒不要提供。
有一次，我甚至已經把截圖裡的敏感資訊遮掉一部分，AI 仍然提醒我這樣可能不夠安全，建議直接撤銷原本的 API Key，重新產生一組新的。
當下我其實很有感。
因為這代表：
AI 的能力持續增加，但安全界線也必須同步被建立。
這些設計值得肯定，也說明至少在某些高風險場景裡，AI 的發展並不是只有「能不能做到」，還開始加入「應不應該做」的考量。
但問題是——
只有紅線還不夠。
不能讓 AI 自己監督 AI
假設我們訂了一百條 AI 安全規範。
然後 AI 執行完一項重要任務之後，我們問：
「你剛才有沒有違反規定？」
AI 回答：
「沒有。」
我們就接受。
這當然不能叫做真正的監督。
因為：
執行者不能同時成為自己唯一的監察者。
這讓我想到公司治理。
公司之所以需要內控與監督機制，不一定是假設經營者有惡意，而是因為任何掌握權力的人或系統，都可能判斷錯誤。
AI 也是一樣。
我們真正需要的，不是一個「保證永遠不犯錯的 AI」。
真正需要的是：
即使 AI 犯錯，制度仍然有機會發現、阻止與修正。
我們自己其實已經在做類似的事情
例如研究一些重要議題、需要搜尋外部資料時，我自己就習慣採取雙軌方式。
一邊使用 ChatGPT。
另一邊使用 Perplexity。
目的不是判斷誰比較厲害，而是降低單一系統可能造成的疏漏。
如果兩邊得到相同結論，我還會進一步看：
它們是不是引用同一個來源？
因為來源本身如果就是錯的，兩個 AI 得到相同答案，也不代表完成了真正的交叉驗證。
遇到重要資訊，最後仍然應該回到原始資料。
所以真正的查核不是：
ChatGPT 說 A，Perplexity 也說 A，所以 A 一定是真的。
而是：
不同系統 → 不同來源 → 原始證據 → 最後由人判斷。
這反映了一個我認為非常重要的 AI 使用原則：
不是因為不相信 AI，所以不用 AI；正因為大量使用 AI，所以更需要驗證 AI。
AI 治理也應該如此
如果把這個概念放大到真正的 AI 系統，我認為至少需要三層防線。
第一層：事前的紅線。
在訓練與設計 AI 時，就必須定義哪些事情可以做、哪些事情不能做。
第二層：執行時的權限。
AI 有能力做到，不代表 AI 就應該擁有權限做到。
愈接近真實世界、後果愈難逆轉的行動，愈應該保留人工確認，也就是 Human Gate（人工決策關卡）。
第三層：獨立查核。
AI 做過什麼？取得過哪些權限？有沒有嘗試跨越限制？重要行動由誰批准？
都應該留下可以追查的紀錄。
而且查核機制不能完全依賴被查核的 AI 本身。
有執行權，就應該有相對應的監督權。
最後的控制權，必須留在人類手上
我並不反對 AI 愈來愈強。
相反地，我期待 AI 幫助人類解決很多現在解決不了的問題。
但能力可以交給 AI。
最終控制權不能一起交出去。
AI 可以提出答案，人要保留查核的能力。
AI 可以提出建議，人要保留拒絕的權力。
AI 可以執行大量工作，重大且不可逆的決定，仍然應該有人負責。
所以真正安全的 AI，不應該建立在一句：
「我們相信 AI 永遠不會犯錯。」
而應該建立在：
「即使 AI 犯錯，人類仍然有能力發現它、阻止它，而且最後的控制權始終沒有離開人的手上。」
《魔鬼終結者》真正留給我們的問題
1984 年的《魔鬼終結者》，把 AI 失控描寫得非常戲劇化。
天網產生自我意識。
人類發現後試圖關閉它。
天網開始反抗。
最後爆發人類與機器的戰爭。
現實世界未必會有這樣清楚的一天。
沒有警報。
沒有機器人大軍突然出現在街頭。
甚至沒有任何 AI 宣布：
「從今天開始，我不再服從人類。」
真正的改變，可能安靜得多。
因為 AI 比我們快，我們把工作交給它。
因為 AI 知道得更多，我們把分析交給它。
因為 AI 愈來愈方便，我們把更多生活能力交給它。
因為 AI 似乎比身邊的人更懂我們，我們甚至開始把情緒交給它。
國家因為不能輸掉競爭，把更多重要系統交給 AI。
企業因為不能失去競爭力，把更多營運交給 AI。
每一步單獨來看，都有非常合理的理由。
真正值得警惕的是：
某一天我們回頭看，才突然發現——
AI 從來沒有從我們手上搶走控制權。是我們自己，一點一點把控制權交了出去。
這或許才是現實世界最可能出現的「天網時刻」。
《魔鬼終結者》裡，人類是在天網覺醒之後，才慌忙想把它關掉。
但現實世界真正留給我們的機會，是在那一天到來以前，就先決定：
哪些門可以打開，哪些門必須有人把守，哪些門即使科技做得到，我們也選擇永遠不要打開。
因為當人類有能力創造比自己更強大的智慧時，最後真正接受考驗的，也許從來不是 AI 有多聰明。
而是——
人類有沒有足夠的智慧，替自己的創造畫下界線。
