NiceKate AI：超越編碼·AI上手操作電腦｜Codex大更新實測

開場閒聊

K 一開場就笑說，OpenAI 今天發布了 Codex 的大量更新，尤其是電腦操作功能——「真的非常好用」。他提到之前 Claude 推出電腦操作能力時，他其實有做過體驗，但「體驗實在是太一般了，所以沒有製作影片」。

然而這次 Codex 的計算機使用，K 明顯感覺「要比 Claude 聰明非常多」。從他的語氣中可以聽出，Codex 這次的更新確實讓他感到驚艷——不只是技術上的進步，而是真正達到了「可以實際使用」的程度。他特別強調了 Codex 在後台運行時不影響前台操作的設計，認為這是非常貼近真實使用場景的巧思。

這次的 Codex 大更新實測 涵蓋了從瀏覽器操作到桌面應用控制的完整流程。所謂 AI 上手操作電腦（AI上手操作電腦），在 K 的展示中已經不再是概念，而是可以直接使用的真實功能——從發 Twitter、寫 Typora 到做 Keynote 簡報，全部由 Codex 自主完成。這次的 Codex大更新實測 從頭到尾說明了 AI 如何真正落地到開發者的日常工作中。

懶人包速覽

核心痛點	Codex 解決方案 / 關鍵觀點
AI 無法操作真正桌面軟體，只能處理程式碼	Codex 電腦使用功能可直接操控瀏覽器、Typora、Keynote 等桌面應用，透過光標移動、點擊、滾動、截圖實現真實操作
多工具切換成本高，工作流程破碎	Codex 支援同線程自動化程序，可設定定時任務（如每小時彙整 Slack 更新），像隊友一樣主動服務
缺乏視覺反饋，AI 常在頁面操作中迷路	每次工具調用都會截圖並根據視覺反饋調整，能自行發現排版問題（如「第一首字數略多，署名行被擠進正文」）並修正
無法在同一介面中同時管理代碼、文檔和設計	側邊欄支援 HTML 即時預覽，且可對預覽頁面添加評論（如「字體優化」、「這塊刪掉」），一次性讓 AI 修改多處內容

OpenAI 對 Codex 的定位已經從「AI 程式設計助手」全面升級為「全能夥伴」——從編寫程式碼、操作電腦、生成圖像，到審查 GitHub PR、跨會話記憶，幾乎涵蓋開發者日常的所有工作環節。K 實際測試後認為，Codex 在電腦操作方面的成熟度已經具備實用價值。

Codex 電腦操作功能：從瀏覽器到桌面應用全面掌控

這次更新最核心的功能，就是 Codex 的計算機使用能力。K 進行了一系列實際測試，從簡單的社交媒體操作到複雜的多應用協作流程。

Twitter 發文測試

K 指示 Codex 打開 X（Twitter）並發送推文。Codex 顯示了一個彈窗要求授權，設定完成後，它在 Chrome 中輸入文本，很快就到達發推框。值得注意的設計是，Codex 在操作過程中有大量的灰色字體記錄，點開可以看到它做了哪些操作——包括截圖畫面。它會在發帖前要求使用者確認，這個安全機制既能保證操作正確，也避免了 AI 擅自發布內容的風險。

不過 K 也發現了一個限制：當他想要修改推文內容時，自己的滑鼠無法直接觸動編輯區。解決方式是直接在對話框中把修改要求發送給 Codex，它就會自動做出調整。

Typora 寫作 + Keynote 簡報製作

K 接下來測試了更複雜的多應用場景。他讓 Codex 先搜尋 OpenAI 最近關於 Codex 更新的文章，然後將內容寫入 Typora。Codex 成功地在 Typora 中按下按鍵、滾動、截圖，甚至處理了「保存快捷鍵行為不穩定」的問題——它自行改變策略，改為在本地生成內容後再讓 Typora 開啟。

更令人驚豔的是 Keynote 簡報製作。K 要求 Codex 新建一個 Keynote，寫關於風的五首詩，排版要好看。Codex 自行選擇模板，透過截圖視覺反饋發現「第一首的字數略多，署名行被擠進了正文區域」，然後做出調整——這個能力顯示 Codex 已經具備基本的版面審美判斷。整個過程約五分鐘，完成了一份完整的詩稿簡報。

AI 繪圖 App 協作：跨應用流程的極致測試

K 用了一個自己開發的封面圖生成 App 來測試 Codex 的極限。他讓 Codex 從 OpenAI 的產品博文中獲取正文，然後打開桌面上的封面圖生成 App，輸入內容、生成繪圖提示詞、最後生成圖片。

Codex 成功操作了這個第三方 App——點擊生成提示詞、選擇風格、下載圖片。過程中遇到網路問題導致生成失敗，K 重新指示後，Codex 再次點擊生成，最終成功完成了從讀取文章到生成圖片的完整工作流程。

@computertouse：啟用方式

要使用 Codex 的電腦操作功能，只需更新到最新版本，在設定中找到「電腦使用」選項，安裝插件後，在對話框中輸入 @computertouse 即可啟用。

內置瀏覽器與側邊預覽：開發效率的質變

除了電腦操作，Codex 這次還加入了多項提升開發效率的功能。

內置瀏覽器讓 Codex 可以直接在開發環境中搜尋資訊和瀏覽網頁，不需要切換到外部瀏覽器。側邊欄生成構建預覽的支援範圍不僅限於程式碼，還包括 PDF、文檔、幻燈片和電子表格——這意味著開發者可以在同一介面中同時管理文件和程式碼。

K 特別展示了互動式評論功能：Codex 生成一個「禮物包裝智能助手」HTML 頁面後，他可以直接在預覽頁面上添加評論——「字體優化一下」、「這塊刪掉」、「圖做得更寫實一點」——然後一次性讓 Codex 修改多處內容。這種工作方式比起傳統的反覆描述需求→等待回應的循環，效率提升了數倍。

記憶功能與插件生態：Codex 的進化方向

K 也介紹了 Codex 的幾個深層更新：

記憶功能可以讓 Codex 跨對話保留上下文，透過在配置文件中設定 generator memories: true 來啟用。這使得長期專案的連續性大為改善，不需要每次重新解釋背景。

SSH 遠端開發支援——Codex 桌面應用可以透過 SSH 連接到遠端開發機，並且能夠打開未被當前 agent 編輯過的文件進行跳轉。這解決了之前必須預選文件夾的限制。

GitHub PR 審查評論處理與多終端標籤頁的加入，讓 Codex 更貼近真實的開發工作流程。同時 GPT-image 1.5 的內置圖像生成功能，使 Codex 從純程式碼工具進一步擴展為多模態創作平台。

超越編碼：從開發工具到全能夥伴

K 在影片中不斷強調一個核心觀點：Codex 的定位已經不再只是「寫程式的工具」。從內置瀏覽器到電腦操作，從圖像生成到自動化排程，Codex 正在突破傳統 AI 編碼工具的邊界。

所謂超越編碼，指的是 Codex 現在能做的不只是生成程式碼，而是直接參與產品開發的每一個環節——搜尋資訊、操作設計工具、管理文件、生成圖像、甚至審查 PR。對於獨立開發者來說，這意味著一個人加上 Codex 就能完成過去需要整個團隊才能做的事情。

QA 精選

Q1：Codex 的電腦操作功能與 Claude 的 Computer Use 相比，優勢在哪裡？

K 明確表示 Codex 在電腦操作方面要比 Claude「聰明非常多」。他之前體驗過 Claude 的電腦操作能力，但因為「體驗實在太一般」而沒有製作影片。

Codex 的優勢在於三個層面：

第一，後台運行時不影響前台操作，開發者可以同時做其他工作。第二，每次調用工具都會截圖並根據視覺反饋調整，不像 Claude 容易在頁面中迷路。第三，Codex 能自行判斷操作結果並修正策略——例如在 Typora 快捷鍵不穩定時，自行改為在本地生成內容後再讓 Typora 開啟。

Q2：Codex 的電腦操作只能在 Mac 上使用嗎？

K 在影片結尾特別說明，Mac 電腦現在已經可以使用這項功能，Windows 用戶則需要再等一等。他預估 Windows 版本「應該也快了」。目前要使用電腦操作功能，需要將 Codex 更新到最新版本，在設置中安裝對應插件，然後在對話框中透過 @computertouse 指令啟用。

Q3：Codex 的記憶功能如何設定？對日常工作有什麼幫助？

K 介紹說，記憶功能可以讓 Codex 跨對話保留上下文。設定方式是在配置文件中加入 generator memories: true。這對於長期專案特別有幫助——開發者不需要每次開始新對話時都重新解釋專案背景、技術棧偏好或編碼慣例。搭配 Codex 新增的「複用現有對話線程」功能，可以保留之前積累的上下文，讓 AI 助手的工作連貫性大幅提升。

Q4：Codex 現在可以生成圖像了嗎？品質如何？

Codex 現在內置了 GPT-image 1.5 圖像生成功能。K 在 Keynote 簡報測試中讓 Codex 為詩稿配圖，生成的圖片與詩的「風的感覺」非常匹配。

此外，Codex 還可以自動將生成的圖片填充到簡報封面背景中。雖然目前圖像生成的效果還不能完全取代專業設計工具，但作為開發流程中的一環——快速生成示意圖、封面、配圖——已經足夠實用。

Q5：側邊預覽的互動式評論功能具體怎麼用？

K 展示了一個實際案例：他讓 Codex 生成一個「禮物包裝智能助手」HTML 頁面，Codex 經過五分鐘處理後在側邊欄生成了即時預覽。K 直接在預覽頁面上點擊不同區域添加評論——第一個評論是「字體優化一下」，第二個是「這塊刪掉」，第三個是「圖做得更寫實一點」——然後一次性讓 Codex 同時修改多處內容。這比傳統的反覆描述→等待修改→再描述的循環效率高出許多。

主編隨筆

K 在影片中把重點放在 Codex 的技術能力展示上，這對開發者來說很有參考價值。但我認為有一個更值得關注的趨勢——AI coding 工具的競爭已經從「誰寫的程式碼更好」升級到「誰能控制更多的工具」。

OpenAI 選擇讓 Codex 直接操作桌面應用，而不是要求所有軟體都為 AI 提供 API，這個策略非常務實。實際上，世界上絕大多數軟體都沒有、也不會有完善的 API。Codex 的「視覺 + 滑鼠 + 鍵盤」方案，雖然看似笨拙，卻是最通用的介面——它不需要任何第三方軟體的配合，就能操作地球上幾乎所有的應用程式。

從另一個角度來看，Codex 的側邊預覽加上互動式評論功能，其實在重新定義「人機協作」的工作模式。傳統上我們要不斷打字描述想改什麼，現在只要在視覺介面上點一下、寫一句話，AI 就能理解並執行。

這種從「文字驅動」到「視覺驅動」的轉變，我認為才是這次更新最有長期影響力的部分。

結語

這次 Codex 的更新，從電腦操作、內置瀏覽器、側邊預覽、記憶功能到圖像生成，可以說是 OpenAI 對「AI 程式設計助手」這個產品類別的一次全面升級。

K 在影片中反覆提到，Codex 的定位已經從「寫程式的工具」變成「全能夥伴」——不只是幫你寫程式，而是幫你操作電腦上的所有應用程式。

對於開發者來說，這次更新的最大價值在於：一個工具就能完成從程式碼編寫、文件管理、PR 審查、圖像生成到簡報製作的完整工作流程。雖然電腦操作功能目前還有一些細節問題（如滑鼠無法直接介入編輯），但整體方向已經非常明確——AI 正在從「被動回答問題」走向「主動操作工具」。