拆解 ChatGPT-DALL.E繪圖生成限制

拆解 ChatGPT-DALL.E繪圖生成限制

愈畫愈錯…ChatGPT到底怎麼了?


自從ChatGPT20253月左右發佈了4o新版本,支援如吉卜力風、慕夏風、各種動漫風生成圖片一時之間蔚為風行,許多使用者紛紛迷上ChatGPT的漫畫風格,社群大頭貼也陸續看到大家換上動漫風格。據說光是那一個月,Open AI DALL-E系統總共接收了多達「七億」的圖片生成需求,導致主機過載,「ChatGPT生成圖」真可謂時下最夯的大熱話題。

但是隨著使用率愈來愈頻繁,大家卻也發現好像ChatGPT「怎麼一直畫一直錯」、「愈改愈錯」。這是因為ChatGPT的繪圖模組:【DALL·E】並不是圖像編輯軟體,而是語意生成模型,它畫的不是你要的「圖」,而是你說出來的「概念形成」。本文針對一般使用者對 DALL·E 常見的限制誤解類型,以下是我觀察到的幾個核心誤區分類。

在進入正文之前,我們先欣賞幾張【看起來正常+好看】的結果,以及【完全崩壞到想放棄人生】的對照,然後慢慢來瞭解這些現象到底是怎麼發生的吧!

好看+正常的

總之就是覺得風格對了

完全崩壞誤解的

 髮型錯誤、年齡錯誤、五五身比例、幻像多人






🔹 DALL·E 限制誤解類型初步分類(v 20250512

編號

誤解類型

錯誤認知說明

實際情況說明(正解)

1

它應該看得懂not…no…或「不要怎樣」

誤以為加上 not, 不要 就能禁止某特徵出現

DALL·E 對否定詞理解極弱,容易誤解或忽略;應採用「正向提示句」明確指定「我要這樣這樣」「我要那樣那樣

2

它應該會照我的描述畫人臉五官

以為描述如「高鼻子、單眼皮」就能具體反映在畫中

DALL·E 對細部五官理解模糊,應用視覺參照(如風格咒語+角色模板)才較能穩定呼應。尤其當你的角色要有前後一致的呼應時

3

畫風風格只要加上 Ghibli 就會正確

誤信單一畫風詞(如 Ghibli style)即可產出理想風格

實際上需多重條件組合(如比例、線條、光影處理、面部不擬真等)才能精確對應動畫筆觸,因為在動畫風格中也有分成比如神隱少女、霍爾移動程堡、你的名字、灌籃高手… 畫風不盡相同

4

它應該懂中文提示和語序

誤以為用中文也能正常生成語意圖像

中文提示在 DALL·E 整合模型中仍有理解缺陷,尤其中長句;建議重要核心語句用英文反覆確認

我的習慣步驟:

1.     中文描述情境及構圖,必要時提供照片

2.     要求系統轉成構圖文字稿

3.     進行文字稿細部調整

4.     轉英文咒語並確認無誤

5.     Go

但仍難免會出現持續偏移,這是因為ChatGPT在多輪討論中進行了「長文壓縮」之後,導致你想要的關鍵字,到最後被稀釋。

因此在出現這種情況時,換一個對話視窗重新把咒語全部完整描述再出圖反而更保險

5

上傳圖片會忠實還原

誤信 Image-to-Image 功能會如實描繪原圖人物與特徵

DALL E是進行語意拆解-Token匹配-靈感還原的方式「重畫一張圖」,多數情況僅保留主要姿勢或構圖,五官會被風格模組取代;需透過「五官咒語+風格設定模板」才能準確重現

6

中文字輸出變成火星文

誤信 write '幸福' on the wall 就會畫上中文字

DALL·E 對中文字仍無法穩定生成,尤其是繁體中文。應改用後製處理或圖文分離設計

其實不只是中文字,其他語系如韓文、日文、東南亞語系文字、甚至滿文、蒙古文、阿拉伯文…… 目前都無法穩定輸出。(使用者有更極端的測試案例)

7

加細節應該會更準確

誤以為越多細節越好(ex: 襯衫顏色、褲子長度、角度、表情都列出)

若語義出現衝突或過度擁擠,反而會導致失焦;應分類清楚、主從有序、簡潔明確地呈現重點元素

這是因為1. ChatGPT的語義壓縮/重組;2. DALL-E的語義模型匹配的樣本不足有關
實例:我的白髮赫本頭+高瘦中年女性,即使在制定模版之後仍然常常偏移畫錯

8

DALL·E 能畫多角色、群體構圖

誤以為可以像插畫家那樣構圖多人互動場面

目前多人場景極不穩定,建議聚焦單人特寫,或改用 Photoshop 延展圖像

9

DALL·E可以「修圖去背」

誤以為可以將原照片修圖、去背、換西裝

DALL·E並不是像 Photoshop 那種 pixel-level 的編輯工具,而是基於語意與特徵的「圖像生成模型」。你餵它一張照片,它進行的是語意拆解再重組;因為它的輸出是根據 prompt 和原圖的語義,再進行風格化重建,因此即使你說「不要換臉」,它仍然會「模仿這張臉的特徵」來產生一個「相似但非同一人」的結果。這在技術上不是錯誤,而是模型的運作邏輯本身

既然我們已知道目前DALL·E對這些圖片生成的「咒語」有那麼多的誤解、限制,而多語系的文字也經常無法正確辨識,我們在欣賞這種「愈畫愈錯」的圖/文時,可以輕鬆一點看待它,讓自己進入「錯誤即真相、無知即審美」的境界,那些火星文般的中文字,就讓它誠實地暴露系統的錯亂美學。它不是寫字,是在繡字;它不是畫筆,它是夢的翻譯器。我們對 DALL·E 的誤解,其實正好暴露了我們對「圖像產生AI」本質的誤解。若你能理解它的語法,你才能引導它創造;否則,它就只是個隨機擲骰子一樣:即使你每次提供它一模一樣的精準咒語,它每一次都會自作主張幫你重畫、微調,氣到想砸電腦。其實面對這些「不可控」,偶爾就像烏梅菓一樣,把它當成錯誤美學看待,理解,並且一笑置之吧!


【附錄】

大家對圖片中的中文字應該都非常抓狂,其實DALL·E對於圖片中內嵌的「文字」,主要依賴的是「語意聯想」而非拼音邏輯或字形結構,DALL·E 3 ChatGPT 中的版本,稱其 2024 年底起陸續改善以下幾件事

  • 更好的中文字型資料餵養(但仍以簡體中文為主,繁體中文的支援有限)
  • 加強圖像中指令文字的邏輯對應(例如「標語、商店招牌」等可控性增加)
  • 使用者提供明確「文字要求」時,會試圖進行語言結構修正

但這只是「有了改進」,並不表示每次出圖的中文字都能運氣好到全部正確。

以下是幾個實際測試的中文字、其他語系文字的「文字以圖像產出」參考。

1、中文字:魑魅魍魎(25%)、漁樵耕讀(75%)、琴棋書畫(75%)。

烏梅菓一開始直接測試了超高難度的罕用字:「魑魅魍魎」,發現對DALL·E系統來說實在太難(自然語言中罕用、語料稀少),漸漸限縮為「語義可理解」、且「語料較充足」的「漁樵耕讀」、「琴棋書畫」,正確性也提高了。


2、東南亞語系+蒙古文+滿文+西夏文(你好):ChatGPT+DALL·E產出了完全不可讀的「長得像」文字。身為人類的我,本身對這些語系的文字原本就「完全沒有辨識能力」,因此即使它畫錯了,我其實也不知道…。這部份,我個人命名為《蕾絲花邊的萬國語迷宮》:


3、西夏文:結構上像,實際上完全不是


最後這一張,當我打算對這些蕾絲花邊語系的文字產生放棄人生的念頭時,它居然把《蕾絲花邊的萬國語迷宮》這幾個複雜的繁體中文全部都寫對了!這不枉我花了1個多小時瞭解研究DALL·E文字生成與蕾絲花邊的極致邊界之後,獲得最大的驚喜安慰吧?!


上列圖片皆為筆者提供角色概念,ChatGPT生成圖

※ 本文為作者實際使用經驗與觀察整理,未經授權請勿擷取、轉載或引用內容至課程、教材、內訓簡報等使用場景。若需引用請先來信取得同意,並明確註明出處與作者。

這個網誌中的熱門文章

人間清醒使用者觀察日記:AI應該怎麼用?

AI智能客服?

AI作曲工具:Suno AI生成音樂實驗