我突發奇想做了一個簡單實驗,挺有趣的,小學的時候,應該有做過填空題吧,老師出一段句子,我們要負責填上去,讓整個句子完整,這樣才算答對。
現在 AI 很厲害,只要有足夠的上下文,應該也能回答這種填空題,那這跟我標題寫的有甚麼關係 ?
如果把一段落的文章中的某些字以底線 _ 取代,作為填空,那文章中應該會有很多重複的 _,是不是可以透過 gzip 等等壓縮法壓的更多呢? 所以我就有一個小小實驗。
以下是一段簡體原文:
很久很久以前,有一个可爱的小女孩,跟爸爸妈妈住在一个小村庄里。
小女孩长得很可爱,又很乖巧,大家都喜欢她。尤其是她的外婆,最疼她了。
今年,小女孩过生日,她的外婆特地从森林里的家赶来,为她庆生,并且送给她一件连着可爱帽子的红色披风。
小女孩谢谢外婆后,马上把披风穿在身上,高兴的直转圈圈。
第二天,小女孩穿着披风,戴上连身的帽子,快乐的跑到外面玩耍。大家看到小女孩的红帽子,都称赞小女孩的红帽子漂亮,她就成天戴着,舍不得脱下来。村子里的人都叫她“小红帽”。
然後 , 我請 AI 出填空題,得到以下腦補文:
很久__以前,有_个可爱的小女孩,跟爸爸妈妈住在_个小村庄_。
_女孩长得很可_,又很乖巧,大家都喜__。尤其_她_外婆,最疼__。
今年,_女孩过生日,她_外婆特地从森_里的家赶来,为_庆生,并_送给_一件连着可_帽子的红_披风。
_女孩谢_外婆后,马上把披_穿在身_,高_的直转圈圈。
第二天,_女孩穿_披风,戴上连_的帽子,快_的跑_外面玩耍。大家看到_女孩的红帽_,都称赞_女孩的红帽_漂亮,她就成天戴_,舍不_脱下来。村子_的人都叫_“小红帽”。
可以發現到腦補文,有很多 _ ,而我也請 AI 開子代理去填空解題,得到百分百準確率還原,天呀,這太讓我訝異了,測試的 Model 是免費帳號的 gemini-3.7-flash。
為了驗證原文與腦補文經過壓縮程式後的差異,我做出比較列表:
- 未壓縮原文 : 680bytes。
- 出題後的未壓縮原文: 602bytes。因為 utf-8 中文本身就 3bytes,用底線取代能減少 size。
- 原文以 gzip 壓縮: 437byte。
- 填空文以 gzip 壓縮: 403byte。
這個結果挺有意思的,這只是初步的實驗結果,因為我下的提示詞有要求 LLM 要小心歧異有可能太大的不要挖空。
而 LLM 竟然最後給我一個建議,可以加上校驗碼,就可以更大膽一些,這樣 LLM 填空後若校驗碼錯誤,就必須換個字詞去填空,直到百分百還原。
這理論可行啊!!! 透過最保險出題壓縮,請子代理解壓看看能否合理解出,若能合理解出,就留一版,接著換更大膽的挖空,加上校驗碼是否能讓 LLM 完整解出,這一套流程理論上可做。
但我不想實驗下去了,只是好玩而已。哈哈。


