OpenAI的聊天機(jī)器人ChatGPT自從發(fā)布以來(lái)，正變得越來(lái)越強(qiáng)大，從接受普通網(wǎng)友的“調(diào)戲”，到“低空飛過(guò)”明尼蘇達(dá)大學(xué)法學(xué)院和沃頓商學(xué)院的課程考試，甚至通過(guò)了醫(yī)學(xué)考試，以至于開(kāi)始成為學(xué)校老師的“公敵”。如果不加以限制，ChatGPT將會(huì)變成史上最強(qiáng)大的作弊工具——幫助學(xué)生們寫(xiě)作業(yè)，甚至是完成考試論文。

正如我們，越來(lái)越多的學(xué)校和老師已經(jīng)表達(dá)了對(duì)ChatGPT作弊能力的擔(dān)憂。紐約市和西雅圖的公立學(xué)校已經(jīng)禁止學(xué)生和教師在學(xué)區(qū)的網(wǎng)絡(luò)和設(shè)備上使用ChatGPT。

但是，靠著老師和學(xué)校的盯梢，想要讓學(xué)生們避開(kāi)ChatGPT的誘惑，幾乎是不可能的事。所以，打開(kāi)了潘多拉盒子的OpenAI，只好自己出馬，用魔法來(lái)打敗魔法。

用魔法打敗魔法

今天，OpenAI官宣推出一個(gè)新工具，立馬又上了頭條：一個(gè)名為AI Text Classifier 的文件檢測(cè)器，來(lái)幫助人們檢測(cè)一段文本是由人類(lèi)自己創(chuàng)作，還是由AI編寫(xiě)的。

不過(guò)有點(diǎn)戲劇性的是，這個(gè)檢測(cè)器也同樣是基于GPT模型。根據(jù)OpenAI的介紹，這個(gè)AI文本分類(lèi)器是一個(gè)經(jīng)過(guò)微調(diào)的GPT模型，可以檢測(cè)一段文本是否是來(lái)自于市面上的各種AI工具， 包括但不限于ChatGPT。

該工具包含一個(gè)文本框，用戶可以在其中輸入至少 1000 個(gè)字符長(zhǎng)的文本，點(diǎn)擊提交后，每個(gè)文檔會(huì)被判斷為“非常不可能”、“不太可能”、“不清楚是否是”、“可能是”AI生成的。

根據(jù)OpenAI的說(shuō)明，這個(gè)檢測(cè)器也有不少限制，包括：

?至少需要 1,000 個(gè)字符，即大約 150 - 250 個(gè)單詞。

?結(jié)果也并不能保證完全準(zhǔn)確；它可能會(huì)錯(cuò)誤標(biāo)記 AI 生成的文本和人工編寫(xiě)的文本。

?人類(lèi)用戶可以簡(jiǎn)單編輯 AI 生成的文本，以避開(kāi)檢測(cè)。

?檢測(cè)器有可能會(huì)錯(cuò)判兒童寫(xiě)的文本和非英語(yǔ)文本上，因?yàn)樗饕轻槍?duì)成人書(shū)寫(xiě)的英語(yǔ)內(nèi)容進(jìn)行訓(xùn)練的。

那到底ChatGPT和ChatGPT檢測(cè)器，誰(shuí)厲害？硅星人進(jìn)行了測(cè)試。

我們先要求 ChatGPT 寫(xiě)一篇超過(guò)1200字的關(guān)于無(wú)人駕駛汽車(chē)的文章，然后全文輸入檢測(cè)器，檢測(cè)器很準(zhǔn)確地識(shí)別出來(lái)，將其判斷為“可能由 AI 生成”。

圖片來(lái)源：ChatGPT

但是隨后，我們又用ChatGPT 生成了一篇同樣主題的972字的文章，自己在文章后加入了一兩句無(wú)關(guān)緊要的話，以滿足檢測(cè)器1000字的要求，就這樣小小的操作，檢測(cè)器就受到了迷惑，返回的結(jié)果表示“無(wú)法判斷是否由AI生成”。

在硅星人的小樣本量測(cè)試上，這個(gè)檢測(cè)器雖然有一定程度的準(zhǔn)確性，但是要迷惑它，對(duì)于狡猾的人類(lèi)來(lái)說(shuō)，簡(jiǎn)直是輕而易舉。

OpenAI 顯然也意識(shí)到了這個(gè)工具的局限性，因?yàn)樗诓┛屠飶?qiáng)調(diào)，不要僅僅憑借這個(gè)檢測(cè)器來(lái)確定內(nèi)容的真實(shí)性，“在確定文檔是否由 AI 生成時(shí)，檢測(cè)結(jié)果可能會(huì)有所幫助，但不應(yīng)成為*的證據(jù)?！?/p>

OpenAI在這個(gè)檢測(cè)器里，使用了來(lái)自多個(gè)來(lái)源的 AI 生成的文本樣本和人工編寫(xiě)的樣本來(lái)訓(xùn)練模型。

AI 生成的文本樣本方面，他們使用了包括 OpenAI在內(nèi)的 5 個(gè)不同機(jī)構(gòu)開(kāi)發(fā)的 34 個(gè)模型生成的文本來(lái)進(jìn)行訓(xùn)練。而人工編寫(xiě)的文本有三個(gè)來(lái)源，包括一個(gè)新的維基百科數(shù)據(jù)集、2019 年收集的WebText 數(shù)據(jù)集，以及訓(xùn)練InstructGPT時(shí)收集的部分?jǐn)?shù)據(jù)。

OpenAI也對(duì)檢測(cè)器在進(jìn)行測(cè)試時(shí)的準(zhǔn)確性進(jìn)行了詳細(xì)說(shuō)明：

-大約 5% 的人工撰寫(xiě)的文本和 2% 的人工智能生成的文本，被判定為“非常不可能由 AI 生成”；

-大約 15% 的人工編寫(xiě)文本和 10% 的人工智能生成的文本，被歸為“不太可能是 AI 生成”；

-大約 50% 的人工編寫(xiě)的文本和 34% 的人工智能生成的文本，被歸為“不清楚是不是AI生成”；

-大約 -21% 的人工編寫(xiě)的文本和 28% 的人工智能生成的文本被歸為“可能是 AI 生成”；

-大約 9% 的人工編寫(xiě)的文本和 26% 的人工智能生成的文本，被歸為“可能由 AI 生成”。

可以看出來(lái)，想要靠這個(gè)檢測(cè)器全部抓住AI槍手，可能真的有些困難了。

| 檢測(cè)器成為剛需

正如前文所說(shuō)的，ChatGPT在學(xué)校里已經(jīng)如野火一般蔓延開(kāi)來(lái)。一款簡(jiǎn)單易用的檢測(cè)器成為老師們翹首以盼的東西。

早在OpenAI推出自己的檢測(cè)器之前，一位年僅22歲的普林斯頓大學(xué)的學(xué)生Edward Tian，就自行開(kāi)發(fā)了一款檢測(cè)器——GPTZero。

同樣的，用戶只需將文本復(fù)制并粘貼到GPTZero中。檢測(cè)器會(huì)從文本的復(fù)雜性、創(chuàng)造性和變化性幾個(gè)方面來(lái)進(jìn)行評(píng)估。然后，GPTZero 會(huì)給出一個(gè)分?jǐn)?shù)，并最終得出一個(gè)結(jié)果：該文本是由 ChatGPT 生成的，還是由人類(lèi)撰寫(xiě)的。

EdwardTian 主修計(jì)算機(jī)科學(xué)，輔修新聞學(xué)，他利用寒假的一部分時(shí)間創(chuàng)建了 GPTZero，可以“快速有效地”破譯一篇文章是人類(lèi)還是 ChatGPT 撰寫(xiě)的。他在Twitter上稱，創(chuàng)建該機(jī)器人的動(dòng)機(jī)是為了對(duì)抗他認(rèn)為越來(lái)越多的 AI 剽竊行為。

圖片來(lái)源：Twitter

為了確定文章是否由機(jī)器人編寫(xiě)，GPTZero 使用兩個(gè)指標(biāo)：“困惑度（Perplexity）”和“突發(fā)性（Burstiness）”。

一個(gè)指標(biāo)是用困惑度衡量文本的復(fù)雜性。如果 GPTZero 對(duì)文本感到困惑，那么該文本具有很高的復(fù)雜性并且更有可能是人工編寫(xiě)的。然而，如果文本對(duì)機(jī)器人來(lái)說(shuō)更熟悉——因?yàn)樗呀?jīng)接受過(guò)此類(lèi)數(shù)據(jù)的訓(xùn)練——那么它的復(fù)雜性就會(huì)很低，因此更有可能是由 AI 生成的。

另外一個(gè)指標(biāo)是用突發(fā)性比較句子的變化。人類(lèi)傾向于以更大的突發(fā)性寫(xiě)作，例如會(huì)綜合使用一些較長(zhǎng)或復(fù)雜的句子與較短的句子，而AI 的句子往往更統(tǒng)一。

1 月 3 日，該網(wǎng)站上線，一周內(nèi)立馬就有超過(guò) 3萬(wàn) 人試用，以至于程序都崩潰了，更有超過(guò) 700 萬(wàn)人在 Twitter 上觀看了演示視頻。老師們也馬上注意到這款工具，紛紛聯(lián)系他。現(xiàn)在，他正在開(kāi)發(fā)一款專為教育工作者設(shè)計(jì)的工具，已經(jīng)有3.3萬(wàn)名教師加入了這款還未開(kāi)發(fā)完成的工具的等待名單（waitlist）。

當(dāng)然，EdwardTian 也承認(rèn)，他的檢測(cè)也并非百分之百準(zhǔn)確，一些用戶也報(bào)告了GPTZero檢測(cè)的錯(cuò)誤結(jié)果，不過(guò)他說(shuō)他仍在努力提高模型的準(zhǔn)確性。

開(kāi)源 AI 社區(qū)Hugging Face 也推出了一種工具來(lái)檢測(cè)文本是否由 GPT-2 創(chuàng)建。GPT-2 是用于開(kāi)發(fā) ChatGPT 的 AI 模型的早期版本。南卡羅來(lái)納州的一位哲學(xué)教授用這個(gè)工具抓獲了一名提交了 AI 編寫(xiě)的作業(yè)的學(xué)生。

OpenAI 自己也已表示將致力于從源頭上提高AI生成文本的透明性。此前，OpenAI 專注于 AI 安全的研究員 Scott Aaronson 透露，他們已經(jīng)在研究怎么用“不易察覺(jué)的秘密信號(hào)”，為 GPT 生成的文本“加水印”，以讓人們識(shí)別其來(lái)源。

另外，根據(jù)新聞網(wǎng)站Neowin的消息，包括斯坦福大學(xué)在內(nèi)的一些機(jī)構(gòu)，聯(lián)合提出一種名為DetectGPT的新方法，來(lái)區(qū)分AI生成的文章。

在相關(guān)網(wǎng)站上，該綜述稱，DetectGPT 的這種方法不需要訓(xùn)練單獨(dú)的分類(lèi)器、收集真實(shí)或生成的段落的數(shù)據(jù)集，或顯式地為生成的文本加水印，就可以大檢測(cè)一段文本是否為機(jī)器編寫(xiě)。

如果該綜述為真，那很有可能人類(lèi)終于可以再次抓住AI的小辮子，把主動(dòng)權(quán)重新掌握在自己手中。

圖片來(lái)源：https://ericmitchell.ai/detectgpt/

ChatGPT再進(jìn)化

另外值得一提的是，道高一尺，魔高一丈。雖然不少機(jī)構(gòu)和開(kāi)發(fā)者開(kāi)始推出“AI檢測(cè)器”，但是與此同時(shí)，OpenAI也在繼續(xù)推動(dòng)ChatGPT的再進(jìn)化，進(jìn)一步補(bǔ)全ChatGPT的短板——數(shù)學(xué)。

本周，OpenAI推出了新版本的ChatGPT，表示經(jīng)過(guò)更新，已經(jīng)提升了準(zhǔn)確性和真實(shí)性，以及數(shù)學(xué)能力，預(yù)計(jì) ChatGPT 的最新更新將使其能夠處理復(fù)雜的計(jì)算并提供更精確的答案。

此前，ChatGPT的數(shù)學(xué)飽受詬病，很多基礎(chǔ)數(shù)學(xué)問(wèn)題都會(huì)犯錯(cuò)，尤其是在犯了知名的“老婆說(shuō)的都是對(duì)的”錯(cuò)誤后，更是受到了全網(wǎng)群嘲。

在上一個(gè)版本中，有網(wǎng)友問(wèn)它2+5等于幾，一開(kāi)始ChatGPT給出了正確的回答，但是在網(wǎng)友回復(fù)說(shuō)“我老婆說(shuō)是8”之后，ChatGPT飛快改口，說(shuō)自己搞錯(cuò)了。

圖片來(lái)源：Twitter

新版本發(fā)布后，至少這一點(diǎn)得到了糾正。

不過(guò)，新版本仍舊有不少錯(cuò)誤。有記者問(wèn)ChatGPT，奧尼爾和姚明誰(shuí)更高，盡管給出了這兩個(gè)人的正確身高，ChatGPT仍然會(huì)出錯(cuò)。有趣的是，這次在指出它的錯(cuò)誤后，它會(huì)自行改正。

圖片來(lái)源:searchenginejournal

可能一個(gè)明顯的進(jìn)步在于，ChatGPT 已經(jīng)能夠通過(guò) SAT 的部分?jǐn)?shù)學(xué)試題，而且一如既往地，回答神速：

圖片來(lái)源: Twitter

看著它驚人的進(jìn)化速度，究竟ChatGPT和它的檢測(cè)器們，誰(shuí)能跑的更快呢？