羅馬不是一天建成的。

當(dāng)人工智能對話工具ChatGPT一夜之間成為頂流，在略顯沉悶的科技界如閃電般發(fā)出炫目光芒后，它似乎點亮了指引投資界方向的明燈，一些商界人士的內(nèi)心開始“騷動”。

的確，這個成績是史無前例的。ChatGPT是有史以來用戶增長最快的互聯(lián)網(wǎng)服務(wù)，推出僅兩個月就獲得了1億用戶。它被內(nèi)置于微軟的必應(yīng)搜索引擎中，把谷歌頃刻間拉下神壇，正在促成搜索引擎自誕生以來的重大轉(zhuǎn)折點。

但ChatGPT絕非憑空而來。這款聊天機(jī)器人是多年來一系列大型語言模型中最完善的一個。梳理ChatGPT的簡要歷史就會發(fā)現(xiàn)，在其誕生前，有無數(shù)技術(shù)的迭代、理論的發(fā)展為它鋪路。

20世紀(jì)五六十年代：符號與亞符號人工智能

人工智能這一術(shù)語始于1956年的美國達(dá)特茅斯學(xué)院，經(jīng)歷幾十年“三起兩落”的發(fā)展階段，有過“寒冬”，也有過“盛夏”：幾次重大事件讓一度歸于沉寂的人工智能研究再次成為被廣泛討論的熱門話題。ChatGPT的成功，源于以深度學(xué)習(xí)為代表的人工智能技術(shù)的長期積累。

1956年達(dá)特茅斯會議，約翰·麥卡錫、馬文·明斯基、克勞德·香農(nóng)、艾倫·紐厄爾、赫伯特·西蒙等科學(xué)家正聚在一起，討論用機(jī)器來模仿人類學(xué)習(xí)以及其他方面的智能。這一年被譽為人工智能誕生元年。

人工智能領(lǐng)域主要有兩類，一類是符號人工智能（symbolic AI），另一類是以感知機(jī)為雛形的亞符號人工智能（subsymbolic AI）。前者的基本假設(shè)是智能問題可以歸為“符號推理”過程，這一理論可追溯至計算機(jī)鼻祖、法國科學(xué)家帕斯卡和德國數(shù)學(xué)家萊布尼茨，真正體現(xiàn)這一思想的所謂智能機(jī)器，源于英國的查爾斯·巴貝奇（Charles Babbage）和艾倫·圖靈（Alan Turing）的開創(chuàng)性工作。

亞符號人工智能的出現(xiàn)歸功于行為主義認(rèn)知理論的崛起，其思想基礎(chǔ)是“刺激-反應(yīng)理論”。美國神經(jīng)生理學(xué)家沃倫·麥克卡洛克（Warren McCulloch）、沃爾特·皮茨（Walter Pitts）提出神經(jīng)元模型后，心理學(xué)家弗蘭克·羅森布拉特（Frank Rosenblatt）提出了感知機(jī)模型，奠定了神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)。

早期的神經(jīng)網(wǎng)絡(luò)技術(shù)秉承人工智能深度學(xué)習(xí)“逐層遞進(jìn)、層層抽象”的基本思想，出現(xiàn)了諸如MCP神經(jīng)元、感知機(jī)和前饋神經(jīng)網(wǎng)絡(luò)等模型，它們通常由多個處理信息且相互連接的“神經(jīng)元”組成，其靈感來自人腦中所連接神經(jīng)元之間的信息交換。

20世紀(jì)五六十年代，人工智能在符號演算和感知機(jī)兩個方向上都陷入了停滯。在麻省理工學(xué)院和加州大學(xué)伯克利分校任教的休伯特·德雷福斯（Hubert Dreyfus ）1965年發(fā)表《煉金術(shù)與人工智能》報告，將當(dāng)時所進(jìn)行的神經(jīng)網(wǎng)絡(luò)研究與歷史上的煉金術(shù)相提并論，辛辣指出爬上樹梢不等于攀登月球。1973年，“萊特希爾報告”對當(dāng)時的符號主義人工智能提出批評，認(rèn)為“迄今的發(fā)現(xiàn)尚未產(chǎn)生當(dāng)時承諾的重大影響”，人工智能第一次跌入低谷。

80年代興起的專家系統(tǒng)和神經(jīng)網(wǎng)絡(luò)，也因為受制于計算能力和對智能的理解，并未獲得實質(zhì)性的突破，使得人工智能跌入了第二次低谷。

但從80年代開始，一棵大樹已經(jīng)播種。

20世紀(jì)八九十年代：遞歸神經(jīng)網(wǎng)絡(luò)

理解和使用自然語言是人工智能面臨的最大挑戰(zhàn)之一。語言常常充滿歧義，極度依賴語境，而且通常用語言溝通的各方需要具備大量共同的背景知識。與人工智能的其他領(lǐng)域一樣，自然語言處理相關(guān)的研究在最初的幾十年集中在符號化的、基于規(guī)則的方法上，并沒有取得很好的效果。遞歸神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Networks）改變了一切。

ChatGPT是基于大型語言模型GPT-3的一個對話式版本，而語言模型是一種經(jīng)過大量文本訓(xùn)練的神經(jīng)網(wǎng)絡(luò)。由于文本是通過不同長度的字母和單詞序列組成，語言模型需要一種能夠“理解”這類數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)，發(fā)明于20世紀(jì)80年代的遞歸神經(jīng)網(wǎng)絡(luò)可以處理單詞序列。但有一個問題是，它們的訓(xùn)練速度很慢，而且可能會忘記序列中之前的單詞。

1997年，計算機(jī)科學(xué)家斯皮·哈切瑞特（Sepp Hochreiter）和尤爾根·斯成杜博（Jürgen Schmidhuber）通過發(fā)明長短期記憶（LSTM）網(wǎng)絡(luò)解決了這個問題，這是一種具有特殊成分的循環(huán)神經(jīng)網(wǎng)絡(luò)，可以讓輸入序列中的過去的數(shù)據(jù)保留更長時間。LSTMs可以處理幾百個單詞長的文本字符串，但他們的語言技能有限。

在人工智能處理自然語言出現(xiàn)重大突破前夕，神經(jīng)網(wǎng)絡(luò)和機(jī)器學(xué)習(xí)在2016年發(fā)生了一次“出圈”事件。谷歌公司的AlphaGo在各種圍棋比賽中大獲全勝，給全世界做了一次人工智能科普。DeepMind創(chuàng)始人之一沙恩·萊格（Shane Legg）認(rèn)為，超越人類水平的人工智能將在2025年左右出現(xiàn)。谷歌公司戰(zhàn)略委員會成員雷·庫茲韋爾（Ray Kurzweil）則提出了令人震驚的“奇點理論”，認(rèn)為2029年完全通過圖靈測試的智能機(jī)器將會出現(xiàn)，以強(qiáng)人工智能為基礎(chǔ)的智能爆炸將會在2045年出現(xiàn)。

AlphaGo戰(zhàn)勝李世石和柯潔。

2017年：Transformer

谷歌的一個研究團(tuán)隊發(fā)明了Transformer，這是一種神經(jīng)網(wǎng)絡(luò)，可以跟蹤每個單詞或短語在序列中出現(xiàn)的位置，從而實現(xiàn)了當(dāng)今這一代大型語言模型背后的突破。單詞的含義通常取決于前面或后面其他單詞的含義。通過跟蹤這些上下文信息，Transformer可以處理更長的文本字符串，并更準(zhǔn)確地捕捉單詞的含義。例如，“hot dog”在“Hot dogs should be given plenty of water（狗熱了要多喝水）”和“Hot dogs should be eaten with mustard（熱狗應(yīng)該和芥末醬一起吃）”這兩個句子中的含義截然不同。

谷歌發(fā)布Transformer的那篇著名論文。

Transformer能夠同時并行進(jìn)行數(shù)據(jù)計算和模型訓(xùn)練，訓(xùn)練時長更短，并且訓(xùn)練得出的模型可用語法解釋，也就是模型具有可解釋性。

經(jīng)過訓(xùn)練后，Transformer在包括翻譯準(zhǔn)確度、英語成分句法分析等各項評分上都達(dá)到了業(yè)內(nèi)第一，成為當(dāng)時最先進(jìn)的深度學(xué)習(xí)模型。

Transformer自誕生的那一刻起，就深刻地影響了接下來幾年人工智能領(lǐng)域的發(fā)展軌跡。短短的幾年里，該模型的影響已經(jīng)遍布人工智能的各個領(lǐng)域——從各種各樣的自然語言模型到預(yù)測蛋白質(zhì)結(jié)構(gòu)的AlphaFold2模型，用的都是它。

2018年：GPT-1

在Transformer誕生還不到一年的時候，人工智能研究機(jī)構(gòu)OpenAI推出了具有1.17億個參數(shù)的GPT-1模型，GPT是Generative Pre-training Transformer（生成式預(yù)訓(xùn)練Transformer）的縮寫，即用大量數(shù)據(jù)訓(xùn)練的基于Transformer的模型。該公司希望開發(fā)多技能、通用的人工智能，并相信大型語言模型是實現(xiàn)這一目標(biāo)的關(guān)鍵一步。

GPT將Transformer與無監(jiān)督學(xué)習(xí)相結(jié)合，這是一種根據(jù)事先未注釋的數(shù)據(jù)訓(xùn)練機(jī)器學(xué)習(xí)模型的方法。這讓軟件可以自己找出數(shù)據(jù)中的模式，而無需被告知它在看什么。機(jī)器學(xué)習(xí)先前的許多成功都依賴于監(jiān)督學(xué)習(xí)和注釋數(shù)據(jù)，但手動標(biāo)記數(shù)據(jù)是一項緩慢的工作，因此限制了可用于訓(xùn)練的數(shù)據(jù)集的大小。

GPT最終訓(xùn)練所得的模型在問答、文本相似性評估、語義蘊含判定以及文本分類這四種語言場景，都取得了比基礎(chǔ)Transformer模型更優(yōu)的結(jié)果，成為了新的業(yè)內(nèi)第一。

為了創(chuàng)造通用人工智能，“你需要有數(shù)十億美元的投資。”O(jiān)penAI LP的首席科學(xué)家Ilya Sutskever（左）2019年說。他與該公司當(dāng)時的首席技術(shù)官Greg Brockman坐在一起。

2019年：GPT-2

微軟向OpenAI投資了十億美元。同年，OpenAI公布了具有15億個參數(shù)的模型：GPT-2。該模型架構(gòu)與GPT-1原理相同，主要區(qū)別是GPT-2的規(guī)模更大（10倍）。同時，他們發(fā)表了介紹這個模型的論文“Language Models are Unsupervised Multitask Learners” （語言模型是無監(jiān)督的多任務(wù)學(xué)習(xí)者）。在這項工作中，他們使用了自己收集的以網(wǎng)頁文字信息為主的新的數(shù)據(jù)集。不出意料，GPT-2模型刷新了大型語言模型在多項語言場景的評分紀(jì)錄，引起了更大的轟動。但OpenAI稱，他們非常擔(dān)心人們會使用GPT-2“產(chǎn)生欺騙性的、有偏見的或辱罵性的語言”，因此不會發(fā)布完整的模型。

2020年：GPT-3

GPT-2令人印象深刻，但OpenAI的后續(xù)GPT-3引起了更大的反響，它實現(xiàn)了生成類人文本能力的巨大飛躍。GPT-3可以回答問題、總結(jié)文檔、生成不同風(fēng)格的故事，在英語、法語、西班牙語和日語之間進(jìn)行翻譯等。它的模仿能力不可思議。

最顯著的收獲之一是，GPT-3的收益來自于現(xiàn)有技術(shù)的超大規(guī)?；皇前l(fā)明新技術(shù)。 GPT-3有1750億個參數(shù)，比前兩款GPT模型要大得多：經(jīng)過基礎(chǔ)過濾的全網(wǎng)頁爬蟲數(shù)據(jù)集（4290億個詞符）、維基百科文章（30億詞符）、兩個不同的書籍?dāng)?shù)據(jù)集（一共670億詞符）。它的模型架構(gòu)與GPT-2沒有本質(zhì)區(qū)別。

GPT-3面世時未提供廣泛的用戶交互界面，并且要求用戶提交申請，申請批準(zhǔn)后才能注冊，所以直接體驗過GPT-3模型的人并不多。

早期測試結(jié)束后，OpenAI對GPT-3進(jìn)行了商業(yè)化：付費用戶可以通過應(yīng)用程序接口（API）連上GPT-3，使用該模型完成所需語言任務(wù)。2020年9月，微軟公司獲得了GPT-3模型的獨占許可，意味著微軟可以獨家接觸到GPT-3的源代碼。

與此同時，上一代的缺點進(jìn)一步被放大，谷歌的人工智能倫理團(tuán)隊聯(lián)合主管蒂姆尼特·格布魯（Timnit Gebru）與人合著了一篇論文，強(qiáng)調(diào)了與大型語言模型相關(guān)的潛在危害，但該論文不受公司內(nèi)部高級經(jīng)理的歡迎。2020年12月，格布魯被解雇。

2022年1月：InstructGPT

GPT-3公測期間用戶提供了大量的對話和提示語數(shù)據(jù)，而OpenAI內(nèi)部的數(shù)據(jù)標(biāo)記團(tuán)隊也生成了不少人工標(biāo)記數(shù)據(jù)集。OpenAI用這些數(shù)據(jù)對GPT-3用監(jiān)督式訓(xùn)練進(jìn)行了微調(diào)，并收集了微調(diào)過的模型生成的答案樣本，使用獎勵模型和更多的標(biāo)注過的數(shù)據(jù)繼續(xù)優(yōu)化微調(diào)過的語言模型，并且進(jìn)行迭代，最終得到了InstructGPT。InstructGPT更善于遵循人的指示，并且產(chǎn)生更少的冒犯性語言、更少的錯誤信息和更少的整體錯誤。

大型語言模型一個普遍的問題是，訓(xùn)練它們的成本，使得只有最富有的實驗室才能創(chuàng)建一個。這引發(fā)了人們的擔(dān)憂，即這種強(qiáng)大的人工智能是由小型企業(yè)團(tuán)隊秘密開發(fā)的，沒有經(jīng)過適當(dāng)?shù)膶彶?，也沒有更廣泛的研究社區(qū)的投入。作為回應(yīng)，一些合作項目開發(fā)了大型語言模型，并將它們免費發(fā)布給任何想要研究和改進(jìn)該技術(shù)的研究人員。Meta構(gòu)建并給出了OPT，這是GPT-3的重構(gòu)。Hugging Face領(lǐng)導(dǎo)了一個由大約1000名志愿研究人員組成的聯(lián)盟來構(gòu)建和發(fā)布BLOOM。

OpenAI工作人員和Dota 2電子競技團(tuán)隊OG的成員一起拍照。

2022年12月：ChatGPT

最終，2022年12月，ChatGPT面世。與InstructGPT模型類似，ChatGPT是OpenAI對GPT-3模型微調(diào)后開發(fā)出來的對話機(jī)器人。OpenAI官網(wǎng)信息顯示，ChatGPT與InstructGPT是姐妹模型。與InstructGPT一樣，ChatGPT使用強(qiáng)化學(xué)習(xí)對人類測試人員的反饋進(jìn)行了訓(xùn)練，這些測試人員對其表現(xiàn)進(jìn)行了評分，使其成為流暢、準(zhǔn)確且無害的對話者。從此以后，全球有1億人在和它聊天。

用戶們在社交媒體上曬出來的對話例子表明，ChatGPT能完成包括寫代碼、代碼改錯、翻譯文獻(xiàn)、寫小說、寫商業(yè)文案、創(chuàng)作菜譜、做作業(yè)、評價作業(yè)等一系列常見文字輸出型任務(wù)。ChatGPT比GPT-3更優(yōu)秀的一點在于，前者在回答時更像是在與用戶對話，而后者更善于產(chǎn)出長文章，欠缺口語化的表達(dá)。

ChatGPT一夜走紅之后，在全球引發(fā)了高度關(guān)注，有業(yè)內(nèi)人士認(rèn)為它將影響包括搜索引擎、廣告業(yè)、教育行業(yè)等領(lǐng)域。2022年12月，谷歌內(nèi)部發(fā)布紅色警報，著手進(jìn)行緊急應(yīng)對。

在接受《時代》專訪時，ChatGPT回答道：我還有很多局限，但人類應(yīng)準(zhǔn)備好應(yīng)對AI。