自2022年11月上線后，ChatGPT就一路開(kāi)掛，不僅5天時(shí)間便突破百萬(wàn)用戶，月活用戶突破 1 億更是僅用時(shí)2個(gè)月，成為史上增速最快的消費(fèi)級(jí)應(yīng)用，遠(yuǎn)超TikTok、Facebook、Google等全球應(yīng)用，可謂來(lái)勢(shì)洶洶。

ChatGPT表現(xiàn)出很高的人機(jī)交互水平，以及自然語(yǔ)言大模型具備面向通用人工智能的特征，在眾多行業(yè)領(lǐng)域有著廣泛的應(yīng)用潛力。ChatGPT大熱之下，其背后技術(shù)的原理是什么？AIGC的興起給金融、跨境電商等眾多行業(yè)帶來(lái)怎樣的機(jī)遇與挑戰(zhàn)？AI又將如何賦能商業(yè)決策？

真正與人類進(jìn)行交流

ChatGPT是由OpenAI團(tuán)隊(duì)開(kāi)發(fā)和訓(xùn)練的一個(gè)人工智能聊天機(jī)器人程序，使用了Transformer架構(gòu)，它擁有語(yǔ)言理解和文本生成能力，尤其是通過(guò)連接大量的語(yǔ)料庫(kù)來(lái)訓(xùn)練模型，這些語(yǔ)料庫(kù)包含了真實(shí)世界中的對(duì)話，使得ChatGPT具備上知天文下知地理，還能根據(jù)聊天的上下文進(jìn)行互動(dòng)的能力，做到與真正人類幾乎無(wú)異的聊天場(chǎng)景進(jìn)行交流。

2020年5月的GPT-3，參數(shù)量達(dá)到了1750億，堪稱“大力出奇跡”。ChatGPT 作為基于GPT-3.5架構(gòu)開(kāi)發(fā)的大規(guī)模對(duì)話AI模型，剛一問(wèn)世就令全球?yàn)橹饎?dòng)，而其很可能是GPT-4 正式推出之前的演練。

不過(guò)，在薩摩耶云科技集團(tuán)數(shù)據(jù)業(yè)務(wù)部副總經(jīng)理易小華看來(lái)，從技術(shù)角度來(lái)說(shuō)，ChatGPT本身使用到的技術(shù)在過(guò)去5年已被業(yè)界反復(fù)驗(yàn)證，并不存在非常大的突破。“OpenAI多年的厚積為現(xiàn)在的薄發(fā)打下了基礎(chǔ)，它所積累的模型規(guī)模已經(jīng)把競(jìng)爭(zhēng)對(duì)手甩在身后?！币仔∪A感嘆。

ChatGPT的數(shù)據(jù)飛輪開(kāi)始轉(zhuǎn)動(dòng)

從GPT1.0到GPT3.0，再到目前ChatGPT所使用的GPT3.5 , 在過(guò)去5年的時(shí)間，OpenAI投入了大量的人力、財(cái)力、算力，將其模型規(guī)模積累壯大。

2018 年 OpenAI 采用 Transformer Decoder 結(jié)構(gòu)在大規(guī)模語(yǔ)料上訓(xùn)練了 GPT1 模型，揭開(kāi)了NLP模型預(yù)訓(xùn)練+微調(diào)的新范式。2019 年，OpenAI 提出了 GPT2，GPT2 擁有和 GPT1 一樣的模型結(jié)構(gòu)，但得益于更多和更高的數(shù)據(jù)質(zhì)量以及新引入的多任務(wù)學(xué)習(xí)方式，語(yǔ)言生成能力得到大幅提升。之后由于 GPT 采用 Decoder 單向結(jié)構(gòu)天然缺陷是無(wú)法感知上下文，Google 很快提出了 Encoder 結(jié)構(gòu)的 Bert 模型可以感知上下文，效果上也明顯有提升，同年 Google 采用Encoder-Decoder 結(jié)構(gòu)，提出了 T5 模型，從此大規(guī)模預(yù)訓(xùn)練語(yǔ)言模型朝著三個(gè)不同方向發(fā)展。

易小華認(rèn)為，直到2020 年 OpenAI 提出了 GPT3 將 GPT 模型提升到全新的高度，其訓(xùn)練參數(shù)達(dá)到了 1750 億，訓(xùn)練語(yǔ)料超45TB，自此GPT系列模型的數(shù)據(jù)飛輪便轉(zhuǎn)動(dòng)起來(lái)，超大模型時(shí)代開(kāi)啟， NLP 任務(wù)走向了預(yù)訓(xùn)練+情境學(xué)習(xí)新路線。由于 GPT3 可以產(chǎn)生通順的句子，但是準(zhǔn)確性等問(wèn)題一直存在，于是出現(xiàn)了InstructGPT、ChatGPT 等后續(xù)優(yōu)化的工作，通過(guò)加入強(qiáng)化學(xué)習(xí)模式實(shí)現(xiàn)了模型可以理解人類指令的含義，會(huì)甄別高水準(zhǔn)答案，質(zhì)疑錯(cuò)誤問(wèn)題和拒絕不適當(dāng)?shù)恼?qǐng)求等。

強(qiáng)大的ChatGPT如何訓(xùn)練而成？

圖片來(lái)自于OpenAI官網(wǎng)

ChatGPT使用了RHLF( 人工反饋強(qiáng)化學(xué)習(xí)能力)方法來(lái)訓(xùn)練模型，它分三步來(lái)訓(xùn)練:

第一步：訓(xùn)練監(jiān)督策略模型。為了讓GPT 3.5初步具備理解指令的意圖，首先會(huì)在數(shù)據(jù)集中隨機(jī)抽取問(wèn)題，由人類標(biāo)注人員，給出高質(zhì)量答案，然后用這些人工標(biāo)注好的數(shù)據(jù)來(lái)微調(diào) GPT-3.5模型，經(jīng)過(guò)微調(diào)的模型已經(jīng)具備在對(duì)話場(chǎng)景初步理解人類意圖的能力。

第二步：訓(xùn)練獎(jiǎng)勵(lì)模型。這個(gè)階段主要是通過(guò)人工標(biāo)注訓(xùn)練數(shù)據(jù)，來(lái)訓(xùn)練獎(jiǎng)勵(lì)模型。在數(shù)據(jù)集中隨機(jī)抽取問(wèn)題，使用第一階段生成的模型，對(duì)于每個(gè)問(wèn)題，生成多個(gè)不同的回答。人類標(biāo)注者對(duì)這些結(jié)果綜合考慮給出排名順序。這一過(guò)程類似于教練或老師輔導(dǎo)。

接下來(lái)，使用這個(gè)排序結(jié)果數(shù)據(jù)來(lái)訓(xùn)練獎(jiǎng)勵(lì)模型。對(duì)多個(gè)排序結(jié)果，兩兩組合，形成多個(gè)訓(xùn)練數(shù)據(jù)對(duì)比。RM模型接受一個(gè)輸入，給出評(píng)價(jià)回答質(zhì)量的分?jǐn)?shù)。

第三步：使用PPO強(qiáng)化學(xué)習(xí)來(lái)增強(qiáng)第一步生成的微調(diào)模型。首先初始化 PPO 模型，采樣一批和前面用戶提交 prompt 不同的集合，使用 PPO 模型生成答案。利用第二步回報(bào)模型對(duì)答案打分，通過(guò)產(chǎn)生的策略梯度去更新 PPO 模型。這一步利用強(qiáng)化學(xué)習(xí)來(lái)鼓勵(lì) PPO 模型生成更符合獎(jiǎng)勵(lì)模型判別高質(zhì)量的答案。

然后通過(guò)第二和第三步的反復(fù)迭代，使得 PPO 模型的生成能力越來(lái)越強(qiáng)，直到人都很難分辨出來(lái)。

瑕不掩瑜，新技術(shù)革命風(fēng)暴襲來(lái)

盡管ChatGPT表現(xiàn)出出色的上下文對(duì)話能力甚至編程能力，完成了大眾對(duì)人機(jī)對(duì)話機(jī)器人從“人工智障”到“有趣”的印象改觀。我們也要看到，ChatGPT技術(shù)仍然有一些局限性，還在不斷地進(jìn)步。比如，其未經(jīng)大量語(yǔ)料訓(xùn)練的領(lǐng)域缺乏“人類常識(shí)”和引申能力，甚至?xí)槐菊?jīng)的“胡說(shuō)八道”；ChatGPT無(wú)法處理復(fù)雜冗長(zhǎng)或者特別專業(yè)的語(yǔ)言結(jié)構(gòu)；需要非常大量的算力（芯片）來(lái)支持其訓(xùn)練和部署；無(wú)論是訓(xùn)練時(shí)間或訓(xùn)練成本，都是普通訓(xùn)練者難以接受的；ChatGPT仍然是黑盒模型，目前還未能對(duì)內(nèi)在算法邏輯進(jìn)行分解。

從辯證的角度來(lái)看，ChatGPT雖不完美，但它提升了理解人類思維的準(zhǔn)確性，帶來(lái)了里程碑式的技術(shù)革命。它將帶動(dòng)AI殺手級(jí)應(yīng)用出現(xiàn)，代替大量低端人力，將給世界帶來(lái)新的產(chǎn)業(yè)革命；使用大模型（或LLM）可以接近人類的思考能力；科技領(lǐng)先的馬太效應(yīng)會(huì)越來(lái)越明顯。

ChatGPT在全球迅速掀起浪潮，中信證券研究院報(bào)告認(rèn)為，中短期內(nèi)產(chǎn)業(yè)化的方向，主要為文字模態(tài)的AIGC應(yīng)用、代碼開(kāi)發(fā)相關(guān)、圖像生成領(lǐng)域、智能客服四大板塊。而業(yè)內(nèi)普遍認(rèn)為，ChatGPT引領(lǐng)的大模型正在讓AI技術(shù)從五年前的“能聽(tīng)會(huì)看”，走到今天的“能思考、會(huì)創(chuàng)作”，未來(lái)有望實(shí)現(xiàn)“會(huì)推理、能決策”的重大進(jìn)步，其在決策智能領(lǐng)域有著廣闊的應(yīng)用潛力。

薩摩耶云科技集團(tuán)在決策智能技術(shù)攻堅(jiān)已取得重要原始性突破，在金融、跨境電商物流、電信領(lǐng)域積累了豐富的經(jīng)驗(yàn)?！拔覀冋J(rèn)為，ChatGPT可在營(yíng)銷、客服、風(fēng)險(xiǎn)控制、代碼編寫、跨境電商內(nèi)容生成等業(yè)務(wù)場(chǎng)景中發(fā)揮重要價(jià)值。”易小華說(shuō)。

重新賦能金融與跨境電商決策

營(yíng)銷和客服是金融領(lǐng)域不可缺少的兩個(gè)環(huán)節(jié)，在營(yíng)銷環(huán)節(jié)，客戶會(huì)通過(guò)廣告投放，短信，外呼，app推送，資源位個(gè)性化展示、微信公眾號(hào)等各種營(yíng)銷渠道接觸到金融服務(wù)，在客戶服務(wù)環(huán)節(jié)，客戶也會(huì)通過(guò)App，電話，短信，微信公眾號(hào)等渠道享受到客戶服務(wù)。在這期間客戶都會(huì)涉及到和機(jī)器人以及金融服務(wù)人員打交道，通過(guò)使用金融機(jī)構(gòu)語(yǔ)料訓(xùn)練類似于ChatGPT的語(yǔ)言生成模型，再結(jié)合個(gè)性化推薦、用戶畫像，業(yè)務(wù)API等技術(shù)，可以很好的解決線上線下協(xié)同過(guò)程中的自動(dòng)化斷點(diǎn)問(wèn)題，實(shí)現(xiàn)營(yíng)銷和客服過(guò)程的自動(dòng)化、提升營(yíng)銷和客服效率以及用戶體驗(yàn)?！?/p>

易小華表示，把傳統(tǒng)機(jī)器學(xué)習(xí)，個(gè)性化推薦、知識(shí)圖譜、決策引擎等技術(shù)和LLM模型技術(shù)融合，會(huì)進(jìn)一步優(yōu)化模型的智能性，改變信貸服務(wù)的人機(jī)交互體驗(yàn)，使得金融服務(wù)更有溫度?！拔覀?cè)噲D在營(yíng)銷和客服場(chǎng)景中建立新的人機(jī)協(xié)作模式。一方面，在營(yíng)銷上基于人群和標(biāo)簽劃分進(jìn)行個(gè)性化推薦，在客服上執(zhí)行問(wèn)題理解、對(duì)話管理、問(wèn)題推薦、答案生成等機(jī)器任務(wù)。另一方面，人工方面則主要專注于話術(shù)推薦和會(huì)話摘要生成等。”

而在金融風(fēng)險(xiǎn)控制方面，利用知識(shí)圖譜引擎原有的隱性集團(tuán)識(shí)別、深度鏈擴(kuò)散、子圖篩選等能力基礎(chǔ)上，類似于ChatGPT的大語(yǔ)言模型可擴(kuò)展出更高維度、更大范圍的隱性關(guān)系識(shí)別。通過(guò)對(duì)用戶信用數(shù)據(jù)、歷史借款記錄、還款記錄等數(shù)據(jù)分析，評(píng)估用戶風(fēng)險(xiǎn)等級(jí)，實(shí)現(xiàn)對(duì)關(guān)鍵要素提取、資料自動(dòng)化審核、風(fēng)險(xiǎn)點(diǎn)提示等風(fēng)控領(lǐng)域的業(yè)務(wù)流程自動(dòng)化水平的提升，向金融機(jī)構(gòu)提供全方位智能風(fēng)險(xiǎn)管理服務(wù)，大幅提高風(fēng)險(xiǎn)識(shí)別能力。

當(dāng)前，在跨境電商領(lǐng)域的應(yīng)用方面，雖然ChatGPT可以直接幫助賣家生成內(nèi)容，但是效果還是需要進(jìn)一步改進(jìn)。OpenAI提供了對(duì)GPT模型進(jìn)行微調(diào)然后生成自定義GPT模型的接口能力，薩摩耶云科技集團(tuán)通過(guò)調(diào)用接口，實(shí)現(xiàn)上傳自己的訓(xùn)練語(yǔ)料對(duì)GPT模型進(jìn)行微調(diào)，達(dá)到定制化模型的效果。未來(lái)，其可幫助跨境電商賣家在產(chǎn)品編寫/優(yōu)化listing、提升跨境電商平臺(tái)店鋪和產(chǎn)品排名、輸出豐富優(yōu)質(zhì)的郵件營(yíng)銷內(nèi)容、提供即時(shí)客戶服務(wù)改善客戶體驗(yàn)、開(kāi)展智能廣告投放提升轉(zhuǎn)化率等層面進(jìn)行降本增效。

人工智能已在多領(lǐng)域廣泛應(yīng)用，ChatGPT高超的人機(jī)交互水平、通用人工智能的特征，讓世界為之驚嘆?！安粩噙M(jìn)化的ChatGPT將為識(shí)別、生成和決策重新賦能，對(duì)社會(huì)經(jīng)濟(jì)發(fā)展可能會(huì)產(chǎn)生滲透性、顛覆性的作用。如何應(yīng)對(duì)人工智能會(huì)是件有意思的事情，但AI的未來(lái)肯定超酷?！币仔∪A對(duì)ChatGPT的應(yīng)用前景充滿期待。