ChatGPT popularitāte ir pierādījums tam, cik tālu ir nonākusi dabiskās valodas apstrāde (NLP). Transformatoru arhitektūras modeļi, piemēram, GPT-3, GPT-4 un BERT, spēj sarunāties kā cilvēkiem, un dažus var izmantot pat sarežģīta koda rakstīšanai.
Lai gan GPT ir tirgus līderis, BERT faktiski bija pirmais valodas modelis, kas parādījās uz skatuves 2018. gadā. Bet kurš ir labāks? Un kāda ir atšķirība starp GPT un BERT?
GPT-3 un GPT-4 skaidrojums
GPT-3 (ģeneratīvais iepriekš apmācīts transformators 3) ir autorregresīvas valodas modelis, ko OpenAI palaida 2020. gada jūnijā. Tas izmanto transformatora arhitektūru ar 175 miljardiem parametru, padarot to par vienu no lielākajiem valodu modeļiem, kāds jebkad ir uzbūvēts.
GPT-3 var ģenerēt dabiskās valodas tekstu, kā arī atbildēt uz jautājumiem, sacerēt dzeju un pat rakstīt pilnīgus rakstus. ChatGPT ir lielisks ģeneratīvas AI piemērs darbina GPT.
Tas tiek uzskatīts par spēļu mainītāju dabiskās valodas apstrādei, un tam ir plašs potenciālo lietojumu klāsts, tostarp tērzēšanas roboti, valodu tulkošana un satura veidošana.
GPT-4 ir jaunākais un lielākais GPT modeļu sērijā, un tas ir pieejams, ja jūs jums ir ChatGPT Plus abonements. GPT-4 ir sešas reizes lielāks par GPT-3 modeli, ar aptuveni vienu triljonu parametru, padarot to daudz precīzāku.
Kas ir BERT?
BERT (Bidirectional Encoder Representations from Transformers) ir pirmsapmācības valodas attēlojuma modelis, kas precizē 2018. gadā Google izveidotās NLP lietojumprogrammas. Atšķirībā no citiem NLP modeļiem, kas izmanto vienvirziena uzmanības plūsmu, BERT izmanto divvirzienu plūsmu, kas ļauj apstrādes laikā izmantot kontekstu no abiem virzieniem.
Tas ļauj modelim saprast vārdu nozīmi kontekstā un, savukārt, labāk izprast valodas struktūras. Izmantojot BERT, Google tagad var nodrošināt precīzākus meklēšanas rezultātus sarežģītiem vaicājumiem, jo īpaši tiem, kas balstās uz priekšvārdiem, piemēram, "for", "to" un "from".
Galvenās atšķirības starp GPT un BERT
Tagad, kad jums ir īss priekšstats par GPT un BERT, apspriedīsim galvenās atšķirības starp šiem diviem valodu modeļiem.
Arhitektūra
Arhitektūra attiecas uz daudziem slāņiem, kas veido mašīnmācības modeli. GPT un BERT izmanto dažādus modeļus. BERT ir paredzēts divvirzienu konteksta attēlošanai, kas nozīmē, ka tas apstrādā tekstu gan no kreisās puses uz labo, gan no labās uz kreiso, ļaujot tai uztvert kontekstu no abiem virzieniem.
Turpretim cilvēki lasa tekstu no kreisās puses uz labo (vai no labās uz kreiso, atkarībā no jūsu atrašanās vietas). BERT tiek apmācīts, izmantojot maskētas valodas modelēšanas mērķi, kur daži vārdi teikumā ir maskēti, un modeļa uzdevums ir paredzēt trūkstošos vārdus, pamatojoties uz apkārtējo kontekstu.
Šī pirmsapmācības metode ļauj BERT apgūt dziļi kontekstualizētus attēlojumus, padarot to ļoti efektīvu NLP uzdevumiem, piemēram, noskaņojuma analīzei, atbildēm uz jautājumiem un nosaukto entītiju atpazīšanai.
Turpretim GPT ir autoregresīvs modelis, kas nozīmē, ka tas secīgi ģenerē tekstu no kreisās puses uz labo, paredzot nākamo vārdu teikumā, pamatojoties uz vārdiem, kas bija pirms tā.
GPT tiek apmācīts, izmantojot vienvirziena (cēloņsakarības) valodas modelēšanas mērķi, kur tas paredz nākamo vārdu, ņemot vērā iepriekšējo vārdu kontekstu. Tas ir viens no galvenajiem iemesliem, kāpēc GPT ir tik populārs satura veidošanā.
Apmācības dati
BERT un GPT atšķiras pēc izmantoto apmācības datu veida. BERT tiek apmācīts, izmantojot maskētas valodas modeli, kas nozīmē, ka daži vārdi tiek maskēti, un algoritmam ir jāparedz, kāds varētu būt nākamais vārds. Tas palīdz apmācīt modeli un padara to kontekstuāli precīzāku.
Tāpat kā GPT, arī BERT ir apmācīts liela mēroga teksta korpusā. Oriģināls tika apmācīts angļu Wikipedia un BooksCorpus, datu kopā, kas satur aptuveni 11 000 nepublicētas grāmatas, kurās ir aptuveni 800 miljoni vārdu, no dažādiem žanriem, piemēram, daiļliteratūras, zinātnes un skaitļošana.
BERT var iepriekš apmācīt dažādos valodu modeļos, kas, kā minēts iepriekš, ļauj to apmācīt īpašiem lietojumiem, pievienojot iespēju precizēt šo iepriekš apmācīto modeli.
Un otrādi, GPT-3 tika apmācīts WebText datu kopā, liela mēroga korpusā, kurā bija tīmekļa lapas no tādiem avotiem kā Wikipedia, grāmatas un raksti. Tajā ir iekļauts arī teksts no Common Crawl — publiski pieejama tīmekļa satura arhīva. Un to var arī precīzi noregulēt īpašiem mērķiem.
Kas attiecas uz GPT-4, apmācības datu informācija ir nedaudz ierobežota, taču ir diezgan iespējams, ka GPT-4 ir apmācīts, izmantojot līdzīgi daudzveidīgu datu kopu. tostarp jaunāki avoti un vēl lielāks datu apjoms, lai uzlabotu tās izpratni par dabisko valodu un tās spēju radīt kontekstuāli atbilstošu atbildes.
Lietošanas gadījumi
Lai gan abi ir ļoti daudzpusīgi NLP modeļi, to arhitektūras atšķirības tos atšķir dažos veidos. Piemēram, BERT ir daudz spējīgāks šādos lietošanas gadījumos:
- Sentimenta analīze: BERT var labāk izprast dotā teksta vispārējo noskaņojumu, analizējot vārdus abos virzienos.
- Nosaukta entītijas atpazīšana: BERT spēj atpazīt dažādas entītijas noteiktā teksta daļā, tostarp atrašanās vietas, cilvēkus vai organizācijas.
- Atbildēšana uz jautājumiem: Pateicoties izcilajām izpratnes iespējām, BERT spēj vairāk iegūt informāciju no teksta un precīzāk atbildēt uz jautājumiem.
GPT mācību modelis arī nav slinks. Lai gan noskaņojuma analīze var nebūt tās stiprā puse, GPT izceļas vairākās citās lietojumprogrammās:
- Satura izveide: Ja esat izmantojis ChatGPT, jūs, iespējams, jau zināt par to. Runājot par satura izveidi, GPT pārspēj lielāko daļu citu modeļu. Vienkārši uzrakstiet uzvedni, un tā sniegs pilnīgi saskaņotu (lai gan ne vienmēr precīzu) atbildi.
- Kopsavilkuma teksts: Vienkārši nokopējiet un ielīmējiet lielu teksta bloku pakalpojumā ChatGPT un lūdziet to apkopot. Tas spēj apkopot tekstu, vienlaikus saglabājot pamatinformāciju.
- Mašīntulkošana: GPT var precīzi pielāgot teksta tulkošanai no vienas valodas uz citu, pateicoties tā spējai ģenerēt tekstu, pamatojoties uz kontekstu.
Lietojamība
Atšķirībā no ChatGPT, kas ļauj ikvienam izmantot GPT modeli, BERT nav tik viegli pieejams. Pirmkārt, jums būs jālejupielādē sākotnēji publicētais Jupyter piezīmju grāmatiņa BERT un pēc tam iestatiet izstrādes vidi, izmantojot Google Colab vai TensorFlow.
Ja nevēlaties uztraukties par a Jupyter piezīmju grāmatiņa vai nav tik tehniski, varat apsvērt iespēju izmantot ChatGPT, kas ir tikpat vienkārša kā tikai pieteikšanās vietnē. Tomēr mēs esam arī apskatījuši kā lietot Jupyter piezīmjdatoru, kam vajadzētu dot jums labu sākumpunktu.
BERT un GPT parāda AI iespējas
BERT un GPT apmācības modeļi ir skaidri piemēri tam, uz ko spēj mākslīgais intelekts. ChatGPT ir populārāks, un tās rezultātā jau ir izveidotas vairākas papildu lietojumprogrammas, piemēram, Auto-GPT, kas traucē darbplūsmas un maina darba funkcijas.
Lai gan pastāv skepse par mākslīgā intelekta pārņemšanu un to, ko tas var nozīmēt darbavietām, pastāv arī laba potenciāls. Daudzi uzņēmumi, piemēram, Google un OpenAI, jau strādā, lai izveidotu kontroli un turpinātu regulēt AI tehnoloģiju, kas varētu būt labs nākotnei.