ChatGPT ir OpenAI spēli mainošs AI tērzēšanas robots, kas pārsteidz internetu. Neraugoties uz visām iedibinātajām tehnoloģiju tendencēm, ChatGPT nav pagājis ilgs laiks, lai atrastu ceļu gandrīz visās mūsu digitālās dzīves jomās.
Tikai daži tehnoloģiju jauninājumi ir izraisījuši tik lielu interesi, kādu ChatGPT ir sasniedzis tik īsā laikā. Šķiet, ka tai nekad nepietrūks lielisko triku — katru dienu mēs uzzinām par aizraujošām jaunām lietām, par kurām nezinājām, ka tas spēj.
Bet kā ChatGPT spēj paveikt lietas, ko tā spēj? Kā darbojas ChatGPT?
Kā tika izveidots ChatGPT?
Lai saprastu, kā darbojas ChatGPT, ir vērts aplūkot tā izcelsmi un visprogresīvākā AI tērzēšanas robota smadzenes.
Pirmkārt, lai arī cik maģisks ChatGPT nešķistu, to ir izveidojis cilvēku ģēnijs, tāpat kā visas vērtīgās programmatūras tehnoloģijas. OpenAI izveidoja ChatGPT — revolucionāru AI pētniecības un izstrādes uzņēmumu, kas ir aiz citiem jaudīgiem AI rīkiem, piemēram, DALL-E, InstructGPT un Codex. Mēs jau iepriekš atbildējām
daži jautājumi, kas jums varētu būt par ChatGPT, tāpēc ieskatieties.Kamēr ChatGPT kļuva plaši izplatīta 2022. gada beigās, lielākā daļa pamatā esošo tehnoloģiju, kas nodrošina ChatGPT, pastāv jau daudz ilgāk, lai gan ar daudz mazāku publicitāti. ChatGPT modelis ir balstīts uz GPT-3 (vai, konkrētāk, GPT-3.5). GPT apzīmē "ģeneratīvais iepriekš apmācīts transformators 3".
GPT-3 ir trešā AI modeļu GPT līnijas iterācija, un pirms tam bija GPT-2 un GPT. Agrākās GPT modeļu iterācijas ir vienlīdz noderīgas, taču GPT-3 un precīzi noregulētā GPT-3.5 iterācija ir daudz jaudīgākas. Lielākā daļa no tā, ko var paveikt ChatGPT Tas ir saistīts ar pamatā esošo GPT-3 tehnoloģiju.
Kas ir GPT?
Tāpēc mēs esam noskaidrojuši, ka ChatGPT ir veidota uz trešās paaudzes GPT modeļa. Bet kas vispār ir GPT?
Sāksim ar akronīmu izpakošanu viegli uztveramā un netehniskā veidā.
- “Ģeneratīvs” GPT apzīmē tā spēju ģenerēt tekstu dabiskajā cilvēka valodā.
- "Iepriekš apmācīts" norāda uz faktu, ka modelis jau ir apmācīts kādā ierobežotā datu kopā. Līdzīgi kā jūs izlasītu grāmatu vai varbūt vairākas grāmatas, pirms jums tiek lūgts atbildēt uz jautājumiem par to.
- "Transformators" ir pamatā esošā mašīnmācīšanās arhitektūra, kas nodrošina GPT.
Tagad, saliekot visu kopā, ģeneratīvais iepriekš apmācīts transformators (GPT) ir valodas modelis, kas ir bijis apmācīti, izmantojot datus no interneta, lai ģenerētu cilvēku valodā tekstu, kad tiek parādīts a pamudināt. Tātad, mēs esam vairākkārt teikuši, ka GPT tika apmācīts, bet kā tas tika apmācīts?
Kā tika apmācīts ChatGPT?
Pati ChatGPT nebija apmācīta no paša sākuma. Tā vietā tā ir precīzi noregulēta GPT-3.5 versija, kas pati par sevi ir precizēta GPT-3 versija. GPT-3 modelis tika apmācīts, izmantojot milzīgu datu daudzumu, kas savākts no interneta. Padomājiet par Wikipedia, Twitter un Reddit — tajā tika ievadīti dati un cilvēka teksts, kas tika izskrāpēts no visiem interneta stūriem.
Ja vēlaties uzzināt, kā darbojas GPT apmācība, GPT-3 tika apmācīts, izmantojot uzraudzītas mācīšanās un pastiprinošās mācīšanās, izmantojot cilvēku atsauksmes (RLHF) kombināciju. Uzraudzītā mācīšanās ir posms, kurā modelis tiek apmācīts, izmantojot lielu teksta datu kopu, kas iegūta no interneta. Pastiprināšanas mācīšanās posms ir tas, kurā tas tiek apmācīts, lai radītu labākas atbildes, kas atbilst tam, ko cilvēki pieņemtu kā cilvēcisku un pareizu.
Apmācība ar uzraudzītu mācīšanos
Lai labāk saprastu, kā uzraudzīta un pastiprināta mācīšanās attiecas uz ChatGPT, iedomājieties scenāriju, kurā skolotājs māca skolēnam rakstīt eseju. Uzraudzīta mācīšanās būtu līdzvērtīga tam, ka skolotājs iedod skolēnam lasīt simtiem eseju. Mērķis ir, lai skolēns iemācītos rakstīt eseju, pierodot pie simtiem eseju toņa, vārdu krājuma un struktūras.
Tomēr starp šiem simtiem eseju būs gan laba, gan slikta. Tā kā students tika apmācīts gan labos, gan sliktos eksemplāros, dažreiz students var uzrakstīt sliktu eseju, jo students kādā brīdī tika arī barots ar sliktiem esejām. Tas nozīmē, ka, ja tiek lūgts uzrakstīt eseju, students var uzrakstīt kopiju, kas skolotājam nav pieņemama vai pietiekami laba. Šeit parādās pastiprināšanas mācības.
Apmācība ar pastiprināšanas mācībām
Kad skolotājs, izlasot simtiem eseju, konstatē, ka skolēns saprot vispārīgos eseju rakstīšanas noteikumus, skolotājs uzdod skolēnam biežu eseju rakstīšanas mājasdarbu. Pēc tam skolotājs sniedz atgriezenisko saiti par esejas rakstīšanas mājasdarbu, pastāstot skolēniem, kas viņiem paveicās labi un ko viņi varētu uzlabot. Students izmanto atgriezenisko saiti, lai vadītu turpmāko eseju rakstīšanas mājasdarbu, palīdzot studentam laika gaitā uzlaboties.
Tas ir līdzīgs GPT modeļa apmācības pastiprināšanas apmācības posmam. Pēc tam, kad modele ir iebarota ar milzīgu daudzumu teksta, kas izkasīts no interneta, viņš var atbildēt uz jautājumiem. Tomēr tā precizitāte nebūs pietiekami laba. Cilvēku treneri uzdod modelim jautājumu un sniedz atgriezenisko saiti par to, kura atbilde ir piemērotāka katram jautājumam.
Modelis izmanto atgriezenisko saiti, lai uzlabotu spēju precīzāk atbildēt uz jautājumiem un vairāk līdzināties tam, kā reaģētu cilvēks. Tādā veidā ChatGPT var radīt cilvēkiem atbilstošas atbildes, kas ir gan saskaņotas, gan saistošas, gan kopumā precīzas.
Kā ChatGPT spēj atbildēt uz jautājumiem?
Tātad, jūs apmeklējat ChatGPT vietni un pierakstāties. Jūs aicināt ChatGPT: "uzrakstiet repa dziesmu Snoop Dogg stilā." Tas atbild ar vārdiem repa dziesmai, kas izskatās pārsteidzoši līdzīga Snoop Dogg rakstītajai. Kā tas ir iespējams?
Nu, ChatGPT "maģija" ir cieši saistīta ar tā apmācību.
Pēc katras fizikas 101. mācību grāmatas collas aptveršanas pastāv liela iespēja, ka varēsit atbildēt uz visiem tajā uzdotajiem jautājumiem. Kāpēc? Jo jūs to esat lasījis un iemācījies. Tas pats ir ar ChatGPT — tas mācās. Un, kā ir pierādījusi cilvēka civilizācija, ar pietiekamu apmācību ir iespējams atrisināt gandrīz jebkuru problēmu.
Lai gan jūs, iespējams, savas dzīves laikā varat pārvaldīt simtiem grāmatu, ChatGPT vai GPT jau ir patērējis milzīgu interneta daļu. Tā ir milzīga informācijas bagātība. Tur, kaut kur, iespējams, ir vārdi Snoop Dogg daudzajām dziesmām. Tātad, protams, ChatGPT ir to patērējis (atcerieties, ka tas ir iepriekš apmācīts) un atpazina Snoop Dogg dziesmu tekstu modeļus. Pēc tam tā izmantotu šī modeļa "zināšanas", lai "paredzētu" dziesmas vārdus, kas ir līdzīgi Snūpa Doga rakstītajam.
Šeit uzsvars tiek likts uz "prognozēt". ChatGPT neatbild uz jautājumiem tāpat kā mēs kā cilvēki. Piemēram, saskaroties ar tādu jautājumu kā "Kas ir Portugāles galvaspilsēta?" jūs varētu teikt Lisabona un pateikt to "fakts". Tomēr ChatGPT neatbild uz jautājumiem ar 100% pārliecību. Tā vietā tas mēģina paredzēt pareizo atbildi, ņemot vērā datus, ko tas ir patērējis savā apmācības datu kopā.
ChatGPT pieeja, lai atbildētu uz jautājumiem
Lai labāk izprastu atbilžu prognozēšanas jēdzienu, iedomājieties, ka ChatGPT ir detektīvs, kura uzdevums ir atrisināt slepkavību. Detektīvam tiek uzrādīti pierādījumi, taču viņi nezina, kas izdarīja slepkavību un kā tā notika. Taču, ja ir pietiekami daudz pierādījumu, detektīvs ar lielu precizitāti var "paredzēt", kurš ir atbildīgs par slepkavību un kā noziegums izdarīts.
Pēc datu patērēšanas no interneta ChatGPT atmet sākotnējos datus un saglabā neironu savienojumus vai modeļus, ko tas ir iemācījies no datiem. Šie savienojumi vai modeļi ir kā pierādījumi, ko ChatGPT analizē, kad tas mēģina atbildēt uz jebkuru uzvedni.
Tātad teorētiski ChatGPT ir kā ļoti labs detektīvs. Tas precīzi nezina, kādiem ir jābūt atbildes faktiem, bet tas mēģina, iespaidīgi precizitāte, lai paredzētu loģisku cilvēku valodas teksta secību, kas vispiemērotāk atbildētu uz jautājums. Tādā veidā jūs saņemat atbildes uz saviem jautājumiem.
Un tāpēc dažas no šīm atbildēm izskatās ļoti pārliecinošas, taču ir šausmīgi nepareizas.
ChatGPT: atbild kā cilvēks, domā kā mašīna
ChatGPT pamatā esošās tehniskās detaļas ir sarežģītas. Tomēr no rudimentārā viedokļa tas darbojas, apgūstot un atveidojot apgūto, kad tas tiek aicināts, tāpat kā mēs kā cilvēki.
Tā kā ChatGPT attīstās pētniecībā, tās darbības veids var mainīties. Tomēr tā darbības pamatprincipi kādu laiku paliks nemainīgi, vismaz līdz brīdim, kad parādīsies traucējoša jauna tehnoloģija.
