Lielo valodu modeļi (LLM) ir pamatā esošā tehnoloģija, kas ir veicinājusi ģeneratīvo AI tērzēšanas robotu straujo pieaugumu. Tādi rīki kā ChatGPT, Google Bard un Bing Chat paļaujas uz LLM, lai ģenerētu cilvēkiem līdzīgas atbildes uz jūsu uzvednēm un jautājumiem.

Bet kas ir LLM un kā tie darbojas? Šeit mēs nolēmām demistificēt LLM.

Kas ir lielas valodas modelis?

Vienkāršāk sakot, LLM ir milzīga teksta datu datu bāze, uz kuru var atsaukties, lai radītu cilvēkiem līdzīgas atbildes uz jūsu uzvednēm. Teksts nāk no dažādiem avotiem, un tā apjoms var būt miljardiem vārdu.

Starp izplatītākajiem teksta datu avotiem ir:

  • Literatūra: LLM bieži satur milzīgu daudzumu mūsdienu un klasiskās literatūras. Tas var ietvert grāmatas, dzeju un lugas.
  • Tiešsaistes saturs: LLM visbiežāk satur lielu tiešsaistes satura krātuvi, tostarp emuārus, tīmekļa saturu, foruma jautājumus un atbildes un citu tiešsaistes tekstu.
  • Ziņas un aktualitātes: daži, bet ne visi LLM var piekļūt aktuālajām ziņu tēmām. Daži LLM, piemēram, GPT-3.5, šajā ziņā ir ierobežoti.
    • instagram viewer
  • Sociālie mēdiji: Sociālie mediji ir milzīgs dabiskās valodas resurss. LLM izmanto tekstu no tādām lielākajām platformām kā Facebook, Twitter un Instagram.

Protams, milzīga teksta datubāze ir viena lieta, taču LLM ir jāapmāca, lai tas saprastu, lai radītu cilvēkiem līdzīgas atbildes. Kā tas tiek darīts, mēs apskatīsim tālāk.

Kā darbojas LLM?

Kā LLM izmanto šīs krātuves, lai izveidotu savas atbildes? Pirmais solis ir analizēt datus, izmantojot procesu, ko sauc par dziļo mācīšanos.

Deep mācīšanās tiek izmantota, lai identificētu cilvēku valodas modeļus un nianses. Tas ietver gramatikas un sintakses izpratnes iegūšanu. Bet, kas ir svarīgi, tas ietver arī kontekstu. Konteksta izpratne ir būtiska LLM sastāvdaļa.

Apskatīsim piemēru, kā LLM var izmantot kontekstu.

Nākamajā attēlā redzamā uzvedne piemin sikspārņa redzēšanu naktī. No tā ChatGPT saprata, ka mēs runājam par dzīvnieku, nevis, piemēram, beisbola nūju. Protams, citiem tērzēšanas robotiem patīk Bing Chat vai Google Bard uz to var atbildēt pavisam savādāk.

Tomēr tas nav nekļūdīgs, un, kā parādīts šajā piemērā, dažreiz jums būs jāiesniedz papildu informācija, lai iegūtu vēlamo atbildi.

Šajā gadījumā mēs apzināti izmetām nelielu izliekumu, lai parādītu, cik viegli tiek zaudēts konteksts. Taču cilvēki var pārprast arī jautājumu kontekstu, un tam ir nepieciešama tikai papildu uzvedne, lai labotu atbildi.

Lai radītu šīs atbildes, LLM izmanto paņēmienu, ko sauc par dabiskās valodas ģenerēšanu (NLG). Tas ietver ievades pārbaudi un no datu krātuves iegūto modeļu izmantošanu, lai radītu kontekstuāli pareizu un atbilstošu atbildi.

Bet LLM iet dziļāk par šo. Viņi var arī pielāgot atbildes, lai tās atbilstu ievades emocionālajam tonim. Apvienojumā ar kontekstuālo izpratni šie divi aspekti ir galvenie virzītāji, kas ļauj LLM radīt cilvēkiem līdzīgas atbildes.

Rezumējot, LLM izmanto apjomīgu teksta datu bāzi ar dziļas mācīšanās un NLG paņēmienu kombināciju, lai radītu cilvēkiem līdzīgas atbildes uz jūsu uzvednēm. Bet tam, ko tas var sasniegt, ir ierobežojumi.

Kādi ir LLM ierobežojumi?

LLM ir iespaidīgs tehnoloģiskais sasniegums. Taču tehnoloģija nebūt nav perfekta, un joprojām ir daudz ierobežojumu attiecībā uz to, ko viņi var sasniegt. Daži no ievērojamākajiem no tiem ir uzskaitīti zemāk:

  1. Kontekstuālā izpratne: Mēs to minējām kā kaut ko, ko LLM iekļauj savās atbildēs. Tomēr viņi ne vienmēr saprot pareizi un bieži vien nespēj saprast kontekstu, kā rezultātā tiek sniegtas nepiemērotas vai vienkārši nepareizas atbildes.
  2. Aizspriedums: Jebkādas apmācības datos esošās novirzes bieži vien var būt atbildēs. Tas ietver aizspriedumus pret dzimumu, rasi, ģeogrāfiju un kultūru.
  3. Veselais saprāts: Veselo saprātu ir grūti noteikt, taču cilvēki to mācās jau no mazotnes, vienkārši vērojot apkārtējo pasauli. LLM nav šīs raksturīgās pieredzes, uz kurām atsaukties. Viņi saprot tikai to, kas viņiem ir sniegts, izmantojot viņu apmācību datus, un tas nedod viņiem patiesu izpratni par pasauli, kurā viņi eksistē.
  4. LLM ir tikai tik labi, cik labi ir tā apmācības dati: Precizitāti nekad nevar garantēt. Vecais datoru sakāmvārds “Atkritumi iekšā, atkritumi ārā” lieliski apkopo šo ierobežojumu. LLM ir tikai tik labi, cik to atļauj viņu apmācības datu kvalitāte un daudzums.

Pastāv arī arguments, ka ētiskas bažas var uzskatīt par LLM ierobežojumu, taču šī tēma neietilpst šī raksta darbības jomā.

3 Populāru LLM piemēri

AI nepārtraukto attīstību tagad lielā mērā atbalsta LLM. Tātad, lai gan tie nav gluži jauna tehnoloģija, tie noteikti ir sasnieguši kritisku impulsu, un tagad ir daudz modeļu.

Šeit ir daži no visplašāk izmantotajiem LLM.

1. GPT

Ģeneratīvais iepriekš apmācīts transformators (GPT), iespējams, ir visplašāk zināmais LLM. GPT-3.5 nodrošina ChatGPT platformu, kas izmantota šī raksta piemēros, savukārt jaunākā versija GPT-4 ir pieejama. izmantojot ChatGPT Plus abonementu. Microsoft izmanto arī jaunāko versiju savā Bing Chat platformā.

2. LaMDA

Šis ir sākotnējais LLM, ko izmanto Google Bard, Google AI tērzēšanas robots. Versija Bard, kas sākotnēji tika izlaista, tika aprakstīta kā LLM “vieglā” versija. LLM jaudīgākā PaLM iterācija to aizstāja.

3. BERT

BERT apzīmē transformatoru divvirzienu kodētāja reprezentāciju. Modeļa divvirzienu raksturlielumi atšķiras BERT no citiem LLM, piemēram, GPT.

Ir izveidots daudz vairāk LLM, un atvases ir izplatītas no lielākajām LLM. Attīstoties, to sarežģītība, precizitāte un atbilstība turpinās pieaugt. Bet kāda ir LLM nākotne?

LLM nākotne

Tie neapšaubāmi veidos veidu, kā mēs nākotnē sadarbosimies ar tehnoloģijām. Par šo faktu liecina tādu modeļu kā ChatGPT un Bing Chat straujā pārņemšana. Īstermiņā, Maz ticams, ka AI jūs aizstās darbā. Taču joprojām nav skaidrības par to, cik lielu lomu mūsu dzīvē tie spēlēs nākotnē.

Ētiskie argumenti vēl var ietekmēt to, kā mēs integrējam šos rīkus sabiedrībā. Tomēr, liekot to malā, daži no sagaidāmajiem LLM notikumiem ietver:

  1. Uzlabota efektivitāte: Tā kā LLM ir simtiem miljonu parametru, tie ir neticami izsalkuši no resursiem. Uzlabojot aparatūru un algoritmus, tie, visticamāk, kļūs energoefektīvāki. Tas arī paātrinās reakcijas laiku.
  2. Uzlabota kontekstuālā izpratne:LLM ir pašmācības; jo vairāk tās tiek izmantotas un saņemtas atsauksmes, jo labākas tās kļūst. Svarīgi, ka tas notiek bez jebkādas papildu inženierijas. Tehnoloģijai attīstoties, uzlabosies valodas prasmes un kontekstuālā izpratne.
  3. Apmācīti konkrētiem uzdevumiem: Universālie rīki, kas ir LLM publiskā seja, ir pakļauti kļūdām. Bet, kad tie attīstās un lietotāji tos apmāca īpašām vajadzībām, LLM var spēlēt lielu lomu tādās jomās kā medicīna, tiesību akti, finanses un izglītība.
  4. Lielāka integrācija: LLM varētu kļūt par personālajiem digitālajiem palīgiem. Padomājiet par Siri, kas lieto steroīdus, un jūs sapratīsit. LLM varētu kļūt par virtuāliem palīgiem, kas jums palīdzēs it visā, sākot no ēdienreižu ieteikšanas līdz korespondences kārtošanai.

Šīs ir tikai dažas no jomām, kurās LLM, visticamāk, kļūs par lielāku daļu no mūsu dzīvesveida.

LLM pārveide un izglītošana

LLM paver aizraujošu iespēju pasauli. Tādu tērzēšanas robotu kā ChatGPT, Bing Chat un Google Bard straujais pieaugums ir pierādījums tam, ka šajā jomā tiek izmantoti resursi.

Šāda resursu izplatība var tikai nozīmēt, ka šie rīki kļūst jaudīgāki, daudzpusīgāki un precīzāki. Šādu rīku potenciālie pielietojumi ir plaši, un šobrīd mēs tikai skrāpējam neticami jauna resursa virsmu.