Google PaLM 2 vs. OpenAI GPT-4: kāda ir atšķirība?

Google 2023. gada 10. maijā Google I/O 2023 prezentēja sava Pathways Language Model (PaLM 2) nākamās paaudzes versiju. Tā jaunais lielais valodas modelis (LLM) lepojas ar daudz uzlabojumu salīdzinājumā ar tā priekšgājēju (PaLM), un, iespējams, beidzot būs gatavs cīnīties ar savu lielāko konkurentu OpenAI GPT-4.

Bet cik daudz uzlabojumu ir paveicis Google? Vai PaLM 2 ir tas atšķirību veidotājs, ko Google cer, un, kas ir vēl svarīgāk, ar tik daudzām līdzīgām iespējām PaLM 2 atšķiras no OpenAI GPT-4?

PaLM 2 vs. GPT-4: veiktspējas pārskats

PaLM 2 ir pilns ar jaunām un uzlabotām iespējām pār savu priekšgājēju. Viena no unikālajām PaLM 2 priekšrocībām salīdzinājumā ar GPT-4 ir fakts, ka tas ir pieejams mazākos izmēros, kas raksturīgi noteiktām lietojumprogrammām, kurām nav tik lielas iebūvētās apstrādes jaudas.

Visiem šiem dažādajiem izmēriem ir savi mazāki modeļi ar nosaukumu Gecko, Otter, Bison un Unicorn, kur Gecko ir mazākais, kam seko Otter, Bison un visbeidzot lielākais modelis Unicorn.

Google arī apgalvo, ka ir uzlabojušās spriešanas iespējas salīdzinājumā ar GPT-4 WinoGrande un DROP, ar pirmo ARC-C atšķirību. Tomēr, runājot par PaLM un SOTA, ir vērojami ievērojami uzlabojumi.

PaLM 2 ir arī labāks matemātikā, liecina Google 91 lapa PaLM 2 pētnieciskais darbs [PDF]. Tomēr tas, kā Google un OpenAI ir strukturējuši savus testa rezultātus, apgrūtina abu modeļu tiešu salīdzināšanu. Google arī izlaida dažus salīdzinājumus, iespējams, tāpēc, ka PaLM 2 nedarbojās tikpat labi kā GPT-4.

MMLU GPT-4 ieguva 86,4, bet PaLM 2 ieguva 81,2 punktus. Tas pats attiecas uz HellaSwag, kur GPT-4 guva vārtus 95.3, bet PaLM 2 varēja savākt tikai 86.8, un ARC-E, kur GPT-4 un PaLM 2 ieguva 96.3 un 89.7, attiecīgi.

Lielākais modelis PaLM 2 saimē ir PaLM 2-L. Lai gan mēs nezinām precīzu tā izmēru, mēs zinām, ka tas ir ievērojami mazāks nekā lielākais PaLM modelis, bet izmanto vairāk apmācības skaitļošanas. Saskaņā ar Google, PaLM ir 540 miljardi parametru, tāpēc "ievērojami mazākam" PaLM 2 vajadzētu būt no 10 līdz 300 miljardiem parametru. Ņemiet vērā, ka šie skaitļi ir tikai pieņēmumi, pamatojoties uz Google teikto PaLM 2 dokumentā.

Ja šis skaitlis ir kaut kur tuvu 100 miljardiem vai mazāks, PaLM 2, visticamāk, parametru ziņā ir mazāks nekā GPT-3.5. Ņemot vērā, ka modelis, kas potenciāli mazāks par 100 miljardiem, var iet uz kājām ar GPT-4 un pat pārspēt to dažos uzdevumos. iespaidīgi. GPT-3.5 sākotnēji visu izpūta no ūdens, tostarp PaLM, bet PaLM 2 ir diezgan atveseļojies.

GPT-4 un PaLM 2 apmācības datu atšķirības

Lai gan Google nav atklājis PaLM 2 apmācības datu kopas lielumu, uzņēmums savā pētnieciskajā dokumentā ziņo, ka jaunā LLM apmācības datu kopa ir ievērojami lielāka. OpenAI arī izmantoja to pašu pieeju, atklājot GPT-4, neizvirzot pretenzijas par apmācības datu kopas lielumu.

Tomēr Google vēlējās koncentrēties uz dziļāku izpratni par matemātiku, loģiku, argumentāciju un zinātni, kas nozīmē, ka liela daļa PaLM 2 apmācības datu ir vērsta uz iepriekšminētajām tēmām. Google savā dokumentā norāda, ka PaLM 2 pirmsapmācības korpuss sastāv no vairākiem avotiem, tostarp tīmekļa dokumentiem, grāmatas, kods, matemātika un sarunvalodas dati, nodrošinot uzlabojumus visās jomās, vismaz salīdzinot ar PaLM.

PaLM 2 sarunvalodas prasmēm arī jābūt citā līmenī, ņemot vērā, ka modelis ir apmācīts vairāk nekā 100 valodās, lai nodrošinātu labāku konteksta izpratni un labāku tulkojumu spējas.

Ciktāl tiek apstiprināti GPT-4 apmācības dati, OpenAI mums ir teicis, ka ir apmācījis modeli, izmantojot publiski pieejamus datus un datus, kurus tas licencējis. GPT-4 izpētes lapa norāda: "Dati ir tīmekļa mēroga datu kopums, kas ietver pareizus un nepareizus matemātikas problēmu risinājumus, vājus un spēcīgu argumentāciju, pretrunīgus un konsekventus apgalvojumus, un pārstāv ļoti dažādas ideoloģijas un idejas."

Kad GPT-4 tiek uzdots jautājums, tas var sniegt daudz dažādu atbilžu, no kurām ne visas var būt saistītas ar jūsu vaicājumu. Lai saskaņotu to ar lietotāja nodomu, OpenAI precīzi noregulēja modeļa uzvedību, izmantojot pastiprinošu mācīšanos ar cilvēku atgriezenisko saiti.

Lai gan mēs, iespējams, nezinām precīzus apmācības datus, izmantojot kādu no šiem modeļiem, mēs zinām, ka apmācības nolūks bija ļoti atšķirīgs. Mums būs jāgaida un jāredz, kā šī apmācības nolūka atšķirība atšķir divus modeļus reālajā pasaulē.

PaLM 2 un GPT-4 tērzēšanas roboti un pakalpojumi

Pirmais portāls, lai piekļūtu abiem LLM, izmanto to attiecīgos tērzēšanas robotus, PaLM 2 Bard un GPT-4 ChatGPT. Tomēr GPT-4 atrodas aiz maksas sienas ar ChatGPT Plus, un bezmaksas lietotāji var piekļūt tikai GPT-3.5. No otras puses, Bard ir bezmaksas visiem un pieejams 180 valstīs.

Tas nenozīmē, ka jūs arī nevarat piekļūt GPT-4 bez maksas. Microsoft Bing AI tērzēšana izmanto GPT-4, un tā ir pilnīgi bezmaksas, pieejama visiem un pieejama tieši blakus Google lielākajam konkurentam šajā telpā Bing Search.

Google I/O 2023 bija piepildīta ar paziņojumiem par to, kā PaLM 2 un ģeneratīvā AI integrācija uzlabos Google Workspace. pieredzi ar AI funkcijām, kas tiek piedāvātas Google dokumentos, Izklājlapās, Prezentācijās, Gmail un gandrīz visos meklēšanas giganta piedāvātajos pakalpojumos. Turklāt Google ir apstiprinājusi, ka PaLM 2 jau ir integrēts vairāk nekā 25 Google produktos, tostarp Android un YouTube.

Salīdzinājumam, Microsoft jau ir ieviesusi AI funkcijas Microsoft Office programmu komplektā un daudzos tā pakalpojumos. Šobrīd jūs varat pieredzēt abus LLM savās versijās par līdzīgiem piedāvājumiem no diviem konkurējošiem uzņēmumiem, kas cīnās AI cīņā.

Tomēr, tā kā GPT-4 iznāca agri un ir bijis piesardzīgs, lai izvairītos no daudzām kļūdām, ko Google pieļāva ar sākotnējo Bard, tā ir bijusi de facto LLM trešo pušu izstrādātājiem, jaunizveidotiem uzņēmumiem un gandrīz ikvienam citam, kas vēlas savā pakalpojumā iekļaut spējīgu AI modeli, lai tālu. Mums ir GPT-4 lietotņu saraksts, ja vēlaties tās pārbaudīt.

Tas nenozīmē, ka izstrādātāji nepāries uz PaLM 2 vai vismaz neizmēģinās to, taču Google šajā jomā joprojām ir jācenšas panākt OpenAI. Un fakts, ka PaLM 2 ir atvērtā koda, nevis bloķēts aiz maksas API, nozīmē, ka tas var tikt izmantots plašāk nekā GPT-4.

Vai PaLM 2 var izmantot GPT-4?

PaLM 2 joprojām ir ļoti jauns, tāpēc atbilde uz jautājumu, vai tas var uzņemties GPT-4, joprojām ir jāatbild. Tomēr, ņemot vērā visu, ko Google sola, un agresīvo veidu, ko tas ir nolēmis izmantot, lai to izplatītu, šķiet, ka PaLM 2 var nodrošināt GPT-4 savu naudu.

Tomēr GPT-4 joprojām ir diezgan spējīgs modelis un, kā minēts iepriekš, pārspēj PaLM 2 diezgan daudzos salīdzinājumos. Tomēr vairāki mazākie PaLM 2 modeļi piešķir tam neapgāžamu priekšrocību. Gecko pats par sevi ir tik viegls, ka var darboties mobilajās ierīcēs pat bezsaistē. Tas nozīmē, ka PaLM 2 var atbalstīt pilnīgi atšķirīgu produktu un ierīču klasi, kurām varētu būt grūtības izmantot GPT-4.

AI sacīkstes uzkarst

Līdz ar PaLM2 palaišanu sacensība par mākslīgā intelekta dominēšanu ir saasinājusies, jo šis varētu būt pirmais cienīgs pretinieks, kas cīnīsies pret GPT-4. Tā kā mācībās ir arī jaunāks multimodālais AI modelis ar nosaukumu "Gemini", Google šeit neuzrāda nekādas palēninājuma pazīmes.