Lai gan OpenAI ir vadošais ceļš ģeneratīvai AI attīstībai, daudzi ir apsūdzējuši Google par atpalicību. Tomēr, lai nepārspētu, Google savā 2023. gada Google I/O konferencē palaida klajā jaunu lielu valodas modeli PaLM 2.
Google jaunais LLM, kas ir paredzēts četros dažādos izmēros dažādām lietojumprogrammām, acīmredzot jau nodrošina vairākus Google pakalpojumus, un tas ir gaidāms vēl daudz vairāk.
Kas ir PaLM 2?
Google I/O 2023, kas notika 10. maijā, Google izpilddirektore Sunda Pichai atklāja Google jaunāko rotaļlietu: PaLM 2.
Saīsinājums no Pathways Language Model 2 — Google jauninātais LLM ir otrais PaLM atkārtojums, un pirmā versija tiks izlaista 2022. gada aprīlī. Vai neatceraties PaLM? Toreiz tas bija liels jaunums un izraisīja lielu interesi par spēju nedaudz sarunāties, stāstīt pamata jokus utt. Ātri uz priekšu sešus mēnešus, un OpenAI GPT-3.5 izpūta visu no ūdens, tostarp PaLM.
Kopš tā laika, OpenAI palaida GPT-4, milzīgs GPT-3.5 jauninājums. Tomēr, kamēr jaunākais modelis tiek integrēts daudzos rīkos, jo īpaši Microsoft Bing AI Chat, Google cenšas OpenAI un GPT-4 ar PaLM 2 un cerēs, ka tā jauninātais LLM spēs novērst to, kas, šķiet, bija ievērojams trūkums — Google Bard palaišana diez vai bija skaļa. panākumus.
Pichai paziņoja, ka PaLM 2 būs četros dažādos modeļu izmēros: Gecko, Otter, Bison un Unicorn.
Gecko ir tik viegls, ka var darboties mobilajās ierīcēs un ir pietiekami ātrs lieliskām interaktīvām lietojumprogrammām ierīcē pat bezsaistē. Šī daudzpusība nozīmē, ka PaLM 2 var precīzi noregulēt, lai vairākos veidos atbalstītu visas produktu klases un palīdzētu lielākam skaitam cilvēku.
Tā kā Gecko spēj apstrādāt aptuveni 20 marķierus sekundē — marķieri ir vērtības, kas piešķirtas reāliem vārdiem lietošanai ģeneratīvos AI modeļos —, šķiet, ka tas varētu mainīt mobilo izvietojamo AI rīku spēli.
PaLM 2 apmācības dati
Google precīzi nesniedza PaLM 2 apmācības datus, kas ir saprotams, ņemot vērā to, ka tie tikko tika izlaisti. Bet Google PaLM 2 ziņojums [PDF] teica, ka vēlas, lai PaLM 2 būtu dziļāka izpratne par matemātiku, loģiku un zinātni un ka liela daļa tā apmācību korpusa koncentrējās uz šīm tēmām.
Tomēr ir vērts atzīmēt, ka PaLM nebija slinks. Kad Google atklāja PaLM, tas apstiprināja, ka tas ir apmācīts par 540 miljardiem parametru, kas tajā laikā bija kolosāls rādītājs.
Tiek apgalvots, ka OpenAI GPT-4 izmanto vairāk nekā vienu triljonu parametru, un daži pieņēmumi liecina, ka šis skaitlis sasniedz 1,7 triljonus. Tā kā Google vēlas, lai PaLM 2 tiešā veidā konkurētu ar OpenAI LLM, var droši apgalvot, ka tajā būs vismaz salīdzināms skaitlis, ja ne vairāk.
Vēl viens būtisks PaLM 2 uzlabojums ir valodas apmācības dati. Google ir apmācījis PaLM 2 vairāk nekā 100 valodās, lai sniegtu tai dziļāku un kontekstuālo izpratni un palielinātu tulkošanas iespējas.
Bet tas nav tikai runātās valodas. Saistībā ar Google pieprasījumu pēc PaLM 2 nodrošināt labāku zinātnisku un matemātisko argumentāciju, LLM ir ir arī apmācīts vairāk nekā 20 programmēšanas valodās, kas padara to par fenomenālu programmētāju priekšrocību.
PaLM 2 jau nodrošina Google pakalpojumu darbību, taču joprojām ir nepieciešama precīza regulēšana
Nepaies ilgs laiks, līdz varēsim ķerties pie PaLM 2 un redzēt, ko tas spēj. Ja veiksies, jebkuru PaLM 2 lietojumprogrammu un pakalpojumu palaišana būs labāka nekā Bard.
Bet jūs, iespējams, jau esat (tehniski!) izmantojis PaLM 2. Google apstiprināja, ka PaLM 2 jau ir izvietots un tiek izmantots 25 tā produktos, tostarp Android, YouTube, Gmail, Google dokumentos, Google prezentācijās, Google izklājlapās un citos.
Taču PaLM 2 ziņojums arī atklāj, ka vēl ir jādara darbs, īpaši attiecībā uz toksiskām reakcijām dažādās valodās.
Piemēram, ja tiek sniegti īpaši toksiski norādījumi, PaLM 2 rada toksiskas reakcijas vairāk nekā 30 procentus laika. Turklāt noteiktās valodās — angļu, vācu un portugāļu — PaLM 2 sniedza vairāk toksisku reakciju. vairāk nekā 17 procentos gadījumu, un uzvednes, tostarp rasu identitātes un reliģijas, veicina šo skaitli augstāks.
Neatkarīgi no tā, cik daudz pētnieki mēģina tīrīt LLM apmācības datus, ir neizbēgami, ka daži izslīdēs cauri. Nākamais posms ir turpināt apmācīt PaLM 2, lai samazinātu šīs toksiskās reakcijas.
Šis ir uzplaukuma periods lielu valodu modeļiem
OpenAI nebija pirmais, kas izlaida lielu valodas modeli, taču tā modeļi GPT-3, GPT-3.5 un GPT-4 neapšaubāmi apgaismoja zilo skārienpapīru ģeneratīvajā AI.
Google PaLM 2 ir dažas problēmas, kas jāatrisina, taču tas, ka tas jau tiek izmantots vairākos Google pakalpojumos, liecina par uzņēmuma pārliecību par savu jaunāko LLM.