Vai jums vajadzētu izmantot vietējo LLM? 9 Plusi un mīnusi

Kopš ChatGPT ienākšanas 2022. gada novembrī termins lielas valodas modelis (LLM) ir ātri pārtapis no nišas termina, kas paredzēts AI nerdiem, uz populāru vārdu ikviena cilvēka lūpām. Vietējā LLM vislielākā pievilcība ir iespēja atkārtot tērzēšanas robota, piemēram, ChatGPT, iespējas jūsu datorā bez mākoņa mitinātas versijas bagāžas.

Pastāv argumenti par un pret vietējā LLM iestatīšanu datorā. Mēs pārtrauksim ažiotāžu un parādīsim jums faktus. Vai jums vajadzētu izmantot vietējo LLM?

Vietējo LLM izmantošanas plusi

Kāpēc cilvēki ir tik satraukti par savu izveidi? lieli valodu modeļi savos datoros? Kādi praktiski ieguvumi ir ne tikai ažiotāža un lielīšanās tiesības?

1. Mazāk cenzūras

Kad ChatGPT un Bing AI pirmo reizi parādījās tiešsaistē, lietas, kuras abi tērzēšanas roboti bija gatavi teikt un darīt, bija tikpat aizraujošas, kā arī satraucošas. Bing AI darbojās sirsnīgi un jauki, it kā tajā būtu emocijas. ChatGPT bija gatavs lietot lāstu vārdus, ja jūs jauki pajautājāt. Tajā laikā abi tērzēšanas roboti pat palīdzētu jums izveidot bumbu, ja izmantotu pareizos norādījumus. Tas varētu izklausīties pēc visa veida nepareizības, taču spēja darīt jebko liecināja par to valodu modeļu neierobežotajām iespējām, kas tos darbināja.

Šodien abi tērzēšanas roboti ir tik stingri cenzēti ka viņi pat nepalīdzēs uzrakstīt izdomātu kriminālromānu ar vardarbīgām ainām. Daži AI tērzēšanas roboti pat nerunās par reliģiju vai politiku. Lai gan LLM, ko varat izveidot lokāli, nav pilnībā brīva no cenzūras, daudzi no tiem labprāt darīs pārdomas rosinošas lietas, ko nedarīs sabiedrībai paredzēti tērzēšanas roboti. Tātad, ja nevēlaties, lai robots, apspriežot personiski interesējošas tēmas, lasītu lekcijas par morāli, varētu būt pareizākais veids, kā vadīt vietējo LLM.

2. Labāka datu konfidencialitāte

Viens no galvenajiem iemesliem, kāpēc cilvēki izvēlas vietējo LLM, ir nodrošināt, lai viss, kas notiek viņu datorā, paliktu viņu datorā. Ja izmantojat vietējo LLM, tas ir kā privāta saruna savā viesistabā — neviens no ārpuses nevar klausīties. Neatkarīgi no tā, vai eksperimentējat ar savu kredītkartes informāciju vai veicat sensitīvas personiskas sarunas ar LLM, visi iegūtie dati tiek glabāti tikai jūsu datorā. Alternatīva ir izmantot publiski pieejamus LLM, piemēram, GPT-4, kas nodrošina atbildīgajiem uzņēmumiem piekļuvi jūsu tērzēšanas informācijai.

3. Bezsaistes lietošana

Tā kā internets ir plaši pieejams un pieejams, piekļuve bezsaistē var šķist mazsvarīgs iemesls, lai izmantotu vietējo LLM. Bezsaistes piekļuve var kļūt īpaši svarīga attālās vai izolētās vietās, kur interneta pakalpojums nav uzticams vai nav pieejams. Šādos scenārijos vietējais LLM, kas darbojas neatkarīgi no interneta savienojuma, kļūst par svarīgu rīku. Tas ļauj bez pārtraukuma turpināt darīt visu, ko vēlaties.

4. Izmaksu ietaupījumi

Vidējā cena par piekļuvi spējīgam LLM, piemēram, GPT-4 vai Claude 2, ir 20 USD mēnesī. Lai gan tā var nešķist satraucoša cena, jūs joprojām saņemat vairākus kaitinošus ierobežojumus par šo summu. Piemēram, izmantojot GPT-4, kuram piekļūstat, izmantojot ChatGPT, jūs esat iestrēdzis ar 50 ziņojumiem trīs stundu laikā. Jūs varat pārvarēt šos ierobežojumus tikai tad pārejot uz ChatGPT Enterprise plānu, kas potenciāli varētu maksāt tūkstošiem dolāru. Izmantojot vietējo LLM, pēc programmatūras iestatīšanas nav jāmaksā 20 ASV dolāru ikmēneša abonements vai periodiskas izmaksas. Tas ir tāpat kā automašīnas iegāde, nevis paļauties uz kopbraukšanas pakalpojumiem. Sākotnēji tas ir dārgi, bet laika gaitā jūs ietaupāt naudu.

5. Labāka pielāgošana

Publiski pieejamiem AI tērzēšanas robotiem ir ierobežota pielāgošana drošības un cenzūras apsvērumu dēļ. Izmantojot lokāli mitinātu AI palīgu, varat pilnībā pielāgot modeli savām īpašajām vajadzībām. Varat apmācīt palīgu par patentētiem datiem, kas pielāgoti jūsu lietošanas gadījumiem, uzlabojot atbilstību un precizitāti. Piemēram, jurists varētu optimizēt savu vietējo AI, lai radītu precīzāku juridisko ieskatu. Galvenā priekšrocība ir kontrole pār pielāgošanu jūsu unikālajām prasībām.

Vietējo LLM izmantošanas mīnusi

Pirms pārejas veikšanas vietējā LLM izmantošanai ir daži trūkumi, kas jums jāapsver.

1. Resursu ietilpīgs

Lai palaistu veiktspējīgu vietējo LLM, jums būs nepieciešama augstākās klases aparatūra. Padomājiet par jaudīgiem CPU, daudz RAM un, iespējams, īpašu GPU. Negaidiet, ka klēpjdators 400 USD vērtībā nodrošinās labu pieredzi. Atbildes būs sāpīgi lēnas, īpaši ar lielākiem AI modeļiem. Tas ir tāpat kā modernu videospēļu vadīšana — optimālai veiktspējai ir nepieciešamas spēcīgas specifikācijas. Jums pat var būt nepieciešami specializēti dzesēšanas risinājumi. Būtība ir tāda, ka vietējiem LLM ir jāiegulda augstākā līmeņa aparatūrā, lai iegūtu ātrumu un atsaucību, kas jums patīk tīmekļa LLM (vai pat uzlabotu to). Jūsu skaitļošanas prasības būs ievērojamas, salīdzinot ar tīmekļa pakalpojumu izmantošanu.

2. Lēnāka reakcija un zemāka veiktspēja

Kopējais vietējo LLM ierobežojums ir lēnāks reakcijas laiks. Precīzs ātrums ir atkarīgs no konkrētā AI modeļa un izmantotās aparatūras, taču lielākā daļa iestatījumu atpaliek no tiešsaistes pakalpojumiem. Saņemot tūlītējas atbildes no ChatGPT, Bard un citiem, vietējie LLM var justies satraucoši gausi. Vārdi lēnām izplūst un ātri tiek atgriezti. Tas nav vispārpieņemts patiesība, jo daži vietējie izvietojumi nodrošina labu veiktspēju. Taču vidusmēra lietotāji saskaras ar strauju atkāpšanos no vieglās tīmekļa pieredzes. Tāpēc sagatavojieties "kultūras šokam" no ātrām tiešsaistes sistēmām līdz lēnākiem vietējiem ekvivalentiem.

Īsāk sakot, ja vien jūs neveicat visaugstāko uzstādījumu (mēs runājam par AMD Ryzen 5800X3D ar Nvidia RTX 4090 un pietiekami daudz RAM, lai nogremdētu kuģi), jūsu vietējā LLM kopējā veiktspēja nebūs salīdzināma ar tiešsaistes ģeneratīvajiem AI tērzēšanas robotiem. pieraduši.

3. Sarežģīta iestatīšana

Vietējā LLM izvietošana ir vairāk saistīta nekā tikai reģistrēšanās tīmekļa AI pakalpojumam. Izmantojot interneta savienojumu, jūsu ChatGPT, Bard vai Bing AI konts var būt gatavs uzvedni dažu minūšu laikā. Lai iestatītu pilnu lokālo LLM steku, ir jālejupielādē ietvari, jākonfigurē infrastruktūra un jāintegrē dažādi komponenti. Lielākiem modeļiem šis sarežģītais process var aizņemt stundas, pat ja tiek izmantoti rīki, kuru mērķis ir vienkāršot instalēšanu. Dažām modernām AI sistēmām joprojām ir nepieciešamas dziļas tehniskās zināšanas, lai tās varētu darboties lokāli. Tātad, atšķirībā no plug-and-play tīmekļa AI modeļiem, sava AI pārvaldība ir saistīta ar ievērojamu tehnisko un laika ieguldījumu.

4. Ierobežotas zināšanas

Daudzi vietējie LLM ir iestrēguši pagātnē. Viņiem ir ierobežotas zināšanas par pašreizējiem notikumiem. Atcerieties, kad ChatGPT nevarēja piekļūt internetam? Kad tas varēja sniegt atbildes tikai uz jautājumiem par notikumiem, kas notikuši pirms 2021. gada septembra? Jā? Līdzīgi kā agrīnajos ChatGPT modeļos, lokāli mitinātie valodu modeļi bieži tiek apmācīti tikai par datiem pirms noteikta beigu datuma. Tā rezultātā viņiem trūkst izpratnes par jaunākajiem notikumiem pēc šī brīža.