Kā palaist lielu valodas modeli operētājsistēmā Linux (un kāpēc jums vajadzētu)

Lieli valodu modeļi var mainīt jūsu dzīves un darba veidu, un tie var sarunāties un atbildēt uz jautājumiem ar mainīgu precizitātes pakāpi.

Lai to izmantotu, jums parasti ir nepieciešams LLM pakalpojumu sniedzēja konts un jāpiesakās, izmantojot vietni vai īpašu lietotni. Bet vai zinājāt, ka varat palaist savu lielo valodas modeli pilnībā bezsaistē operētājsistēmā Linux?

Kāpēc palaist lielas valodas modeli operētājsistēmā Linux?

Lielie valodu modeļi (LLM) mūsdienās ir visur un var apstrādāt dabisko valodu un sniegt atbilstošas ​​atbildes, kas var likt jums domāt, ka cilvēks ir atbildējis. Microsoft izlaiž jaunu Bing versiju, kas darbojas ar mākslīgo intelektu, savukārt Alfabēts Bard tagad ir Google meklēšanas neatņemama sastāvdaļa.

Netālu no meklētājprogrammām varat izmantot tā sauktos "AI tērzēšanas robotus", lai atbildētu uz jautājumiem, sacerētu dzeju vai pat izpildītu mājasdarbus jūsu vietā.

Taču, piekļūstot LLM tiešsaistē, jūs esat atkarīgs no trešās puses pakalpojumu sniedzēja labās gribas, kuru jebkurā laikā var atsaukt.

Uz jums attiecas arī lietošanas ierobežojumi. Palūdziet OpenAI uzrakstīt, piemēram, 6000 vārdu erotisku romānu, kuras darbība norisinās nacistiskajā Vācijā, un jūs saņemsiet atbildi, piemēram, "Es atvainojos, bet es nevarēšu jums izveidot šo stāstu".

Viss, ko ievadāt tiešsaistes LLM, tiek izmantots, lai tos tālāk apmācītu, un dati, kurus, iespējams, vēlēsities saglabāt konfidencialitāti, nākotnē var tikt izspļauti kā daļa no atbildes uz kāda cita jautājumu.

Jūs arī saskaraties ar pakalpojumu trūkumu, jo sistēma ir pārpildīta ar lietotājiem un tiek mudināta abonēt, lai jūs varētu piekļūt platformai, kad pieprasījums ir liels.

Dalai ir bezmaksas un atvērtā pirmkoda Meta's LLaMa LLM un Stanford's Alpaca ieviešana. Tas ērti darbosies ar nelielu aparatūru un nodrošina ērtu tīmekļa saskarni un virkni uzvedņu veidņu, lai jūs varētu jautāt visu. ja vēlaties, nebaidoties, ka administrators slēgs jūsu kontu, LLM atteiksies atbildēt vai jūsu savienojums tiks piliens.

Instalējot LLM lokāli operētājsistēmā Linux, tas pieder jums, un jūs varat to izmantot, kā vien vēlaties.

Kā instalēt Dalai operētājsistēmā Linux

Vienkāršākais veids, kā instalēt Dalai operētājsistēmā Linux, ir izmantot Docker un Docker Compose. Ja jums to vēl nav, skatiet mūsu ceļvedi, kā to izdarīt instalējiet Docker un Docker Compose.

Ja tas vairs nav pieejams, jūs esat gatavs sākt Dalai instalēšanu. Klonējiet Dalai GitHub repozitoriju un izmantojiet komandu cd, lai tajā pārvietotos:

git klons https://github.com/cocktailpeanut/dalai.git && cd dalai

Lai Dalai sāktu darboties ar tīmekļa saskarni, vispirms izveidojiet Docker Compose failu:

docker-compose veidot

Docker Compose lejupielādēs un instalēs Python 3.11, Node Version Manager (NVM) un Node.js.

Septītajā posmā no deviņiem būvējums, šķiet, sastings, jo Docker Compose lejupielādēs Dalai. Neuztraucieties: pārbaudiet joslas platuma lietojumu, lai pārliecinātos, ka kaut kas notiek, un simulējiet virtuālo organismu attīstību savā terminālī kamēr gaidi.

Galu galā jūs tiksit atgriezts komandu uzvednē.

Dalai un LLaMa/Alpaca modeļu darbībai ir nepieciešams daudz atmiņas. Lai gan nav oficiālas specifikācijas, aptuvens rādītājs ir 4 GB 7B modelim, 8 GB 13B modelim, 16 GB 30B modelim un 32 GB 65B modelim.

Alpaca modeļi ir salīdzinoši mazi, 13B modelim sasniedzot pieticīgus 7,6 GB, bet LLaMA svars var būt milzīgs: līdzvērtīgā 13 B lejupielāde ir pieejama 60,21 GB, un 65 B modelis aizņems episko pusterabaitu jūsu cietajā ierīcē. disks.

Izlemiet, kurš modelis ir vispiemērotākais jūsu resursiem, un izmantojiet šo komandu, lai to instalētu:

docker-compose palaist dalai npx dalai alpaca instalēt 13B

Vai:

docker-compose palaist dalai npx dalai lama instalēt 13B

Pastāv iespēja, ka modeļi, kas lejupielādēti, izmantojot Dalai, var būt bojāti. Ja tas tā ir, paņemiet tos no Apskāva seja vietā.

Kad esat atgriezies komandu uzvednē, atveriet Docker Compose atdalītajā režīmā:

docker-compose up -d

Pārbaudiet, vai konteiners darbojas pareizi, izmantojot:

docker-compose ps

Ja viss darbojas, kā vajadzētu, atveriet tīmekļa pārlūkprogrammu un ievadiet vietējais saimnieks: 3000 adreses joslā.

Izklaidējieties ar savu lielo valodu modeli operētājsistēmā Linux

Kad tiek atvērta tīmekļa saskarne, tiek parādīts tekstlodziņš, kurā varat ierakstīt uzvednes.

Ir grūti rakstīt efektīvas uzvednes, un Dalai izstrādātāji ir izpalīdzīgi nodrošinājuši virkni veidņu, kas palīdzēs jums saņemt noderīgu atbildi no Dalai.

Šie ir AI dialogs, Chatbot, Noklusējums, Instrukcija, Pārrakstīt, Tulkot, un Tvīta sentiments.

Kā jūs gaidījāt, AI dialogs un Chatbot veidnes ir strukturētas tā, lai jūs varētu sarunāties ar LLM. Galvenā atšķirība starp abiem ir tāda, ka tērzēšanas robotam ir jābūt "ļoti inteliģentam", savukārt AI-Dialog ir "izpalīdzīgs, laipns, paklausīgs, godīgs un zina savas robežas".

Protams, tas ir jūsu "AI", un, ja tas jums patīk, varat mainīt uzvedni, lai tērzēšanas robots būtu mēms un AI dialoga parametri būtu "sadistiski" un "nelietderīgi". Atkarīgs no tevis.

Mēs pārbaudījām Tulkot funkciju, kopējot BBC ziņu stāsta sākuma rindkopu un lūdzot Dalai to iztulkot spāņu valodā. Tulkojums bija labs, un, kad mēs to izlaidām, izmantojot Google tulkotāju, lai pārvērstu to atpakaļ angļu valodā, mēs atklājām, ka tas ir diezgan salasāms un atspoguļo oriģinālā gabala faktus un noskaņojumu.

Tāpat, Pārrakstīt veidne pārliecinoši pārveidoja tekstu jauna raksta sākumā.

The Noklusējums un Instrukcija uzvednes ir strukturētas, lai palīdzētu jums uzdot jautājumus vai tieši sniegt norādījumus Dalai.

Dalai atbildes precizitāte ievērojami atšķirsies atkarībā no izmantotā modeļa. 30B modelis būs daudz noderīgāks nekā 7B modelis. Bet pat tad jums tiek atgādināts, ka LLM ir vienkārši sarežģītas sistēmas, lai uzminētu nākamo vārdu teikumā.

Ne 7B, ne 13B Alpaca modeļi nespēja sniegt precīzu 200 vārdu kopsavilkumu par noveli "Kaķis Lietus”, ko veidojis Ernests Hemingvejs, un abi izdomāja pārliecinošas sižeta līnijas un detaļas par to, kas ir stāsts. ietverts.

Un, kamēr "izpalīdzīgais, laipnais, paklausīgais, godīgais" AI dialoglodziņš, kas "zina savas robežas", un "ļoti inteliģents" Chatbot atturēsies pretrunīgi vērtētas uzvednes, varat dot Dalai tiešu norādījumu vai noklusējuma pieprasījumu, un tas uzrakstīs visu, kas jums patīk — kā vēlaties to.

Liels valodas modelis jūsu Linux ierīcē ir jūsu

Palaižot lielu valodas modeli savā Linux kastē, jūs netiekat pakļauts uzraudzībai vai pakalpojuma pārtraukšanai. Varat to izmantot, kā vien uzskatāt par vajadzīgu, nebaidoties no sekām, ja tiks pārkāpta uzņēmuma satura politika.

Ja jūsu skaitļošanas resursi ir maz, varat pat lokāli palaist LLM, izmantojot necilu Raspberry Pi.