7 labākie vietējie/bezsaistes LLM, kurus varat izmēģināt tieši tagad

Lietotāji parasti piekļūst lieliem valodu modeļiem (LLM), izmantojot lietotāja saskarni, izmantojot API. Lai gan API izmantošana nodrošina vairākas priekšrocības, tā rada arī ierobežojumus, piemēram, nepieciešamību pēc pastāvīga interneta savienojums, ierobežoti pielāgojumi, iespējamās drošības problēmas un uzņēmumi, kas ierobežo modeļa iespējas, izmantojot a maksas siena.

Kvantētie LLM tagad ir pieejami vietnē HuggingFace un AI ekosistēmās, piemēram, H20, Text Gen un GPT4All ļaujot ielādēt LLM svarus savā datorā, tagad jums ir iespēja izmantot bezmaksas, elastīgu un drošu AI.

Lai sāktu darbu, šeit ir septiņi no labākajiem vietējiem/bezsaistes LLM, kurus varat izmantot šobrīd!

1. Hermes GPTQ

Mūsdienīgs valodas modelis, kas precīzi noregulēts, izmantojot datu kopu, kurā ir 300 000 norādījumu no uzņēmuma Nous Research. Hermes pamatā ir Meta LlaMA2 LLM, un tas tika precīzi noregulēts, izmantojot galvenokārt sintētiskās GPT-4 izejas.

LlaMA2 kā bāzes modeļa izmantošana ļauj Hermesam dubultot konteksta izmēru vai maksimālo marķiera izmēru 4096. Savienojot garo konteksta izmēru un kodētāja arhitektūru, ir zināms, ka Hermes sniedz ilgas atbildes un zemu halucināciju līmeni. Tas padara Hermes par lielisku modeli dažādiem dabiskās valodas apstrāde (NLP) uzdevumus, piemēram, koda rakstīšanu, satura izveidi un tērzēšanas robotu.

Ir vairākas jaunā Hermes GPTQ kvantifikācijas un versijas. Mēs iesakām vispirms izmēģināt Hermes-Llama2 13B-GPTQ modeli, jo tā ir visvieglāk izvietojamā versija, vienlaikus nodrošinot lielisku veiktspēju.

2. Falcon Instruct GPTQ

Šīs kvantētās Falcon versijas pamatā ir tikai dekodētāja arhitektūra, kas ir precīzi noregulēta uz TII neapstrādātā Flacon-7b modeļa. Falcon bāzes modelis tika apmācīts, izmantojot izcilus 1,5 triljonus žetonu, kas iegūti publiskajā internetā. Kā uz instrukcijām balstīts tikai dekodētāja modelis, kas licencēts saskaņā ar Apache 2, Falcon Instruct ir lieliski piemērots maziem uzņēmumiem, kas meklē modeli valodu tulkošanai un datu ievadīšanai.

Tomēr šī Falcon versija nav ideāla precizēšanai un ir paredzēta tikai secinājumu veikšanai. Ja vēlaties precīzi noregulēt Falcon, jums būs jāizmanto neapstrādāts modelis, kam var būt nepieciešama piekļuve uzņēmuma līmeņa apmācības aparatūrai, piemēram, NVIDIA DGX vai AMD Instinct AI paātrinātāji.

3.GPT4ALL-J Groovy

GPT4All-J Groovy ir tikai dekodētāja modelis, ko precīzi noregulējis Nomic AI un licencēts saskaņā ar Apache 2.0. GPT4ALL-J Groovy pamatā ir oriģinālais GPT-J modelis, kas, kā zināms, ir lielisks teksta ģenerēšanā. no uzvednēm. GPT4ALL -J Groovy ir precīzi noregulēts kā tērzēšanas modelis, kas ir lieliski piemērots ātrai un radošai teksta ģenerēšanas lietojumprogrammām. Tas padara GPT4All-J Groovy ideāli piemērotu satura veidotājiem, lai palīdzētu viņiem rakstīt un radoši strādāt neatkarīgi no tā, vai tā ir dzeja, mūzika vai stāsti.

Diemžēl pamata GPT-J modelis tika apmācīts tikai angļu valodā, kas nozīmē, ka pat šis precīzi pielāgotais GPT4ALL-J modelis var tērzēt un izpildīt teksta ģenerēšanas lietojumprogrammas tikai angļu valodā.

4. WizardCoder-15B-GPTQ

Vai meklējat modeli, kas īpaši pielāgots kodēšanai? Neskatoties uz ievērojami mazāku izmēru, WizardCoder ir zināms kā viens no labākajiem kodēšanas modeļiem, kas pārspēj citus modeļus, piemēram, LlaMA-65B, InstructCodeT5+ un CodeGeeX. Šis modelis tika apmācīts, izmantojot kodēšanai raksturīgu Evol-Instruct metodi, kas automātiski rediģē jūsu uzvednes, lai tās būtu efektīvākas ar kodēšanu saistītas uzvednes, ko modelis var labāk saprast.

Kvantējot 4 bitu modelī, WizardCoder tagad var izmantot parastajos personālajos datoros, kur cilvēki to var izmantot eksperimentiem un kā kodēšanas palīgu vienkāršākām programmām un skriptiem.

5. Wizard Vicuna Uncensored-GPTQ

Wizard-Vicuna GPTQ ir kvantizēta Wizard Vicuna versija, kuras pamatā ir LlaMA modelis. Atšķirībā no vairuma sabiedrībai pieejamo LLM, Wizard-Vicuna ir necenzēts modelis ar noņemtu izlīdzinājumu. Tas nozīmē, ka šim modelim nav tādu pašu drošības un morāles standartu kā lielākajai daļai modeļu.

Lai gan, iespējams, pozē AI izlīdzināšanas kontroles problēma, ja ir necenzēta LLM, tā arī izceļ modeļa labākās puses, ļaujot atbildēt bez jebkādiem ierobežojumiem. Tas arī ļauj lietotājiem pievienot savu pielāgoto saskaņojumu, kā AI jārīkojas vai jāatbild, pamatojoties uz doto uzvedni.

6. Orca Mini-GPTQ

Vai vēlaties eksperimentēt ar modeli, kas apmācīts pēc unikālas mācību metodes? Orca Mini ir Microsoft Orca pētniecības darbu neoficiāla modeļa ieviešana. Tas tika apmācīts, izmantojot skolotāja un studenta mācību metodi, kur datu kopa bija pilna ar paskaidrojumiem, nevis tikai uzvednēm un atbildēm. Teorētiski tam vajadzētu radīt gudrāku studentu, kurā modelis var saprast problēmu, nevis tikai meklēt ievades un izvades pārus, piemēram, kā darbojas tipiski LLM.

Ar tikai trīs miljardiem parametru Orca Mini GPTQ ir viegli palaist pat mazāk jaudīgās sistēmās. Tomēr šo modeli nevajadzētu izmantot nekam profesionālam, jo ​​tas rada nepatiesu informāciju, neobjektīvas un aizvainojošas atbildes. Šis modelis ir jāizmanto, lai mācītos un eksperimentētu ar Orca un tās metodēm.

7.LlaMA 2 tērzēšanas GPTQ

LlaMA 2 ir sākotnējās LlaMA LLM pēctecis, kas radīja lielāko daļu modeļu šajā sarakstā. LlaMA 2 ir vairāku LLM kolekcija, katrs apmācīts, izmantojot 7–70 miljardus parametru. Kopumā LlaMA 2 tika iepriekš apmācīts, izmantojot 2 triljonus datu marķieru, kas iegūti no publiski pieejamām instrukciju datu kopām.

LlaMA 2 ir paredzēts lietošanai komerciālos un pētījumos. Šo modeli vislabāk var izmantot pēc precizēšanas, lai nodrošinātu labāku veiktspēju, veicot konkrētus uzdevumus. Šis konkrētais LlaMA 2 tērzēšanas GPTQ modelis ir precīzi noregulēts un optimizēts angļu valodas dialogam, padarot to ideāls modelis uzņēmumiem un organizācijām kā tērzēšanas robotam ar nelielu papildu apmācību vai bez tās nepieciešams. Saskaņā ar noteikumiem uzņēmumi, kuriem ir mazāk nekā 700 miljoni lietotāju, var izmantot LlaMA 2, nemaksājot Meta vai Microsoft licences maksu.

Izmēģiniet vietējos lielo valodu modeļus jau šodien

Dažiem no iepriekš uzskaitītajiem modeļiem parametru ziņā ir vairākas versijas. Parasti versijas ar augstākiem parametriem nodrošina labākus rezultātus, taču tām ir nepieciešama jaudīgāka aparatūra, savukārt versijas ar zemākiem parametriem ģenerēs zemākas kvalitātes rezultātus, taču tās var darboties ar zemākas klases aparatūru. Ja neesat pārliecināts, vai jūsu dators var palaist modeli, vispirms mēģiniet izvēlēties zemāku parametru versiju un pēc tam turpiniet, līdz jūtat, ka veiktspējas samazināšanās vairs nav pieņemama.

Tā kā kvantizētie modeļi šajā sarakstā aizņem tikai dažus gigabaitus vietas un modeļu izvietošanas platformas, piemēram, GPT4All un Text-Generation-WebUI var viegli instalēt, izmantojot viena klikšķa instalēšanas programmas. Vairāku modeļu un modeļu versiju izmēģināšanai nevajadzētu aizņemt daudz laika un pūļu.

Tātad, ko jūs gaidāt? Izmēģiniet vietējo modeli jau šodien!