Tokeni palīdz kontrolēt ChatGPT reakciju. Lūk, kas tie ir un kā tos izmantot.
ChatGPT ir sagrābusi tehnoloģiju pasauli, un netrūkst uzlabojumu un atjauninājumu. Bet, neskatoties uz progresīvo tehnoloģiju izmantošanu, pašreizējā versijā ir diezgan maz ierobežojošu faktoru.
Viens no šādiem faktoriem ir marķieru sistēma, kas turpina lauzt evolūcijas ciklu, liekot lietotnes lietderību uz ceļiem. Ja izmantojat ChatGPT, iespējams, vēlēsities uzzināt par ChatGPT marķieriem un to, kā rīkoties, kad beigsies tokeni.
Atkāpsimies un sniegsim ieskatu visā, kas ir jāzina par lietotnes pamatā esošajiem darba mehānismiem.
Kas ir ChatGPT marķieris?
Ja skatāties pa lietotnes fasādi, jūs redzat tikai datora valodu, kas pakļaujas jūsu komandām un sniedz jums meklētās atbildes. Tomēr aizmugursistēma ir tikai daudz koda, kas mācās katru minūti un ātri atbild uz jautājumiem.
Ikreiz, kad uzdodat jautājumu, ChatGPT pārvērš katru vārdu par salasāmu marķieri. Lai to sīkāk sadalītu, marķieri ir teksta fragmenti, un katra programmēšanas valoda izmanto atšķirīgu marķiera vērtību kopu, lai izprastu prasības.
Tā kā datori tieši nesaprot teksta vērtības, tie sadala tās skaitļu kombinācijās, ko bieži sauc par iegulšanu. Jūs pat varat apsvērt tādas iegulšanas iespējas Python saraksti, kas atgādina saistīto skaitļu sarakstu, piemēram, [1.1,2.1,3.1,4.1…n].
Kad ChatGPT izmanto sākotnējo ievadi, tas mēģina paredzēt nākamo iespējamo ievadi, pamatojoties uz iepriekšējo informāciju. Tas izvēlas visu iepriekšējo marķieru sarakstu un, izmantojot savu kodēšanas sintēzi, mēģina novērst turpmāko lietotāja ievadi. Tas izmanto un paredz vienu marķieri vienlaikus, lai valodai būtu vieglāk saprast lietojumu.
Lai uzlabotu prognozes un uzlabotu precizitāti, tas paņem visu iegulto sarakstu un izlaiž to caur transformatora slāņiem, lai izveidotu asociācijas starp vārdiem. Piemēram, kad uzdodat tādu jautājumu kā "Kas ir Tomass Edisons?", ChatGPT atlasa vērtīgākos vārdus sarakstā: PVO un Edisons.
Transformatoru slāņiem ir sava loma visā procesā. Šie slāņi ir neironu tīkla arhitektūras veids, kas apmācīts atlasīt visatbilstošākos atslēgvārdus no vārdu virknes. Tomēr apmācības process nav tik vienkāršs, kā izklausās, jo ir nepieciešams ilgs laiks, lai apmācītu transformatora slāņus uz gigabaitiem datu.
Lai gan ChatGPT prognozē tikai vienu marķieri vienlaikus, tā automātiski regresīvā tehnoloģija ir ieprogrammēta, lai prognozētu un atgrieztos primārajā modelī, lai atbrīvotu izvadi. Modelis ir noregulēts tā, lai katrs marķieris tiktu palaists tikai vienu reizi, tāpēc rezultāts tiek drukāts pa vienam vārdam. Izvade tiek automātiski apturēta, kad lietojumprogramma saskaras ar apturēšanas marķiera komandu.
Piemēram, ja skatāties uz marķiera kalkulatoru ChatGPT vietnē, varat aprēķināt marķiera lietojumu, pamatojoties uz jūsu jautājumiem.
Ievadīsim teksta paraugu, piemēram:
Kā izskaidrot žetonu izmantošanu iekšā ChatGPT?
Kā liecina kalkulators, šajā virknē ir 46 rakstzīmes, kas patērēs 13 žetonus. Ja to sadalāt token ID, tas izskatās apmēram šādi:
[2437, 466, 314, 4727, 262, 779, 286, 16326, 287, 24101, 38, 11571, 30]
Saskaņā ar OpenAI marķiera kalkulators:
Noderīgs īkšķis ir tāds, ka viens marķieris parasti atbilst ~ 4 teksta rakstzīmēm parastajam tekstam angļu valodā. Tas nozīmē aptuveni ¾ vārda (tātad 100 marķieri ~= 75 vārdi).
Bezmaksas vs. Apmaksāti žetoni
Lai sniegtu jums priekšstatu par to, kas ir ChatGPT lietojumprogrammā, OpenAI piedāvā bezmaksas ierobežotu marķiera abonementu. Ja vēlaties eksperimentēt ar ChatGPT API, izmantojiet bezmaksas 5 ASV dolāru kredītu, kas ir derīgs trīs mēnešus. Kad limits ir izsmelts (vai izmēģinājuma periods ir beidzies), varat maksāt līdzi, kas palielina maksimālo kvotu līdz 120 USD.
ChatGPT Plus: vai maksas abonements ir tā vērts?
Lai to uzlabotu, varat pat reģistrēties ChatGPT Plus piedāvājums, kas atlīdzina par USD 20 mēnesī. Ņemot vērā visa AI modeļa plašo izmantošanu un popularitāti, šeit ir norādītas maksas abonēšanas modeļa galvenās funkcijas:
- Piekļuve ChatGPT, pat ja vietne ir dīkstāvē lietotāju pieplūduma dēļ
- Uzlaboti atbildes rādītāji
- Tieša piekļuve jaunām funkcijām un laidieniem
Ja uzskatāt, ka šīs funkcijas ir tā vērtas, varat reģistrēties maksas abonementam un nekavējoties gūt labumu no tām.
ChatGPT marķiera cenu struktūra
Ir pieejami daži dažādi lietojumprogrammu modeļi, kurus varat izvēlēties atbilstoši savām prasībām:
Modelis |
Cena par 1000 žetoniem (uzvedne) |
Cena par 1000 žetoniem (pabeigšana) |
---|---|---|
Ada |
$0.0004 |
$0.0004 |
Babbage |
$0.0005 |
$0.0005 |
Kirī |
$0.0020 |
$0.0020 |
DaVinči |
$0.0200 |
$0.0200 |
ChatGPT |
$0.0020 |
$0.0020 |
GPT-4 8k konteksts |
$0.0300 |
$0.0600 |
GPT-4 32k konteksts |
$0.0600 |
$0.1200 |
Ada ir ātrākais, savukārt DaVinci ir jaudīgākais modelis no šī modeļu saraksta. Uzvedne ir jautājums, bet pabeigšana attiecas uz atbildēm.
Maksimālie marķieru ierobežojumi
Katrs modelis ļauj iestatīt maksimālo marķieru skaitu katrā vaicājumā. Šī metode kontrolē maksimālo marķieru skaitu, ko lietojumprogramma ģenerē vienā izsaukumā, ierobežojot izvadi. Funkcija max_token ir diezgan noderīga, it īpaši, ja vēlaties kontrolēt izvades garumu, vienlaikus izvairoties no marķiera izmantošanas un kredītu pārmērīgas izmantošanas. Noklusējuma garums ir fiksēts uz 2048 marķieriem, savukārt maksimālo var iestatīt 4096 marķierus.
Ierobežojot marķiera izmantošanu, var tikt sniegtas īsas atbildes, kas var ierobežot izvadi un sabojāt lietošanas pieredzi.
ChatGPT3 augšējā robeža ir 4096; tomēr, ieviešot ChatGPT4, marķieru ierobežojumi tiek palielināti šādi:
Modelis |
Cena par 1000 žetoniem (uzvedne) |
---|---|
Ada |
2048 |
Babbage |
2048 |
Kirī |
2048 |
DaVinči |
4096 |
ChatGPT |
4096 |
GPT-4 8k konteksts |
8192 |
GPT-4 32k konteksts |
32768 |
Ja jūsu izvade ir saīsināta, informācijas panelī ir jāpalielina norādītais maksimālais ierobežojums. Atcerieties, ka jūsu uzvednes un maksimālā marķiera summai vienmēr jābūt mazākai par modeļa maksimālo pilnvaru ierobežojumu.
Piemēram, ChatGPT modelī prompt_tokens + max_tokens <= 4096 žetonus.
Uzziniet, kā kontrolēt ChatGPT uzvednes, lai iegūtu labākos rezultātus
Neatkarīgi no tā, kā izmantojat mākslīgā intelekta vadīto lietojumprogrammu, jums, iespējams, būs jāizdomā veidi, kā gudri spēlēt ar saviem jautājumiem un frāzēm. Atkarībā no jūsu lietošanas paradumiem jūs, iespējams, plaši izmantosit ChatGPT katram uzdevumam.
Lai iegūtu vislabākos rezultātus, jums jāiemācās strādāt ar marķiera metodoloģiju un jāuzlabo savas prasmes, lai nodrošinātu, ka lietošanas ierobežojumi paliek neskarti, vienlaikus sniedzot vislabākās iespējamās atbildes.