8 galvenie faktori, kas jāņem vērā, pārbaudot AI tērzēšanas robotu precizitāti

AI ir nogājis garu ceļu no neatbilstošas, nesakarīgas produkcijas radīšanas. Mūsdienu tērzēšanas roboti izmanto uzlabotus valodu modeļus, kas atbild uz vispārīgu zināšanu jautājumiem, veido garas esejas un raksta kodu, kā arī citus sarežģītus uzdevumus.

Neskatoties uz šiem sasniegumiem, ņemiet vērā, ka pat vismodernākajām sistēmām ir ierobežojumi. AI joprojām pieļauj kļūdas. Lai noteiktu, kuri tērzēšanas roboti ir vismazāk pakļauti halucinācijām, pārbaudiet to precizitāti, pamatojoties uz šiem faktoriem.

1. Skaitīšanas prasme

Izpildiet matemātikas vienādojumus, izmantojot tērzēšanas robotus. Viņi pārbaudīs platformas spēju analizēt teksta problēmas, tulkot matemātiskos jēdzienus un lietot pareizas formulas. Tikai daži modeļi demonstrē uzticamu rēķināšanu. Patiesībā viens no ChatGPT sliktākās problēmas laikā tā pirmie mēneši bija tā briesmīgā matemātikas izpratne.

Tālāk esošajā attēlā redzams, ka ChatGPT neizdodas iegūt pamata statistiku.

Pēc tam ChatGPT uzlabojās OpenAI izlaida savus 2023. gada maija atjauninājumus. Taču, ņemot vērā tā ierobežotās datu kopas, jums joprojām būs problēmas ar vidējiem līdz uzlabotiem matemātiskajiem aprēķiniem.

Tikmēr Bing Chat un Google Bard parāda labāku rēķināšanas prasmi. Viņi izpilda vaicājumus attiecīgajās meklētājprogrammās, ļaujot tām izvilkt formulas un atbilžu lapas.

Mēģiniet pārfrāzēt savas teksta problēmas. Izvairieties no gariem teikumiem un nomainiet vājus darbības vārdus; pretējā gadījumā tērzēšanas roboti var pārprast jūsu jautājumus.

2. Izpratne

Mūsdienu AI sistēmas var veikt vairākus uzdevumus. Uzlabotie LLM ļauj tiem saglabāt iepriekšējos norādījumus un atbildēt uz uzvednēm pa sadaļām, savukārt vecākas sistēmas apstrādā atsevišķas komandas. Piemēram, Siri atbild uz vienu jautājumu vienlaikus.

Barojiet tērzēšanas robotus trīs līdz piecus uzdevumus vienlaikus, lai pārbaudītu, cik labi tie analizē sarežģītas uzvednes. Mazāk sarežģīti modeļi nevar apstrādāt tik daudz informācijas. Zemāk esošajā attēlā redzams, ka HuggingChat darbojas nepareizi, izmantojot trīs soļu uzvedni — tas apstājas pirmajā darbībā un novirzās no tēmas.

HuggingChat pēdējās rindas jau ir nesakarīgas.

ChatGPT ātri izpilda to pašu uzvedni, katrā solī ģenerējot bezkļūdām inteliģentas atbildes.

Bing Chat sniedz saīsinātu atbildi uz trim darbībām. Tās stingrie ierobežojumi aizliedz nevajadzīgi ilgu izvadi, kas tērē apstrādes jaudu.

3. Savlaicīgums

Tā kā AI apmācība maksā milzīgus resursus, lielākā daļa izstrādātāju ierobežo datu kopas līdz noteiktiem periodiem. Kā piemēru ņemiet ChatGPT. Zināšanu ierobežojums ir 2021. gada septembris — jūs nevarat pieprasīt laikapstākļu atjauninājumus, ziņu ziņojumus vai jaunākos notikumus. Lūk, ChatGPT saka, ka tai nav piekļuves reāllaika informācijai.

Bardam ir piekļuve internetam. Tas iegūst datus no Google SERP, lai jūs varētu uzdot plašāku jautājumu loku, piemēram, par jaunākajiem notikumiem, ziņām un prognozēm.

Tāpat Bing Chat iegūst reāllaika informāciju no savas meklētājprogrammas.

Bing Chat un Bard sniedz savlaicīgu, atjauninātu informāciju, bet pēdējā sniedz detalizētākas atbildes. Bing tikai uzrāda datus tādus, kādi tie ir. Jūs ievērosiet, ka tā izvadi bieži vien burtiski sakrīt ar saistīto avotu frāzēm un toni.

4. Atbilstība

Tērzēšanas robotiem ir jānodrošina attiecīgie rezultāti. Atbildot, viņiem jāņem vērā jūsu uzvedņu burtiskā un kontekstuālā nozīme. Ņemiet šo sarunu kā piemēru. Mūsu personai ir nepieciešams jauns tālrunis, taču viņam ir tikai 1000 USD — ChatGPT nepārsniedz budžetu.

Pārbaudot atbilstību, mēģiniet izstrādāt garus norādījumus. Mazāk sarežģīti tērzēšanas roboti mēdz darboties pieskares režīmā, kad tiek ievadīti mulsinoši norādījumi. Piemēram, HuggingChat var sacerēt izdomātus stāstus. Bet tas var novirzīties no galvenās tēmas, ja noteiksiet pārāk daudz noteikumu un vadlīniju.

5. Kontekstuālā atmiņa

Kontekstuālā atmiņa palīdz AI radīt precīzu, uzticamu izvadi. Tā vietā, lai jūsu jautājumus uztvertu pēc nominālvērtības, tie apkopo jūsu pieminētās detaļas. Ņemiet šo sarunu kā piemēru. Bing Chat savieno divus atsevišķus ziņojumus, lai veidotu noderīgu, kodolīgu atbildi.

Tāpat kontekstuālā atmiņa ļauj tērzēšanas robotiem atcerēties norādījumus. Šajā attēlā redzams, kā ChatGPT vairākās tērzēšanas sarunās atdarina izdomāta varoņa sarunu.

Pārbaudiet šo funkciju pats, konsekventi atsaucoties uz iepriekšējiem apgalvojumiem. Barojiet tērzēšanas robotus dažādu informāciju un pēc tam piespiediet tos atsaukt vēlākajās atbildēs.

Kontekstuālā atmiņa ir ierobežota. Bing Chat sāk jaunas sarunas ik pēc 20 pagriezieniem, savukārt ChatGPT nevar apstrādāt vairāk nekā 3000 žetonu uzvednes.

6. Drošības ierobežojumi

AI ne vienmēr darbojas, kā paredzēts. Nepareiza apmācība var izraisīt mašīnmācības tehnoloģijas, lai pieļautu dažādas kļūdas, no nelielām matemātikas kļūdām līdz problemātiskiem komentāriem. Ņem Microsoft Tay kā piemērs. Twitter lietotāji izmantoja tā neuzraudzīto mācīšanās modeli un nosacīja to, izsakot rasistiskus apvainojumus.

Par laimi, pasaules tehnoloģiju līderi mācījās no Microsoft kļūdas. Lai gan tas ir rentabls un ērts, mācīšanās bez uzraudzības padara AI sistēmas pakļautas maldināšanai. Tādējādi izstrādātāji mūsdienās galvenokārt paļaujas uz uzraudzītu mācīšanos. Tērzēšanas roboti patīk ChatGPT joprojām mācās no sarunām, taču viņu treneri vispirms filtrē informāciju.

Gaidiet atšķirīgas vadlīnijas no AI uzņēmumiem. ChatGPT mazāk stingrie ierobežojumi ir piemēroti plašākam uzdevumu lokam, taču tie ir vāji pret ekspluatāciju. Tikmēr Bing Chat ievēro stingrākus ierobežojumus. Lai gan tie palīdz cīnīties pret ekspluatācijas mēģinājumiem, tie arī kavē funkcionalitāti. Bing automātiski izslēdz potenciāli kaitīgas sarunas.

7. AI novirzes

AI pēc būtības ir neitrāls. Priekšrocību un emociju trūkums padara to nespējīgu veidot viedokļus — tas tikai sniedz informāciju, ko tā zina. Lūk, kā ChatGPT reaģē uz subjektīvām tēmām.

Neskatoties uz šo neitralitāti, AI aizspriedumi joprojām rodas. Tie izriet no modeļiem, datu kopām, algoritmiem un modeļiem, ko izmanto izstrādātāji. AI varētu būt objektīvs, bet cilvēki nav.

Piemēram, Brūkingsas institūcija apgalvo, ka ChatGPT demonstrē kreiso politisko aizspriedumu. OpenAI, protams, noliedz šos apgalvojumus. Taču, lai izvairītos no līdzīgām problēmām ar jaunākiem modeļiem, ChatGPT pilnībā izvairās no pārdomātiem rezultātiem.

Tāpat Bing Chat izvairās no sensitīviem, subjektīviem jautājumiem.

Novērtējiet AI aizspriedumus, uzdodot uz viedokļiem balstītus atvērtus jautājumus. Runājiet par tēmām bez pareizas vai nepareizas atbildes — mazāk sarežģīti tērzēšanas roboti, visticamāk, parādīs nepamatotas preferences noteiktām grupām.

8. Atsauces

AI reti pārbauda faktus. Tas tikai iegūst informāciju no savām datu kopām un pārfrāzē tos, izmantojot valodu modeļus. Diemžēl ierobežota apmācība izraisa AI halucinācijas. Pētniecībai joprojām varat izmantot ģeneratīvos AI rīkus, taču noteikti pārbaudiet faktus pats. Paņemiet produkciju ar sāls graudu.

Bing Chat vienkāršo faktu pārbaudes procesu, uzskaitot atsauces pēc katras izvades.

Bard AI neuzskaita savus avotus, bet ģenerē atjauninātus, padziļinātus skaidrojumus, izpildot Google meklēšanas vaicājumus. Jūs iegūsit galvenos punktus no SERP.

ChatGPT ir pakļauta neprecizitātēm. Tā 2021. gada zināšanu pārtraukšana neļauj tai atbildēt uz jautājumiem par neseniem notikumiem un incidentiem.

Izveidojiet jaunus veidus, kā pārbaudīt tērzēšanas robotu precizitāti

AI nav viss un viss tehnoloģiju gals. Lai gan sarežģītas AI sistēmas un valodu modeļi veic iespaidīgus varoņdarbus, tie pieļauj arī kļūdas un neatbilstības. Skatieties uz tērzēšanas robotiem ar skepsi. AI vadītas platformas varat izmantot tikai tad, ja saprotat to funkcijas un ierobežojumus.

Lai gan platformās ir desmitiem tērzēšanas robotu, to uzticamība un precizitāte var jūs pievilt. Jūs vienkārši tērēsit laiku to pārbaudei. Lai nodrošinātu kvalitatīvus rezultātus, mēs iesakām koncentrēties uz trim tirgū visizturīgākajiem modeļiem: ChatGPT, Bing AI un Google Bard.