Izmantojot šo rokasgrāmatu, novērsiet savu vietni no OpenAI rāpuļprogrammu nokasīšanas.

Lai gan lietotājiem patīk ChatGPT, jo tajā pašlaik ir milzīgs informācijas apjoms, to nevar teikt par vietņu īpašniekiem.

OpenAI ChatGPT izmanto rāpuļprogrammas, lai notīrītu vietnes, taču, ja esat vietnes īpašnieks un nevēlaties, lai OpenAI rāpuļprogramma piekļūtu jūsu vietnei, šeit ir dažas lietas, ko varat darīt, lai to novērstu.

Kā darbojas OpenAI rāpuļprogramma?

A tīmekļa rāpuļprogramma (pazīstams arī kā zirneklis vai meklētājprogrammas robots) ir automatizēta programma, kas skenē informāciju internetā. Pēc tam tā apkopo šo informāciju tā, lai jūsu meklētājprogramma tai varētu viegli piekļūt.

Tīmekļa rāpuļprogrammas indeksē katru katra atbilstošā URL lapu, parasti koncentrējoties uz vietnēm, kas atbilst jūsu meklēšanas vaicājumiem. Piemēram, pieņemsim, ka meklējat noteiktu Windows kļūdu. Tīmekļa rāpuļprogramma jūsu meklētājprogrammā skenēs visus vietrāžus URL no vietnēm, kuras tā uzskata par autoritatīvākām saistībā ar Windows kļūdu tēmu.

instagram viewer

OpenAI tīmekļa rāpuļprogrammu sauc par GPTBot, un saskaņā ar OpenAI dokumentācija, GPTBot piekļuves piešķiršana jūsu vietnei var palīdzēt apmācīt AI modeli, lai tas kļūtu drošāks un precīzāks, un tas var pat palīdzēt paplašināt AI modeļa iespējas.

Kā neļaut OpenAI pārmeklēt jūsu vietni

Tāpat kā lielākajai daļai citu tīmekļa rāpuļprogrammu, GPTBot var bloķēt piekļuvi jūsu vietnei, mainot vietnes robots.txt protokols (pazīstams arī kā robotu izslēgšanas protokols). Šis .txt fails tiek mitināts vietnes serverī, un tas kontrolē tīmekļa rāpuļprogrammu un citu automatizētu programmu darbību jūsu vietnē.

Šeit ir īss saraksts ar to, kas robots.txt fails var darīt:

  • Tas var pilnībā bloķēt GPTBot piekļuvi vietnei.
  • Tas var bloķēt, lai GPTBot nevarētu piekļūt tikai noteiktām URL lapām.
  • Tas var pateikt GPTBot, kurām saitēm tas var sekot un kurām nevar.

Tālāk ir norādīts, kā kontrolēt, ko GPTBot var darīt jūsu vietnē.

Pilnībā bloķējiet GPTBot piekļuvi jūsu vietnei

  1. Iestatiet failu robot.txtun pēc tam rediģējiet to ar jebkuru teksta rediģēšanas rīku.
  2. Pievienojiet GPTBot savai vietnei robots.txt sekojoši: 
User-agent: GPTBot
Disallow: /

Bloķēt tikai noteiktām lapām, lai tās nevarētu piekļūt GPTBot

  1. Iestatiet robots.txt failu un pēc tam rediģējiet to ar vēlamo teksta rediģēšanas rīku.
  2. Pievienojiet GPTBot savai vietnei robots.txt sekojoši: 
User-agent: GPTBot
Allow: /directory-1/
Disallow: /directory-2/

Tomēr paturiet prātā, ka, mainot robots.txt fails nav retroaktīvs risinājums, un visa informācija, ko GPTBot, iespējams, jau ir apkopojusi no jūsu vietnes, nebūs atkopjama.

OpenAI ļauj vietņu īpašniekiem atteikties no rāpuļprogrammas izmantošanas

Kopš rāpuļprogrammas tiek izmantotas AI modeļu apmācīšanai, vietņu īpašnieki ir meklējuši veidus, kā saglabāt savus datus privātus.

Daži baidās, ka mākslīgā intelekta modeļi pamatā zog viņu darbu, pat mazāku vietņu apmeklējumu skaitu attiecinot uz faktu, ka tagad lietotāji iegūst informāciju, nekad neapmeklējot viņu vietnes.

Kopumā tas, vai vēlaties pilnībā bloķēt AI tērzēšanas robotus no jūsu vietņu skenēšanas, ir jūsu izvēle.