Как да блокирате роботите на OpenAI от изтриване на вашия уебсайт

Как да блокирате роботите на OpenAI от изтриване на вашия уебсайт
Читатели като вас помагат в подкрепа на MUO. Когато правите покупка чрез връзки на нашия сайт, ние може да спечелим комисионна за партньор. Прочетете още.

Докато потребителите обичат ChatGPT заради огромното количество информация, която в момента съдържа, същото не може да се каже за собствениците на уебсайтове.





MUO Видео на деня ПРЕВЪРТЕТЕ, ЗА ДА ПРОДЪЛЖИТЕ СЪС СЪДЪРЖАНИЕТО

ChatGPT на OpenAI използва роботи за сканиране на уебсайтове, но ако сте собственик на уебсайт и не искате роботът на OpenAI да има достъп до уебсайта ви, ето няколко неща, които можете да направите, за да предотвратите това.





Как работи OpenAI обхождането?

А уеб робот (известен също като паяк или бот на търсачка) е автоматизирана програма, която сканира интернет за информация. След това компилира тази информация по начин, който е лесен за вашата търсачка за достъп до нея.





Уеб роботите индексират всяка страница от всеки подходящ URL адрес, като обикновено се фокусират върху уебсайтове, които са по-подходящи за вашите заявки за търсене. Например, да приемем, че търсите в Google определена грешка на Windows. Уеб роботът във вашата търсачка ще сканира всички URL адреси от уебсайтове, които смята за по-авторитетни по темата за грешки в Windows.

Уеб роботът на OpenAI се нарича GPTBot и според Документация на OpenAI , предоставянето на GPTBot достъп до вашия уебсайт може да помогне за обучението на AI модела да стане по-безопасен и по-точен и дори може да помогне за разширяване на възможностите на AI модела.



google mini не се свързва с wifi

Как да попречите на OpenAI да обхожда вашия уебсайт

Подобно на повечето други уеб роботи, GPTBot може да бъде блокиран от достъп до вашия уебсайт чрез промяна на robots.txt протокол (известен също като протокол за изключване на роботи). Този .txt файл се хоства на сървъра на уебсайта и контролира как уеб роботите и другите автоматизирани програми се държат на вашия уебсайт.

Ето кратък списък на това, което robot.txt файл може да направи:





  • Може напълно да блокира достъпа на GPTBot до уебсайта.
  • Може да блокира само определени страници от URL от достъп от GPTBot.
  • Той може да каже на GPTBot кои връзки може да следва и кои не.

Ето как да контролирате какво може да прави GPTBot на вашия уебсайт:

Напълно блокирайте достъпа на GPTBot до вашия уебсайт

  1. Настройте файла robot.txt и след това го редактирайте с който и да е инструмент за редактиране на текст.
  2. Добавете GPTBot към вашия сайт robots.txt както следва:
 User-agent: GPTBot 
Disallow: /

Блокирайте само определени страници от достъп от GPTBot

  1. Настройте robot.txt файл и след това го редактирайте с предпочитания от вас инструмент за редактиране на текст.
  2. Добавете GPTBot към вашия сайт robots.txt както следва:
 User-agent: GPTBot 
Allow: /directory-1/
Disallow: /directory-2/

Имайте предвид обаче, че промяната на robot.txt файл не е решение със задна дата и всяка информация, която GPTBot може вече да е събрал от вашия уебсайт, няма да може да бъде възстановена.





Windows 10 диск 100 през цялото време

OpenAI позволява на собствениците на уебсайтове да се откажат от обхождане

Откакто роботите се използват за обучение на AI модели, собствениците на уебсайтове търсят начини да запазят данните си поверителни.

Някои се страхуват, че AI моделите на практика крадат работата им, като дори приписват по-малко посещения на уебсайтове на факта, че сега потребителите получават информацията си, без изобщо да се налага да посещават уебсайтовете им.

Като цяло, дали искате напълно да блокирате чатботовете с изкуствен интелект да сканират уебсайтовете ви, е изцяло ваш избор.