Boty AI i robots.txt: czym różnią się GPTBot, OAI-SearchBot, ClaudeBot i Google-Extended, kiedy je blokować i jak to zrobić w robots.txt oraz .htaccess.
Autor: McProdukt · Opublikowano:
GPTBot zbiera treści, które mogą posłużyć do trenowania modeli OpenAI, a strony w wynikach wyszukiwania ChatGPT pokazuje osobny bot - OAI-SearchBot. Zablokowanie GPTBot w pliku robots.txt nie usuwa strony z wyszukiwania ChatGPT. Robots.txt to plik w katalogu głównym domeny, w którym każdego bota ustawisz osobno - ale to prośba, nie zabezpieczenie. Niżej tabele, gotowe pliki i blokada w .htaccess.
W skrócie:
Plik robots.txt to zwykły plik tekstowy pod adresem twojadomena.pl/robots.txt, w którym właściciel strony prosi roboty o pomijanie wybranych adresów. Zasady opisuje standard RFC 9309 (Robots Exclusion Protocol) z września 2022 r. Plik musi nazywać się robots.txt (małymi literami), leżeć w głównym katalogu serwisu i być zapisany jako zwykły tekst w kodowaniu UTF-8.
Robot stosuje grupę reguł ze swoją nazwą (np. GPTBot - wielkość liter nie ma znaczenia), a gdy jej nie ma - grupę User-agent: *. Gdy brakuje obu, żadne reguły go nie dotyczą.
Według RFC 9309 reguły robots.txt nie są formą autoryzacji dostępu i nie zastępują zabezpieczeń treści. Robot zgodny ze standardem się do nich zastosuje, ale technicznie nic go do tego nie zmusza.
Na hostingu z panelem DirectAdmin plik wgrywasz do katalogu domains/twojadomena.pl/public_html, a każda subdomena potrzebuje osobnego pliku. Jeśli pod adresem /robots.txt widzisz treść, choć pliku nie wgrywałeś, generuje ją system strony (np. WordPress) albo wtyczka SEO.
| Dyrektywa | Co robi | Przykład |
|---|---|---|
User-agent | Wskazuje robota, którego dotyczą reguły; * to wszystkie roboty bez własnej grupy. Kilka linii User-agent nad regułami tworzy jedną grupę. | User-agent: GPTBot |
Disallow | Prosi o pomijanie adresów zaczynających się od podanej ścieżki; / oznacza całą stronę. | Disallow: /wp-admin/ |
Allow | Zezwala na ścieżkę w zablokowanym katalogu; wygrywa dłuższe dopasowanie, a przy remisie - Allow. | Allow: /wp-admin/admin-ajax.php |
* i $ | Gwiazdka to dowolny ciąg znaków, dolar - koniec adresu. | Disallow: /*.pdf$ |
# | Komentarz do końca linii, roboty go pomijają. | # bez trenowania AI |
Sitemap | Pełny adres mapy strony - rekord spoza protokołu, który RFC 9309 podaje jako przykład. | Sitemap: https://twojadomena.pl/sitemap.xml |
Crawl-delay | Niestandardowa prośba o wolniejsze pobieranie; obsługę deklaruje np. Anthropic, ale nie każdy robot. | Crawl-delay: 1 |
Boty AI dzielą się na trzy grupy: zbierające treści do trenowania modeli, indeksujące strony dla wyszukiwarek w czatach i pobierające stronę wtedy, gdy użytkownik zada pytanie. Perplexity deklaruje, że PerplexityBot nie zbiera treści do trenowania modeli. Zestawienie według dokumentacji tych firm (stan na październik 2026):
| User-agent | Firma | Do czego służy | Co zmienia zablokowanie w robots.txt |
|---|---|---|---|
GPTBot | OpenAI | Zbiera treści, które mogą posłużyć do trenowania modeli AI | Treści nie mają trafiać do trenowania; wyszukiwanie w ChatGPT bez zmian |
OAI-SearchBot | OpenAI | Pokazuje strony w wynikach wyszukiwania w ChatGPT | Strona nie pojawi się w odpowiedziach wyszukiwania ChatGPT (może zostać link nawigacyjny) |
ChatGPT-User | OpenAI | Wchodzi na stronę, gdy pyta o nią użytkownik ChatGPT lub Custom GPT | Reguły robots.txt mogą nie mieć zastosowania |
ClaudeBot | Anthropic | Zbiera treści, które mogą posłużyć do trenowania modeli AI | Przyszłe materiały strony mają być wyłączone z danych treningowych |
Claude-SearchBot | Anthropic | Indeksuje strony, by poprawić wyniki wyszukiwania w Claude | Treść nie zostanie zindeksowana; może spaść widoczność w wynikach |
Claude-User | Anthropic | Pobiera stronę, gdy pyta o nią użytkownik Claude | Claude nie pobierze treści w odpowiedzi; może spaść widoczność |
PerplexityBot | Perplexity | Pokazuje i linkuje strony w wynikach Perplexity; nie służy do trenowania | Perplexity zaleca wpuszczenie go, jeśli chcesz być w wynikach |
Perplexity-User | Perplexity | Wchodzi na stronę, gdy pyta użytkownik, i może podać do niej link w odpowiedzi | Niewiele - według Perplexity zasadniczo ignoruje robots.txt |
Google-Extended | Token bez osobnego robota: trening modeli Gemini i grounding (aplikacje Gemini, Vertex AI) | Treści nie posłużą do tych celów; wyszukiwarka i ranking bez zmian | |
Googlebot | Wyszukiwarka Google ze wszystkimi funkcjami, także AI Overviews i trybem AI | Google przestaje pobierać stronę dla wyszukiwarki - blokuj tylko wybrane katalogi |
Ustawienia są niezależne - OpenAI pisze wprost, że możesz wpuścić OAI-SearchBot i jednocześnie zablokować GPTBot. Robots.txt mogą pomijać boty OpenAI i Perplexity działające na prośbę użytkownika, a Anthropic deklaruje, że jego boty go respektują.
Nie. Blokada GPTBot to sygnał, że treści strony nie mają trafiać do trenowania modeli OpenAI, a o obecności w wyszukiwaniu ChatGPT decyduje OAI-SearchBot. Jeśli zablokujesz OAI-SearchBot, strona według OpenAI nie pojawi się w odpowiedziach wyszukiwania ChatGPT, choć może zostać jako link nawigacyjny.
ChatGPT-User wchodzi na stronę na prośbę użytkownika ChatGPT albo Custom GPT i - jak zaznacza OpenAI - nie decyduje o tym, co pojawia się w wyszukiwaniu. Jak działa sam ChatGPT, wyjaśniamy we wpisie co to jest ChatGPT i jak działa.
Według dokumentacji Google - nie. Funkcje AI (AI Overviews i tryb AI) Google traktuje jako część wyszukiwarki, do której dostęp regulują reguły robots.txt dla Googlebota, a Google-Extended nie wpływa na obecność strony w wyszukiwarce Google ani na ranking.
Google-Extended decyduje, czy treści pobrane przez Google mogą posłużyć do trenowania przyszłych modeli Gemini i do groundingu, czyli podawania modelowi treści z indeksu wyszukiwarki w chwili odpowiedzi (aplikacje Gemini, Vertex AI). Nie ma osobnego user-agenta w zapytaniach HTTP - Google pobiera strony zwykłymi robotami - więc ustawisz go tylko w robots.txt, nie w .htaccess.
Żeby strona mogła być linkiem źródłowym w AI Overviews albo trybie AI, musi być zaindeksowana i móc wyświetlać się w wyszukiwarce z fragmentem opisu. Ograniczyć to, co Google pokazuje, pozwalają znaczniki nosnippet, data-nosnippet, max-snippet i noindex - ale działają na całą wyszukiwarkę, nie tylko na funkcje AI. Jak pisać, żeby AI w Google cytowało stronę, opisujemy w tekście Google AI Mode w Polsce - jak nie stracić ruchu.
Decyzja zależy od celu: widoczności w odpowiedziach AI, ochrony płatnych treści albo odciążenia serwera. Każdy cel prowadzi do innych ustawień:
Uczciwie o kosztach: każda blokada botów wyszukiwania AI zmniejsza szansę, że asystent zacytuje Twoją stronę albo poda do niej link. Jeśli dopiero budujesz widoczność, zacznij od podstaw z poradnika SEO dla początkujących.
Wybierz jeden z trzech wariantów, zamień twojadomena.pl na swój adres i zapisz plik jako robots.txt w kodowaniu UTF-8. W każdym z nich Googlebot i inne roboty bez własnej grupy mogą pobierać całą stronę.
# Wszystkie roboty mogą pobierać całą stronę
User-agent: *
Allow: /
Sitemap: https://twojadomena.pl/sitemap.xmlUstawienie dla firmy, której zależy na widoczności w Google i w asystentach AI. Pusty plik albo jego brak (kod 404) daje według RFC 9309 podobny efekt.
# Bez trenowania modeli AI
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
Disallow: /
# Pozostałe roboty, także wyszukiwarki AI
User-agent: *
Allow: /
Sitemap: https://twojadomena.pl/sitemap.xmlTrzy linie User-agent nad jedną regułą to według RFC 9309 jedna grupa: boty treningowe dostają zakaz, a boty wyszukiwania AI i działające na prośbę użytkownika korzystają z grupy *.
# Boty AI: trening, wyszukiwanie i wizyty na prośbę
User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: ClaudeBot
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Google-Extended
Disallow: /Googlebot nie pasuje do tej grupy, a w pliku nie ma grupy *, więc zgodnie z RFC 9309 żadna reguła go nie ogranicza. Cena jest wysoka: według OpenAI strona nie pojawi się w wyszukiwaniu ChatGPT, a Anthropic uprzedza o mniejszej widoczności w wynikach Claude. ChatGPT-User i Perplexity-User mogą przy tym wpis pominąć.
Zablokuj je po stronie serwera - regułą w pliku .htaccess, która odrzuca zapytania z wybraną nazwą w nagłówku User-Agent. Na serwerach McProdukt (OpenLiteSpeed) sprawdziliśmy ją 17.10.2026: boty z listy dostają odpowiedź 403, a zwykłe przeglądarki - normalną stronę z kodem 200. Wklej regułę na początku pliku .htaccess w public_html, przed regułami WordPressa:
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (GPTBot|Bytespider) [NC]
RewriteRule .* - [F,L]W nawiasie wpisujesz nazwy botów oddzielone kreską pionową, np. ChatGPT-User|Perplexity-User; flaga [NC] wyłącza rozróżnianie wielkości liter. Reguła odcina botowi także plik robots.txt, więc stosuj ją przede wszystkim wobec robotów, które ten plik pomijają. OpenLiteSpeed nie obsługuje za to w .htaccess dyrektyw Deny from, Allow from ani Require - więcej o tym w poradniku .htaccess w praktyce.
Uczciwie: nagłówek User-Agent ustawia sam program wysyłający zapytanie, więc bot podszywający się pod przeglądarkę przejdzie przez taką regułę. Dlatego OpenAI i Perplexity publikują adresy IP swoich botów - po nich sprawdzisz, czy GPTBot to naprawdę OpenAI. Anthropic z kolei ostrzega, że blokowanie jego adresów IP może nie działać poprawnie, bo utrudnia botom odczytanie robots.txt.
Zapora WAF, np. ModSecurity z regułami OWASP CRS, chroni serwer przed atakami, ale nie służy do wybierania, którym botom AI pozwalasz czytać stronę. Zabezpieczenia hostingu opisujemy na stronie bezpieczeństwo hostingu.
Tak - każde zapytanie bota zużywa zasoby konta tak samo jak wizyta człowieka. Na hostingu McProdukt ruch botów liczy się do limitów konta, a ich przekroczenie kończy się błędem 508 - przyczyny i naprawę opisujemy we wpisie błąd 508 Resource Limit Is Reached.
Najbardziej obciążają adresy spoza pamięci podręcznej: wyniki wyszukiwarki, filtry sklepu, kombinacje parametrów - je warto wyłączyć w robots.txt dla wszystkich robotów. Co oznaczają poszczególne limity, wyjaśniamy w tekście limity hostingu - inody, procesy, pamięć, a wartości dla pakietów są w tabeli na stronie hostingu.
Uciążliwego bota rozpoznasz po user-agencie w logu dostępu serwera. Nie przesadzaj jednak z blokadami: Google w poradach o funkcjach AI zaleca, by pobieranie strony było dozwolone w robots.txt oraz przez CDN i infrastrukturę hostingu. Jeśli korzystasz z CDN, sprawdź też jego ustawienia dla botów.
Nie jest potrzebny do funkcji AI w wyszukiwarce Google i nie zastępuje robots.txt. llms.txt to propozycja dodatkowego pliku w katalogu głównym strony, w którym w formacie Markdown opisujesz serwis i wskazujesz najważniejsze podstrony dla modeli i agentów AI. Nie jest standardem jak RFC 9309 i niczego nie blokuje.
Google pisze wprost, że do AI Overviews i trybu AI nie musisz tworzyć nowych plików czytelnych maszynowo, plików tekstowych dla AI ani specjalnych znaczników. OpenAI, Anthropic i Perplexity sterowanie swoimi botami opisują z kolei przez robots.txt. Plik llms.txt możesz dodać, ale sam niczego nie zmieni - liczą się treści, które da się zacytować.
Otwórz plik w przeglądarce, sprawdź kod odpowiedzi serwera i raport w Google Search Console. Po kolei:
Na hostingu McProdukt robots.txt i .htaccess edytujesz sam w katalogu public_html domeny, a serwer nie narzuca z góry, które boty AI mogą czytać stronę. Każdy pakiet przetestujesz bezpłatnie przez 14 dni, a stronę od obecnego dostawcy przeniesiemy za Ciebie w ramach bezpłatnej migracji.
Dopisz do robots.txt grupę dla GPTBot (trening modeli) i OAI-SearchBot (wyszukiwanie w ChatGPT) z regułą Disallow: /. ChatGPT-User, który wchodzi na stronę na prośbę użytkownika, według OpenAI może nie stosować się do robots.txt - zatrzymasz go regułą w pliku .htaccess.
ClaudeBot to robot firmy Anthropic, który zbiera treści z sieci mogące posłużyć do trenowania jej modeli AI. Zablokowanie go w robots.txt to sygnał, że przyszłe materiały strony mają być wyłączone z danych treningowych; wyszukiwaniem i wizytami na prośbę użytkownika zajmują się osobne boty - Claude-SearchBot i Claude-User.
Blokada GPTBot, ClaudeBot czy PerplexityBot nie dotyczy Googlebota, bo robot stosuje grupę ze swoją nazwą albo grupę *, a nie reguły zapisane dla innych botów. Google-Extended według Google również nie wpływa na obecność strony w wyszukiwarce ani na ranking.
Do głównego katalogu domeny - w panelu DirectAdmin to domains/twojadomena.pl/public_html, a plik będzie dostępny pod adresem twojadomena.pl/robots.txt. Każda subdomena potrzebuje osobnego pliku robots.txt.
Zwykle w ciągu doby. RFC 9309 zaleca, by roboty nie korzystały z zapisanej kopii pliku dłużej niż 24 godziny, OpenAI podaje około 24 godzin dla wyszukiwania w ChatGPT, a Perplexity - do 24 godzin.
Nie. Według RFC 9309 reguły robots.txt nie są formą autoryzacji dostępu i nie zastępują zabezpieczeń - to prośba, którą spełniają boty przestrzegające standardu. Treści, których nikt nie powinien pobrać, trzymaj za logowaniem, a uparte boty blokuj po stronie serwera.
Wszystkie poradniki z kategorii: Firma w internecie