Sprawdź, czy crawlery AI mogą dotrzeć do Twojej strony i przeczytać, co na niej jest.
Dostęp crawlerów w Proofsource sprawdza dwie rzeczy, od których zależy, czy AI może uczyć się z twojej witryny: czy GPTBot, ClaudeBot, PerplexityBot i inne crawlery AI są wpuszczane i faktycznie obsługiwane oraz czy strona, którą dostają, zawiera twoje słowa, czy pustą skorupę JavaScript.
| Crawler | robots.txt | Odpowiedź serwera |
|---|---|---|
| GPTBot (trenowanie OpenAI) | Dozwolony | Odrzucono (403) |
| OAI-SearchBot (wyszukiwanie ChatGPT) | Dozwolony | Obsłużono (200) |
| ChatGPT-User (przeglądanie w ChatGPT) | Dozwolony | Obsłużono (200) |
| ClaudeBot (Anthropic) | Dozwolony | Odrzucono (403) |
| PerplexityBot (Perplexity) | Dozwolony | Obsłużono (200) |
Werdykt dla każdego crawlera AI w Twoim robots.txt.
Proofsource czyta twój robots.txt i wydaje werdykt dla dziesięciu crawlerów AI. Wiedza o tym, który crawler co robi, ma znaczenie: OAI-SearchBot i PerplexityBot pobierają strony do odpowiedzi na żywo, a GPTBot i Google-Extended dotyczą danych treningowych, więc możesz zablokować trening, nie znikając z wyszukiwania AI.
- GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, PerplexityBot, Google-Extended, Applebot-Extended, CCBot i Bytespider
- Dozwolony lub niedozwolony, a gdy pliku nie da się odczytać – nieustalony, nigdy zgadywany
- Google-Extended to token robots.txt, a nie osobny crawler, i tak jest sprawdzany
| Token | Zastosowanie | Werdykt |
|---|---|---|
| GPTBot | Trenowanie modeli OpenAI | Zablokowane |
| OAI-SearchBot | Wyniki wyszukiwania ChatGPT | Dozwolony |
| ClaudeBot | Crawlowanie przez Anthropic | Dozwolony |
| PerplexityBot | Odpowiedzi Perplexity | Dozwolony |
| Google-Extended | Trenowanie Gemini i Vertex AI | Zablokowane |
robots.txt to prośba. To serwer decyduje, kto wchodzi.
Witryna może zezwalać GPTBot w robots.txt i mimo to odpowiadać mu kodem 403 z firewalla botów w CDN. Proofsource pobiera Twoją stronę główną jako GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot i PerplexityBot i zapisuje, co faktycznie zwrócił serwer. Sam checker robots.txt pokazałby każdego z nich jako dopuszczonego.
- Obsłużono, odrzucono lub niejasne, dla każdego crawlera
- Kod statusu, który otrzymał każdy crawler
- Wyłapuje blokady CDN i firewalla, których nie widać w sprawdzeniu robots.txt
GET / jako GPTBot → 403 Your request was blocked.
Przyczyną było ustawienie botów w CDN, a nie robots.txt. Samo narzędzie do sprawdzania robots.txt pokazałoby, że wszystkie crawlery mają dostęp.
Zobacz, ile z twojej strony bot naprawdę potrafi przeczytać.
Wiele crawlerów AI czyta surowy HTML i nie uruchamia JavaScriptu. Proofsource porównuje słowa, które renderuje przeglądarka, ze słowami w surowym HTML. Strona renderowana po stronie klienta może pokazywać tysiące słów w przeglądarce i kilkadziesiąt botowi. Jeśli Twoje treści pojawiają się dopiero po uruchomieniu JavaScriptu, większość crawlerów AI nigdy ich nie zobaczy.
- Słowa po wyrenderowaniu a słowa w surowym HTML-u, dla każdej strony
- Oznacza strony bez treści, bez H1 lub bez linków możliwych do przeszukania
- Sprawdź ponownie po wdrożeniu renderowania po stronie serwera lub prerenderingu
| Sprawdź | Wynik |
|---|---|
| Tekst w HTML-u | Brak |
| H1 w HTML | Brak |
| Linki, za którymi crawler może podążać | Nie znaleziono |
Jeśli AI nie może cię przeczytać, nie może cię polecić.
Znajdź ciche blokady
Ustawienia botów w CDN mogą odprawiać crawlery AI tak, że nikt w Twoim zespole tego nie zauważy. Pokazuje to sprawdzenie serwera.
Spraw, by Twoje słowa były widoczne
Strona renderowana wyłącznie w JavaScripcie jest dla większości crawlerów AI niemal pusta. Test renderowania mierzy, jak bardzo.
Zablokuj trening, zachowaj wyszukiwanie
Werdykt dla każdego crawlera pokazuje dokładnie, które systemy AI wpuszczasz, więc blokada treningu to wybór, a nie przypadek.
Pytania kupujących
Jak sprawdzić, czy GPTBot ma dostęp do mojej strony?
Sprawdź dwie rzeczy. Po pierwsze robots.txt: nie powinien blokować GPTBot. Po drugie serwer: wyślij żądanie strony z user agentem GPTBot i upewnij się, że dostajesz 200, a nie 403 z CDN lub firewalla. Proofsource wykonuje oba sprawdzenia i dodatkowo potwierdza, że strona zawiera czytelny tekst.
Czym różni się GPTBot od OAI-SearchBot?
GPTBot zbiera treści, które mogą posłużyć do trenowania modeli OpenAI. OAI-SearchBot pobiera strony do wyników wyszukiwania ChatGPT, a ChatGPT-User pobiera stronę, gdy potrzebuje jej rozmowa użytkownika. Zablokowanie GPTBot nie usuwa Cię z wyszukiwania ChatGPT, ale zablokowanie OAI-SearchBot już tak.
Czym jest Google-Extended?
Google-Extended to token robots.txt, a nie osobny crawler. Zablokowanie go mówi Google, by nie używało Twoich treści do trenowania modeli Gemini i Vertex AI. Nie wpływa na wyszukiwarkę Google.
Czy crawlery AI czytają strony oparte na JavaScript?
Wiele nie potrafi. Kilka crawlerów AI czyta tylko surowy HTML zwracany przez serwer i nie uruchamia JavaScriptu, więc strona renderowana po stronie klienta może wyglądać dla nich na prawie pustą. Renderowanie po stronie serwera lub prerendering umieszcza tekst w HTML, gdzie każdy crawler może go przeczytać.
Dlaczego moja witryna mogłaby blokować crawlery AI bez mojej wiedzy?
Dostawcy CDN i zabezpieczeń oferują ustawienia blokowania botów, a niektórzy blokują crawlery trenujące AI domyślnie lub jednym przełącznikiem. Blokada działa na serwerze, więc robots.txt nadal mówi, że crawler ma dostęp. Pokaże to dopiero żądanie wysłane jako ten crawler.
Czy mogę bezpłatnie wypróbować Proofsource?
Tak. 200 odpowiedzi. 25 Prompts/pytanie. Najlepsze silniki AI. 2 dni. Za darmo. 25 pytań kupujących w ChatGPT, Perplexity, Claude i Google AI Overviews, dziś i jutro. Bez karty. Po drugim skanie skanowanie się wstrzymuje, a twoje odpowiedzi zostają na koncie.
Ile kosztuje Proofsource?
Jeden cennik dla wszystkich: plany od 9 USD miesięcznie (5 pytań w ChatGPT, co tydzień). Każda marka płaci opłatę za codziennie (28 USD za markę miesięcznie) lub co tydzień (7 USD), plus każde pytanie w każdym wybranym silniku. Bez limitu członków zespołu w każdym planie. Bez opłat za przekroczenia.
Więcej z platformy
Ask Proof
Asystent, który odpowiada na pytania o Twoją widoczność w AI na podstawie Twoich własnych danych i pokazuje zapytania stojące za każdą liczbą.Poznaj Ask Proof
Widoczność w AI
Wskaźnik wzmianek, udział w rozmowie i średnia pozycja w każdym silniku AI, z 95-procentowym przedziałem Wilsona przy każdej liczbie.Poznaj Widoczność w AI
Prompts
Obserwowane pytania kupujących, pogrupowane według tematu, oznaczone jako z nazwą marki lub bez, uszeregowane według popytu w wyszukiwarce, z wyszukiwaniami, które wykonuje każdy silnik.Poznaj Prompts
Upewnij się, że AI może Cię przeczytać.
Sprawdź, czy AI wymienia twoją markę, kogo wymienia zamiast niej i co naprawić. 200 odpowiedzi. 25 Prompts/pytanie. Najlepsze silniki AI. 2 dni. Za darmo. Bez karty · bez rozmowy handlowej.
Google AI OverviewsGoogle AI Mode
