Koji AI botovi obilaze sajt i da li ih treba blokirati?
Objavljeno · Poslednja izmena · Piše i objavljuje Precise Search SEO, Leskovac.
AI botovi, u terminologiji ovog sajta obilazači, dele se u tri grupe prema svrsi: preuzimanje sadržaja za obuku modela, indeksiranje za pretragu unutar AI asistenta, i poseta pojedinačnom linku na zahtev korisnika. Blokada nije jedna odluka nego tri, jer svaka grupa nosi drugu posledicu — blokada agenta za pretragu uklanja mogućnost citiranja, blokada agenta za obuku ne.
Ova stranica razdvaja te tri svrhe, pokazuje kako se kontrolišu u robots.txt, i navodi šta se svakom odlukom dobija i gubi.
Zašto blokada nije jedna odluka?
Zato što isti sajt posećuju agenti sa tri različite svrhe, a posledica blokade nije ista. Obuka koristi sadržaj za treniranje modela i ne vraća posetu. Pretraga indeksira sadržaj da bi ga asistent mogao prikazati kao izvor. Poseta na zahtev korisnika otvara tačno onaj link koji je korisnik uneo.
- Obuka modela — sadržaj ulazi u trening, poseta se ne vraća. Blokadom se gubi korišćenje u obuci, ne i vidljivost.
- Pretraga u asistentu — sadržaj se indeksira da bi mogao biti prikazan kao izvor. Blokadom se gubi citat i poseta.
- Poseta na zahtev korisnika — otvara se tačno onaj link koji je korisnik uneo. Blokadom se gubi to da korisnik pročita stranicu koju je sam tražio.
Koji agenti imaju javnu dokumentaciju?
Tabela ispod navodi samo agente čije nazive objavljuje sama kompanija koja ih vodi. Tačan naziv i pravila ponašanja uvek se proveravaju kod izvora, jer se lista menja.
| Agent | Vodi ga | Svrha |
|---|---|---|
GPTBot | OpenAI | Obuka modela |
OAI-SearchBot | OpenAI | Pretraga u asistentu |
ChatGPT-User | OpenAI | Poseta na zahtev korisnika |
ClaudeBot | Anthropic | Obuka modela |
PerplexityBot | Perplexity | Pretraga u asistentu |
Google-Extended | Kontrola korišćenja u generativnim funkcijama | |
Applebot-Extended | Apple | Kontrola korišćenja u obuci |
Meta-ExternalAgent | Meta | Obuka modela |
Amazonbot | Amazon | Obuka i asistentski sistemi |
Claude-User | Anthropic | Poseta na zahtev korisnika |
Applebot | Apple | Obilazak za pretragu i asistentske sisteme |
BingBot | Microsoft | Obilazak za pretragu i asistentske sisteme |
Bytespider | ByteDance | Obuka modela |
CCBot | Common Crawl | Javna arhiva veba koju koriste treći za obuku |
DuckAssistBot | DuckDuckGo | Pretraga u asistentu |
Baiduspider | Baidu | Obilazak za pretragu i asistentske sisteme |
Poslednjih osam redova potvrđeno je zapisom na sopstvenim domenima u Cloudflare AI Crawl Control-u, , a ne prepisom sa tuđeg spiska. Tačan naziv i pravila ponašanja i dalje se proveravaju kod matične kompanije.
Zašto ova tabela nije potpuna: lista AI agenata se menja brže od bilo kog objavljenog spiska, a deo kompanija ne objavljuje naziv agenta. Ovde su navedeni samo agenti sa javnom dokumentacijom kod matične kompanije. Nazive koji kruže po sekundarnim izvorima ne prenosimo bez provere kod izvora — pogrešan naziv u robots.txt ne blokira ništa, a stvara utisak da jeste.
Google-Extended i Applebot-Extended nisu obilazači u istom smislu kao ostali. To su kontrolni nazivi kojima se upravlja korišćenjem sadržaja, dok obilazak za običnu pretragu ostaje na Googlebot, odnosno Applebot.
Ko zaista obilazi sajt — snimak sa dva domena
Na dva sopstvena projekta, u okviru jednog dana, AI obilazači su činili 1.164 zahteva na taxi.co.rs i 618 na leskovac.taxi. Najveći deo dolazi od OpenAI agenata. Najobilaženija putanja na taxi.co.rs je gradski cenovnik, a na leskovac.taxi korenska stranica.
| Kompanija | taxi.co.rs | leskovac.taxi |
|---|---|---|
| OpenAI | 485 | 155 |
| Microsoft | 220 | 127 |
| 103 | 70 | |
| ByteDance | 61 | 58 |
| Common Crawl | 39 | 9 |
| Meta | nije zabeleženo | 33 |
| Amazon | nije zabeleženo | 24 |
| Anthropic | 6 | 20 |
| Perplexity | 18 | 19 |
| Apple | 20 | 3 |
| DuckDuckGo | 0 | nije zabeleženo |
| Merenje | taxi.co.rs | leskovac.taxi |
|---|---|---|
| Ukupno zahteva | 1.164 | 618 |
| Dozvoljeno | 961 | 520 |
| Neuspešno | 203 | 98 |
| Odgovor HTTP 200 | 786 | 444 |
| Zahtevi agenta ChatGPT-User | 402 | 98 |
| Najobilaženija putanja | /cenovnik/, 83 uspešna zahteva | /, 56 uspešnih zahteva |
Šta je ovde vredno primetiti
Na taxi.co.rs najobilaženija putanja je cenovnik. To je isti tip stranice koji u Search Console-u ima najviši udeo prikaza u AI funkcijama. Dva nezavisna izvora, koji mere dva različita događaja, pokazuju isti obrazac.
Cenovnik je stranica čiji je glavni sadržaj tabela tarifa. Ista osobina koja je čini izvlačivom u odgovoru čini je i češćim odredištem obilaska. Na leskovac.taxi, gde primarni kanal nije sajt, najobilaženija putanja je korenska, a ne cenovnik.
Šta ovaj snimak jeste, a šta nije: reč je o jednom danu, ne o proseku ni o trendu. Obilazak je neravnomeran po prirodi, pa se dnevni zbir ne uzima kao karakterističan obim — zato se promena u odnosu na prethodni dan ovde ne navodi. Obilazak i citat su dva odvojena događaja i ne postoji izveštaj koji ih povezuje: zapisi pokazuju da je stranica preuzeta, ne da je upotrebljena u odgovoru. Podaci iz Cloudflare-a i podaci iz Search Console-a nemaju istu definiciju događaja i ne sabiraju se.
Izvor: Cloudflare AI Crawl Control, nalozi u vlasništvu autora, taxi.co.rs i leskovac.taxi, prozor od 24 sata, očitano . Kompanije bez zabeleženih zahteva na jednom domenu označene su kao „nije zabeleženo", što znači da se u tom prozoru nisu pojavile, a ne da su blokirane.
Kako se agenti kontrolišu u robots.txt?
Pravilo se piše po agentu, sa User-agent i Disallow. Prazan Disallow znači da je sve dozvoljeno, a Disallow: / zabranjuje ceo sajt tom agentu.
Primer koji odgovara sajtu kome je cilj vidljivost, a koji ne želi da sadržaj ulazi u obuku modela:
| Odluka | Zapis | Posledica |
|---|---|---|
| Zabrani obuku | User-agent: GPTBot · Disallow: / | Sadržaj ne ulazi u trening, vidljivost ostaje |
| Dozvoli pretragu | User-agent: OAI-SearchBot · Disallow: | Sajt može biti prikazan kao izvor |
| Dozvoli posetu na zahtev | User-agent: ChatGPT-User · Disallow: | Korisnik može otvoriti stranicu kroz asistenta |
Isti obrazac primenjuje se na svakog agenta iz tabele iznad, prema tome u koju svrhu spada. Pravila se pišu odvojeno po agentu — jedan blok ne pokriva više naziva osim ako su izričito navedeni.
Provera pre objave: pogrešno napisan naziv agenta ne izaziva grešku ni upozorenje. Pravilo prosto nikada ne stupa na snagu, a vlasnik sajta veruje da jeste. Zato se svaki naziv prepisuje sa stranice matične kompanije, a ne iz tuđeg spiska.
Šta se blokadom gubi?
Blokadom agenta za pretragu gubi se mogućnost da sajt bude naveden kao izvor u odgovoru asistenta, a time i poseta koja bi iz tog navođenja stigla. Blokadom agenta za obuku ne gubi se vidljivost, ali se ne dobija ni merljiva korist.
| Odluka | Dobija se | Gubi se |
|---|---|---|
| Blokada obuke | Sadržaj ne ulazi u trening modela | Ništa merljivo u vidljivosti |
| Blokada pretrage | Sadržaj se ne pojavljuje u asistentu | Citat, poseta i prisustvo kod konkurencije koja nije blokirala |
| Blokada posete na zahtev | Sadržaj se ne čita kroz asistenta | Korisnik koji je izričito tražio baš tvoju stranicu |
| Bez blokade | Puna mogućnost citiranja | Kontrola nad korišćenjem u obuci |
Odluka zavisi od toga šta je proizvod. Ako je sadržaj sredstvo za dolazak do posla, blokada pretrage radi protiv cilja. Ako je sadržaj sam proizvod koji se naplaćuje, obrnuto.
Šta se ovde ne tvrdi: nemamo merenje koje pokazuje efekat blokade na saobraćaj. Tabela iznad opisuje posledice po funkciji agenta, a ne izmerene ishode. Svaka procena isplativosti blokade zahteva sopstvene podatke pre i posle, a i tada ostaje procena jer se okruženje menja nezavisno.
Kako se proverava ko je zaista posetio sajt?
Naziv agenta se lako lažira, pa sam zapis u logu nije dokaz. Poseta se potvrđuje poređenjem IP adrese sa opsezima koje kompanija objavljuje, ili obrnutim DNS upitom gde je podržan.
- Iz zapisa servera ili CDN-a izdvoj zahteve po nazivu agenta.
- Za svaki naziv uzmi IP adrese i uporedi ih sa objavljenim opsezima matične kompanije.
- Zahteve koji ne prolaze proveru vodi odvojeno — to nije taj agent.
- Prati učestalost po danu, ne po pojedinačnoj poseti.
Zapisi pokazuju da je stranica preuzeta. Ne pokazuju da je upotrebljena u odgovoru. Obilazak i citat su dva odvojena događaja i ne postoji izveštaj koji ih povezuje — o tome šta se u AI pretrazi uopšte može izmeriti stoji na stranici o AI SEO-u u Srbiji, a o čitanju izveštaja na stranici o AI prikazima u Search Console-u.
Česta pitanja o AI botovima
Da li blokada AI obilazača šteti običnom rangiranju?
Zavisi od toga koji se agent blokira. Postoje agenti namenjeni obuci modela i agenti namenjeni pretrazi. Blokada agenta za obuku ne dira obilazak za običnu pretragu; blokada agenta za pretragu uklanja mogućnost da izvor bude prikazan i citiran.
Da li svi AI obilazači poštuju robots.txt?
Objavljeni obilazači velikih kompanija navode da poštuju robots.txt. Za agente bez javne dokumentacije to se ne može pretpostaviti, pa se kontrola sprovodi na nivou servera ili CDN-a, ne samo kroz robots.txt.
Kako se proverava koji obilazač je zaista posetio sajt?
Naziv agenta se lako lažira, pa se poseta potvrđuje proverom IP opsega koje kompanija objavljuje, ili obrnutim DNS upitom gde je to podržano. Bez te provere zapis o poseti nije dokaz.
Da li poseta obilazača znači da će sajt biti citiran?
Ne. Obilazak i citat su dva odvojena događaja i ne postoji izveštaj koji ih povezuje. Iz zapisa se vidi da je stranica preuzeta, ne da je upotrebljena u odgovoru.
Šta je razuman podrazumevani izbor?
Za sajt kome je cilj vidljivost razuman podrazumevani izbor je pustiti agente za pretragu i posetu na zahtev korisnika, a odluku o agentima za obuku doneti prema vrednosti sadržaja. Za sajt čiji je sadržaj sam proizvod odluka je obrnuta.
Primarni izvori
- OpenAI — dokumentacija o obilazačima
- Google Search Central — pregled Google obilazača
- Google Search Central — AI features and your website
Nazive agenata proveravaj kod matične kompanije pre svake izmene robots.txt fajla. Spiskovi na sekundarnim izvorima često sadrže nazive koji nikada nisu objavljeni.
Ovaj vodič je metod. Kako se sprovodi na konkretnom sajtu, uz cenu i rok, pokazuje semantički SEO audit.
Ne znaš ko ti obilazi sajt?
Pošalji URL i pristup zapisima ili CDN izveštaju.