Botid kodulehel: kuidas neid tuvastada, millised blokeerida ja kuidas Cloudflare aitab?

Kõik kodulehe külastajad ei ole inimesed. Veebilehti külastavad pidevalt otsingumootorite robotid, monitooringuteenused, AI crawlerid ja muud automatiseeritud programmid. Osa neist aitab lehte otsingus nähtavaks teha või selle töökindlust kontrollida. Teised võivad kopeerida sisu, koormata serverit, spämmida vorme või proovida kasutajakontode paroole.

Seetõttu ei ole mõistlik kõiki botte kodulehel pimesi blokeerida. Googlebot on vajalik Google’i indekseerimiseks ning OAI-SearchBot aitab veebilehe sisul ChatGPT otsingutulemustes nähtavaks saada. Õige lähenemine on tuvastada liikluse eesmärk, kontrollida selle usaldusväärsust ja valida alles siis sobiv tegevus: lubamine, jälgimine, päringusageduse piiramine, kontrollküsimus või blokeerimine.

Cloudflare annab selleks mitu tööriista alates liikluse analüüsist ja Bot Fight Mode’ist kuni WAF-i, rate limiting’u ning AI Crawl Controlini. Seadistus peab siiski lähtuma konkreetsest veebilehest, sest liiga agressiivne kaitse võib takistada ka vajalikke otsingu-, makse-, API- või monitooringuteenuseid.

Mis on bot ehk veebirobot?

Bot ehk veebirobot on programm, mis teeb veebis automaatselt päringuid. Bot võib avada lehti, laadida andmeid, täita vorme, kontrollida teenuse tööd või suhelda API-ga palju kiiremini ja järjepidevamalt kui inimene.

Sõna „bot” ei tähenda automaatselt ründajat. Automatiseeritud liiklust tekitavad näiteks:

• otsingumootorite crawlerid, mis indekseerivad veebilehti
• AI crawlerid, mis koguvad infot otsingu või mudelite arendamise jaoks
• uptime’i ja monitooringu robotid, mis kontrollivad lehe töökindlust
• hinnavõrdlus- ja sisu koguvad scraper’id
• spämmibotid, mis täidavad kontaktivorme
• brute-force’i ja credential stuffing’u botid, mis proovivad kontodele sisse logida
• automatiseeritud ostu- või laoseisubotid
• õiguspärased API kliendid, veebikonksud ja integratsioonid.

Oluline ei ole ainult see, kas päring tuleb robotilt, vaid mida see robot teeb, milliseid lehti kasutab ja kui suurt koormust tekitab.

Kõik botid ei ole halvad

Kasulik ja kahjulik botiliiklus võivad logides esmapilgul üsna sarnased paista. Mõlemad teevad korduvaid päringuid ning võivad kasutada selgelt eristatavat User-Agent’i. Otsus ei tohiks põhineda ainult boti nimel.

Botitüüp	Näide	Miks ta veebilehte külastab?	Tüüpiline tegevus
Otsingurobot	Googlebot	Indekseerib sisu Google’i otsingu jaoks	Üldjuhul luba, kui bot on kontrollitud
AI otsingurobot	OAI-SearchBot	Indekseerib sisu ChatGPT otsingutulemuste jaoks	Luba, kui soovid ChatGPT Searchis leitavust
AI treeningurobot	GPTBot või muu Training-kategooria crawler	Kogub sisu mudeli treenimiseks või täiustamiseks	Omaniku sisustrateegiast sõltuv lubamise või blokeerimise otsus
Monitooringubot	Uptime’i kontrollteenus	Kontrollib veebilehe kättesaadavust	Luba, kui teenus on vajalik
Pahatahtlik bot	Brute-force’i või credential stuffing’u bot	Proovib automatiseeritult ligipääsu saada	Piira, esita kontrollküsimus või blokeeri vastavalt mustrile
Scraper	Hinna- või sisukoguja	Kogub automatiseeritult sisu või andmeid	Analüüsi mõju ning vajadusel piira
API klient	Makse-, lao- või muu integratsioon	Vahetab süsteemide vahel vajalikke andmeid	Luba kontrollitud tingimustel

Tabelis toodud tegevused on lähtekohad, mitte universaalsed turvareeglid. Näiteks võib scraper olla ettevõttele kasulik partner, samal ajal kui halvasti seadistatud monitooringuteenus võib tekitada ebavajalikku koormust.

Kuidas botid võivad kodulehte mõjutada?

Botiliiklus võib olla täiesti normaalne, kuid liiga suur või pahatahtlik automatiseeritud liiklus võib mõjutada nii veebilehe tööd kui ka ettevõtte andmeid.

Võimalikud mõjud on:

• serveri CPU, mälu ja andmeside mahu kasv
• suur hulk korduvaid päringuid samadele või dünaamilistele URL-idele
• WordPressi login-lehe brute-force’i katsed
• varastatud kasutajatunnustega credential stuffing
• kontaktivormide ja kommentaaride spämm
• sisu, hindade või tooteandmete ulatuslik kopeerimine
• API-de kuritarvitamine
• e-poe laoseisu kinnihoidmine või automatiseeritud ostukatsed
• turvalogide täitumine ja päris probleemide raskem märkamine
• veebianalüütika tõlgendamise keerukus.

Ükski neist sümptomitest ei tõesta üksi botirünnakut. Näiteks serverikoormuse hüpe võib tulla ka kampaaniast, aeglasest andmebaasipäringust või vigasest pluginast. Samuti ei jõua kogu botiliiklus tingimata Google Analyticsisse. Seetõttu tuleb võrrelda mitut allikat: serveriloge, Cloudflare’i liiklust, rakenduse logisid ja vajadusel veebianalüütikat.

Kuidas aru saada, et kodulehel on palju botiliiklust?

Esimene vihje on sageli erinevus serveris nähtava päringumahu ja tegelike kasutajate arvu vahel. Kui majutuse koormus kasvab, kuid müük, päringud ja inimeste külastused mitte, tasub liiklust lähemalt uurida.

Botiliiklusele võivad viidata:

• väga suur päringute arv serverilogides
• sama URL-i korduv avamine lühikese aja jooksul
• sagedased päringud wp-login.php, xmlrpc.php või tundmatute administreerimisfailide pihta
• palju 404 vastuseid ja olematute failide süstemaatiline skaneerimine
• lühikese aja jooksul suur hulk päringuid ühest IP-st, võrgust või ASN-ist
• ettevõtte sihtturuga mitteseotud geograafilise liikluse järsk kasv
• kontaktivormide või konto loomise automatiseeritud spämm
• serverikoormuse hüpe ilma tegelike kasutajate kasvuta
• Cloudflare Security Analyticsis nähtav automatiseeritud liiklus
• AI Crawl Controlis nähtav sage AI crawlerite aktiivsus.

Vaata alati koos päringu teed, meetodit, vastusekoodi, allikat ja sagedust. Üks välismaine IP või üks ebatavaline User-Agent ei ole veel diagnoos.

Kuidas Cloudflare’iga botiliiklust uurida?

Cloudflare’i Security Analytics näitab domeeni sissetulevaid HTTP-päringuid, sealhulgas liiklust, mille suhtes Cloudflare turvatoimingut ei rakendanud. Security Events keskendub päringutele, mille mõni turvafunktsioon märgistas, challenge’is või blokeeris.

Uurimisel vaata eelkõige:

• päringute kogumahtu ja selle muutust ajas
• URL-i või path’i, mida kõige rohkem kasutatakse
• lähte-IP-d, ASN-i ja riiki
• User-Agent’i
• HTTP meetodit
• vastusekoodi
• rakendatud turvateenust ja tegevust
• boti klassifikatsiooni ning Verified Bot staatust, kui kasutatav pakett seda infot pakub
• AI crawleri nime, operaatorit ja külastatud lehti AI Crawl Controlis.

Security Analytics sobib liikluspildi mõistmiseks. Security Events aitab kontrollida, miks konkreetne päring peatati ja kas turvareegel tekitas valehäire. Menüüde nimed ning saadaolevad väljad võivad Cloudflare’i paketi ja kasutajaliidese versiooni järgi erineda, seega tasub lähtuda kontol nähtavast vaatest.

Mis on Cloudflare Bot Fight Mode?

Cloudflare Bot Fight Mode on tasuta paketis kasutatav baaskaitse, mis tuvastab tuntud automatiseeritud liikluse mustreid ja võib sobivale liiklusele arvutusliku kontrolli esitada. See ei tähenda, et funktsioon tunneb ära või blokeerib kõik pahatahtlikud botid.

Bot Fight Mode on lihtne sisse-välja lüliti, mis rakendub kogu domeenile. Tasuta varianti ei saa WAF-i Skip-reegli või Page Rule’i abil valitud URL-ide jaoks välja lülitada, sest see ei tööta samas Ruleset Engine’i etapis nagu WAF-i kohandatud reeglid.

See piirang on oluline API-de, mobiilirakenduste, makselahenduste, monitooringu ja muude automatiseeritud klientide puhul. Cloudflare hoiatab, et Bot Fight Mode võib challenge’ida ka sellist õiguspärast liiklust. Kui funktsioon tekitab valehäireid, võib olla vaja see välja lülitada või kasutada lahendust, mis võimaldab täpsemaid erandeid.

Kas Bot Fight Mode tasub alati sisse lülitada?

Ei. Enne sisselülitamist kontrolli, milline automatiseeritud liiklus on veebilehe tööks vajalik. Pärast muudatust jälgi Security Eventsi ja testi vähemalt vorme, makseid, veebikonkse, API-sid, monitooringut ning muid integratsioone.

Lihtsal sisulehel võib tasuta Bot Fight Mode olla sobiv lähtekoht. Mitme integratsiooniga e-poes või rakenduses võib selle vähene erandite võimalus olla liiga jäik.

Mis on Super Bot Fight Mode?

Super Bot Fight Mode kuulub Cloudflare Pro, Business ja Enterprise pakettidesse. See lisab Bot Fight Mode’iga võrreldes tegevused eri botikategooriatele, piiratud botianalüütika ja võimaluse teha WAF-i kohandatud Skip-reeglitega erandeid.

Näiteks saab lubada kontrollitud automatiseeritud liiklusel Super Bot Fight Mode’i etapist mööduda, jättes ülejäänud turvakihid tööle. Erand peab siiski põhinema usaldusväärsel tunnusel, mitte pelgalt kergesti võltsitaval User-Agent’il.

Super Bot Fight Mode ei anna Enterprise Bot Managementi päringupõhist botiskoori ega sama detailsust. Kui veebileht vajab eri endpoint’idele väga täpset botiloogikat, tuleb hinnata kõrgema taseme lahenduse vajadust.

WordPress ja botid

WordPressi veebilehtedel on mitu levinud sihtmärki:

• sisselogimine ja parooli taastamine
• XML-RPC
• REST API ja wp-json endpoint’id
• kontaktivormid ning kommentaarid
• veebilehe otsing
• WooCommerce’i konto-, ostukorvi- ja kassalehed
• AJAX-päringud, cron-tööd, veebikonksud ja muud dünaamilised ühendused.

xmlrpc.php või wp-json pimesi blokeerimine ei ole hea üldreegel. Neid võivad kasutada mobiilirakendused, pluginad, makseteenused, integratsioonid või muud vajalikud funktsioonid. Kõigepealt tuleb välja selgitada, kas endpoint on veebilehel kasutusel, milline normaalne liiklus sinna jõuab ning mida täpselt soovitakse piirata.

Kui WordPressi turvalisus, uuendused ja logide jälgimine vajavad järjepidevat tähelepanu, vaata ka kodulehe haldamise ja WordPressi hoolduse teenust.

WordPressi loopback-päringud

WordPress teeb ka iseenda vastu automatiseeritud loopback-päringuid. Neid kasutatakse muu hulgas saidi tervisekontrollides ning teatud ajastatud või taustategevustes. Liiga agressiivne botikaitse võib sellise vajaliku liikluse ekslikult peatada.

Cloudflare Super Bot Fight Mode’il on „Optimize for WordPress” seadistus, mis lubab tuvastatud WordPressi loopback-päringud ka siis, kui muud botid saavad piirangu. See funktsioon on Cloudflare’i dokumentatsiooni järgi saadaval kõigile Super Bot Fight Mode’i kasutajatele. Loopback’e võivad siiski mõjutada ka Under Attack Mode ja kohandatud WAF-i reeglid, mistõttu tuleb vea korral kontrollida kogu reegliahelat.

Rate limiting piirab kuritarvitust valitud kohas

Rate limiting ehk päringusageduse piiramine võimaldab reageerida ebaharilikule mahule kindlal URL-il või endpoint’il. Selle asemel, et blokeerida terve riik või suur IP-vahemik, saab keskenduda kohale, mida kuritarvitatakse.

Piirata võib näiteks:

• WordPressi login-lehte
• kallist otsingufunktsiooni
• kontaktivormi saatmist
• konto loomist või parooli taastamist
• API endpoint’i
• muud dünaamilist URL-i, mille korduv kasutamine tekitab koormust.

Kui üks klient teeb väga lühikese aja jooksul ebanormaalselt palju login-päringuid, võib reegel sellele ajutiselt challenge’i või piirangu rakendada. Universaalset päringute arvu minutis ei ole: sobiv lävi sõltub veebilehe tavalisest liiklusest, kasutajate jagatud IP-dest, integratsioonidest ja endpoint’i funktsioonist.

Hea rate limiting’u reegel sünnib vaatlusest. Kõigepealt mõõda normaalne liiklus, seejärel vali lävi ja testi, kas päris kasutajad ning vajalikud automatiseeritud teenused pääsevad endiselt läbi.

Verified Bots: miks Googlebot’i ei tohi pimesi blokeerida?

Päringu User-Agent võib väita, et tegemist on Googlebotiga, kuid seda teksti saab iga klient võltsida. Seetõttu ei tõesta nimi üksi, et päring pärineb Google’ilt.

Google soovitab päris Googleboti kontrollimiseks kasutada lähte-IP kontrolli või võrrelda IP-d Google’i avaldatud Googleboti IP-vahemikega.

Kontrollitud otsingurobot tasub üldjuhul lubada, kui soovid, et leht oleks otsingumootoris leitav. Ära koosta püsivat allowlist’i ainult teksti „Googlebot” põhjal ning ära blokeeri kontrollitud Googlebot’i üksnes seetõttu, et see on automatiseeritud liiklus.

AI botid on 2026. aastal eraldi teema

AI crawlerid ei ole üks ühesuguse eesmärgiga grupp. Cloudflare eristab nende käitumises vähemalt kolme olulist kasutusviisi:

• Search kogub või indekseerib sisu, et seda hiljem vastustes ja otsingutulemustes kasutada
• Agent tegutseb reaalajas kasutaja nimel, näiteks avab kasutaja soovil veebilehe
• Training kogub sisu mudeli treenimiseks või peenhäälestuseks.

Ühel robotil võib olla ka mitu käitumist. Seetõttu võib üldine „Block all AI bots” seadistus olla vastuolus ettevõtte eesmärgiga saada AI-otsingust nähtavust ja viiteid.

Enne otsustamist küsi:

1. Kas see crawler aitab inimestel minu sisu või pakkumist leida?
2. Kas sisu kasutamine treenimiseks sobib minu ärilise ja sisulise strateegiaga?
3. Kas boti päringumaht on mõistlik?
4. Kas robot järgib avaldatud juhiseid?
5. Kas sama operaatori eri robotitel on erinev eesmärk?

ChatGPT, OAI-SearchBot, GPTBot ja ChatGPT-User

OpenAI dokumentatsiooni järgi kasutatakse OAI-SearchBoti veebilehtede kuvamiseks ChatGPT otsingutulemustes. Kui soovid, et sisu saaks ChatGPT Searchis korrektselt crawlitav, refereeritav ja lingitav olla, soovitab OpenAI OAI-SearchBoti robots.txt failis lubada ning lubada päringud OpenAI avaldatud IP-vahemikest.

OAI-SearchBot ei ole sama mis GPTBot. GPTBot võib koguda sisu OpenAI generatiivsete mudelite treenimiseks, mistõttu saab veebilehe omanik selle kohta teha eraldi otsuse. OpenAI rõhutab, et OAI-SearchBoti ja GPTBoti reeglid on teineteisest sõltumatud: otsinguroboti võib lubada ning treeninguroboti keelata.

ChatGPT-User avab veebilehti kasutaja konkreetse tegevuse peale ega ole automaatne veebi crawler. OAI-AdsBot omakorda kontrollib ChatGPT reklaamidesse esitatud maandumislehti ja nende sobivust. Erineva eesmärgiga OpenAI botte ei tasu ühe üldise User-Agent’i reegliga kokku panna.

robots.txt ei ole tulemüür

robots.txt annab crawlerile juhise, milliseid lehti tohib külastada. Heausksed otsingu- ja AI crawlerid võivad seda järgida, kuid fail ei takista tehniliselt päringu tegemist.

Pahatahtlik bot võib robots.txt juhiseid ignoreerida. Veelgi enam, fail on avalik ning võib näidata, milliseid URL-e saidi omanik peab tundlikuks. Kui ligipääs tuleb päriselt peatada, kasuta autentimist, Cloudflare WAF-i, AI Crawl Controli, botikaitset või muud tehnilist juurdepääsukontrolli.

Robots.txt sobib crawl’imise eelistuste väljendamiseks. Tulemüürireegel sobib juurdepääsu jõustamiseks. Need täidavad erinevat ülesannet.

Cloudflare AI Crawl Control

Cloudflare AI Crawl Control annab ülevaate sellest, millised AI teenused veebilehe sisu külastavad, ning võimaldab konkreetseid crawlereid lubada või blokeerida. Cloudflare’i dokumentatsiooni järgi on AI Crawl Control saadaval kõigis pakettides.

Tööriistas saab muu hulgas:

• vaadata AI crawlerite päringuid ja muutust ajas;
• filtreerida crawleri, operaatori, hostinime, vastusekoodi ja path’i järgi;
• näha, milliseid lehti crawler külastab;
• lubada või blokeerida konkreetseid crawlereid;
• jälgida robots.txt faili kättesaadavust ja juhiste järgimist.

Pakettide võimekus ei ole siiski võrdne. Tasuta paketis tuvastab AI Crawl Control tuntud ennast identifitseerivaid AI crawlereid User-Agent’i järgi ning analüütika aken on piiratud. Enterprise Bot Management lisab põhjalikuma tuvastuse ja paindlikuma analüütika. User-Agent’il põhinev vaade ei pruugi seega näidata iga varjatud või identiteeti võltsivat botipäringut.

Cloudflare’i 15. septembri 2026 muudatus

Artikkel on koostatud 4. septembril 2026. Cloudflare on teatanud, et 15. septembril 2026 muutuvad uute domeenide AI botipoliitika vaikeseaded: Training- ja Agent-kategooria botid blokeeritakse reklaame kuvavatel lehtedel, Search-kategooria jääb lubatuks. Searchi ja Trainingut ühendavad segakasutusega crawlerid hakkavad kuuluma AI treeningu blokeerimise seadistuste alla ning senine „Block AI bots” valik on märgitud lõpetatavaks.

See teade puudutab uusi vaikeseadeid, mitte soovitust kõigile olemasolevatele domeenidele sama valik automaatselt teha. Enne 15. septembrit saab uutest vaikeseadetest loobuda. Pärast seda kuupäeva tuleb enne artikli avaldamist või hilisemat uuendamist Cloudflare’i ametlikust dokumentatsioonist kontrollida, kas muudatus jõustus kirjeldatud kujul ja milline seadistus kontol tegelikult aktiivne on.

Milliseid botte tasub blokeerida?

Õige vastus ei ole „kõik”. Kasuta otsustamiseks järgmist loogikat:

1. Tuvasta bot. Vaata User-Agent’i, IP-d, ASN-i, päringute mustrit ja Cloudflare’i klassifikatsiooni.
2. Kontrolli usaldusväärsust. Kui robot väidab end olevat tuntud teenus, kontrolli Verified Bot staatust või operaatori avaldatud IP-vahemikke.
3. Vaata kasutatud URL-e. Otsinguroboti sisulehtede crawl erineb tuhandetest login-katsetest.
4. Hinda ärilist kasu. Kas liiklus aitab nähtavusele, monitooringule, maksetele või integratsioonidele kaasa?
5. Mõõda mahtu ja mõju. Võrdle päringusagedust serverikoormuse, vastusekoodide ja normaalsete kasutajatega.
6. Vali proportsionaalne tegevus. Kasuta vastavalt olukorrale allow, jälgimist, rate limiting’ut, Managed Challenge’it või blokeerimist.

Managed Challenge või kitsalt sihitud rate limit on sageli turvalisem esimene samm kui lai täielik blokeering. Mõne selgelt pahatahtliku mustri puhul võib kohene blokeerimine olla põhjendatud, kuid ka siis tuleb jälgida kõrvalmõjusid.

Botiliiklus ei tähenda automaatselt häkitud kodulehte

Välised botid võivad veebilehte skaneerida või paroole proovida ilma, et nad oleksid lehele sisse pääsenud. Botiliiklus on juurdepääsukatsete ja automatiseeritud kasutuse teema; häkitud koduleht tähendab, et ründaja on süsteemi või sisu juba kompromiteerinud.

Kui märkad võõraid administraatoreid, pahatahtlikku koodi, tundmatuid ümbersuunamisi, Google’i turvahoiatusi või veebilehele lisatud rämpssisu, ei piisa ainult botireeglist. Sellisel juhul vaata häkitud kodulehe puhastamise teenust või loe juhendit „Mis teha, kui koduleht on häkitud?”.

Kui botiliiklus on kontrolli alla saadud, kuid veebileht jääb aeglaseks, võib põhjus olla andmebaasis, piltides, pluginate töös või serveriseadistuses. Siis on asjakohane kodulehe kiiruse optimeerimine, mitte järjest rangemate tulemüürireeglite lisamine.

Millal tasub Cloudflare’i seadistus üle vaadata?

Cloudflare’i seadistus vajab kontrolli, kui:

• kodulehte tabab palju automatiseeritud päringuid
• serveri CPU või koormus hüppab regulaarselt
• vormidesse jõuab palju automatiseeritud spämmliiklust
• login-leht on pideva brute-force’i all
• e-pood, otsing või API saab kahtlast automatiseeritud liiklust
• Cloudflare on kasutusel, kuid reeglid on jäänud vaikeseadetesse
• õiguspärane monitooring, makseteenus või webhook saab 403 vastuse
• Googlebot või OAI-SearchBot ei pääse vajalikule sisule
• API või mobiilirakendus lakkas pärast botikaitse sisselülitamist töötamast
• puudub ülevaade AI crawlerite aktiivsusest.

Seadistuse ülevaatus peaks algama liikluse analüüsist, mitte juhuslikust reeglite lisamisest. Iga muudatuse järel tuleb kontrollida veebilehe põhifunktsioone ning jälgida, kas soovimatu liiklus vähenes ilma vajalikke teenuseid katkestamata.

Korduma kippuvad küsimused

Mis on veebirobot ehk bot?

Veebirobot on programm, mis teeb veebilehele automaatselt päringuid. See võib indekseerida sisu, kontrollida töökindlust, vahetada API kaudu andmeid või proovida veebilehte kuritarvitada. Boti eesmärk selgub tema käitumisest, mitte ainult nimest.

Kas kõik botid on kodulehele kahjulikud?

Ei. Googlebot, vajalikud monitooringuteenused, veebikonksud ja muud kontrollitud automatiseeritud kliendid võivad olla veebilehe jaoks olulised. Piirata tasub liiklust, mis on pahatahtlik, ebavajalik või ebaproportsionaalselt koormav.

Kuidas teada, kas minu kodulehte külastavad botid?

Vaata serveriloge, Cloudflare Security Analyticsit, Security Eventsi ja AI Crawl Controli. Korduvad päringud samale path’ile, ebatavaline päringusagedus ning automatiseeritud liikluse klassifikatsioon on vihjed, kuid otsus tuleb teha mitme tunnuse põhjal.

Kas botid võivad kodulehte aeglustada?

Jah, suur hulk kulukaid päringuid võib kasutada serveri CPU-d, mälu ja andmesidet. Samas võib aegluse põhjus olla ka veebilehe tehnilises ülesehituses, mistõttu tuleb botiliiklust ja jõudlusprobleeme eraldi mõõta.

Kas botiliiklus võib serveri CPU kasutust suurendada?

Jah. Eriti koormavad võivad olla sagedased päringud dünaamilistele otsingu-, login-, API- või e-poe lehtedele. CPU kasv üksi ei tõesta siiski boti olemasolu, sest sama sümptomi võivad põhjustada vigane plugin või aeglane andmebaasipäring.

Kuidas Cloudflare botte tuvastab?

Cloudflare kasutab sõltuvalt tootest ja paketist liiklusmustreid, brauserisignaale, Verified Bot andmeid ning Enterprise Bot Managementis masinõppel põhinevat botiskoori. Tasuta AI Crawl Control tuvastab tuntud AI crawlereid peamiselt nende User-Agent’i järgi.

Mis on Cloudflare Bot Fight Mode?

Bot Fight Mode on tasuta paketis sisalduv lihtne botikaitse, mis tuvastab tuntud automatiseeritud liikluse mustreid ja esitab sellele arvutusliku challenge’i. See rakendub kogu domeenile ning seda ei saa tavalise WAF-i Skip-reegliga valitud endpoint’i jaoks välja lülitada.

Kas Bot Fight Mode tasub sisse lülitada?

See sõltub veebilehest. Lihtsa sisulehe puhul võib see olla sobiv baaskaitse, kuid API-de, mobiilirakenduse või mitme integratsiooniga veebilehel tuleb arvestada valehäirete riskiga. Pärast sisselülitamist tuleb vajalikud funktsioonid läbi testida.

Mis vahe on Bot Fight Mode’il ja Super Bot Fight Mode’il?

Bot Fight Mode on tasuta ja väheste seadistusvõimalustega. Super Bot Fight Mode kuulub tasulistesse pakettidesse, võimaldab eri botikategooriate tegevusi, annab rohkem analüütikat ning toetab WAF-i Skip-reeglitega erandeid.

Kas Googlebot tuleks Cloudflare’is lubada?

Kontrollitud Googlebot tuleks üldjuhul lubada, kui soovid Google’i otsingus nähtav olla. Kui selle nimega liiklus tekitab probleeme, kontrolli kõigepealt, kas päring pärineb päriselt Google’i avaldatud IP-vahemikust.

Kas Googlebot’i User-Agent tähendab, et tegemist on päris Googlebotiga?

Ei. User-Agent’i saab võltsida. Google soovitab identiteeti kontrollida pöörd-DNS-i või ametlike Googleboti IP-vahemike abil; Cloudflare Verified Bot klassifikatsioon kasutab samuti täiendavaid kontrollimeetodeid.

Kas AI botid tuleks blokeerida?

Mitte tingimata. Search-, Agent- ja Training-kategooria botid täidavad erinevat eesmärki. Ettevõte võib soovida lubada AI otsingurobotid, kuid piirata treeninguks sisu koguvaid crawlereid. Otsus peab lähtuma nähtavuse ja sisukasutuse strateegiast.

Mis on OAI-SearchBot ja kas seda peaks lubama?

OAI-SearchBot indekseerib veebilehti ChatGPT otsingutulemuste jaoks. Kui soovid ChatGPT Searchis refereeritav ja lingitav olla, soovitab OpenAI selle robots.txt failis ning tulemüüris lubada. GPTBoti treeningureegli saab sellest eraldi määrata.

Mis vahe on robots.txt failil ja Cloudflare’i blokeerimisreeglil?

robots.txt väljendab crawleri jaoks veebilehe omaniku juhiseid, kuid ei takista tehniliselt ligipääsu. Cloudflare’i blokeerimisreegel või muu juurdepääsukontroll jõustab tegevuse võrgu tasandil ka siis, kui bot juhist ei järgi.

Kuidas kaitsta WordPressi login-lehte botirünnakute eest?

Kasuta tugevaid paroole, mitmeastmelist autentimist, ajakohast WordPressi ning liiklusmustrile sobivat rate limiting’ut või Managed Challenge’it. Ära määra universaalset läve ilma tavalist login-liiklust ja võimalikke jagatud IP-aadresse arvestamata.

Millal tasub kasutada Cloudflare rate limiting’ut?

Rate limiting sobib siis, kui konkreetne login-, vormi-, otsingu- või API endpoint saab lühikese aja jooksul ebanormaalselt palju päringuid. Reegel tuleks seada reaalse normaalse liikluse põhjal ning pärast rakendamist kontrollida valehäireid.

Kokkuvõte

Botikaitse eesmärk ei ole eemaldada veebilehelt kogu automatiseeritud liiklust. Eesmärk on lubada kasulikud otsingu-, monitooringu-, AI- ja integratsiooniteenused ning piirata liiklust, mis koormab veebilehte või püüab seda kuritarvitada.

Kõigepealt kogu tõendid. Vaata, milliseid URL-e kasutatakse, kas bot on kontrollitud, kui palju päringuid tehakse ja milline on mõju serverile. Alles seejärel vali sobiv meede. Täpselt sihitud rate limit või Managed Challenge on sageli parem kui lai blokeering, kuid iga veebileht vajab oma reegleid.

Kas kodulehte koormab kahtlane botiliiklus?

Kui sinu veebilehe logides või Cloudflare’is on palju automatiseeritud liiklust, saame aidata liiklust analüüsida ning Cloudflare’i seadistuse üle vaadata. Vajadusel saab seadistada sobivad botikaitse, WAF-i ja rate limiting’u reeglid nii, et pahatahtlikku liiklust piiratakse ilma vajalikke otsingu-, API- või muid automatiseeritud teenuseid pimesi blokeerimata.

Ametlikud allikad

• Cloudflare: Bot Fight Mode
• Cloudflare: Super Bot Fight Mode
• Cloudflare: WordPressi loopback-päringute optimeerimine
• Cloudflare: Security Analytics
• Cloudflare: Security Events
• Cloudflare: rate limiting’u reeglid
• Cloudflare: Verified Bots
• Cloudflare: AI botikategooriad
• Cloudflare: AI Crawl Control
• Cloudflare: 15. septembri 2026 AI botipoliitika muudatus
• Google Search Central: Googleboti kontrollimine
• OpenAI ametlik crawlerite dokumentatsioon