Тест на robots.txt

Безплатни инструменти

Тест на robots.txt

Заредете действащ robots.txt или поставете чернова, изберете робот и тествайте всеки път. Съпоставянето следва публикуваните правила на Google, включително заместващите символи.

Как да го използвате

Как да го използвате

  1. 01

    Въведете домейн и заредете robots.txt, или поставете свои правила

  2. 02

    Изберете робот и въведете пътя, който искате да тествате

  3. 03

    Вижте кое правило е решило резултата и редактирайте правилата, за да пробвате промени безопасно

Какво трябва да знаете

Какво трябва да знаете

Google избира най-конкретната група за своя робот и прилага правилото с най-дълъг съвпадащ път. Когато правило allow и правило disallow съвпадат с еднаква дължина, печели по-малко ограничителното allow. Символът * съвпада с произволна поредица от знаци, а $ означава край на адреса.

robots.txt управлява обхождането, а не индексирането. Блокирана страница може да се появи в резултатите, ако други сайтове сочат към нея. За да не попадне страница в Google, разрешете обхождането и използвайте мета таг или заглавка noindex. Google чете до 500 KiB от файла, а липсващ файл (404) означава, че всичко може да се обхожда.

FAQ

Често задавани въпроси

Трябва ли да блокирам AI роботите?

Това е бизнес решение. Много AI роботи, като GPTBot и Google-Extended, спазват robots.txt. Блокирането на Google-Extended не засяга обичайното търсене в Google.

Защо страницата ми е индексирана, въпреки че robots.txt я блокира?

Google може да индексира адрес, който не може да обхожда, ако намери връзки към него. Махнете блокирането и добавете noindex, след което изчакайте Google да обходи страницата отново.

Резултатът точно ли съвпада с поведението на Google?

Тестът следва документираните правила на Google, но инструментът за проверка на URL в Search Console остава окончателният отговор за вашия сайт.

Контакти

Предпочитате ние да го поправим?

Изпратете кратко задание и ще ви отговорим с план и фиксирана оферта до един работен ден.

Започнете проект
Започнете проект