
Безплатни инструменти
Тест на robots.txt
Заредете действащ robots.txt или поставете чернова, изберете робот и тествайте всеки път. Съпоставянето следва публикуваните правила на Google, включително заместващите символи.
Как да го използвате
Как да го използвате
- 01
Въведете домейн и заредете robots.txt, или поставете свои правила
- 02
Изберете робот и въведете пътя, който искате да тествате
- 03
Вижте кое правило е решило резултата и редактирайте правилата, за да пробвате промени безопасно
Какво трябва да знаете
Какво трябва да знаете
Google избира най-конкретната група за своя робот и прилага правилото с най-дълъг съвпадащ път. Когато правило allow и правило disallow съвпадат с еднаква дължина, печели по-малко ограничителното allow. Символът * съвпада с произволна поредица от знаци, а $ означава край на адреса.
robots.txt управлява обхождането, а не индексирането. Блокирана страница може да се появи в резултатите, ако други сайтове сочат към нея. За да не попадне страница в Google, разрешете обхождането и използвайте мета таг или заглавка noindex. Google чете до 500 KiB от файла, а липсващ файл (404) означава, че всичко може да се обхожда.
FAQ
Често задавани въпроси
Трябва ли да блокирам AI роботите?
Това е бизнес решение. Много AI роботи, като GPTBot и Google-Extended, спазват robots.txt. Блокирането на Google-Extended не засяга обичайното търсене в Google.
Защо страницата ми е индексирана, въпреки че robots.txt я блокира?
Google може да индексира адрес, който не може да обхожда, ако намери връзки към него. Махнете блокирането и добавете noindex, след което изчакайте Google да обходи страницата отново.
Резултатът точно ли съвпада с поведението на Google?
Тестът следва документираните правила на Google, но инструментът за проверка на URL в Search Console остава окончателният отговор за вашия сайт.
Безплатни инструменти
Още безплатни инструменти
- Тест за скорост на сайт
- Преглед на резултата в Google
- Калкулатор за цена на сайт
- Проверка на домейн
- Генератор на структурирани данни
- Генератор на hreflang тагове
- Генератор на 301 пренасочвания
- Създаване на UTM връзки
- Проверка на мета тагове и Open Graph
- Проверка на SSL и заглавки за сигурност
- Компресиране на изображения
- Проверка на цветовия контраст

Контакти
Предпочитате ние да го поправим?
Изпратете кратко задание и ще ви отговорим с план и фиксирана оферта до един работен ден.

















