Создайте robots.txt для вашего сайта Простой интерфейс для тех, кто только начинает.
Создайте robots.txt для вашего сайта
User-agent: * Allow: /
Выберите настройки для User-Agent (все боты или конкретные).
Добавьте правила Allow и Disallow для нужных путей.
Скопируйте сгенерированный файл и загрузите его в корень сайта.
robots.txt — файл в корне сайта, указывающий поисковым роботам, какие страницы индексировать, а какие — пропустить. Это стандартный инструмент технического SEO.
Не блокируйте CSS и JS (мешает рендерингу), добавьте ссылку на sitemap.xml, используйте отдельные правила для Googlebot и Yandex при необходимости.
Создайте файл robots.txt для вашего сайта через удобный визуальный интерфейс. Управляйте доступом поисковых роботов к разделам сайта без ручного редактирования.
Для лучших результатов используйте современный браузер (Chrome, Firefox, Edge)
Все файлы обрабатываются локально в вашем браузере для максимальной безопасности
Сохраняйте результат сразу после обработки
Попробуйте разные настройки для оптимального результата
В корне сайта: https://example.com/robots.txt. Другие расположения не распознаются роботами.
robots.txt блокирует сканирование, но не индексацию. Для полной блокировки используйте мета-тег noindex.
Рекомендуется. Даже пустой robots.txt показывает ботам, что файл существует и не возвращает ошибку 404.