Создайте robots.txt для вашего сайта Простой интерфейс для тех, кто только начинает.
Генератор robots.txt помогает быстро создать файл robots.txt с нужными директивами для поисковых роботов Google, Yandex, Bing и других поисковых систем. Правильный robots.txt — основа технического SEO: он управляет краулинговым бюджетом, закрывает от индексации служебные разделы и предотвращает попадание дублей в поисковую выдачу.
Укажите user-agent, добавьте правила Disallow и Allow, задайте ссылку на sitemap.xml — и получите готовый файл для загрузки в корень сайта. Инструмент генерирует robots.txt, совместимый со стандартом REP (Robots Exclusion Protocol) и учитывает особенности Googlebot, YandexBot и Bingbot.
Весь процесс проходит в браузере: ваши правила и структура сайта не передаются на сервер. Подходит для статических сайтов, WordPress, Bitrix, Tilda, Next.js и любых других платформ.
User-agent: * Allow: /
Выберите user-agent (например, Googlebot, *, YandexBot) и добавьте директивы Disallow и Allow для нужных путей.
Бесплатный виджет с бэклинком на ваш сайт
Загрузка…
Укажите URL вашего sitemap.xml, чтобы поисковые роботы нашли карту сайта.
Проверьте предпросмотр сгенерированного файла — убедитесь, что важные страницы открыты для индексации.
Скопируйте содержимое или скачайте файл и загрузите его в корень вашего домена.
Создавайте отдельные блоки правил для Googlebot, YandexBot, Bingbot, GPTBot и других краулеров — каждый со своим набором Disallow и Allow.
Добавьте URL вашего sitemap.xml — генератор включит директиву Sitemap: в файл, чтобы роботы сразу обнаружили карту сайта.
Готовые шаблоны для WordPress, интернет-магазинов и SPA-приложений — начните с шаблона и адаптируйте под ваш проект.
Инструмент проверяет синтаксис директив и предупреждает о конфликтующих правилах, которые могут заблокировать важные страницы.
Скопируйте результат в буфер обмена или скачайте готовый файл robots.txt одним кликом.
Для лучших результатов используйте современный браузер (Chrome, Firefox, Edge)
Все файлы обрабатываются локально в вашем браузере для максимальной безопасности
Сохраняйте результат сразу после обработки
Попробуйте разные настройки для оптимального результата
Файл robots.txt должен лежать в корне домена: https://example.com/robots.txt. Поисковые роботы ищут его именно по этому адресу.
Robots.txt блокирует краулинг, но не индексацию. Для полного запрета индексации используйте мета-тег noindex. Если страница уже заблокирована в robots.txt, робот может не увидеть noindex.
При ошибке синтаксиса поисковые роботы могут проигнорировать некорректные директивы и проиндексировать страницы, которые вы хотели скрыть. Всегда проверяйте файл перед загрузкой.
Добавьте строку Sitemap: https://example.com/sitemap.xml в конец файла. Можно указать несколько sitemaps, каждый в отдельной строке.
Да, при появлении новых служебных разделов (админка, API-эндпоинты, тестовые страницы) обновите robots.txt, чтобы они не попали в индекс.
Проверьте структуру H1-H6 заголовков