Генератор правильного robots.txt

Для правильной индексации поисковыми машинами вашего сайта необходимо давать им точные указания по сканированию. Создав правильный файл robots.txt вы избавитесь от дубликатов страниц в выдаче и намного улучшите видимость сайта для поисковых роботов. С помощью файла директив вы можете значительно снизить нагрузку на сервер, задав задержку для роботов. 

Как создать robots.txt

  1. В текстовом редакторе создайте файл с именем robots.txt 
  2. Заполните его при помощи нашего сервиса по созданию robots.txt.
  3. Проверьте файл в сервисе Яндекс.Вебмастер (пункт меню Анализ robots.txt).
  4. Загрузите файл в корневую директорию вашего сайта.

При формировании файла robots.txt необходимо помнить, что у робота есть разумное ограничение на его размер. Если размер файла превышает 32 Кб, робот считает его полностью разрешающим, то есть рассматриваtтся аналогично robots.txt со следующим содержанием:

User-agent:
Disallow:

Также разрешающим считается robots.txt, который не удалось загрузить (например, не правильно настроены HTTP-заголовки или возвращается HTTP-статус 404 Not found).

Более подробно о создании правильного robots.txt можно почитать на Яндексе

Опыт показывает, что принципиальной разницы в директивах robots.txt для Яндекс и Google нет (некоторые уверены, что Google вовсе его игнорирует). Поэтому смело следуйте рекомендациям Яндекса и создавайте правильный файл директив.

Форма для генерации правильного robots.txt

Выбрав пункт запретить, вы полностью закроете сайт свой от индексации.

Позволяет значительно снизить нагрузку на сервер за счет снижения числа обращений поисковых роботов. Чем выше время задержки, тем меньше нагрузка.

Укажите роботов, которые могут индексировать ваш сайт:

Пример папки: /catalog/
Пример пути: /catalog/item/123.html


Скопируйте полученный файл robots.txt

Скопированный в текст поместите в созданный текстовый файл с именем robots.txt. Поместите его в корневую директорию вашего сайта. Проверьте работоспособность файла с помощью нашего сервиса для SEO или при помощи сервиса Яндекс.Вебмастер.

Пример правильного robots.txt для WordPress (все версии)

User-agent: *
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
 
User-agent: Yandex
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag

Host: ваш_сайт.ru
 
Sitemap: http://ваш_сайт.ru /sitemap.xml.gz
Sitemap: http://ваш_сайт.ru /sitemap.xml

Пример правильного robots.txt для Joomla 2.5 и выше

User-agent: *
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /index.php*
Disallow: /index2.php*
Disallow: /*com_mailto 
Disallow: /*pop= 
Disallow: /*lang=ru 
Disallow: /*format=
Disallow: /*print= 
Disallow: /*task=vote 
Disallow: /*=watermark 
Disallow: /*=download 
Disallow: /*user/ 
Disallow: /404 
Disallow: /index.php? 
Disallow: /*? 
Disallow: /*% 
Disallow: /*& 
Disallow: /index2.php
Disallow: /index.php 
Disallow: /*tag 
Disallow: /*.swf 
Disallow: /*=atom 
Disallow: /*=rss 
Allow: /images/ 
Allow: /index.php?option=com_xmap&sitemap=1&view=xml 

Host: ваш_сайт.ru
 
Sitemap: http://ваш_сайт.ru /sitemap.xml.gz
Sitemap: http://ваш_сайт.ru /sitemap.xml

Пример правильного robots.txt для DLE 9.8 и выше

User-agent: *
Allow: /uploads/posts/
Disallow: /engine/go.php
Disallow: /favorites/
Disallow: /cache/
Disallow: /page/
Disallow: /cgi-bin/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /backup/
Disallow: /tags/
Disallow: */engine/*
Disallow: /engine/
Disallow: /category/
Disallow: /cheaptop_script.php
Disallow: /addnews.html
Disallow: */page/*
Disallow: */thumbs/*
Disallow: /user/
Disallow: /2014/
Disallow: /*print 
Disallow: /*do=addnews
Disallow: /*do=feedback
Disallow: /*do=lastcomments
Disallow: /*do=lostpassword
Disallow: /*do=pm
Disallow: /*do=rules
Disallow: /*do=register
Disallow: /*do=search
Disallow: /*do=stats
Disallow: /*action=mobile$
Disallow: /*html?http*
Disallow: /*utm_medium*
Disallow: /?do=*
Disallow: /*?do=*
Disallow: /?iframe*
Disallow: /?p*
Disallow: /?*
Disallow: /yasearch.html$

User-agent: Yandex
Allow: /uploads/posts/
Disallow: /engine/go.php
Disallow: /category/
Disallow: /cheaptop_script.php
Disallow: /favorites/
Disallow: /cache/
Disallow: /cgi-bin/
Disallow: /page/
Disallow: /addnews.html
Disallow: */page/*
Disallow: */engine/*
Disallow: /engine/
Disallow: */thumbs/*
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /backup/
Disallow: /tags/
Disallow: /*do=rules
Disallow: /user/
Disallow: /2014/
Disallow: /print
Disallow: /?p*
Disallow: /*utm_medium
Disallow: /*action=mobile
Disallow: /do=*
Disallow: /?iframe*
Disallow: /*html?http*
Disallow: /*do=*
Disallow: /yasearch.html$

Host: ваш_сайт.ru
 
Sitemap: http://ваш_сайт.ru /sitemap.xml.gz
Sitemap: http://ваш_сайт.ru /sitemap.xml

Представленные здесь образцы robot.txt являются рекомендуемыми для большинства сайтов, однако каждый вебмастер должен править его под нужды конкретного проекта и с учетом настроек ЧПУ и других модулей и плагинов.

Новые обсуждения на Форуме