Генератор правильного robots.txt

Для правильной индексации поисковыми машинами вашего сайта необходимо давать им точные указания по сканированию. Создав правильный файл robots.txt вы избавитесь от дубликатов страниц в выдаче и намного улучшите видимость сайта для поисковых роботов. С помощью файла директив вы можете значительно снизить нагрузку на сервер, задав задержку для роботов. 

Как создать robots.txt

1. В текстовом редакторе создайте файл с именем robots.txt 
2. Заполните его при помощи нашего сервиса по созданию robots.txt.
3. Проверьте файл в сервисе Яндекс.Вебмастер (пункт меню Анализ robots.txt).
4. Загрузите файл в корневую директорию вашего сайта.

При формировании файла robots.txt необходимо помнить, что у робота есть разумное ограничение на его размер. Если размер файла превышает 32 Кб, робот считает его полностью разрешающим, то есть рассматриваtтся аналогично robots.txt со следующим содержанием:

User-agent:
Disallow:

Также разрешающим считается robots.txt, который не удалось загрузить (например, не правильно настроены HTTP-заголовки или возвращается HTTP-статус 404 Not found).

Опыт показывает, что принципиальной разницы в директивах robots.txt для Яндекс и Google нет (некоторые уверены, что Google вовсе его игнорирует). Поэтому смело следуйте рекомендациям Яндекса и создавайте правильный файл директив.

Форма для генерации правильного robots.txt

Скопируйте полученный файл robots.txt

Пример правильного robots.txt для WordPress (все версии)

User-agent: *
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
 
User-agent: Yandex
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag

Host: ваш_сайт.ru
 
Sitemap: http://ваш_сайт.ru /sitemap.xml.gz
Sitemap: http://ваш_сайт.ru /sitemap.xml

Пример правильного robots.txt для Joomla 2.5 и выше

User-agent: *
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /index.php*
Disallow: /index2.php*
Disallow: /*com_mailto 
Disallow: /*pop= 
Disallow: /*lang=ru 
Disallow: /*format=
Disallow: /*print= 
Disallow: /*task=vote 
Disallow: /*=watermark 
Disallow: /*=download 
Disallow: /*user/ 
Disallow: /404 
Disallow: /index.php? 
Disallow: /*? 
Disallow: /*% 
Disallow: /*& 
Disallow: /index2.php
Disallow: /index.php 
Disallow: /*tag 
Disallow: /*.swf 
Disallow: /*=atom 
Disallow: /*=rss 
Allow: /images/ 
Allow: /index.php?option=com_xmap&sitemap=1&view=xml 

Host: ваш_сайт.ru
 
Sitemap: http://ваш_сайт.ru /sitemap.xml.gz
Sitemap: http://ваш_сайт.ru /sitemap.xml

Пример правильного robots.txt для DLE 9.8 и выше

User-agent: *
Allow: /uploads/posts/
Disallow: /engine/go.php
Disallow: /favorites/
Disallow: /cache/
Disallow: /page/
Disallow: /cgi-bin/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /backup/
Disallow: /tags/
Disallow: */engine/*
Disallow: /engine/
Disallow: /category/
Disallow: /cheaptop_script.php
Disallow: /addnews.html
Disallow: */page/*
Disallow: */thumbs/*
Disallow: /user/
Disallow: /2014/
Disallow: /*print 
Disallow: /*do=addnews
Disallow: /*do=feedback
Disallow: /*do=lastcomments
Disallow: /*do=lostpassword
Disallow: /*do=pm
Disallow: /*do=rules
Disallow: /*do=register
Disallow: /*do=search
Disallow: /*do=stats
Disallow: /*action=mobile$
Disallow: /*html?http*
Disallow: /*utm_medium*
Disallow: /?do=*
Disallow: /*?do=*
Disallow: /?iframe*
Disallow: /?p*
Disallow: /?*
Disallow: /yasearch.html$

User-agent: Yandex
Allow: /uploads/posts/
Disallow: /engine/go.php
Disallow: /category/
Disallow: /cheaptop_script.php
Disallow: /favorites/
Disallow: /cache/
Disallow: /cgi-bin/
Disallow: /page/
Disallow: /addnews.html
Disallow: */page/*
Disallow: */engine/*
Disallow: /engine/
Disallow: */thumbs/*
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /backup/
Disallow: /tags/
Disallow: /*do=rules
Disallow: /user/
Disallow: /2014/
Disallow: /print
Disallow: /?p*
Disallow: /*utm_medium
Disallow: /*action=mobile
Disallow: /do=*
Disallow: /?iframe*
Disallow: /*html?http*
Disallow: /*do=*
Disallow: /yasearch.html$

Host: ваш_сайт.ru
 
Sitemap: http://ваш_сайт.ru /sitemap.xml.gz
Sitemap: http://ваш_сайт.ru /sitemap.xml