robots txt для google
Добавлено: 19 ноя 2012, 17:00
Какой должен быть robots txt для google?Как его правильно настроить для гугла?!
В правильном robots.txt должна быть хотя бы одна директива «Disallow» после записи «User-agent». Для Гугла он выглядит так:
User-agent: Googlebot