Более подробно о robots.txt
Цитата:
7. В корень сайта положите файл robots.txt следующего содержания (если ничего не хотите запрещать к индексации):
PHP код:
User-agent: Yandex
Disallow:
host: your_site.com
User-agent: *
Disallow:
Более подробно о файле robots.txt можно прочитать здесь
|
Я почитал насчет этого и понял, что в большинстве случаев этот файл используют для ограничений.
Так вот вопрос, стоит ли ставить его на сайт, дабы открыть все разрешения и поднять рейтинг ?