Более подробно о robots.txt - Поисковая оптимизация

Первый пост

Опции темы

26.05.2010, 11:23

allod

Заблокированный

Пол: Мужской

Регистрация: 24.05.2010

Сообщений: 50

Благодарностей: 1

Более подробно о robots.txt

Цитата:

7. В корень сайта положите файл robots.txt следующего содержания (если ничего не хотите запрещать к индексации):

PHP код:
User-agent: Yandex
Disallow:
host: your_site.com

User-agent: *
Disallow:
Более подробно о файле robots.txt можно прочитать здесь

Я почитал насчет этого и понял, что в большинстве случаев этот файл используют для ограничений.
Так вот вопрос, стоит ли ставить его на сайт, дабы открыть все разрешения и поднять рейтинг ?

31.05.2010, 18:11

CEODelo

Интересующийся

Пол: Мужской

Инвестирую в: Поисковая оптимизация

Регистрация: 19.05.2010

Сообщений: 69

Благодарностей: 2

Re: Более подробно о robots.txt

Наличие такого служебного файла, как robots.txt - это однозначно плюс со стороны поисковых систем!!!

Создай пустой файл robots.txt в корневом каталоге - это будет разрешение индексировать весь сайт...но не стоит забывать и о другом служебном файле, как sitemap, который прописуют в роботс.txt

__________________

SEO дело

06.06.2010, 17:29

bons

Интересующийся

Пол: Мужской

Инвестирую в: Поисковая оптимизация

Регистрация: 12.11.2009

Сообщений: 40

Благодарностей: 30

Re: Более подробно о robots.txt

часто слышал что правильно заполненнное поле Host в robots.txt предотвращает создание клонов вашего сайта.
Это поможет пс воспринять www имя_сайта как зеркало

25.06.2010, 01:40

Моторокер

Интересующийся

Пол: Мужской

Возраст: 45

Адрес: Пермь

Регистрация: 04.02.2009

Сообщений: 50

Благодарностей: 3

Re: Более подробно о robots.txt

Что пустой robots.txt, что его отсутствие, что как у вас заполненный, поисковикам без разницы. Никакой "рейтинг" вы не увеличите.

Единственная польза - исключить страницы, который индексировать не стоит (профили юзеров и т.д.), да яндексу указать основной домен с www или без.