Анализ robots.txt - Поисковая оптимизация

Первый пост

Опции темы

18.12.2009, 03:15

makskyr

Интересующийся

Пол: Мужской

Инвестирую в: сайтики

Регистрация: 13.06.2009

Сообщений: 186

Благодарностей: 7

Анализ robots.txt

Подскажите файл robots.txt для сайта https://foreks-birjga.msk.ru/ а то не могу понять

10.01.2010, 05:43

Vnahaliavu

Интересующийся

Пол: Мужской

Инвестирую в: Аукцион

Регистрация: 11.11.2009

Сообщений: 11

Благодарностей: 1

Re: Анализ robots.txt

ну вот он:

Цитата:

User-agent: *
Disallow:

Это обозначает, что все роботы могут индексировать весть сайт.

Цитата:

User-agent: Yandex
Disallow:
Host: foreks-birjga.msk.ru

Это для Яндекса, что он может индексировать весь сайт и foreks-birjga.msk.ru - является главным зеркалом. Для яндекса прописано отдельно, так как только он понимает (а точнее пытается понять) директиву host

Про синтаксис роботса написано здесь: https://robotstxt.org.ru/RobotsExclusion/guide

__________________

Играй в мини-игры и выигрывай реальные деньги
Аукционы Внахаляву.ру:Коммуникатор HTC MAX T8290 4G WiMax за 98.75 руб.
Жесткий диск 1000 Гб за 65.00 руб. - и ты так сможешь!