Более подробно о robots.txt - Поисковая оптимизация | MMGP
Присоединяйтесь к нашему инвестиционному форуму, на котором уже 434,339 пользователей. Чтобы получить доступ ко многим закрытым разделам и начать общение -  .
Вход через:  
Все о поисковой оптимизации в Yandex, Google, Rambler, Yahoo, Bing и т.д.
Важная информация
Есть опыт работы с криптовалютами? Заведи Крипто-Блог и заработай на нём!
Торгуешь криптовалютой? Оставь свой отзыв о бирже!
Разбираешься в криптовалюте? Прими участие в акции Крипторайтер 2.0 (2-10 поинтов за 1000 символов)
Изменения в акции "Оплата за сообщения".
Как на одной публикации заработать $100
Ответить
 
Первый пост Опции темы
Сообщения прочитаны и/или просмотрены Сегодня, 21:40
Старый 26.05.2010, 12:23
#1
Заблокированный
 
Пол: Мужской
Регистрация: 26.05.2010
Сообщений: 50
Поблагодарили: 1 раз
УГ: 0
КП: 0.000
Более подробно о robots.txt

Цитата:
7. В корень сайта положите файл robots.txt следующего содержания (если ничего не хотите запрещать к индексации):

PHP код:
User-agent: Yandex
Disallow:
host: your_site.com

User-agent: *
Disallow:
Более подробно о файле robots.txt можно прочитать здесь

Я почитал насчет этого и понял, что в большинстве случаев этот файл используют для ограничений.
Так вот вопрос, стоит ли ставить его на сайт, дабы открыть все разрешения и поднять рейтинг ?
Баннер: {{ slide.title }}
allod вне форума  
Старый 31.05.2010, 19:11
#2
Интересующийся
 
Пол: Мужской
Инвестирую в: Поисковая оптимизация
Регистрация: 20.05.2010
Сообщений: 69
Благодарностей: 2
УГ: 0
КП: 0.000
Re: Более подробно о robots.txt

Наличие такого служебного файла, как robots.txt - это однозначно плюс со стороны поисковых систем!!!

Создай пустой файл robots.txt в корневом каталоге - это будет разрешение индексировать весь сайт...но не стоит забывать и о другом служебном файле, как sitemap, который прописуют в роботс.txt
CEODelo вне форума  
Старый 06.06.2010, 18:29
#3
Интересующийся
 
Пол: Мужской
Инвестирую в: Поисковая оптимизация
Регистрация: 13.11.2009
Сообщений: 37
Благодарностей: 30
УГ: 0
КП: 0.000
Re: Более подробно о robots.txt

часто слышал что правильно заполненнное поле Host в robots.txt предотвращает создание клонов вашего сайта.
Это поможет пс воспринять www имя_сайта как зеркало
bons вне форума  
Старый 25.06.2010, 02:40
#4
Интересующийся
 
Пол: Мужской
Возраст: 39
Адрес: Пермь
Регистрация: 05.02.2009
Сообщений: 44
Благодарностей: 3
УГ: 0
КП: 0.000
Re: Более подробно о robots.txt

Что пустой robots.txt, что его отсутствие, что как у вас заполненный, поисковикам без разницы. Никакой "рейтинг" вы не увеличите.

Единственная польза - исключить страницы, который индексировать не стоит (профили юзеров и т.д.), да яндексу указать основной домен с www или без.
Моторокер вне форума  
Старый 10.07.2010, 04:07
#5
Заблокированный
 
Имя: Алексей
Пол: Мужской
Возраст: 29
Адрес: Санкт-Петербург
Инвестирую в: Стартапы
Регистрация: 29.01.2010
Сообщений: 37
Благодарностей: 12
УГ: 0
КП: 0.000
Re: Более подробно о robots.txt

robots.txt служит для разрешения/запрета индексирования. Некие правила для роботов ПС
seo2z вне форума  
Ответить
Войдите, чтобы оставить комментарий.
Сообщения прочитаны и/или просмотрены Сегодня, 21:40
Опции темы

Быстрый переход


Случайные темы
Аватар Anton-writer
Агентства Fitch и S&P понизили рейтинг Киева до дефолтного уровня
От Anton-writer в разделе «Новости в мире финансов и инвестиций»
Аватара нет
Очень любопытная возможность инвестирования в стартап. Сеть пиццерий
От Volfram в разделе «Инвестирование в стартапы»
Аватар Save83
Экономический кризис почувствовали уже более 70% россиян
От Save83 в разделе «Новости в мире финансов и инвестиций»
Аватар Анна Чернобай
Непроданные квартиры обложат налогом
От Анна Чернобай в разделе «Недвижимость»
Аватар Oliver Frank
Беларусь договаривается о поставках нефти из Ирана через Украину
От Oliver Frank в разделе «Новости в мире финансов и инвестиций»
.     
Пользователей
434,339
Тем
503,891
Сообщений
12,649,617

mmgp.telegram