Анализ robots.txt - Поисковая оптимизация | MMGP
Пользователей
2206
на сайте
Зарегистрированных
440,020
пользователей
Создано
511,222
тем
Написано
12,837,288
сообщений
Присоединяйтесь к нашему инвестиционному форуму, на котором уже 440,020 пользователей. Чтобы получить доступ ко многим закрытым разделам и начать общение -  .
Все о поисковой оптимизации в Yandex, Google, Rambler, Yahoo, Bing и т.д.
Важная информация
Есть опыт работы с криптовалютами? Заведи Крипто-Блог и заработай на нём!
Торгуешь криптовалютой? Оставь свой отзыв о бирже!
Уважаемый гость, Новогодняя поздравительная эстафета уже стартовала, успей поздравить форумчан с наступающими праздниками подробнее...
Разбираешься в криптовалюте? Прими участие в акции Крипторайтер 2.0 (2-10 поинтов за 1000 символов)
Изменения в акции "Оплата за сообщения".
Как на одной публикации заработать $100
Ответить
 
Первый пост Опции темы
Сообщения прочитаны и/или просмотрены Сегодня, 00:06
Старый 18.12.2009, 03:15
#1
Интересующийся
 
Пол: Мужской
Инвестирую в: сайтики
Регистрация: 15.06.2009
Сообщений: 183
Благодарностей: 7
УГ: 0
КП: 0.007
Анализ robots.txt

Подскажите файл robots.txt для сайта http://foreks-birjga.msk.ru/ а то не могу понять
makskyr вне форума  
Старый 10.01.2010, 05:43
#2
Интересующийся
 
Пол: Мужской
Инвестирую в: Аукцион
Регистрация: 12.11.2009
Сообщений: 11
Поблагодарили: 1 раз
УГ: 0
КП: 0.000
Re: Анализ robots.txt

ну вот он:
Цитата:
User-agent: *
Disallow:
Это обозначает, что все роботы могут индексировать весть сайт.

Цитата:
User-agent: Yandex
Disallow:
Host: foreks-birjga.msk.ru
Это для Яндекса, что он может индексировать весь сайт и foreks-birjga.msk.ru - является главным зеркалом. Для яндекса прописано отдельно, так как только он понимает (а точнее пытается понять) директиву host

Про синтаксис роботса написано здесь: http://robotstxt.org.ru/RobotsExclusion/guide
Vnahaliavu вне форума  
Старый 05.02.2010, 00:53
#3
Интересующийся
 
Пол: Мужской
Инвестирую в: Свой бизнес
Регистрация: 29.01.2010
Сообщений: 57
Благодарностей: 0
УГ: 0
КП: 0.000
Re: Анализ robots.txt

я им вообще не пользуюсь
varenik вне форума  
Ответить
Войдите, чтобы оставить комментарий.
Сообщения прочитаны и/или просмотрены Сегодня, 00:06
Опции темы

Быстрый переход


Случайные темы
Аватара нет
Steady invest - steadyinvest.com
От pHYIP в разделе «Архив: Список проблемных/неактивных/закрытых программ»
Аватар Leito
Безопасность webmoney не знает границ
От Leito в разделе «WebMoney»
Аватар VictorSamus
О себе
От VictorSamus в разделе «VictorSamus»
Аватар TTLuck2017
Стартап Intelivideo привлек $5.6 млн. для своей одноименной платформы
От TTLuck2017 в разделе «Новости в мире финансов и инвестиций»
Аватар veranika55
Глава ВТБ 24 раскритиковал идею страхования вкладов малого бизнеса
От veranika55 в разделе «Новости в мире финансов и инвестиций»
Аватара нет
PureBank - PureBank.Biz
От Angel-monitor в разделе «Архив: Список проблемных/неактивных/закрытых программ»
.     
Пользователей
440,020
Тем
511,222
Сообщений
12,837,288

mmgp.telegram