Присоединяйтесь к нашему инвестиционному форуму, на котором уже 409,433 пользователей. Чтобы получить доступ ко многим закрытым разделам и начать общение -  .
Вход через:  
Все о поисковой оптимизации в Yandex, Google, Rambler, Yahoo, Bing и т.д.
Важная информация
Уважаемый гость, выбираем лучших "Бизнес-леди MMGP - 2017" ($2295), а также запущено голосование поинтами
Изменения в акции "Оплата за сообщения".
Как на одной публикации заработать $100
Открылся магазин MMGP
Ответить
 
Первый пост Опции темы
Сообщения прочитаны и/или просмотрены Сегодня, 06:11
Старый 19.09.2007, 16:05
#1
Любитель
 
Пол: Мужской
Инвестирую в: Свой бизнес
Регистрация: 10.07.2007
Сообщений: 197
Благодарностей: 28
УГ: 0
КП: 0.000
robots.txt - информация для новичков

Если вы внимательно посмотрите на логи своего сервера, то вероятнее всего увидите что когда к вам на сайт приходят боты поисковых систем, то первое что они запрашивают это /robots.txt .

robots.txt должен находиться в корне вашего сайта, обязательно (!) должен быть написан маленькими буквами (не заглавными) и задавать исключения для ботов!

Для чего это все нужно? Для того чтобы поисковые сситемы не индексировали то, что не нужно ... например файлы с профилями пользователей на форумах т.к это отвлекает бота от индексации того что нам нужно + в профилях пользователей содержатся ссылки на их сайты (а как вы знаете чем меньше исходящих ссылок с вашего сайта, тем лучше! )

Из чего состоит robots.txt :

User-Agent: имя бота (можете посмотреть в логах своего сервера)

Disallow: путь к файлу(ам) или папкам к которым бот не должен иметь доступа, и соответственно не индексировать

# - полсе данного знака можно указаывать комментарии

Примеры:

User-agent: Yandex
Disallow: /mysecretfolder/
Disallow: /showprofile.html

# Запрещает ботам Яндекса посещать папку http://site.ru/mysecretfolder/
# и файл http://site.ru/showprofile.html


User-agent: Aport
User-agent: Googlebot
Disallow: /myfolder/img/

# Запрещает ботами Google и Апорт посещение http://site.ru/myfolder/img/


User-agent: StackRambler
Disallow:

# Для бота поисковой системы Рамблер разрешено посещение всех
# страниц и папок сайта


User-Agent: *
Disallow: /profile.php?act=show

# Запрещает посещение всеми ботами, для которых не сделана
#отдельная запись,
# динамических страниц, начинающихся с http://site.ru/profile.php?act=show
# например: http://site.ru/profile.php?act=show&id=77
# чувствительно к порядку переменных в ссылке

Последний раз редактировалось savit; 19.09.2007 в 16:08.
savit вне форума  
Старый 12.10.2007, 13:52
#2
Интересующийся
 
Пол: Мужской
Возраст: 37
Адрес: Минск
Регистрация: 05.03.2007
Сообщений: 40
Поблагодарили: 1 раз
УГ: 0
КП: 0.000
robot.txt пустой в корневой дерективе что дает?
UN_Tony вне форума  
Старый 13.10.2007, 16:52
#3
Любитель
 
Пол: Мужской
Инвестирую в: Свой бизнес
Регистрация: 10.07.2007
Сообщений: 197
Благодарностей: 28
УГ: 0
КП: 0.000
1) название файла именно robots.txt, а не robot.txt
2) пустой файл никакую роль не играет
savit вне форума  
Старый 13.10.2007, 17:40
#4
Интересующийся
 
Пол: Мужской
Адрес: Казань
Инвестирую в: Форекс
Регистрация: 02.08.2007
Сообщений: 165
Благодарностей: 36
УГ: 0
КП: 0.000
Оптимизация оптимизацией, а файла такого быть не ДОЛЖНО. Это мой совет. Сам раньше занимался сетевой безопасностью с плохой стороны, так вот хакер при заходе на сайт первым делом проверяет этот файл, если он есть, то там прописаны все директории и папки и файлы куда заходить поисковику не нужно, значит там в открытом виде не публичные данные. Иногда доходило до абсурда, типа файлов с паролями или wmsigner. Вобщем, если файлы уж очень важные лучше с настройками апача поработать получше. А с файликом поосторожней этим.
Demark вне форума  
Сказали спасибо:
Senator2 (14.10.2007)
Старый 13.10.2007, 19:32
#5
Любитель
 
Пол: Мужской
Инвестирую в: Свой бизнес
Регистрация: 09.06.2007
Сообщений: 378
Благодарностей: 16
УГ: 0
КП: 0.000
А потом всё идём в баню от Яндекса, Гугла...
kirilll007 вне форума  
Старый 21.06.2016, 15:35
#6
Интересующийся
 
Регистрация: 03.10.2014
Сообщений: 202
Благодарностей: 6
УГ: 0
КП: 0.006
Re: robots.txt - информация для новичков

Перед тем, как приступить к настройке robots.txt для сайтов, советую новичкам ознакомиться с официальными рекомендациями Яндекса и Google по этому вопросу. Однако, как обычно и бывает, инфа там не очень легка для восприятия, поэтому вот тут https://netrocket.com.ua/blog/chto-t...jl-robots-txt/ разложил все по полочкам и с картинками
Slava Ivanov 1851950809 вне форума  
Старый 21.06.2016, 15:38
#7
Мастер
 
Имя: Виктор
Пол: Мужской
Инвестирую в: Свой бизнес
Регистрация: 23.04.2015
Сообщений: 2,324
Благодарностей: 667
УГ: 0
КП: 0.309
Re: robots.txt - информация для новичков

Странное заявление от ТС, если :
Цитата:
Сообщение от kirilll007 Посмотреть сообщение
А потом всё идём в баню от Яндекса, Гугла...
Varkan вне форума  
Старый 13.10.2016, 10:19
#8
Интересующийся
 
Пол: Мужской
Регистрация: 06.08.2015
Сообщений: 6
Благодарностей: 0
УГ: 0
КП: 0.000
robots.txt

я тоже когда был новичком в создании сайтов и в продвижении для начала прочитал статью http://1ps.ru/blog/seo/robotstxt/?from=a5194 все понятно и просто
Демон тьмы вне форума  
Старый 02.12.2016, 16:29
#9
Любитель
 
Пол: Женский
Инвестирую в: SEO
Регистрация: 26.11.2016
Сообщений: 579
Благодарностей: 49
УГ: 0
КП: 0.049
Re: robots.txt - информация для новичков

Сейчас в каждом втором (если не в каждом первом) сео-блоге разжевана вдоль и поперек настройка роботс.тхт, но для начала лучше заглянуть на гугл и яндекс и прочитать информацию именно там
incolor вне форума  
Старый 05.02.2017, 18:38
#10
Любитель
 
Пол: Мужской
Возраст: 27
Адрес: Украина
Инвестирую в: SEO
Регистрация: 18.02.2016
Сообщений: 177
Благодарностей: 14
УГ: 0
КП: 0.016
Re: robots.txt - информация для новичков

Возможно поможет статья http://seovsite.in.ua/kak-sozdat-sde...xt-dlya-sajta/
__________________

Все о продвижении сайтов и блогов - здесь
sistar-fx вне форума  
Ответить
Войдите, чтобы оставить комментарий.
Сообщения прочитаны и/или просмотрены Сегодня, 06:11
Опции темы

Быстрый переход


Случайные темы
Аватар smsobmenRU
Ищем гемблинг партнерку для работы по RevShare
От smsobmenRU в разделе «Партнерские программы»
Аватара нет
Чем лучше форекс - партнерка...
От IAKKH в разделе «Партнерские программы»
Аватар putoran
В россии может появиться два вида кредитных организаций
От putoran в разделе «Новости в мире финансов и инвестиций»
Аватар chu
QIWI зарегистрировала домены для собственной криптовалюты - битрубля
От chu в разделе «Новости технологий и интернета»
Аватар Jevi
a-groupinvestment.com - A-Groupinvestment
От Jevi в разделе «Архив: Список проблемных/неактивных/закрытых программ»
Аватара нет
Компания FINPLUS
От Verkel в разделе «Архив: Список проблемных/неактивных/закрытых программ»
.     
Пользователей
409,433
Тем
467,204
Сообщений
11,534,986