Re: Более подробно о robots.txt
Что пустой robots.txt, что его отсутствие, что как у вас заполненный, поисковикам без разницы. Никакой "рейтинг" вы не увеличите.
Единственная польза - исключить страницы, который индексировать не стоит (профили юзеров и т.д.), да яндексу указать основной домен с www или без.