Про индексацию

При изучении темы оптимизации возникла пара вопросов...

1. Индексируются ли поисковиками динамические страницы? Т.е. страницы, для которых нет файла на сервере.
2. И наоборот. Индексируются ли страницы, для которых файл есть, но нет ссылки на эту страницу на сайте?

Основной причиной невозможности индексации динамически генерирующихся страниц
является наличие знаков “?”, “&”, “=” в адресах
этих страниц. Спайдеры поисковых систем просто не понимают этих символов, а
именно с их помощью передаются параметры вызова скриптов на сервере, которыми
и генерируется страница.

Следует еще раз подчеркнуть - проблемы возникают именно из-за наличия таких
символов. Сама страница генерируется на сервере и в броузер пользователя передается
чистый html. Расширение страницы, будь-то .cgi, .asp, .phtml,
.php и другие, никакого значения не имеет. Это относится и к страницам,
часть содержимого которых генерируется директивами SSI.

Приятным исключением, правда, выступает Яндекс,
который индексирует все такие страницы, не спотыкаясь на служебных символах.


К счастью, есть несколько способов обойти данную проблему. Рассмотрим два из
них.

Первый способ состоит в коренной переделке серверных скриптов, на которых работает
ваш сайт. Просто переделайте их так, чтобы избежать использования знаков “?”,
“&”, “=” в адресах. К примеру, старый адрес типа https://www.yourdomain.com/index.php?article=45
будет выглядеть как https://www.yourdomain.com/articles/45. Это довольно сложно,
если в составе разработчиков сайта нет программистов, но вполне оправданно,
если проект разрабатывается на собственной программной платформе.

Второй способ решения такой проблемы заключается в динамическом преобразовании
URL средствами вебсервера Apache. В основном, используется библиотека mod_rewrite,
которая, на основе прописанной вами в файле .htaccess маски, переопределяет
вызов определенной страницы как вызов основного скрипта с нужными параметрами.
Способы реализации этого, конечно же, различны для разных скриптов, хотя для
большинства популярных скриптов их можно найти на форумах поддержки.

Третий способ - используйте скрипты, генерирующие чистый html. Среди бесплатных
скриптов CMS (Content Management System) есть такие, как GreyMatter
и SSRTech, результатом работы которых является
чистая html-страница.


Если же ни один их указанных способов вам не подходит, или его реализация невозможна,
то не спешите отчаиваться. Помимо Яндекса, результаты работы скриптов индексируются
еще несколькими крупными поисковиками. Правда, воспользоваться этим несколько
сложно, но вполне возможно. Взгляните на сводную таблицу, где указано, как и
какие поисковики индексируют динамические страницы.

https://www.searchengines.ru/

Только кое-что не понятно...
???

Это раньше боты плохо индексировали динамику, сейчас все основные поисковики все прекрасно индексируют ... мои (да и не только мои) сайты тому подтверждение!

Индексируют все прото без ссылок хуже в поиске реже выходят.Это лично мои наблюдения!И индексируют гораздо позднее