Вопросов по поводу использования robots.txt всегда довольно много, а потому мы решили несколько развеять их, написав данную статью. Если вы до сих пор не знаете, что представляет собой файл robots.txt, почему нужно всегда создавать его и грамотно прописывать, вам потребуется ознакомиться с этой статьей и материалами по ссылке. Сразу скажем: многие сайты вообще не имеют robots.txt, однако на их ранжирование в поисковой выдаче сей факт никак не влияет.
Каковы главные ошибки, которые допускают веб-мастера при бездумной работе с robots.txt?
Давайте рассмотрим главные ошибки и проблемы, которые нередко встречаются у веб-мастеров, подходящих к своему делу не слишком профессионально. Во-первых, многие мастера делают запрет на посещение сайта и его индексацию для некоторых роботов. Зачастую такие роботы важны, а потому индексация сайта начинает медленно, но верно таять. Даже если вы запретили обход только для каких-то специальных роботов, вам все равно нужно убедиться в том, что сделано это правильно. Ведь порой отсеиваются роботы, которые несут в себе пользу.
Во-вторых, не все роботы идут от поисковиков. Есть роботы, которые, к примеру, сканируют ваш сайт, изучая, есть ли у вас email адреса. Эти роботы просто извлекают их с сайта и применяют их для спам-целей. Разные рассылки, непонятные письма и т.д. – все это результат работы подобных роботов.
Если сайт до конца не доработан, то на нем может красоваться надпись «в процессе разработки» и т.д. Потому лучше на этом периоде закрыть доступ роботов к сайту. Ведь если они начнут его индексировать на данном этапе, то ничего хорошего не выйдет. Незаконченный сайт в выдаче – не лучший вариант. Открывать доступ к веб-ресурсу надо тогда, когда сайт уже примет нормальный, конечный вид, без каких-либо погрешностей или косяков.
Также важно понимать, что если на сайте имеется раздел для входа, доступный только платным пользователям, то в таком случае надо старательно запрещать доступ к нему через robots.txt. Ведь в противном случае роботы могут проиндексировать скрытые разделы сайта, а это вряд ли будет являться положительным моментом. В выдачу попадут материалы, которые адресованы только премиум-пользователям, оплатившим доступ.
Подходите к robots.txt с умом, и тогда этот файл будет работать на вас верой и правдой. В противном случае вы сделаете так, что индексация сайта будет неполной, противоречивой и неэффективной.
