Robots.txt – почему важно использовать этот файл?

Дата публикации:Март 31, 2018

Вопросов по поводу использования robots.txt всегда довольно много, а потому мы решили несколько развеять их, написав данную статью. Если вы до сих пор не знаете, что представляет собой файл robots.txt, почему нужно всегда создавать его и грамотно прописывать, вам потребуется ознакомиться с этой статьей и материалами по ссылке. Сразу скажем: многие сайты вообще не имеют robots.txt, однако на их ранжирование в поисковой выдаче сей факт никак не влияет.

Каковы главные ошибки, которые допускают веб-мастера при бездумной работе с robots.txt?

Давайте рассмотрим главные ошибки и проблемы, которые нередко встречаются у веб-мастеров, подходящих к своему делу не слишком профессионально. Во-первых, многие мастера делают запрет на посещение сайта и его индексацию для некоторых роботов. Зачастую такие роботы важны, а потому индексация сайта начинает медленно, но верно таять. Даже если вы запретили обход только для каких-то специальных роботов, вам все равно нужно убедиться в том, что сделано это правильно. Ведь порой отсеиваются роботы, которые несут в себе пользу.

Во-вторых, не все роботы идут от поисковиков. Есть роботы, которые, к примеру, сканируют ваш сайт, изучая, есть ли у вас email адреса. Эти роботы просто извлекают их с сайта и применяют их для спам-целей. Разные рассылки, непонятные письма и т.д. – все это результат работы подобных роботов.

Если сайт до конца не доработан, то на нем может красоваться надпись «в процессе разработки» и т.д. Потому лучше на этом периоде закрыть доступ роботов к сайту. Ведь если они начнут его индексировать на данном этапе, то ничего хорошего не выйдет. Незаконченный сайт в выдаче – не лучший вариант. Открывать доступ к веб-ресурсу надо тогда, когда сайт уже примет нормальный, конечный вид, без каких-либо погрешностей или косяков.

Также важно понимать, что если на сайте имеется раздел для входа, доступный только платным пользователям, то в таком случае надо старательно запрещать доступ к нему через robots.txt. Ведь в противном случае роботы могут проиндексировать скрытые разделы сайта, а это вряд ли будет являться положительным моментом. В выдачу попадут материалы, которые адресованы только премиум-пользователям, оплатившим доступ.

Подходите к robots.txt с умом, и тогда этот файл будет работать на вас верой и правдой. В противном случае вы сделаете так, что индексация сайта будет неполной, противоречивой и неэффективной.

Поделиться

Оставить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Получать новые комментарии по электронной почте. Вы можете подписаться без комментирования.