Страницы меток, рубрик, архивов – нужна ли их индексация?

В данной статье хотелось бы немного порассуждать о том, стоит ли в своем блоге оставлять открытыми для индексации страницы с метками, рубриками и архивами? До недавнего времени я считал, что лишнего трафика не бывает, ведь индексацию проходит абсолютно весь контент, находящийся в блоге, и закрывать что-либо – это значит сознательно ставить бетонную стену на пути некоторых людей. Однако все оказалось не так просто. Я не буду претендовать на то, что мои слова являются истиной в последней инстанции, это далеко не так, но некоторые советы все же приведу, которые мне кажутся разумно обоснованными и проверенными на практике.

Кстати, о практике: я никогда не доверяю тому, что написано на других ресурсах, пока не проверю это самостоятельно. Пока писал этот пост, посмотрел в поиске статьи, связанные по смыслу с моей. Навскидку попались две статьи, в одной из которых было сказано, что нет смысла закрывать от индексации страницы с метками и рубриками, а в другой, наоборот, нахваливали расстановку запретов на индексирование. Естественно, такая путаница вряд ли может пойти на пользу, так что давайте посмотрим, что здесь правда, а что – выдумка. Использовать будем только те сведения, которые проверены практическим путем.

Итак, какой же способ все-таки лучше? Хочу сделать еще небольшое лирическое отступление, перед тем, как перейти уже непосредственно к изучению самого вопроса. До недавних пор я вообще не интересовался затачиванием статей под определенные ключевые слова, мне все это было не важно. Я не выделял и не впихивал насильно ключи в текст (и не собираюсь этого делать в дальнейшем). Несмотря на это, индексация всегда проходила нормально, за исключением некоторых статей, которые были слишком маленького объема и уже повторялись с темой тех, что были опубликованы ранее. Отступление сделано, теперь к самой сути.

Как все начиналось. Мне захотелось проверить, на какой позиции находится мой сайт по запросу «wordpress блог» в Яндексе. Знаю, что запрос довольно популярный, но все же я решил остановиться именно на нем. Полистав поиск, я понял, что просто трачу свое время, ибо сайт если и есть, то где-то очень глубоко. Тогда мне захотелось узнать, какая же из страниц все-таки попала в Яндекс по этому запросу. Может, вообще никакой? И посмотрев через расширенный поиск, я отметил для себя такую совсем не радужную картину: в поиске была страница с меткой «wordpress блог». Несмотря на то, что у меня в блоге достаточно статей, которые имели такую метку, залезла в индекс неинформативная страница, на которой размещены краткие анонсы записей. В общем и целом, как я понял, эти страницы (с метками, рубриками, архивами) получают значительно больший вес, чем записи (если, конечно, их не перенасыщать ключами, но это я не пробовал, так что ничего сказать не могу), поэтому и попадают в поиск. Выйти на них через поиск сложно, потому что на этих страницах не индексируется никакой текст, кроме самой метки. Получается, что в поиске просто висит такая страница с меткой, которая занимает позицию где-то в самом конце выдачи, поскольку запрос популярный.

Вывод: страницы меток, архивов и рубрик почему-то влезают в выдачу, оттесняя остальные страницы, которые могут быть интересны посетителям. Кого заинтересует голая страница с рубрикой в выдаче? Вряд ли пользователи станут открывать этот сайт и изучать его. Скорее, сформулируют запрос более точно.

Таким образом, если человек ведет блог исключительно для себя, то лучше всего, с моей точки зрения, закрыть индексирование рубрик, меток и архивов, чтобы в выдачу попадали не страницы с метками, а конкретные записи, способные заинтересовать потенциальных читателей. С недавних пор я решил расставить запреты на индексирование страниц с метками, рубриками и архивами с помощью плагина Robots Meta. Посмотрим, к чему это приведет.

Интересно услышать ваше мнение по этому поводу. Как вы считаете, стоит или нет ставить запреты на индексацию таких элементов, как страницы рубрик, архивов и меток?

Блог про WordPress
Комментарии: 46
  1. Монтеро

    У меня индексация меток и архивов закрыта. Во избежание дублирование контента, как я наивно полагаю ) Рубрики не закрываю.

    1. Монтеро

      Позор мне, «во избежание дублированиЕ» написал, двоечник

      1. Дмитрий (автор)

        Но мне кажется, что здесь все-таки дублирования контента не происходит. Все статьи попадали в индекс нормально даже с открытыми страницами меток. Другое дело, что и сами эти страницы тоже попадают в индекс, имея больший приоритет и вес для поисковика, чем статьи. Опять же, может быть, фишка в том, что надо затачивать статьи под ключевики, а если статья не заточена под них, а просто написана для пользователей и ей присвоена метка, которая содержит ключевое слово, то страница с этой меткой и попадает в выдачу, а сама статья — нет.

  2. Лена

    У меня перманентно ручки тянутся к файлу robots.txt. Но успокаиваюсь, как только Ваш robots опять гляну.
    И сейчас Вы свой роботс не трогаете, а регулируете все плагином Robots Meta?

    1. Дмитрий (автор)

      Да, в этом плагине есть все, что нужно. Поставил пару галочек — запретил все, что требуется. Удобно и быстро.

  3. woodhead

    Тоже прочитал в интернете мнение, что лучше рубрики, метки и архивы закрыть. Вроде как дублирование контента. А то посмотрел, сколько страниц в поиске с помощью site:*имя_сайта*. Что-то дофига всего ненужного читателям. Которое, кстати, в общей выдаче запрятано о-о-о-чень глубоко. Для себя сделал вывод, что все эти рубрики, архивы и метки — это для удобной навигации на сайте. А в поиск нужно выдавать только сами посты, или страницы. Кстати, пользуюсь для All in One SEO Plugin Options (плагин для WordPress). Ну, и Robots.txt тоже прописал nofollow. Но там уже сокрытие от поисковиков движка wordpress и прочей ненужной лабуды, но относящейся к контенту сайта.

  4. Дмитрий (автор)

    Вроде как дублирование контента.

    Дублирования там не происходит, просто в индекс вылезают вот эти вот страницы рубрик и меток, которые не содержат для читателя никакой полезной информации. Лучше, когда по запросу будет выдаваться определенная статья. А это уже надо проверять, чтобы статья соответствовала запросу по смыслу.

    All in One SEO Plugin удобен для тех, кто продает статьи на разных биржах, потому что в нем можно прописывать title и keywords для каждой записи, что часто требуют рекламодатели. Сам я тоже ставил его, пользовался, но потом отказался от этого.

    follow и nofollow я ставлю для каждой записи отдельно. Если в ней много ссылок на разные сайты, плагины, то тогда ставлю nofollow.

  5. Сергей

    Не знаю, у меня категории открыты, и т.к. поисковики их выше ранжируют, то это плюс. Но на моем сайте не просто пустой «архив по категории», там у каждой категории выводится предваряющий текст с видео и картинками, и только после него собственно архив.
    Вот сейчас по запросу «хастл» из моего Новороссийска видно, что в Яндексе после википедии и московского хастл-центра на третьем месте стоит страница категории хастл: http://rudance.ru/category/hustle/
    Так что не закрывать — правильное решение. Я об этом ещё на блоге CtrlC читал, его автор по этой же схеме делал сайты для вывода товаров для рекламы торговой партнерки.

    1. Дмитрий (автор)

      Это смотря как сделаны рубрики. То, что выше ранжирует, это верно — но, как я и писал в статье, в выдаче просто содержится ссылка на страницу рубрики, в которой гора записей, а это увеличивало число отказов. Ведь пользователь хочет получить именно статью, а не просто список всех статей. Предваряющий текст с видео и картинками — это хорошо, но как быть с остальными статьями из рубрики? По моему опыту, они ужасно индексируются (если вообще попадают в индекс).
      Я специально под ключи не затачиваю статьи, поэтому и трафик очень качественный. Когда закрыл рубрики, трафик несколько упал, но после переиндексации Яндексом он вернулся на прежние позиции, только теперь уже не в виде архивных страниц, а в виде нормальных статей, и продолжает идти вверх

  6. Сергей

    Да просто страницы записей у меня содержат мало текста — там описание событий (вечеринки, конкурсы, опен-эйры etc), в основном контент — фото и видео. Поэтому считаю, что в моем случае это единственный правильный вариант. Конечно же когда статьи полноценные все иначе, согласен.

    1. Дмитрий (автор)

      Да, в вашем случае получается этот вариант самый правильный — Яндекс любит, когда на странице много разных мультимедиа-материалов, текстовых блоков, подзаголовков и т.д.

  7. Волшебник

    Думаю страницы рубрик и меток идут вверх по очевидной причине — ссылки на них есть в каждой статье, и получается, что все статьи в какой-то рубрике ссылаются на страницу рубрики или меток и таким образом передают ей вес. Вот она и ранжируется выше.

    Решения которые напрашиваются: либо сделать метки и рубрики в статьях nofollow, либо как-то красиво сделать страницу с рубрикой, добавить туда какую нибудь статейку с картинками и список статей, чтобы люди заходя туда, обязательно куда-нибудь щелкнули и увязли в сайте, либо просто закрыть от индексации…

    1. Дмитрий (автор)

      Конечно, эффективное решение — забить текстом архивы по каждому тегу и каждой рубрике, но в таком случае придется совершить просто гору работы, особенно если, как у меня, тегов и рубрик очень много. Потому конкретно для своего случая считаю, что самое удобное и подходящее решение — запретить их индексацию. Но видел и другие варианты, когда забивали эти страницы текстом, разными мультимедиа-данными, чтобы оптимизировать их для выдачи, и такой случай тоже оказывался эффективным.

  8. Волшебник

    Думаю, метки лучше либо вообще не использовать на сайте, ограничившись только рубриками, либо использовать очень ограниченно. Метки имеет смысл использовать для решения каких-то задач, когда без них не обойтись, а не просто потому что так захотелось.

    Например каталог музыки, где метки это год, жанр, группа, альбом и так далее. Т.е. записи не могут быть систематизированы только рубриками и нужна более сложная организация структуры по полям, и здесь НЕОБХОДИМЫ метки. А если это тематический сайт с несколькими разделами, то метки там скорее прихоть, нежели насущная необходимость.

    Наилучший эффект дают перекрёстные ссылки и упоминания с сылками в самих текстах статей, а не метки. К примеру как в википедии, если что-то упоминается — на него идёт ссылка. А вот облако меток я читал, может даже повредить сайту, особенно если оно большое и распылённое типа «всё обо всём», а не состоит из ограниченного числа ключевиков, описывающих тему сайта. В целом я лично (может я ошибаюсь конечно) не сторонник облака меток. Лучше на мой взгляд чёткая и понятная пользователю структура разделов, ручная перелинковка и рубрики.

    1. Дмитрий (автор)

      Метки работают еще и для удобства пользования ресурсом: пользователи могут найти по той же самой метке схожую информацию. Конечно, если смотреть по тепловой карте кликов, то пользователи редко щелкают по облаку меток, но вообще все это направлено на достижение юзабилити, а это также важный компонент, поскольку поисковые системы оценивают и общее удобство пользования ресурсом — точнее, исходя из него составляют свое мнение о ресурсе. Потому, я считаю, облако меток не портит навигацию, но добавляет к ней еще один вариант поиска статей, а значит, имеет свое право быть.

  9. Дмитрий (автор)

    Загрузите на любой файлообменник, к примеру, на радикал, и отправьте ссылку (желательно одну, чтобы под антиспам не попасть).

  10. Andrey

    Здравствуйте, столкнулся с похожей проблемой. Только у меня рубрики, архивы и страницы добавляются в названия картинок с моего сайта в поисковой выдаче, хотя названия картинкам я задавал совсем другие.

    Получается примерно такое название у изображения — Фильмы Archives | Страница 6 из 20 | «Название сайта». Из 10 загруженных картинок 2-3 выводятся с нормальными названиями, к другим прилипают рубрики, архивы и метки.

    На блоге очень много картинок и желающих перейти по такому названию думаю окажется не много).

    Скажите, пожалуйста, как думаете, если я закрою от индексации рубрики, архивы, страницы, метки, картинки с такими названиями не будут попадать в поисковую выдачу?

    1. Дмитрий (автор)

      Желательно бы, чтобы вы привели скриншот, а то не совсем понятно, как это выглядит, что к картинке «прилипли» категории и метки в выдаче.

      Если архивы рубрик и меток несут в себе на вашем сайте какую-нибудь смысловую нагрузку, то тогда закрывать их не нужно. Если же вам важно, чтобы только записи как смысловая единица оказались в выдаче, то в таком случае лучше запретить индексацию всего остального.

      А вообще, странно, что у вас так прилепляются какие-то дополнительные рубрики и метки к изображениям в выдаче. Возможно, вы используете какой-нибудь хитровыкрученный плагин для оптимизации?

      1. Andrey

        Скриншоты есть, но не могу найти как их можно прикрепить к комментарию.

  11. Andrey

    Понял, спасибо, сделаем.

  12. Andrey
  13. Andrey

    То есть в поисковой выдаче отображаются картинки с такими названия, и при нажатии на картинку открывается не отдельная запись, к которой относится данная картинка, а открывается страница сайта с другими записями архива или рубрик.

    1. Дмитрий (автор)

      Хм, я бы в первую очередь посетовал на плагин SEO, который имеет опцию перезаписи заголовков для разных страниц, в том числе и для архивов. Возможно, что у вас включена такая опция, и потому эти изображения, ведущие на архивы, получают такую перезапись. А вообще — попробуйте закрыть от индексации разные архивы. Возможно, что в таком случае яндекс будет правильно индексировать ваши изображения — правда, проверить это можно будет лишь со временем, когда он переиндексирует весь ваш сайт.

      1. Andrey

        Так архивы можно закрыть?
        Disallow: /archives

        1. Дмитрий (автор)

          Если вы предпочитаете закрывать через robots.txt, то да. В принципе можно через те же SEO-плагины закрывать.

          1. Andrey

            Спасибо за помощь.

  14. Волшебник

    Andrey так всё правильно. Там ведь в гугл опция «открыть страницу, содержащую картинку», собственно страница и открывается и название страницы берется оттуда.

    Чтобы название бралось с картинки, необходимо прописывать alt для картинок. Кроме того запретить страницы с вложениями вообще. Т.е. не просто запретить их в роботс, а вообще отрубить этот функционал. Т.е. вставляйте картинку в статью не как ссылку на страницу с вложением, а как просто некликабельную картинку.

  15. Волшебник

    Рекомендую поставить seo плагин http://wordpress.org/plugins/wordpress-seo/

    Там есть возможность запретить страницы с вложениями и переправить автоматически все такие страницы на страницы статей, где использованы эти вложения.

    1. Andrey

      Спасибо за помощь.

  16. Игорь

    Решил поэкспериментировать, закрыл у себя категории, метки и архивы :-)
    Посмотрю, что будет! Скажется ли это на посещаемости или нет.

    1. Дмитрий (автор)

      Поначалу может отразиться. Но зато плюс — в выдаче останутся только статьи, и пользователи будут получать только конкретные материалы вместо всяких страниц рубрик и т.д.

  17. Михаил

    Спасибо большой, нашёл то что искал, много полезной информации.
    Буду рад гостям на cookingathome.ru

  18. freedore

    Спасибо за вашу статью. Очень жаль, что на весь рунет, только вы написли такую ценную статью по этой тематике. Все описанное я пережил на своей шкуре. Метки забивали всю выдачу и получается, что только они и есть в выдаче, а статьей как бы и нет и они все в тени меток и рубрик. Было и падение посещаемости после отказа от индексации меток и категорий и постепенное вытеснение статьями страниц. Теперь написанный пост не завянет под тенью тяжелых, но как вы правильно отметили бесполезных для ищущего информацию служебных страниц. Замечательно. Снимаю шляпу.

    1. Дмитрий (автор)

      Все верно, но это работает не для всех ситуаций.

      В некоторых случаях, как уже говорилось выше, архивы по меткам или по рубрикам имеют свое собственное описание в самом верху, и потому они могут специально затачиваться под выдачу из-за своего более высокого веса по сравнению со статьями.

  19. freedore

    У меня дано текстовое описание для рубрик и меток, но я считаю, что вы очень правдиво и жизненно описали ситуацию. Мне бы хотелось, что бы я познакомился с вашей статьей до того как сам пережил описанные вами этапы пути.

    1. Дмитрий (автор)

      Да, все основано на личном опыте. На это ушло некоторое время, и потом был спад трафика, но со временем все нормализовалось и улучшилось.

  20. Иван

    Я закрываю их всегда «от греха подальше».
    Хотя панель инструментов на Яше, а вернее список исключенных страниц так и провоцирует все это хозяйство открыть.

  21. Василий

    У меня почему то закрыты рубрики от индексации, не пойму как открыть, яндекс вебмастер пишет, что они закрыты посредством noindex. В роботс.тхт закрыты только теги Disallow: /tag и всякие rss.

    1. Дмитрий (автор)

      Возможно, какие-то SEO-плагины закрывают.

  22. Валентин

    У меня блог о здоровье budzdorovstarina.ru, посещаемость доходила до 2000 посетителей в сутки, но потом рост трафика остановился и даже стал уменьшаться. Тогда я заглянул в webmaster.yandex и обнаружил,что поисковик загружает к себе более 4000 статей, в поиске оказываются порядка 2000, а число моих записей в блоге только 570. То есть у меня было полно дублей, с которыми нужно бороться.
    Что я сделал? С помощью robots.txt всё (а может не всё), что не нужно большинству моих читателей, включая архивы и рубрики (категории), я запретил поисковикам индексировать.
    В результате этого за три дня трафик снизился до 300-400 посетителей в сутки, то есть упал более чем в 4 раза, но в выдаче резко возросло число единичных статей, к чему я и стремился.
    И вот через неделю после этого начался медленный рост трафика. Сегодня он достиг 700 посетителей в сутки, хотя я на время прекратил писать новые статьи из-за нехватки времени. Надеюсь, что рост продолжится.
    Но есть ещё вопросы, в частности, что будет, если закрыть индексацию тегов «Читать далее» и пагинации (постраничной навигации) внизу главной страницы? Пагинация образует дубли статей вида «Название статьи/номер страницы. Может кто-то ещё поделится своим опытом?

    1. Дмитрий (автор)

      Я оставил в выдаче основные разделы, поскольку они хорошо отвечают общим запросам, а также отдельные статьи. Архивы меток, дат и т.д. закрыты от индексации. Пагинация, безусловно, в выдаче не нужна. Достаточно индексации одной первой страницы, если есть цель сделать индексируемым какой-либо раздел (рубрику). Читать далее — не совсем понял, что имеется в виду под этим. Если короткие статьи по типу анонсов, то они не нужны в выдаче. Лучше оставлять полные статьи.

  23. Alienor

    Я закрыла от индексации метки, потому что их количество уже перевешивает число проиндексированных статей. Сайт молодой, на посещаемости не скажется, зато сразу пойду правильным путем.

  24. Юрий

    День добрый! Подскажите , а возможно и есть ли способ прикрепить каноническую ссылку на архив даты на статью, страницу

    1. Дмитрий (автор)

      Вроде канонические ссылки позволяет задавать All in One Seo Pack. Посмотрите.

  25. Антон

    Подскажите, где найти этот плагин? Robots Meta.

    1. Дмитрий (автор)

      Похоже, что канул в лету. Теперь уже есть более продвинутые SEO-плагины.

Добавить комментарий для Антон Отменить ответ

Получать новые комментарии по электронной почте.