Глоссарий
Noindex: что это такое, задачи тега noindex
Автор
Максим Пушкарёв
На чтение
6 минут
Noindex - это тег, применяемый для ограничения индексации поисковым роботом информации на сайте. Понимают его только «Яндекс» и «Рамблер», для Google же необходимы дополнительные обозначения, чтобы индексация прошла корректно. Впрочем, это не единственные сложности с noindex.
В данной статье мы расскажем:
- Что такое noindex
- Задачи тега noindex
- Правила использования тега noindex
- Сочетание noindex и nofollow
- Ошибки в использовании noindex
Что такое noindex
Код HTML может содержать специальный тег noindex, запрещающий индексацию указанного этим тегом текста. Данная функция была введена командой «Яндекса», чтобы бот этой поисковой системы не индексировал определенный текстовый фрагмент. Ранее такую возможность предоставлял лишь «Рамблер». А вот Google будет игнорировать этот тег.
Стоит отметить, что когда возникает необходимость запрета индексации ссылки, noindex оказывается бесполезен. Многие ошибочно полагают, что можно использовать конструкцию вида rel=«noindex». Так делать не стоит, поскольку тег в роли атрибута применять нельзя.
Необходимо учитывать также и то, что при запрете индексации текстового фрагмента в процессе валидации сайта возникнут ошибки в коде. Дело в том, что noindex игнорируется другими крупными поисковыми системами и не является стандартизированным. Руководство Google не считает необходимым поддерживать этот тег или даже вводить подобную функцию, несмотря на объективные преимущества такого решения.
Задачи тега noindex
Перечислим 5 ключевых задач, которые решает этот тег.- Запрет на индексацию служебных частей кода (скриптов аналитики, кодов рекламных сервисов и т. п.). Этим необязательным действием немного упрощается работа поисковых роботов «Яндекса».
- Кастомизация сниппетов (описания страниц сайтов) в поисковой выдаче «Яндекса». Зачастую в результатах поиска отражается ненужная или неактуальная информация. Включив специальный тег, можно ограничить ее вывод для конечного пользователя.
- Прекращение индексации повторяющегося контента. Содержимое одной страницы, которое повторяется на других страницах, во многих случаях требуется скрывать. Это особенно важно для сквозных блоков, наполнение которых дублируется практически всегда.
- Управление весом страниц. Страницы можно усиливать или ослаблять, используя тег noindex — скрывая ссылки от робота поисковой системы либо, наоборот, обеспечивая их видимость для пользователя.
- Запрет на индексацию пользовательского контента. Ограничение показов такого вида контента в поисковой выдаче «Яндекса» позволяет несколько смягчить модерацию, например, входящих комментариев. Таким же образом можно поступать и в отношении страниц с отзывами, персональными данными и прочими конфиденциальными сведениями. Тем не менее, тег noindex внедрялся совсем для других целей. Управление пользовательского контента изначально закреплено за специальным атрибутом rel=ugc.
- Повышение плотности определенных ключевых фраз в тексте (не рекомендуется). Путем сокрытия некоторого текстового фрагмента увеличивается частотность ключей. Как результат, страница сильнее соответствует поисковой фразе. Однако такой ход рано или поздно заметят краулеры, которые наложат на сайт серьезные ограничения. Поэтому данным способом пользоваться не стоит. Он приведен здесь лишь как пример недобросовестной оптимизации.
Чаще всего запрещается индексация следующих страниц и блоков:
- страницы для печати;
- повторяющаяся информация, не несущая никакой пользы;
- автоматически сгенерированные сайты с UTM-метками (к примеру, страницы «Яндекс.Справочника»);
- формы заказа, корзины, различные анкеты и пользовательские учетные данные;
- списки с фильтрами и сортировкой;
- результаты поиска;
- служебные и засекреченные страницы.
Правила использования тега noindex
Данный тег может быть использован внутри более глобального тега <head> в качестве атрибута. Таким образом область влияния noindex распространится на весь код.Страница будет индексироваться, когда атрибут имеет вид:
<meta name="robots" content="index"/>
А в следующем случае индексация будет запрещена:
<meta name="robots" content="noindex"/>
Вместо robots допускается использование любого поискового робота. Пример для Google:
<meta name="googlebot" content="noindex"/>
Открывающим и закрывающим тегами noindex можно обернуть ссылку либо любой фрагмент текста:
<noindex>...</noindex>
Такую разметку, однако, многие поисковики (за исключением «Яндекса» и «Рамблера») считают некорректной. В результате возникают ошибки. Исправить эту проблему можно, изменив формат на <!–noindex–>. Теперь поисковые машины, не поддерживающие данный тег, будут безопасно его игнорировать, а «Яндекс» и «Рамблер» — безошибочно считывать.
В качестве оборачиваемого текста может быть любой кусок кода. Действие тега будет одинаковым во всех случаях. Например, допустимо внести сюда код счетчика — и тогда счетчик перестанет индексироваться.
Сочетание noindex и nofollow
С помощью nofollow запрещается индексация ссылок и передача по этим ссылкам веса. Для этого данный атрибут необходимо указать в соответствующих ссылках либо в метатеге robots.Noindex в отличие от nofollow фактически закрывает текстовый фрагмент от индексации. Он также может быть указан в robots как атрибут либо представлять собой отдельный тег.
Nofollow включается путем добавления конструкции rel="nofollow", которая дает поисковым ботам команду не переходить по указанной ссылке.
Перечислим основные причины применения данного атрибута.
- Часть ссылок изначально предполагается закрыть от индексации.
- Нужно перераспределить вес, уменьшив его у некоторых ссылок путем их закрытия.
- Требуется скрыть служебные ссылки и, соответственно, прекратить передавать по ним вес.
- Возникла необходимость в запрете передачи веса для целых сайтов (например, имеющих подозрительные ссылки).
- С целью предотвращения распространения спама потребовалось запретить индексацию открытых ссылок.
- Контент на данной странице имеет рекламный характер.
- Необходимо ограничить количество внешних открытых ссылок.
- Таким образом устанавливается приоритет индексации — прежде всего сканируются открытые ссылки.
Как nofollow, так и noindex обладают своими особенностями применения.
- Сегодня сложилась ситуация, когда верстальщики используют атрибут nofollow чересчур часто. В итоге поисковые системы вынуждены все же индексировать помеченные ссылки, но при этом уменьшая их вес. К примеру, основные социальные сети автоматически оборачивают внешние ссылки в атрибут nofollow независимо от качества сайтов, на которые эти ссылки ведут.
- Если ссылка, не затронутая атрибутом nofollow, находится внутри тега noindex, поисковые системы не станут ее полностью игнорировать. «Яндекс» будет считать ее безанкорной. Остальные же поисковики никак не отреагируют на тег.
- Существуют различия в восприятии атрибута nofollow разными поисковыми системами. Так, «Яндекс» допускает к индексации текст, не учитывая при этом ссылки. Google же не индексирует ни ссылки, ни текстовые фрагменты. Это важно иметь в виду при верстке сайта. Текст ссылки, содержащий адрес сайта, будет целиком проигнорирован поисковыми ботами Google.
- Необходимо помнить и про особенность метатега robots. Если в нем закрыта только индексация текста, ссылки все равно будут учитываться.
- Существует специальный HTTP-заголовок X-Robots-Tag, который используется аналогично метатегу с атрибутами noindex и nofollow. Его также видят поисковые роботы.
- Не рекомендуется применять одновременно несколько метатегов, поскольку это чревато противоречиями в интерпретации разными поисковиками. А учитывая, что системы постоянно совершенствуются, такой риск возрастает. Поэтому необходимо стремиться указывать необходимые атрибуты внутри одного метатега.
- Находясь в файле robots, noindex (равно как и nofollow) приобретает более высокий приоритет. Дело в том, что указанный в данном файле запрет на индексацию распространяется на весь код страницы, включая и все имеющиеся метатеги. На практике же запрещенные таким образом страницы иногда индексируются (например, при наличии внешней ссылки на эту страницу).
- Каждая крупная поисковая система обладает своим набором поддерживаемых метатегов. Отличия состоят в способе их представления. Смысл такого решения заключается в возможности указывать разные ограничения. С этими особенностями рекомендуется предварительно ознакомиться в справочной системе конкретного поисковика.
Ошибки в использовании noindex
Данный тег давно используется оптимизаторами в самых изощренных комбинациях с единственной целью — продвинуть страницу в поиске. Иногда это приводит к нежелательным ситуациям. Рассмотрим такие случаи подробнее.- За счет удаления ненужных текстовых фрагментов оптимизатор может менять описание сайта в поисковой выдаче по собственному усмотрению. Такое самовольное изменение сниппетов считается серьезным нарушением и карается санкциями поисковой системы. К тому же эта операция отнимает значительное время.
- Появляется возможность показа поисковой системе своего наполнения страницы. Учитывая функционирование тега noindex только в «Яндексе», проделать такую махинацию становится очень просто. Но наказание за эти манипуляции будет еще более строгим, чем за изменение сниппетов.
- В случае переизбытка ключевых фраз часть из них можно легко скрыть. Однако текст все равно останется трудно читаемым для обычного посетителя сайта. Поэтому разумнее здесь просто отредактировать текстовое наполнение. Тем более что слишком частое употребление тега noindex рано или поздно будет замечено поисковиком. Как результат, сайт пессимизируется и быстро падает в поисковой выдаче на последние строчки.