Глоссарий

Noindex: что это такое, задачи тега noindex

автор
Автор Максим Пушкарёв
clock
На чтение 6 минут
Noindex - это тег, применяемый для ограничения индексации поисковым роботом информации на сайте. Понимают его только «Яндекс» и «Рамблер», для Google же необходимы дополнительные обозначения, чтобы индексация прошла корректно. Впрочем, это не единственные сложности с noindex.
В данной статье мы расскажем:

Что такое noindex

Код HTML может содержать специальный тег noindex, запрещающий индексацию указанного этим тегом текста. Данная функция была введена командой «Яндекса», чтобы бот этой поисковой системы не индексировал определенный текстовый фрагмент. Ранее такую возможность предоставлял лишь «Рамблер». А вот Google будет игнорировать этот тег. Что такое noindex Стоит отметить, что когда возникает необходимость запрета индексации ссылки, noindex оказывается бесполезен. Многие ошибочно полагают, что можно использовать конструкцию вида rel=«noindex». Так делать не стоит, поскольку тег в роли атрибута применять нельзя.

Необходимо учитывать также и то, что при запрете индексации текстового фрагмента в процессе валидации сайта возникнут ошибки в коде. Дело в том, что noindex игнорируется другими крупными поисковыми системами и не является стандартизированным. Руководство Google не считает необходимым поддерживать этот тег или даже вводить подобную функцию, несмотря на объективные преимущества такого решения.

Задачи тега noindex

Перечислим 5 ключевых задач, которые решает этот тег.
  • Запрет на индексацию служебных частей кода (скриптов аналитики, кодов рекламных сервисов и т. п.). Этим необязательным действием немного упрощается работа поисковых роботов «Яндекса».
  • Кастомизация сниппетов (описания страниц сайтов) в поисковой выдаче «Яндекса». Зачастую в результатах поиска отражается ненужная или неактуальная информация. Включив специальный тег, можно ограничить ее вывод для конечного пользователя.
  • Прекращение индексации повторяющегося контента. Содержимое одной страницы, которое повторяется на других страницах, во многих случаях требуется скрывать. Это особенно важно для сквозных блоков, наполнение которых дублируется практически всегда.
  • Управление весом страниц. Страницы можно усиливать или ослаблять, используя тег noindex — скрывая ссылки от робота поисковой системы либо, наоборот, обеспечивая их видимость для пользователя.
  • Запрет на индексацию пользовательского контента. Ограничение показов такого вида контента в поисковой выдаче «Яндекса» позволяет несколько смягчить модерацию, например, входящих комментариев. Таким же образом можно поступать и в отношении страниц с отзывами, персональными данными и прочими конфиденциальными сведениями. Тем не менее, тег noindex внедрялся совсем для других целей. Управление пользовательского контента изначально закреплено за специальным атрибутом rel=ugc.
  • Повышение плотности определенных ключевых фраз в тексте (не рекомендуется). Путем сокрытия некоторого текстового фрагмента увеличивается частотность ключей. Как результат, страница сильнее соответствует поисковой фразе. Однако такой ход рано или поздно заметят краулеры, которые наложат на сайт серьезные ограничения. Поэтому данным способом пользоваться не стоит. Он приведен здесь лишь как пример недобросовестной оптимизации.

Задачи тега noindex

Чаще всего запрещается индексация следующих страниц и блоков:

  • страницы для печати;
  • повторяющаяся информация, не несущая никакой пользы;
  • автоматически сгенерированные сайты с UTM-метками (к примеру, страницы «Яндекс.Справочника»);
  • формы заказа, корзины, различные анкеты и пользовательские учетные данные;
  • списки с фильтрами и сортировкой;
  • результаты поиска;
  • служебные и засекреченные страницы.

Правила использования тега noindex

Данный тег может быть использован внутри более глобального тега <head> в качестве атрибута. Таким образом область влияния noindex распространится на весь код.

Страница будет индексироваться, когда атрибут имеет вид:

<meta name="robots" content="index"/>

А в следующем случае индексация будет запрещена:

<meta name="robots" content="noindex"/>

Вместо robots допускается использование любого поискового робота. Пример для Google:

<meta name="googlebot" content="noindex"/>

Открывающим и закрывающим тегами noindex можно обернуть ссылку либо любой фрагмент текста:

<noindex>...</noindex>

Такую разметку, однако, многие поисковики (за исключением «Яндекса» и «Рамблера») считают некорректной. В результате возникают ошибки. Исправить эту проблему можно, изменив формат на <!–noindex–>. Теперь поисковые машины, не поддерживающие данный тег, будут безопасно его игнорировать, а «Яндекс» и «Рамблер» — безошибочно считывать. Правила использования тега noindex В качестве оборачиваемого текста может быть любой кусок кода. Действие тега будет одинаковым во всех случаях. Например, допустимо внести сюда код счетчика — и тогда счетчик перестанет индексироваться.

Сочетание noindex и nofollow

С помощью nofollow запрещается индексация ссылок и передача по этим ссылкам веса. Для этого данный атрибут необходимо указать в соответствующих ссылках либо в метатеге robots.

Noindex в отличие от nofollow фактически закрывает текстовый фрагмент от индексации. Он также может быть указан в robots как атрибут либо представлять собой отдельный тег.

Nofollow включается путем добавления конструкции rel="nofollow", которая дает поисковым ботам команду не переходить по указанной ссылке.

Перечислим основные причины применения данного атрибута.

  • Часть ссылок изначально предполагается закрыть от индексации.
  • Нужно перераспределить вес, уменьшив его у некоторых ссылок путем их закрытия.
  • Требуется скрыть служебные ссылки и, соответственно, прекратить передавать по ним вес.
  • Возникла необходимость в запрете передачи веса для целых сайтов (например, имеющих подозрительные ссылки).
  • С целью предотвращения распространения спама потребовалось запретить индексацию открытых ссылок.
  • Контент на данной странице имеет рекламный характер.
  • Необходимо ограничить количество внешних открытых ссылок.
  • Таким образом устанавливается приоритет индексации — прежде всего сканируются открытые ссылки.
Ошибки в использовании noindex Как nofollow, так и noindex обладают своими особенностями применения.
  • Сегодня сложилась ситуация, когда верстальщики используют атрибут nofollow чересчур часто. В итоге поисковые системы вынуждены все же индексировать помеченные ссылки, но при этом уменьшая их вес. К примеру, основные социальные сети автоматически оборачивают внешние ссылки в атрибут nofollow независимо от качества сайтов, на которые эти ссылки ведут.
  • Если ссылка, не затронутая атрибутом nofollow, находится внутри тега noindex, поисковые системы не станут ее полностью игнорировать. «Яндекс» будет считать ее безанкорной. Остальные же поисковики никак не отреагируют на тег.
  • Существуют различия в восприятии атрибута nofollow разными поисковыми системами. Так, «Яндекс» допускает к индексации текст, не учитывая при этом ссылки. Google же не индексирует ни ссылки, ни текстовые фрагменты. Это важно иметь в виду при верстке сайта. Текст ссылки, содержащий адрес сайта, будет целиком проигнорирован поисковыми ботами Google.
  • Необходимо помнить и про особенность метатега robots. Если в нем закрыта только индексация текста, ссылки все равно будут учитываться.
  • Существует специальный HTTP-заголовок X-Robots-Tag, который используется аналогично метатегу с атрибутами noindex и nofollow. Его также видят поисковые роботы.
  • Не рекомендуется применять одновременно несколько метатегов, поскольку это чревато противоречиями в интерпретации разными поисковиками. А учитывая, что системы постоянно совершенствуются, такой риск возрастает. Поэтому необходимо стремиться указывать необходимые атрибуты внутри одного метатега.
  • Находясь в файле robots, noindex (равно как и nofollow) приобретает более высокий приоритет. Дело в том, что указанный в данном файле запрет на индексацию распространяется на весь код страницы, включая и все имеющиеся метатеги. На практике же запрещенные таким образом страницы иногда индексируются (например, при наличии внешней ссылки на эту страницу).
  • Каждая крупная поисковая система обладает своим набором поддерживаемых метатегов. Отличия состоят в способе их представления. Смысл такого решения заключается в возможности указывать разные ограничения. С этими особенностями рекомендуется предварительно ознакомиться в справочной системе конкретного поисковика.

Ошибки в использовании noindex

Данный тег давно используется оптимизаторами в самых изощренных комбинациях с единственной целью — продвинуть страницу в поиске. Иногда это приводит к нежелательным ситуациям. Рассмотрим такие случаи подробнее.
  • За счет удаления ненужных текстовых фрагментов оптимизатор может менять описание сайта в поисковой выдаче по собственному усмотрению. Такое самовольное изменение сниппетов считается серьезным нарушением и карается санкциями поисковой системы. К тому же эта операция отнимает значительное время.
  • Появляется возможность показа поисковой системе своего наполнения страницы. Учитывая функционирование тега noindex только в «Яндексе», проделать такую махинацию становится очень просто. Но наказание за эти манипуляции будет еще более строгим, чем за изменение сниппетов.
  • В случае переизбытка ключевых фраз часть из них можно легко скрыть. Однако текст все равно останется трудно читаемым для обычного посетителя сайта. Поэтому разумнее здесь просто отредактировать текстовое наполнение. Тем более что слишком частое употребление тега noindex рано или поздно будет замечено поисковиком. Как результат, сайт пессимизируется и быстро падает в поисковой выдаче на последние строчки.
В заключение стоит отметить, говоря про noindex, что это безусловно инструмент серой оптимизации. Во многих ситуациях его применение оправдано, но алгоритмы поисковиков постоянно развиваются, и это следует учитывать. Если сегодня этот тег не замечен поисковой системой, то уже завтра за его избыточное присутствие в коде могут грозить серьезные санкции.
Сохраните себе:
Читайте также
Одностраничный сайт: понятие, функции, создание
В данной статье мы расскажем: Что собой представляет одностраничный сайт Виды одностраничных…
Наружная реклама: виды, правила размещения
В данной статье мы расскажем: Преимущества и недостатки наружной рекламы Закон о…
Тестирование гипотез: где применяется, как выполняется
В данной статье мы расскажем: Что такое тестирование гипотез простыми словами Процесс…
KPI отдела продаж: понятие, основные показатели
В данной статье мы расскажем: Что такое KPI отдела продаж и для…
Бизнес-партнер: для чего нужен и как найти
В данной статье мы расскажем: Определение бизнес-партнера Цели и задачи сотрудничества с…
Бесплатные каналы продвижения, их плюсы и минусы
В данной статье мы расскажем: Суть и виды каналов продвижения Основные каналы…
Позиционирование компании: виды, стратегии, цели и задачи
В данной статье мы расскажем: Цели и задачи позиционирования компании Преимущества позиционирования…
Позиционирование продукта: стратегии, методы, этапы
В данной статье мы расскажем: Суть позиционирования продукта Модели и стратегии позиционирования…
Срок окупаемости проекта: что это, как рассчитывается
В данной статье мы расскажем: Понятие срока окупаемости проекта Для каких сфер…
Рынок сбыта: суть, методы анализа
В данной статье мы расскажем: Понятие рынка сбыта Анализ рынка сбыта: как…
Взаимозаменяемые товары: понятие, виды, установление цены
В данной статье мы расскажем: Что такое взаимозаменяемые товары простыми словами Виды…
Виды маркетинговых коммуникаций: какие часто используются
В данной статье мы расскажем: Понятие и цели маркетинговых коммуникаций Семь основных…