Несмотря на то, что практически все вебмастера хотят полностью и быстро осуществить индексацию своего сайта, бывают случаи, когда необходимо закрыть ресурс от индексации поисковыми системами. Возникает необходимость, как правило, закрыть от индексации служебные части файла. Может это быть админовская часть, страницы профилей и регистраций пользователей, различные формы ввода информации и др.

Иногда существуют секретные или скрытые разделы сайта которые не должны также попасть под индексацию поисковых систем. Иногда необходимо от ПС закрыть не всю страницу, а только часть, например абзац текса или одну ссылку. Поэтому многие задаются вопросом: как запретить индексацию ссылки. Условно можно разделить 2 вида запрета индексации сайта - на запрет индексации разделов (страниц) сайта и на запрет индексации части страниц.
Запрет на индексацию через тег <noindex> части страницы
 

Тег <noindex> позволяет осуществить запрет на индексацию части страницы. Это могут быть как ссылки, скрипты так и текст. Форма записи <noindex> здесь часть страницы или ссылка, которую следует закрыть от индексирования </noindex>. Применяют тег ноиндекс кода нужно закрыть индексирование сайта от Rambler и Yandex. Этим тегом часто закрывают нежелательные для индексации ссылки, коды рейтингов и счетчиков.
Запрет на индексацию ссылки через инструкцию rel
 

Учитывается инструкция rel не всеми ПС. С ее помощью есть возможность закрыть ссылку от индексирования в Yahoo и Google. А вот Яндекс ее игнорирует. Будет формат записи выглядеть так: <a href=http://site.ru rel=«nofollow»>ссылка</a>. Часто такую конструкцию применяют, когда не нужно передавать ссылке ссылочный вес PR.
Запрет на индексацию сайта
 

Предназначается для указания ПС инструкций по индексации сайта. Он делается в блокноте, а сохраняется с расширением txt и с именем robots. В нем прописываются необходимые указания. Помещается этот файл в корневую директорию сайта.