Не индексировать это запрет на индексацию, но не как не на анализ и чтение, окутав элемент странички в тег noindex вы просто запретите отображение элемента в поиске.

Тег NoIndex
Noindex – один из гипертекстовых тегов созданный исключительно для Яндекса, который запрещает поисковой системе отправлять окруженный тегом текст в выдачу. Многие уверены, что ссылки окруженные тегом noindex не передают вес и поисковик их не замечает, это не так. Также много заблуждений по поводу скрытого в noindex текста, текст спрятанный в noindex не попадет в выдачу но поисковым роботом будет прочитан и проанализирован.

Тег noindex в первую очередь предназначен, чтобы скрыть информацию в выдаче поисковой системы Яндекс. Ведь часто возникают ситуации в которых нужно скрыть часть страницы, к примеру, контакты компании, малозначимую информацию, или же личные данные, также на страницах большого сайта можно встретить часто повторяющейся текст его тоже нужно закрывать от индексации.

Текст в NoIndex
Встречаются веб мастера, которые скрывают часть текста в noindex а другую часть остовляют для индексации и все это на одной странице. Так делать не стоит, это считается плохим тоном и учитывается при ранжировании, робот в любом случае прочитает текст и отправит его на сервер для анализа.

Запрет индексации текста еще не означает запрет его чтения и анализа, то есть если вы прячете не уникальный текст Яндекс это поймет, но не отобразит в поиске.

Ссылки в NoIndex
Ссылки, спрятанные в тег noindex отлично передают вес, не индексируется только текст самой ссылки тем самым пряча ссылки в noindex веб мастер делает себе же хуже ссылаясь на чужой сайт без тематического анкора.

Чтобы запретить передачу веса стоит указывать атрибут NoFollow этот тег поисковой робот Яндекса начал понимать с 2010 года. Технически этот тег должен запрещать поисковому роботу переходить по ссылке и передавать вес, но Яндекс бот все равно перейдет по ссылке и прочитает страницу, но вес не передаст, таким способом, можно ссылаться на первоисточник.

Как же спрятаться от бота Яндекса?

Есть 2 способа.

Первый и наверно самый удобный это обмануть поискового робота и посылать код ответа 404 Not Found скорее всего бот не станет даже читать страницу и продолжит чтение сайта.

Второй доступ запрещен 403 Forbidden, но все же бывают случаи, что Яндекс читает и эти страницы и скорее всего, научится читать их в ближайшее время.

Мета тег noindex также сомнительный тег, многие утверждают, что страницы с этим тегом читаются и анализируются, некоторые обратное.

Правильный ""
При использовании тега noindex в обычном формате могут возникнуть проблемы с другими поисковыми машинами ведь существуют не только Яндекс, но и другие поисковые системы у которых с тегом noindex могут возникнуть проблемы. Также комментированный noindex проходит валидацию W3, так как обычный тег noindex на данный момент не входит официальную спецификацию тега гипертекстовой разметки веб-страниц HTML и как известно не собирается. А если ваш ресурс построен на гипертекстовой разметке HTML5 проблем будет море.

Используйте правильно тег noindex комментируйте его в разметке следующим способом:

Тег en:Noindex

en:Noindex Очень похож на noindex но в отличии от тега для Яндекса он используется для запрета индексации страницы целиком.

Также многие любят прятать счетчики посещений в тег noindex, это глупое занятие во первых код счетчика это .JS скрипт который Яндекс читает но не как не индексирует. Этот код предназначен для браузера, и яндекс его видит в той форме как он описан в html разметке, Яндекс прочитает его в любом случае окружен он тегами noindex или нет.