Вы можете самостоятельно решать, какие страницы включать в индекс поисковых систем, используя мета-теги Robots.
Данный тег позволяет работать со следующими атрибутами:
- index + noindex — можно ли индексировать страницу;
- follow + nofollow — учитывать ли гиперссылки;
- all + none — открыть или закрыть страницу, гиперссылки для индексации поисковиками;
Например:
Часть атрибутов поддерживается только одной поисковой системой.
Поддержка сайта от artmedia.kz
Яндекс | |
nosnippet — не показывать описание страницы в поисковой выдаче | noyaca — не использовать автоматическое описание страницы |
max-snippet:[number] — наибольшая длина в сниппете | index | follow | archive — отменяет конкретный запрещающий директив |
max-image-preview:[setting] — наибольший размер изображений | |
max-video-preview:[number] — указание длины видео | |
notranslate — не переводить страницу | |
noimageindex — не индексировать изображения | |
unavailable after: [date/time] — прекращение показа страницы с определенного времени в поиске |