В свете всем известных событий с индексированием Яндексом sms Мегафона в сети стали появляться статьи о важности, нужности и полезности robots.txt.
Самое интересное, что при этом никто не говорит об обратной стороне медали. Закрыв доступ поисковым системам, файл порой открывает все пути для злоумышленников.
Куда приятнее использование метода запрета индексации с помощью мета-тегов:
meta name="robots" content="noindex,nofollow"
обеспечивающего запрет как на индексирование самой страницы, так и следование по ссылкам, расположенным на ней.
Комментариев нет:
Отправить комментарий