Файл robots.txt – это специальный текстовый файл, хранящийся в корневом каталоге веб-сайта и указывающий поисковым роботам, какие файлы необходимо индексировать, а какие – оградить от индексации. Для достижения…
Идеальная конфигурация файла robots.txt для WordPress блога
