Владельцы веб-сайтов исключают веб-краулеры уже на протяжении 25 лет с помощью протокола Robots Exclusion Protocol (REP). По данным Google, более 500 млн сайтов в сети используют файлы robots.txt…