Google тестирует Web Bot Auth — экспериментальный протокол, разработанный для улучшения идентификации автоматизированного трафика. С помощью нового протокола владельцы сайтов смогут понять, исходит ли автоматизированный трафик от легитимных ботов или же от сервисов, скрывающих или искажающих свой источник.
Специалисты Google опубликовали новую страницу поддержки разработчиков, которая содержит информацию о том, как проверять запросы с помощью Web Bot Auth. В настоящий момент протокол находится на экспериментальной стадии.
На чем основана авторизация веб-ботов
Новый протокол технически называется HTTP Message Signatures Directory. Это предлагаемый стандарт, предназначенный для автоматизации установки доверия между веб-сервисами. Он помогает веб-сайтам распознавать доверенные автоматизированные сервисы без необходимости предварительного ручного обмена ключами безопасности.
Основная идея проста: дать проверенным автоматизированным сервисам стандартизированный способ вывода своих данных. Вместо того чтобы полагаться только на имена, user-agent строки или приватные настройки, протокол предлагает удобный механизм проверки подлинности автоматизированного запроса. Это важно, поскольку многие боты могут выдавать себя за то, чем они не являются. Web Bot Auth не определяет, является ли бот хорошим или плохим, но он может дать владельцам сайтов четкий сигнал о том, действительно ли бот является тем сервисом, за который себя выдает.
Надежный способ идентификации ботов
Криптографическая составляющая важна, поскольку она затрудняет подделку идентичности. Сегодня бот-мошенник может выдать себя за легитимного поискового робота, скопировав имя или строку user-agent. Web Bot Auth создан для того, чтобы выйти за рамки такой самоидентификации, предлагая веб-сайтам механизм проверки, соответствует ли автоматический запрос криптографическим данным сервиса.
В рамках этого протокола боту потребуется нечто большее, чем просто метка, указывающая на его идентичность. Ему потребуется доказать свою легитимность так, чтобы веб-сайт мог это подтвердить. В итоге владельцы сайтов получат надежную основу для разрешения проверенных автоматизированных сервисов и блокировки ботов, которые не смогли доказать свои данные. Сам по себе протокол не решает, каких ботов надо допустить, а каких заблокировать, это смогут впоследствии сделать уже администраторы ресурсов.
Криптографическая верификация – вот что делает Web Bot Auth самым современным методом идентификации ботов. Любые другие сигналы могут быть искажены. Распознавание бота основывается не столько на том, что бот говорит о себе, сколько на том, можно ли подтвердить его идентичность с помощью криптографических данных.
Версия является экспериментальной
Предложенный протокол позволяет отличать вредоносных ботов, выдающих себя за легитимных поисковых роботов, от настоящих ботов из доверенных сервисов. Протокол похож на белый список разрешенного трафика, что позволяет упростить изолирование ненадежных поисковых роботов.
Однако, поскольку протокол находится в экспериментальной фазе, «белый список» в настоящий момент применяется только к части трафика, например, к Google-Agent. В данный момент Google «не подписывает каждый запрос», поэтому отсутствие подписи не означает автоматически, что бот является плохим. Владельцам сайтов рекомендуется использовать IP-адреса и обратные DNS наряду с протоколом, чтобы избежать случайной блокировки легитимного трафика.
Как функционирует новый стандарт
Новый стандарт вводит трехэтапный процесс обнаружения автоматизированных ботов:
- Стандартизированные файлы ключей. Ключи хранятся в общем формате, JSON Web Key Set (JWKS), который могут считать все серверы.
- Известные адреса. Задается отдельный «домашний» адрес на сайте (/.well-known/), где эти ключи всегда хранятся.
- Самоидентифицирующие запросы. Добавляется новый заголовок, Signature-Agent, к HTTP-запросам, который действует как цифровая визитка, указывая получателю непосредственно на каталог ключей отправителя.
Отслеживать разработку протокола можно по ссылке.
Источник: https://www.searchenginejournal.com
