Как сократить расходы сетевого трафика без блокировки легитимных посетителей

Если использование ресурсов на клиентском сайте начинает бесконтрольно расти, и при этом увеличения посещений не наблюдается, вероятной причиной является бот-трафик. Боты, обращающиеся к некэшируемым эндпоинтам, таким как действия с корзиной, страницы товаров с фильтрами и страницы поисковых запросов, инициируют выполнение PHP-кода и взаимодействие с БД при каждом запросе. Собственно, страничный кэш не может их обработать.

Первое инстинктивное желание – заблокировать к чертям весь автоматизированный трафик. Однако Googlebot, Bingbot, RSS-ридеры и мониторы доступности попадают в ту же самую категорию автоматизированного трафика, что и боты, которых вы хотели бы отсеять. Блокировка всех ботов приведет к тому, что вы лишитесь трафика, который обеспечивает видимость и функционирование ваших сайтов.

Инструмент Bot Protection от Kinsta позволяет отфильтровывать запросы, влекущие за собой затраты, но не дающие никакой пользы. Эти механизмы контроля лежат на уровне инфраструктуры, т.е. фильтрация происходит до того, как запросы поступят на ваш WordPress-сайт.

Почему безоговорочная блокировка трафика – не выход

Полная блокировка всего автоматизированного трафика в теории кажется действенной тактикой по сокращению неэффективного использования серверных ресурсов. Однако таким макаром вы можете убрать и полезные запросы. К примеру, полная блокировка означает, что Googlebot и Bingbot не смогут краулить ваш контент, инструменты мониторинга доступности не смогут выполнять важные задачи, а интеграции API, связывающие рабочие процессы ваших клиентов с WordPress, перестанут функционировать.

Трафик, который нужно остановить, представляет собой специфичную подгруппу из всего массива: непроверенные боты и автоматические процессы, которые обращаются к некэшируемым конечным точкам. В большинстве случаев этот трафик никак не способствует SEO-оптимизации, улучшению UX или увеличению дохода.

По словам Дэвида Белсона, бывшего руководителя отдела анализа данных в Cloudflare, такое поведение типично для многих действий, совершаемых ботами:

«В основном то, что мы видим, не носит злонамеренного характера. Это боты, которые неэффективно работают в больших масштабах, что и становится корнем всех проблем».

Бот, посещающий разные варианты URL, не может распознать свое зацикливание. К примеру, URL с добавленными параметрами – строкой запроса, корзиной или продуктовым фильтром – будет восприниматься им как отдельная страница. Мы в нашей инфраструктуре зафиксировали 550 миллионов запросов, отфильтрованных одним правилом за 30 дней. Сервер обрабатывает каждый запрос отдельно, вне зависимости от намерений.

Система безопасности Kinsta уже справляется с самыми очевидными угрозами, блокируя трафик, классифицируемый как вредоносный, еще до того, как он достигнет сайта. К таким угрозам относятся DDoS-атаки, запросы с IP-адресов, связанных с известными источниками атак. Однако между этой базовой защитой и трафиком, который будет полезным для вас, есть промежуточный уровень защиты от нежелательных и непроверенных ботов.

Выборочная фильтрация оставшегося автоматизированного трафика предотвращает расходование ресурсов при сохранении стабильного количества посещений.

Понимание того, какой трафик вы на самом деле получаете

Kinsta классифицирует каждый запрос, используя комбинацию собственного анализа трафика и системы машинного обучения Cloudflare, которая присваивает каждому посетителю показатель от 1 до 99. Оценка 99 указывает на то, что запрос, скорее всего, поступил от человека. Оценка 1 подтверждает автоматическую активность.

При принятии решения о защите важно учесть пять категорий:

• Проверенные боты. Это автоматизированный трафик от признанных организаций. Сюда входят Googlebot, Bingbot, а также другие сервисы из каталога проверенных ботов Cloudflare. Они пропускаются системой на любом уровне защиты, независимо от ваших настроек.
• Вероятно, люди. Оцениваются по шкале от 30 до 99 и представляют собой реальных посетителей с обычным поведением при просмотре веб-страниц.
• Вероятно, боты. Имеют рейтинг от 2 до 29 и представляют собой неподтвержденную автоматизацию, выявленную как вероятная активность бота.
• Автоматизированный трафик. Оценивается в 1 балл и включает в себя подтвержденные боты, а также инструменты, которые подключаются к вашему сайту программно без подтверждения личности. К ним относятся пользовательские интеграции, скрипты развертывания, self-hosted мониторы доступности и многое другое.
• Агрессивные ИИ-краулеры — это ИИ-боты, которые создают нагрузку за счет высокочастотных или зацикленных запросов.

Стоит упомянуть еще две категории. Во-первых, вредоносный трафик: он автоматически блокируется на всех уровнях защиты и не требует конфигурирования. Во-вторых, существует также неклассифицированный трафик. Обычно это небольшие, безвредные объемы трафика. Как правило, это внутренние запросы к сервисам, которые не влияют на исходный сервер, например, запросы, генерируемые, когда ваш сайт возвращает страницу с ошибкой.

Как оценить использование ресурсов с помощью MyKinsta

Первым шагом является понимание того, какая категория трафика приводит к росту потребления ресурсов. В разделе аналитики «Bot and automated traffic» в MyKinsta отображается классификация запросов, поступающих на ваш сайт, что упрощает выявление случаев, когда автоматизированный трафик приводит к увеличению нагрузки.

Чтобы изучить данные, перейдите в раздел Sites > sitename > Analytics > Bot and automated traffic.

Здесь трафик классифицирован по следующим категориям: подтвержденные боты, вероятные боты, ИИ-краулеры, агрессивные краулеры, автоматизированный трафик и вероятные люди. Вместо того чтобы делать какие-то косвенные выводы об активности ботов на основе потребления серверных ресурсов, вы можете увидеть, какой объем автоматизированного трафика фактически достигает вашего сайта.

К примеру, всплески активности агрессивных поисковых роботов или автоматизированного трафика часто указывают на то, что боты неоднократно обращались к некэшируемым конечным точкам. Аналогично, большие объемы трафика от ИИ-краулеров могут объяснить нагрузку на серверные ресурсы.

График Bot protection results показывает, как обрабатываются запросы после классификации, включая разрешенный, спорный или заблокированный трафик. График дает более четкое представление о том, как ваши настройки защиты влияют на входящий трафик.

Отчет «Top requests by views» в Analytics также помогает идентифицировать конкретные конечные точки, получающие наибольший объем запросов. Кластер повторяющихся запросов к некэшируемым путям, включая URL добавления товара в корзину, страницы фильтруемых товаров и страницы поисковых запросов, обычно указывает на то, что боты бесконтрольно потребляют серверные ресурсы.

Эти аналитические данные позволяют наглядно установить взаимосвязь между характером трафика и использованием ресурсов, чтобы затем уже применять тот или иной уровень защиты.

Как работает инструмент Bot Protection от Kinsta

Инструмент Bot Protection от Kinsta работает на инфраструктурном уровне. Фильтрация происходит еще до того, как запросы достигнут уровня PHP или БД. Это означает, что нет необходимости ставить плагин или вносить какие-либо изменения в конфигурацию WordPress.

Все элементы управления защитой находятся в разделе Sites > sitename > Bot Protection.

На экране Bot Protection содержится четыре основных компонента:

• Уровни защиты, определяющие, разрешен ли трафик, является ли он сомнительным или блокируемым.
• Отдельный переключатель для блокировки ИИ-краулеров.
• Разрешить стандартные настройки автоматизации WordPress (применяется для популярных API WordPress и фоновой функциональности).
• Всегда делать исключения для доверенных источников трафика.

В рамках интеграции с Cloudflare базовая инфраструктура оценки и проверки ботов Kinsta по умолчанию соответствует корпоративному уровню.

Выбор уровня защиты

Вы можете выбрать один из четырех уровней защиты в панели «Protection level» на экране Bot Protection:

• Блокировка вредоносного трафика — это уровень по умолчанию на всех сайтах Kinsta. Он обеспечивает защиту от DDoS-атак и блокирует трафик с IP-адресов и конечных точек, связанных с известными источниками атак.
• Блокировка автоматизации — расширяет возможности стандартного режима, блокируя также подтвержденный автоматизированный трафик, оставляя при этом посетителей-людей и посетителей, предположительно являющихся людьми.
• Проверка ботов — блокировка автоматизированного и вредоносного трафика и добавление этапа проверки для потенциальных ботов. Посетители, прошедшие проверку, избегают повторной проверки в течение десяти дней в том же браузере и с того же IP-адреса. Обратите внимание, что проверка CAPTCHA может быть сложной для посетителей, использующих ассистивные технологии, что стоит учитывать для сайтов с требованиями доступности.
• Проверка всех — применяет проверку и к потенциальным людям, что делает ее подходящей скорее для краткосрочного использования во время пика трафика, нежели в качестве постоянной опции.

Чтобы изменить уровень защиты, перейдите в раздел Sites > sitename > Bot Protection и нажмите кнопку «Change». Вы также можете применить изменения к нескольким сайтам, перейдя в раздел «Sites», выбрав соответствующие сайты и используя Actions > Change bot protection.

Переход на уровень Challenge bots или выше может повлиять на инструменты, которые программно подключаются к вашему сайту. Любой сервис, не указанный в каталоге верифицированных ботов Cloudflare, будет заблокирован или подвергнут проверке на этих уровнях защиты.

Разрешение типичных автоматизированных процессов WordPress

Некоторым функциям WordPress для нормальной работы требуется выполнение автоматизированных запросов. К ним относятся такие возможности, как REST API WordPress, запланированные фоновые задачи, интеграция плагинов, инструменты SEO, формы, подключения к аналитике и сервисы синхронизации.

Параметр «Allow typical WordPress automations» помогает сохранить эти распространенные рабочие процессы WordPress, одновременно фильтруя нежелательный автоматизированный трафик. Это позволяет снизить риск блокировки легитимных функций при использовании более строгих уровней защиты.

Если ваш сайт зависит от кастомных интеграций или сторонних сервисов, вам стоит протестировать критически важные функции после включения более строгих настроек защиты.

Блокировка ИИ-краулеров

Переключатель Block AI crawlers предназначен для блокировки ИИ-краулеров, собирающих контент для обучения моделей, RAG-генерации и функций поиска на основе ИИ. Он блокирует эти краулеры, включая проверенные, такие как GPTBot, но не влияет на краулеры поисковых систем. Googlebot и Bingbot продолжат сканировать и индексировать ваш сайт вне зависимости от положения переключателя.

Чтобы включить блокировку, перейдите в Sites > sitename > Bot Protection и выберите пункт Block AI crawlers. Для нескольких сайтов используйте Actions > Change AI crawler block в представлении Sites.

Создание исключений с помощью Always allow

Раздел «Always allow» позволяет создавать исключения для трафика, который никогда не должен блокироваться системой защиты от ботов.

Это полезно для доверенных интеграций, сервисов мониторинга, систем развертывания, внутренних API или для определенных посетителей, которым необходим бесперебойный доступ к вашему сайту.

Вы можете создавать исключения на основе:

• IP-адресов или диапазонов IP-адресов
• Путей или конечных точек
• Пользовательских агентов

Вы можете добавить сервис мониторинга в список разрешенных, исключить кастомную конечную точку API из проверок или обеспечить бесперебойную работу процесса развертывания на более строгих уровнях защиты.

Исключения следует использовать с осторожностью и периодически пересматривать, чтобы избежать непреднамеренного обхода мер безопасности.

Прекратите расходовать серверные ресурсы на бот-трафик

Неуправляемый бот-трафик создает нагрузку на сервер, которую не может компенсировать оптимизация кода, поскольку он поступает до того, как кэш сможет его обработать. Этот трафик потребляет потоки PHP и инициирует соединения с базой данных при каждом запросе.

Решение заключается не в блокировке всей автоматизации, а в выборочной фильтрации трафика, который расходует ресурсы, при этом разрешая работу ботов и сервисов, от которых зависит ваш сайт.

Если вы хотите лучше контролировать обработку автоматизированного трафика на вашем сайте, защита от ботов Kinsta предоставляет вам инструменты для мониторинга, классификации, проверки и блокировки нежелательного трафика непосредственно из MyKinsta.

Источник: https://kinsta.com/