Борьба с ботами

Уважаемые клиенты!

Начиная с 15 сентября в наших регламентах появилась должностная инструкция по борьбе с ботами разных мастей.
Сюда входят и боты-парсеры, и боты нейросетей, и просто непонятные боты, которые перебирают страницы. Не трогаем только роботов поисковых сетей (без них, понятное дело, сейчас никуда).

Предыстория простая - мы устали. Наш сайт массово атаковали боты из Китая, которые вроде бы ничего не делают, только перебирают страницы поиска. Для чего и зачем - непонятно. Ситуация была уже много лет и была некритична - пара сетевых "пиявок" сидела и смотрела однотипные странички. Ни нагрузки на сервер, ни нагрузки на сеть эта деятельность не давала.
Ситуация резко изменилась в воскресенье: ботов стало тысячи. Это уже дало нагрузку на наш сайт. Хоть он и сильно оптимизирован, но ситуация была видна. Более того, яндекс.метрика по какой то причине стала учитывать данные посещения и мы получили тысячи просмотров на сайте... Со средним временем просмотра 2 сек и отказами на уровне 98%.
Сейчас ситуация нивелирована самыми жесткими методами - заблокировано несколько миллионов ip адресов Китая (все адреса нескольких "провайдеров"-ботоводов). Помимо этого, в ходе тестирования трафика выяснилось что помимо Китая, существует еще хороший поток мусорного трафика из Нидерландов и от нескольких наших коллег из списка российских хостинг-провайдеров.

Сейчас работа продолжается. Есть один минус у данной деятельности - в черные списки иногда попадают адреса ни в чем неповинных. Например попал блок сетей российского МТС - их сим-карты использовались как прокси-серверы. Подобные ситуации будут, от них никак не избавится, но мы просим Вас, наших главных критиков, отнестись с пониманием и пойти к нам навстречу. Если мы случайно заблокируем какой то необходимый для вашей деятельности сервис или на вашем сайте подобная ситуация и мы её не увидели - сообщите нам об этом с помощью запроса в биллинг https://my.1bx.host/ или в сообщения каналу 1BX.host в телеграм. Реагировать будем оперативно.

То, что мы делаем, отсеяло около 40% трафика! Это уменьшило нагрузки на ваши сервера, наше сетевое оборудование и улучшило показатели поведенческих факторов. К сожалению какого-то автоматизированного решения, которое решит 100% проблем до сих пор не существует, поэтому работа идёт в ручном режиме. Все наработки по контролю и очистке трафика что было у нас до сегодняшнего дня уже не спасают.

Присоединяйтесь к нашей борьбе с ботами. Вместе мы сделаем наш сегмент интернета лучше.

С Уважением,
Команда хостинга 1BX.host