Серые списки по-прежнему являются эффективным методом предотвращения спама?

В последний раз я рассматривал это количественно в июле этого года (2012). В июле мой почтовый сервер получил около 46 000 попыток доставить почту; из них около 1750 вернулись и были разрешены серыми списками (и прошли действительный домен отправителя, SPF и некоторые другие тесты, не связанные с содержанием). Из них около 1500 были отфильтрованы моей контентной фильтрацией.

Если предположить, что эти 44 250 электронных писем были спамом (поскольку они не могли пройти серые списки, я думаю, что это справедливое предположение), если бы не серые списки, моя контентная фильтрация должна была бы иметь дело с 46 000 писем вместо 1750.

Чтобы увеличить нагрузку на фильтрацию на основе содержимого в 25 раз, мне потребовались бы более мощные процессоры и больше памяти. Это, в свою очередь, увеличило бы мои ежемесячные расходы на хостинг из-за дополнительного энергопотребления (и, возможно, размера сервера).

Короче говоря, в последний раз, когда я считал, да, серые списки все еще имели очень и очень разумный смысл. как часть полной системы фильтрации спама. Я активировал его для клиентов за последние несколько недель, и все чрезвычайно довольны снижением нагрузки на свои системы контентной фильтрации.

редактировать: Замечу, что я не ответил на вопрос, не станет ли он со временем менее эффективным. Когда я включил его в конце 2006 года, по моим оценкам на тот момент он отфильтровывал около 95% спама. 1750 в пропорции к 46 000 - это около 4%, поэтому мои данные показывают, что за этот период эффективность не снизилась.

Обновление 2019: условный серый список - лучший компромисс

После того, как я долгое время использовал серые списки для всех писем на загруженном почтовом сервере, я перестал это делать. Это задерживает доставку любительской почты без необходимости. Это особенно раздражает для писем со ссылками для активации аккаунта. Это создает серьезные проблемы с облачными почтовыми программами, которые вам необходимо занести в белый список (подробности в ответе ниже). Еще один недостаток серого списка всех писем перед их передачей в ваш спам-фильтр заключается в том, что обучающийся спам-фильтр упускает возможность узнать весь простой спам, который отфильтрован серым списком.

Вместо того, чтобы занести в серый список всю почту, я теперь использую спам-фильтр (rspamd, я настоятельно рекомендую его), который помещает в серый список только те письма, которые имеют оценку спама между чистым и чистым спамом. Таким образом, ветчины почти не задерживаются. С другой стороны, спам-сообщения, попавшие в серые списки, часто обнаруживаются как спам, когда сервер пытается второй раз, потому что к тому времени спам часто известен в черных списках (RBL, URIBL) и нечетких фильтрах и, следовательно, получает более высокий балл.

Поэтому я рекомендую заносить в серый список сообщения, в которых неясно, спам они или нет. Время действительно помогает спам-фильтру разобраться в неясных случаях.

Оригинальный ответ от 2018 года:

Я всегда был большим поклонником серых списков. По этим причинам:

• Он не только отмечает спам, но и блокирует его.
• Использование в качестве поставщика услуг в Германии является законным (в отличие от удаления спама после получения)
• Это просто и эффективно.
• Это увеличивает нагрузку на спамера, а не на принимающий почтовый сервер. Таким образом, даже несмотря на то, что спамеры могут пройти через ваш серый список, вы заставили их машину работать больше, и, таким образом, они могут отправлять меньше спама в целом.
• Он почти не блокирует легальную почту, в отличие от RBL на основе IP и т. Д.
• Это приводит к задержкам, но вы можете занести в белый список клиентов (отправляющие серверы) частых контактов и добавить в белый список получателей, которым действительно нужна электронная почта, с минимальной задержкой. Помните, что использование спам-фильтра, такого как Spamassasin, непосредственно для всей вашей почты (без серых списков) также может вызвать задержки для законной почты: некоторые спамеры отправляют так много писем на ваш сервер, что фильтр спама становится перегруженным. Таким образом, он отправит временный сбой (например, 451) на сервер отправки дальнейших входящих писем. Это вызывает те же эффекты, что и серые списки, то есть сообщения задерживаются, за исключением того, что занесение в белый список не так просто. Конечно, вы можете использовать облачный фильтр спама, который масштабируется в зависимости от мощности спамера, но это может быть дороже.
• Обслуживание ограничено или не требуется. Нет черного списка, который нужно обновлять и менять с течением времени. Нет правил на основе шаблонов, которые нужно обновлять.

Но, к сожалению, в своей статистике я вижу, что в этом году грейлистинг становится все менее и менее эффективным. Количество отложенных сообщений действительно быстро приближается к количеству сообщений из серого списка, а это значит, что количество заблокированного спама уменьшается.

За последний год (365 дней) 55% сообщений из серых списков попали в серые списки, то есть 45% были заблокированы.

статистика mailgraph за год

Обратите внимание, что в этот график включен временной интервал, в котором сообщения из серого списка не учитывались из-за ошибки конфигурации mailgraph, только задержанные. Это означает, что этот расчет немного переоценивает задержанные сообщения, на самом деле было заблокировано немного больше писем.

За последний месяц 64% задержались и только 36% были заблокированы.

mailgraph статистика месяц

На прошлой неделе задержали 75% и заблокировали только 25%.

неделя статистики mailgraph

Более того, если посмотреть на общее количество заблокированных сообщений: в этом месяце серые списки заблокировали 4 411 сообщений, но Amavisd (spamassasin) заблокировал 22 763 сообщения. Это означает, что только 16% спама блокируется серыми списками, а все остальное - amavisd.

Более того, все больше и больше провайдеров облачной рассылки отправляют сообщения с нескольких сотен IP-адресов. Они пытаются каждую попытку передачи с другого IP. Таким образом, серые списки могут блокировать эти письма на четные дни. Следовательно, вам необходимо занести в белый список всех "хороших" почтовых провайдеров. Это вводит новые усилия по обслуживанию.

Я всегда был большим поклонником серых списков, но, к сожалению, я вижу, что он становится все менее и менее эффективным, и думаю, что скоро отключу его, так как он начинает задерживать только 14% моих писем без необходимости, не блокируя много спама. .

Ошибочная статистика

Количество заблокированных писем в моей (и вашей) статистике также может вводить в заблуждение. Возьмем одно электронное письмо, пришедшее от крупного провайдера облачной почты (например, Microsoft * .outbound.protection.outlook.com), которое еще не внесено в белый список. Первая попытка не удалась. Вторая и третья попытки передачи исходят от двух других серверов (IP-адресов), поэтому она снова терпит неудачу, поскольку тройка не совпадает. Теперь четвертая попытка снова исходит от первого сервера и завершается успешно. Это будет считаться одной отложенной передачей и четырьмя сообщениями из серого списка. Мои вычисления выше показывают, что 1/4 = 25% сообщений из серого списка было задержано, а 3/4 = 75% заблокировано. Но на самом деле ни одно сообщение не было заблокировано. Теперь мы занесли в белый список серверы этих почтовых провайдеров, чтобы они больше не попадали в серый список. Что произойдет, так это то, что количество сообщений, занесенных в серый список, уменьшится больше, чем количество отложенных сообщений. Это означает, что количество заблокированных сообщений, которые мы рассчитываем, уменьшится. Но неверно, что было заблокировано меньше сообщений.

Фактически, с февраля 2017 года я добавил все больше и больше поставщиков облачной почты в белый список, чтобы бороться с проблемой длительных задержек из-за серых списков. Это может объяснить (частично?), Почему количество заблокированных писем, которое я рассчитываю, быстро уменьшается. Так что, может быть, я просто мысль все время, что серые списки блокируют много спама, но количество заблокированного спама все время было намного меньше, просто оно было рассчитано неправильно. Так что будьте осторожны при интерпретации своей статистики.

спам-боты обычно по-прежнему не ставят сообщения в очередь, но некоторые из них просто отправляют спам дважды каждому получателю с задержкой в ​​несколько минут, чтобы обойти серые списки. Кроме того, в настоящее время спам от спам-ботов больше не является настоящей проблемой, спам от взломанных учетных записей Yahoo и т. д. гораздо труднее поймать.

С этой точки зрения серые списки не так эффективны, как раньше. В сочетании с другими методами защиты от спама это все еще может помочь, например, если ваш домен часто входит в «первую партию» спам-кампаний, серые списки могут помочь задержать сообщение на достаточно долгое время, чтобы черные списки домена / IP-адреса наверстали упущенное. спам пропустил бы ваши фильтры при первой попытке подключения, возможно, он будет обнаружен при второй попытке.

Что касается второстепенной проблемы, мне не нравится быть в положении, когда я использую такую ​​технику, как серые списки, не имея возможности измерить ее эффективность. В Debian с postfix в качестве MTA и postgrey в качестве механизма политики серых списков вы можете просто apt-get install mailgraph чтобы получить простой график принятых и отклоненных писем. Mailgraph - это немного старая школа и полностью автономный, но он работает, и его данные или методы могут быть легко интегрированы в более сложную современную систему мониторинга.

Получите почтовый фильтр на основе репутации. Серый список немного старая школа и не является комплексным решением. Есть обходные пути (с точки зрения спамера) и непредсказуемые сроки доставки почты для ваших пользователей ...

Либо поручите фильтрацию облачной службе, либо купите устройство, которое имеет доступ к такому списку и другие методы проверки спама. Я обычно рекомендую Barracuda для их прибор или для их решение для облачной фильтрации. Оба варианта имеют экономию на масштабе и развитую эвристику, которая обеспечивает более чистое общее решение.

Глядя на отчет одного из моих клиентов Barracuda Spam Filter за сентябрь 2012 г., из 98 457 сообщений 1623 были отключены еще до попадания на почтовый сервер из-за плохих получателей ... 34 488 заблокировано как СПАМ. Только 96 сомнительный сообщения прошли. Те, которые были оценены как СПАМ, представляли собой комбинацию репутации, оценки, намерений, трех RBL, Байесовская фильтрация и настраиваемые наборы правил. Все в одном устройстве ... Все обрабатывается до попадания на относительно небольшой почтовый сервер.

Также см: Борьба со спамом - что я могу делать как: администратор электронной почты, владелец домена или пользователь?