Елена Колмановская о полевых испытаниях `Спамообороны` и `Спамтеста`Назад
Елена Колмановская о полевых испытаниях `Спамообороны` и `Спамтеста`
Рабочая группа проекта "АнтиСпам" опубликовала предварительную версию отчета о результатах тестирования спам-фильтров "Спамооборона" ("Яндекс") и "Спамтест" ("Ашманов и Партнеры") в реальных условиях. "Вебпланета" публикует комментарий Елены Колмановской, главного редактора компании "Яндекс".
Отчет проекта "Антиспам" в очередной раз напомнил нам, что, к сожалению, в России не существует никакого экспертного центра, который бы разрабатывал методики и осуществлял тестирование подобных продуктов.
Очевидно, "точечная" проверка недостаточна для оценки качества работы фильтров (указанная выборка в 3,462 сообщения - это менее 0.1% от количества писем, ежедневно приходяшего на "Яндекс.Почту"). Методика, упомянутая в отчете, в лучшем случае иллюстрирует срабатывание программ для нескольких адресов в одном отдельно взятом домене, но не может претендовать на серьезное исследование качества фильтров. Кроме того, в самой методике есть странности, многие из которых отмечены Игорем Ашмановым.
Результаты более аккуратной проверки собственного почтового ящика приводил Илья Сегалович (директор по технологиям компании "Яндекс") в статье "Некоторые автоматические методы детектирования спама, доступные большим почтовым системам" - см. последний раздел статьи с красивыми графиками. При этом он назвал эту проверку экспериментом, но не исследованием.
"Лабораторная работа", предложенная г-ном Альтовским, не убеждает в недостатках технологических и в преимуществах законодательных мер. Для следующего отчета могу предложить желающим посчитать количество спама в странах, где антиспамовое законодательство принято - конечно, убрав предварительно все спам-фильтры.
