Удалить повторяющиеся сообщения из Maildir

У меня есть куча дублирующихся сообщений в Maildir моего IMAP-сервера. Как лучше всего их удалить?

Некоторые важные моменты:

Общий идентификатор сообщения обычно является достаточно хорошим определением дубликата. Небольшой скрипт, который удаляет все повторяющиеся сообщения, кроме одного, подойдет.
Иногда необходимо найти дубликаты на основе общих тел сообщений. Какое разумное определение здесь разделяется? Побитовый эквивалент? А как насчет странных различий в переносе строк, экранировании и кодировке символов?
Иногда существует значимая разница между «повторяющимися» сообщениями. Как лучше всего проверить различия в наборах «повторяющихся» сообщений? Различия?

maildir

Я внес существенные улучшения в сценарий Кевина, упомянутый выше, и он был достаточно любезен, чтобы принять мои запросы на перенос. В конце концов мы разделили это на отдельный проект, который вы можете найти здесь:

https://github.com/kdeldycke/maildir-deduplicate

для общих файлов в Linux я использую утилиты fdupes для удаления повторяющихся файлов. Я обнаружил, что это также работает для сообщений Maildir.

Gnome's Evolution [графический почтовый пользовательский агент] имеет встроенную функцию для удаления повторяющейся почты. Как объяснено на этом страница помощи, это сводится к:

Выберите подозрительные сообщения (или только все сообщения)
Перейти в меню Сообщения, выбор Удалить повторяющиеся сообщения.

Вуаля.

P.S. Evolution может получить доступ к вашим сообщениям локально (MailDir, MH, Mbox) или через IMAP.

Лучшее, что я нашел сегодня, - это Кевин Делдике maildir-дедупликация.

Он игнорирует X-MIMETrack заголовок по умолчанию и сравнивает заголовки с помощью SHA224 переваривать.
Он автоматически удаляет дубликаты без запроса подтверждения; однако есть режим пробного прогона, который позволяет предварительно просмотреть, какие дубликаты будут удалены.

Бьюсь об заклад, кто-то мог бы сделать что-нибудь необычное из Рика Сандерса. delIMAPdups.pl, часть его Инструменты IMAP.