Знаете ли вы какой-либо инструмент, который отслеживает журналы apache на предмет подозрительных действий (например, несколько блоков по mod_security с одного IP) и после того, как он блокирует этот IP с помощью .htaccess?
Вы можете взглянуть на fail2ban. Не уверен, есть ли действие по бану через .htaccess, но его можно добавить - если вы не хотите банить через iptables.