ApacheDS утверждает, что поддерживает ldap и Kerberos, так можно ли с его помощью аутентифицировать машины Windows?
не из коробки. Вы можете установить клиент kerberos MIT для Windows, и вы можете запустить kinit против KDC, и вы, вероятно, можете сопоставить пользователя локальной рабочей станции с принципалом kerberos в базе данных apache-ds, но он не находится в AD (что является родным для Windows клиент kerberos ожидает).
Если вы хотите использовать Kerberos с клиентами Windows, вам действительно нужно использовать их реализацию (хотя вы можете обойтись без samba 4).
Между прочим, аутентификация хостов Windows против него (я полагаю, это не то, что вы имели в виду, но это, строго говоря, то, о чем вы спрашиваете), я считаю невозможным. Вы можете керберизовать запущенные в них службы (например, apache), присоединение машин к области kerberos будет невозможно.