В настоящее время у меня есть 2 каталога (верхнего уровня) с большим количеством подкаталогов и файлов. Между этими каталогами много одинаковых файлов, но есть одна проблема: имена файлов и / или каталогов могут быть разными. Я пытаюсь создать способ узнать о файлах, которых нет на одной из сторон. Обычно это инструмент kdiff3 / fslint / etc. нашел бы дубликаты. Но в этом случае я также хочу увидеть, какие файлы не встречаются с обеих сторон. Теперь я создаю 1 базу данных с 2 таблицами, имена файлов (включая полный путь), включая хеш MD5 этого имени файла. На основе этого я могу создать несколько запросов, чтобы показать, какие файлы встречаются с обеих сторон, а какие нет. Но в настоящее время это очень трудоемкое упражнение (я говорю о более чем 100 000 файлов с размером от 500 КБ до 1 ГБ).
Есть ли у кого-нибудь советы или инструменты, которые я могу использовать для решения этой «проблемы»?
Если у меня возникнет такая проблема, я постараюсь сделать свое решение простым и использовать консольные инструменты. Я создам файл для каждого каталога, содержащий путь к файлам и хеши md5, затем использую grep и awk для поиска, сравнения хэшей, дубликатов файлов и файлов без дублирования.