У нас есть несколько файловых систем для нашего вычислительного кластера, с большим количеством пользователей, которые хранят много действительно больших файлов. Мы хотели бы отслеживать файловую систему и помогать оптимизировать ее использование, а также планировать расширение.
Для этого нам нужно каким-то образом отслеживать использование этих файловых систем. По сути, я хотел бы знать всевозможную статистику о файлах:
В идеале эта информация должна быть доступна в агрегированной форме для любого каталога, чтобы мы могли отслеживать ее на основе проекта или пользователя.
За исключением того, что я сам написал что-то на Python, я не смог найти никаких инструментов, способных выполнять эти обязанности. Есть рекомендации?
Вот это да. У Novell есть нечто подобное для своего Open Enterprise Server на томах NSS, который дает большую часть этого. Не частота доступа, которая определяется датой последнего доступа, но определенно остальное. Это процессы Java, которые просматривают дерево томов для создания того, что они называют инвентаризацией. Я почти уверен, что у него нет открытого исходного кода, но этот отчет неплохо иметь.
Возможно, вам понадобится что-то, что будет регистрировать события файловой системы с помощью inotify. Может что-то вроде logsend. Также см инструменты inotify.
Я бы пошел по пути питона. os.walk() прост в использовании, и вся необходимая информация для каждого файла находится в stat().