Мне поручено найти способ загрузить заархивированные журналы с удаленного сервера. Таких логов довольно много, и они постоянно создаются.
У меня ограниченный доступ по ssh к удаленному серверу, и я могу выполнить scp или rsync файлы.
Однако из-за огромного размера этих файлов журналов я не хочу синхронизировать их все. Журналы могут достигать терабайтов, и для их сравнения с помощью rsync может потребоваться некоторое время. Я хочу получить только любой новый файл, который был создан / обновлен час назад.
Меня также беспокоит, что я буду использовать журналы rsync, которые находятся в процессе создания, поэтому я думал только о файлах rsync, которые в последний раз были изменены 3-5 минут назад.
Будет ли кто-нибудь так добр, чтобы помочь мне в таком процессе? Заранее спасибо.
Вы можете использовать ls -t, чтобы перечислить последние файлы по дате и отправить их в rsync, вы можете легко настроить его для передачи только вчерашних журналов или вам это нужно с того же дня?
Что-то вроде http://www.commandlinefu.com/commands/view/1481/rsync-find стоит сделать; вы можете захотеть выполнить однострочный запрос на удаленном сервере и заставить его подключиться к вашему серверу «загрузки».