Назад | Перейти на главную страницу

Подсчитать количество новых строк с интервалом в журнале

Есть ли способ / инструмент tail или watch файл журнала и сообщить количество строк, которые он растет?

Например. Я хочу видеть количество новых записей в mysql.log каждые 3 секунды.

watch wc -l /path/to/log.log1 показывает только накопленную сумму. Я бы предпочел не truncate журнал между ними.

Все, что вам нужно сделать, это перенаправить файл в wc и будет отображаться только то, что было добавлено, а не общая сумма.

watch wc -l < /path/to/log.log1

В < все имеет значение.

Я не знаю ни одного стандартного инструмента, но вы можете использовать следующий скрипт Python:

import sys, time

if not len(sys.argv) >= 2:
    print 'usage: %s FILENAME FREQUENCY' % (sys.argv[0])
    sys.exit(1)

fd=open(sys.argv[1])
freq=int(sys.argv[2])
fd.seek(0, 2)
while True:
    current = fd.tell()
    nlines = len(fd.readlines())
    if nlines:
        print nlines
    time.sleep(freq)

Тестировать:

$ (while true; do echo test; sleep 0.2; done) > log &
$ python watchandcount.py log 3

Он не идеален, потому что не может «контролировать» STDIN или определить, когда файл был заменен ( --follow=name хвостовой вариант.

Вот несколько быстрых и грязных perl, чтобы делать то, что вы хотите:

#!/usr/bin/perl

open(I, "<$ARGV[0]") || die "Can't open $ARGV[0]: $!\n";

while (1) {
  my $count = 0;
  while (<I>) { $count++; }
  print scalar(localtime()), ": $count lines\n";
  sleep(3);
  seek(I, 0, 1); # clear the EOF on I
}

close(I);

Вот результат работы в одном окне:

[root@g3 tmp]# perl tt.pl FILE
Thu Dec  9 13:18:38 2010: 0 lines
Thu Dec  9 13:18:41 2010: 0 lines
Thu Dec  9 13:18:44 2010: 0 lines
Thu Dec  9 13:18:47 2010: 0 lines
Thu Dec  9 13:18:50 2010: 0 lines
Thu Dec  9 13:18:53 2010: 1 lines
Thu Dec  9 13:18:56 2010: 0 lines
Thu Dec  9 13:18:59 2010: 1 lines
Thu Dec  9 13:19:02 2010: 0 lines
Thu Dec  9 13:19:05 2010: 0 lines
Thu Dec  9 13:19:08 2010: 0 lines
Thu Dec  9 13:19:11 2010: 0 lines
Thu Dec  9 13:19:14 2010: 0 lines
Thu Dec  9 13:19:17 2010: 0 lines
Thu Dec  9 13:19:20 2010: 100 lines

И вот команды, которые я запускал в другом окне, чтобы сгенерировать вывод выше:

[root@g3 ~]# cd /tmp
[root@g3 tmp]# echo foo > FILE
[root@g3 tmp]# echo foo >> FILE
[root@g3 tmp]# for i in `seq 1 100`
> do
> echo $i >> FILE
> done
[root@g3 tmp]# 

Надеюсь, это поможет...

А вот сценарий на bash:

TOTAL=0
while true; do
  NEW_TOTAL=$(wc -l /path/to/log.log1 | cut -f1 -d' ')
  echo $(($NEW_TOTAL - $TOTAL))
  TOTAL=$NEW_TOTAL
  sleep 3
done

Его преимущество заключается в том, что его можно использовать непосредственно в оболочке, если вы не подозреваете о ";" ;)

TOTAL=0; while true; do NEW_TOTAL=$(wc -l TOTAL=0; while true; do NEW_TOTAL=$(wc -l big | cut -f1 -d' '); echo $(($NEW_TOTAL - $TOTAL)); TOTAL=$NEW_TOTAL; sleep 3; done | cut -f1 -d' '); echo $(($NEW_TOTAL - $TOTAL)); TOTAL=$NEW_TOTAL; sleep 3; done