Есть ли способ получить все адреса веб-сайтов, которые не были заблокированы брандмауэром за последнюю неделю, с сортировкой по IP-адресу с помощью журналов squid?
Вот пример файла журнала
1250388539.781 388 10.0.44.22 TCP_MISS/200 1931 GET http://safebrowsing-cache.google.com/safebrowsing/rd/goog-phish-shavar_s_45871-45875.45871-45875.: - DIRECT/74.125.6.219 application/vnd.google.safebrowsing-chunk
1250388540.180 382 10.0.44.22 TCP_MISS/200 923 GET http://safebrowsing-cache.google.com/safebrowsing/rd/goog-phish-shavar_a_63716-63720.63716-63717.63718-63720: - DIRECT/74.125.6.219 application/vnd.google.safebrowsing-chunk
1250388549.554 657 10.0.12.101 TCP_MISS/200 430 GET http://tracker.openbittorrent.com/announce? - DIRECT/192.121.86.2 text/plain
1250388583.580 675 10.0.12.101 TCP_MISS/200 1579 GET http://tracker.prq.to/announce? - DIRECT/192.121.86.8 text/plain
1250388588.951 702 10.0.12.13 TCP_MISS/405 1368 LOCK http://www.portforward.com/images/spacer.gif - DIRECT/63.168.21.164 text/html
1250388595.574 674 10.0.12.101 TCP_MISS/200 1579 GET http://denis.stalker.h3q.com/announce? - DIRECT/192.121.86.7 text/plain
1250388703.596 667 10.0.12.101 TCP_MISS/200 1579 GET http://open.tracker.thepiratebay.org/announce? - DIRECT/192.121.86.2 text/plain
1250388746.959 699 10.0.12.13 TCP_MISS/405 1368 LOCK http://www.portforward.com/images/spacer.gif - DIRECT/63.168.21.164 text/html
1250388761.595 676 10.0.12.101 TCP_MISS/200 1578 GET http://tpb.tracker.prq.to/announce? - DIRECT/192.121.86.5 text/plain
1250388772.590 678 10.0.12.101 TCP_MISS/200 1580 GET http://open.tracker.thepiratebay.org/announce? - DIRECT/192.121.86.3 text/plain
1250388803.588 663 10.0.12.101 TCP_MISS/200 620 GET http://tracker.openbittorrent.com/announce? - DIRECT/192.121.86.3 text/plain
1250388835.578 665 10.0.12.101 TCP_MISS/200 430 GET http://tracker.thepiratebay.org/announce? - DIRECT/192.121.86.4 text/plain
1250388835.910 678 10.0.12.101 TCP_MISS/200 1578 GET http://tracker4.finalgear.com/announce? - DIRECT/192.121.86.5 text/plain
1250388848.523 408 10.0.8.155 TCP_MISS/200 663 POST http://safebrowsing.clients.google.com/safebrowsing/downloads? - DIRECT/66.102.9.138 application/vnd.google.safebrowsing-update
Системные характеристики: Centos5
Мне нужно определить, кто какой сайт посещал в течение недели.
Это возможно?
Да, вы можете объединить это с базовыми командами unix, такими как awk, grep и sort. Или вы могли бы что-нибудь вместе взломать на perl. Или вы можете загрузить его в базу данных и выполнять всевозможные исследования и отчеты.
cat log | grep "TCP_MISS/200" | awk '{ print $3, $7 }' | sort | uniq
Обратите внимание, что сопоставление физических лиц с журналами прокси или веб-доступа является незаконным во многих странах и может потребовать решения суда. Ваш профиль предполагает, что вы находитесь в Южной Африке, и в этом случае существует конституционное право не допускать «нарушения конфиденциальности их сообщений». (Конституция Южной Африки 1996 г., раздел 14)
Вы можете использовать эту команду для просмотра соединений в реальном времени, методов и байтов:
sudo tail -f /var/log/squid/access.log |awk '{printf(" %-20s | %-15s | %-28s | %-6s | %-5s |%-s\n",strftime("%c",$1),$3,$4,$5,$6,substr($7,0,50))}'
Кроме того, для какого-то отчета я использую сарг, а иногда и скрипт Python с именем sqview