Ежедневно краулер facebook получает около 3000 404 обращений или больше. Журнал как
X.X.X.X Y.Y.Y.Y - - [24/May/2017:03:43:35 +0000] "GET /health-and-medicine/trumps-2018-budget-cuts-funding-for-cancer-mental-health-and-hiv-research/ HTTP/1.1" 404 292 "http://m.facebook.com" "Mozilla/5.0 (iPhone; CPU iPhone OS 10_3_1 like Mac OS X) AppleWebKit/603.1.30 (KHTML, like Gecko) Mobile/14E304 [FBAN/FBIOS;FBAV/87.0.0.44.70;FBBV/54482584;FBDV/iPhone8,4;FBMD/iPhone;FBSN/iOS;FBSV/10.3.1;FBSS/2;FBCR/Sprint;FBID/phone;FBLC/en_US;FBOP/5;FBRV/55128799]"
X.X.X.X Y.Y.Y.Y - - [23/May/2017:03:19:40 +0000] "GET /environment/mount-everests-famous-hillary-step-destroyed-by-2015-nepal-earthquake/ HTTP/1.1" 404 280 "http://m.facebook.com/" "Mozilla/5.0 (Linux; Android 5.1.1; LGL82VL Build/LMY47V; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/43.0.2357.121 Mobile Safari/537.36 [FB_IAB/FB4A;FBAV/111.0.0.18.69;]"
Вам нужно знать, как можно заблокировать эти обращения? Это попадания не из одного IP-адреса, диапазона одной подсети или одного пути.
Также в приложении нет интеграции с facebook.
Изменить: я добавил еще один пример журнала, потому что некоторые могут спутать его с ios
Извините, но вы ошибаетесь.
Это не сканер Facebook. Скорее, этот журнал был создан приложением Facebook Mobile (предоставленные журналы относятся к iOS и Android), получая статью с вашего сервера.