Назад | Перейти на главную страницу

Разница между curl -I и curl -X HEAD

Я смотрел забавный тип сервера из http://www.reddit.com с участием curl -I http://www.reddit.com когда я догадался curl -X HEAD http://www.reddit.com сделал бы то же самое. Но на самом деле это не так.

Мне любопытно, почему.

Вот что я наблюдаю при выполнении двух команд:

Но, нюхая tshark Я вижу, что вторая команда действительно отправляет тот же HTML-запрос и получает правильный ответ, но не показывает его и не закрывает соединение.

curl -I

0.000000 333.33.33.33 -> 213.248.111.106 TCP 59675 > http [SYN] Seq=0 Win=5840 Len=0 MSS=1460 TSV=47267342 TSER=0 WS=6
0.045392 213.248.111.106 -> 333.33.33.33 TCP http > 59675 [SYN, ACK] Seq=0 Ack=1 Win=5792 Len=0 MSS=1460 TSV=2552532839 TSER=47267342 WS=1
0.045441 333.33.33.33 -> 213.248.111.106 TCP 59675 > http [ACK] Seq=1 Ack=1 Win=5888 Len=0 TSV=47267353 TSER=2552532839
0.045623 333.33.33.33 -> 213.248.111.106 HTTP HEAD / HTTP/1.1
0.091665 213.248.111.106 -> 333.33.33.33 TCP http > 59675 [ACK] Seq=1 Ack=155 Win=6432 Len=0 TSV=2552532886 TSER=47267353
0.861782 213.248.111.106 -> 333.33.33.33 HTTP HTTP/1.1 200 OK
0.861830 333.33.33.33 -> 213.248.111.106 TCP 59675 > http [ACK] Seq=155 Ack=321 Win=6912 Len=0 TSV=47267557 TSER=2552533656
0.862127 333.33.33.33 -> 213.248.111.106 TCP 59675 > http [FIN, ACK] Seq=155 Ack=321 Win=6912 Len=0 TSV=47267557 TSER=2552533656
0.910810 213.248.111.106 -> 333.33.33.33 TCP http > 59675 [FIN, ACK] Seq=321 Ack=156 Win=6432 Len=0 TSV=2552533705 TSER=47267557
0.910880 333.33.33.33 -> 213.248.111.106 TCP 59675 > http [ACK] Seq=156 Ack=322 Win=6912 Len=0 TSV=47267570 TSER=2552533705

curl -X HEAD

34.106389 333.33.33.33 -> 213.248.111.90 TCP 51690 > http [SYN] Seq=0 Win=5840 Len=0 MSS=1460 TSV=47275868 TSER=0 WS=6
34.149507 213.248.111.90 -> 333.33.33.33 TCP http > 51690 [SYN, ACK] Seq=0 Ack=1 Win=5792 Len=0 MSS=1460 TSV=3920268348 TSER=47275868 WS=1
34.149560 333.33.33.33 -> 213.248.111.90 TCP 51690 > http [ACK] Seq=1 Ack=1 Win=5888 Len=0 TSV=47275879 TSER=3920268348
34.149646 333.33.33.33 -> 213.248.111.90 HTTP HEAD / HTTP/1.1
34.191484 213.248.111.90 -> 333.33.33.33 TCP http > 51690 [ACK] Seq=1 Ack=155 Win=6432 Len=0 TSV=3920268390 TSER=47275879
34.192657 213.248.111.90 -> 333.33.33.33 TCP [TCP Dup ACK 15#1] http > 51690 [ACK] Seq=1 Ack=155 Win=6432 Len=0 TSV=3920268390 TSER=47275879
34.823399 213.248.111.90 -> 333.33.33.33 HTTP HTTP/1.1 200 OK
34.823453 333.33.33.33 -> 213.248.111.90 TCP 51690 > http [ACK] Seq=155 Ack=321 Win=6912 Len=0 TSV=47276048 TSER=3920269022

Есть идеи, почему такая разница в поведении?

Кажется, разница связана с Content-Length заголовок и как он обрабатывается обеими командами.

Но прежде чем углубиться в это, curl -X HEAD не дает никаких результатов, потому что по умолчанию curl не печатает заголовки, если переключатель -i не предусмотрено (не требуется на -I хотя).

В любом слючае, curl -I - это правильный способ получить заголовки. Он просто запрашивает заголовок и закрывает соединение.

С другой стороны curl -X HEAD -i будет ждать передачи количества байтов, указанного Content-Length. В случае нет Content-Length не указан, я думаю, он будет ждать некоторых данных или этого конкретного заголовка.

Некоторые примеры, демонстрирующие такое поведение:

$ curl -X HEAD -i http://www.elpais.es
HTTP/1.1 301 Moved Permanently
Server: AkamaiGHost
Content-Length: 0
Location: http://www.elpais.com/
Date: Wed, 12 May 2010 06:35:57 GMT
Connection: keep-alive

Так как Content-Length равно 0, в этом случае обе команды ведут себя одинаково. А потом связь закрывается.

$ curl -X HEAD -i http://slashdot.org
HTTP/1.1 200 OK
Server: Apache/1.3.41 (Unix) mod_perl/1.31-rc4
SLASH_LOG_DATA: shtml
X-Powered-By: Slash 2.005001296
X-Bender: Since I love you all so much, I'd like to give everyone hugs.
X-XRDS-Location: http://slashdot.org/slashdot.xrds
Cache-Control: no-cache
Pragma: no-cache
Content-Type: text/html; charset=iso-8859-1
Content-Length: 115224
Date: Wed, 12 May 2010 06:37:20 GMT
X-Varnish: 1649060825 1649060810
Age: 1
Connection: keep-alive

curl: (18) transfer closed with 115224 bytes remaining to read

В этом случае, похоже, есть тайм-аут (вероятно, из-за Varnish), поэтому curl протестует против того, что соединение было закрыто до получения Content-Length количество байтов.

Кстати, посмотрите смешные заголовки X-Bender (показан в примере) и X-Fry (попробуйте сами) :).

Думаю, это ошибка curl. Если я указываю метод с -X, curl должен обрабатывать ответ в соответствии с RFC. К сожалению, разработчик curl не согласен. Кто-то сообщил об ошибке и даже отправил патч:

http://sourceforge.net/tracker/?func=detail&atid=100976&aid=1810273&group_id=976

но специалист по обслуживанию локонов отклонил это. По-видимому, неработающая опция "-X HEAD" "работает как задумано".

- Джамшид

Из документы:

-X, --request

(HTTP) Задает настраиваемый метод запроса для использования при взаимодействии с HTTP-сервером. Указанный метод запроса будет использоваться вместо метода, который использовался иначе (по умолчанию GET). Прочтите спецификацию HTTP 1.1 для получения подробностей и пояснений. Общие дополнительные HTTP-запросы включают PUT и DELETE, но связанные технологии, такие как WebDAV, предлагают PROPFIND, COPY, MOVE и другие.

Обычно эта опция вам не нужна. Все виды запросов GET, HEAD, POST и PUT скорее вызываются с помощью специальных параметров командной строки.

Этот вариант изменяет только фактическое слово используется в HTTP-запросе, это не влияет на поведение локона. Так, например, если вы хотите сделать правильный запрос HEAD, использования -X HEAD будет недостаточно. Вам нужно использовать параметр -I, --head.

Другими словами, -X для других методов, кроме GET, HEAD, POST и PUT. Для HEAD использовать -I.

Я сталкиваюсь с той же проблемой при написании кода cpp на curl 7.34,

curl_easy_setopt(curl_handle, CURLOPT_CUSTOMREQUEST, "HEAD");

будет там долго висеть, вроде ждет передачи тела пока не истечет таймаут. после добавления новой строки эта проблема решается.

curl_easy_setopt(curl_handle, CURLOPT_NOBODY, 1L );

из документ

сделать запрос на загрузку, не получая тела

эта строчка заставит curl не ждать.