HTTP协议刨析–揭开HTTP的神秘面纱

1

初步认识HTTP

  Get to know HTTP

■ IT工作的从业者肯定都有一个普遍的认识，那就是互联网上所应用最多的就是WEB类的应用。我们所打开的每一个网站，每一个页面，甚至我们使用手机中的各种APP的服务端，全部使用的是WEB服务。大家所熟悉的的中间件也叫WEB Server，如Apache、Nginx及WebLogic等，都是为了WEB服务提供支撑而诞生的。而在用户端和WEB Server之间起到桥梁作用的就是大名鼎鼎的HTTP协议。HTTP全称超文本传输协议，其详细的规定了客户端与WEB端的通信规则。当我们打开一个网页时，用户只会感知到浏览器给我们呈现一个炫酷的页面，而其内部的工作机制确实有很多学问。

首先当我们通过浏览器输入一个网址的时候。浏览器会生成一个请求，学名叫HTTP Request。这个请求会经过互联网上的无数路由设备最终被传递至这个网站的WEB Server上。当WEB Server收到请求后，会根据请求的内容返回给客户端相应的信息，这个过程叫HTTP Response。当返回的信息达到用户浏览器时，浏览器会读取其中的内容，这里内容一般包含HTML页面，CSS及JavaScript脚本。浏览器会理解并翻译HTML其中的内容并通过CSS的渲染及JavaScript的处理，最终将一个五彩斑斓的效果展示给我们。这个过程我们通过下图来更清楚的认识一下。

2

 HTTP请求

 HTTP Request

我们先来看请求行，其中包括了请求方法，URL，协议版本的重要字段。请求方法可以为如下内容：

在看到这里时，恐怕我们会抱怨，仅仅一个请求方法就如此复杂吗。其实我们并不需要都掌握，在实际的环境中，我们最常用的就是GET和POST两种方法：

GET可以简单理解为获取一个资源，例如一个页面。而POST是在我们提交表单的时候用到的，我们在某个网站上登陆自己的用户，提交用户名密码是会常常用到。至于其他方法则不是很常用，尤其DELETE方法绝大网站都会禁用，而OPTIONS又常常会被一些入侵防护或者WAF等设备认为是不安全的方法从而进行阻断。

而除了请求方法，URL也是请求中的重要组成部分，全名叫统一资源定位符。它的作用正如他的名字一样，一个网站肯定拥有很多内容、很多页面，但我们的浏览器只能一次显示一个页面，那么我们如何获取想要的页面呢，这就是URL的作用。先来看下URL的组成：

组成：<协议>://<主机>:<端口>/<路径>

我们以访问百度举例，当访问百度时，我们一般会在浏览器输入http://www.baidu.com。其中http://代表协议，www.baidu.com代表主机，而端口由于使用默认的80端口，所以不显示，最后的路径其实就是一个/，我们也进行了省略。当我们输入完URL点击回车，百度的WEB Server收到请求后会根据我们的请求内容定位资源从而返回给我们想要的页面。

请求行的最后是协议版本，这块没有太多需要表述的，我们目前基本用的都是HTTP1.1版本。

在介绍完请求行后，我们来看看请求头部，如果让我用一句话来描述请求头部，那就是为请求添加许多附加信息。我们还是先看看请求头部包含哪些内容：

通过这部分，我们告知了WEB Server更详细的信息，像User-Agent部分，就能告知WEB Server我们使用了什么浏览器进行访问。我们通过一张图来了解下。

通过浏览器F12开发者工具，在访问百度时，我们抓取了报文的交互过程。在上图中，Headers代表头部，Host字段是百度的域名，而User-Agent的内容非常有趣，我们能看到是通过一台Windows10的64位电脑通过chrome浏览器发出的请求。

其实请求头部Accept的几个字段主要是用来和服务端协商编码语言等。例如UTF-8，GB2312等编码方式，可能大家都听说过，由于我们还是研究HTTP协议，所以编码相关内容就不再赘述，有兴趣的朋友可以再深入了解。

在讲HTTP请求的最后，我们提一下请求数据。实际上当我们在通过GET方法去打开一个浏览器的时候，请求数据部分是空的。因为请求行和请求头部所携带的内容已经足以让WEB Server知道我们到底想要什么。而当去POST一个表单的时候，一定包含请求数据，例如我们的用户密码前部都在请求数据中携带。

3

HTTP响应

  HTTP Response

上一章节，我们了解了HTTP的请求构成，再通过请求行、请求头部及请求数据的组合后，生成了一个HTTP Request。而WEB Server会针对每一个请求都生成一个HTTP响应。

还是和刚才一样，先用一张图来了解HTTP响应包含了哪些内容。

前面说到请求是由4部分组成，其实响应也一样。由状态行（status line）、相应头部（headers）、空行（blank line）和响应数据（response body）4个部分组成，且与请求报文的格式非常类似。接下来我们依旧一层一层进行刨析。

首先是状态行，包含了协议版本、状态码以及状态码描述。协议版本不再赘述，一般都是HTTP1.1。状态码是非常重要的字段，其标识了我们所请求资源的状态。我们先来认识下状态码，它由3位数字组成，从1xx一直到5xx都有相应的定义。

HTTP响应状态码：

看到这里，我们发现响应貌似比请求还要复杂，上面还只是列举了部分状态码，但实际上同样并不需要完全掌握，只需了解每类状态码所代表的意义即可。其中1xx状态码相对少见。我们接下来从2xx至5xx的状态码中举例来说明。

首先我们开启F12并在浏览器输入https://www.baidu.com。

从上图中，可以发现百度页面正常打开且Status Code显示200 OK。状态码200即表示响应成功，用户可以获取到想要的资源。

但如果我们通过浏览器输入http://www.baidu.com呢，注意此处用的是HTTP而不是刚才的https。我们来看下图：

非常神奇的事情发生了，用HTTP请求的时候状态码返回的是307。这是什么原因呢。我们知道3xx的状态码都是表示要进行重定向的，实际上由于目前绝大多数提供互联网服务者都认为HTTP是一种不安全的协议，而都推荐使用https。https可以理解为是对HTTP所携带的内容进行了加密但并不对内容进行任何修改。当我们用HTTP去请求百度的时候，百度之所以会给我们返回307，其实就是告诉我们，用https来访问我吧。我们来看下图：

图中所展示的还是刚才那个请求，当我们向下翻到响应头部时，发现有一段内容叫Location https://www.baidu.com。这正是百度要告诉浏览器，请重定向用这个URL来访问我，随后浏览器会在发送一次https的请求。当然最终依旧可以正常打开百度的页面。至于https协议的详细交互过程及加解密原理，我们公众号会通过后续发布的文章来详细阐述。

在说完了3xx的响应码后。众所周知的404就要登场了。404 Not Found也是非常常见的一个状态码。来看看下图：

我们寻找了一个网站，输入了一个URL。但人工错误的输入URL最后一个组成部分即路径，这就导致我们请求可以到达WEB Server，但并没有办法定位到该资源。4xx的返回码基本上都是告知浏览器，输入的请求有误。

最后来看看5xx状态码，先看下图：

我们从图中可以看出，我们的请求收到了504的状态码。这个案例实际上我们是自己搭建了一台Nginx，而Nginx会将请求反向代理至一个不存在的网站。当Nginx反向代理时，会先探查这个网站的状态，而Nginx发出的请求始终得不到回复，就会报504超时的错误。5xx的错误基本都是表示服务端存在问题。

在介绍了状态码之后，我们来看看HTTP Response的响应头部是什么样的。响应头部其实和请求头类似，也包含了各种字段，让我们来看下：

这里我们还是用实际案例来分析。请看下图：

这是我们访问163网易的结果，我们可以看到在Server字段返回的是Nginx。这表示表示网易是使用Nginx作为WEB Server的。

像Content-Charset等字段能和请求中的Accept-Charset等字段对应，表示告知客户端编码，数据压缩等格式。

在HTTP Response的最后一个部分是响应数据，响应数据实际上包含了页面的所有内容即整个HTML页面。

我们所看到的最终效果，实际上是浏览器提取出响应数据进行处理渲染过后的。

4

总结

  Summary 

HTTP中的内容其实还有很多，比如从0.9版本发展至今的过程、Cookie的复杂工作原理以及HTTP2.0中的新特性等等。本文旨在为大家带来目前HTTP常用到的原理，有兴趣的朋友可以深入学习HTTP，同时也欢迎与我们团队进行技术上的交流。后面我们会持续不断分享常用的技术及经典的案例，正在计划中的有HTTPS协议的分析以及现在热门的爬虫技术，希望文章能从技术上给您带来新的理解。请持续关注我们的公众号，将为大家带来更多的技术干货。