http chunked和Trailer

发表于 | 分类于
HTTP学习记录,这里记录的是分块编码传输(Transfer-Encoding:chunked)以及Trailer的说明.还有就是Go中如何发送chunked包

一. 分块编码

分块编码传输应该是和持久连接配合使用的.因为如果不是持久连接的话那也不需要知道长度等信息了,只需要读到连接关闭即可.

在持久连接的情况下,如果是服务器动态创建内容可能无法提前知道主体的长度,Content-Length也就无法明确,自然也就无法确认某次响应需要读取多少数据了.这时候就可以利用分块编码传输解决这个问题.同时分块的方式也可以提高效率,比如传输过程中需要使用压缩技术,分块可以实现一边压缩一边传输.

分块编码基本格式如下(这里以应答为例子):

1
2
3
4
5
6
7
8
9
10
11
12
13
HTTP/1.1 200 OK<CR><LF>
Content-Type: text/plain<CR><LF>
Transfer-Encoding: chunked<CR><LF>
Trailer: Content-MD5<CR><LF>
<CR><LF>
11<CR><LF>
123456789012345678901234567<CR><LF>
12<CR><LF>
1234567890123456789012345678<CR><LF>
...
0<CR><LF>
<CR><LF>

首先第一部分和常规的HTTP应答一致,协议版本 ,应答码以及短语,各响应头.其中需要注意的是如果是分块编码则Transfer-Encoding必须指定chunked.然后以一个<CR><LF>和主体部分分隔.接下去就是一个个数据分块了,其中每个分块的格式都是一致的:

1
2
length<CR><LF>
data<CR><LF>

length是十六进制的数据长度.

然后最后一个分块比较特殊,他是一个0长度的分块,表示数据结束.这时候接收端就认为这次的数据已经读取完成了.

其中分块传输除了上面提到的优点之外还有一个好处就是方便在主体内容传输完成之后再补充一些Header信息.如同示例里的Content-MD5.因为一开始无法知道主体的全部内容自然也是无法计算数据校验信息.这时候如果使用chunked再配合Trailer头就可以在分块数据的末尾补充一些Header信息.

二. Trailer

首先添加Trailer头信息说明后续补充的Header列表.

Trailer: Content-MD5<CR><LF>

不过客户端并不一定会处理分块数据尾部的Header信息.所以一般配合Te头信息使用。
比如:

1
Te: chunked, trailers  // 这就表示客户端接受分块编码以及尾部挂载

这时候如果有尾部挂载信息的话,上面的格式就得修改下:

1
2
3
4
...
0<CR><LF>
Content-MD5: xxxxxxxx<CR><LF>
<CR><LF>

补充信息紧跟在0块后面,然后格式和头信息一致.

三.Go代码实现Demo

知道了传输的一个格式,那自然是需要自己尝试以下.

其中核心代码如下:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
// 输出响应头
rwc.Writer.WriteString(fmt.Sprintf("%s %d %s\r\n", proto, 200, "ok"))
rwc.Writer.WriteString("Content-type: text/html\r\n")
rwc.Writer.WriteString("Transfer-Encoding: chunked\r\n")
rwc.Writer.WriteString("Trailer: Expires\r\n")
rwc.Writer.WriteString("\r\n")
rwc.Writer.Flush()
// 输出数据块
for _, v := range ress {
	rwc.Writer.WriteString(fmt.Sprintf("%0x\r\n%s\r\n", len(v), v))
	rwc.Writer.Flush()
	time.Sleep(1 * time.Second)
}
//输出0块以及挂载
rwc.Writer.WriteString(fmt.Sprintf("%0x\r\n", 0))
rwc.Writer.WriteString(fmt.Sprintf("Expires: %s\r\n", time.Now().Add(1*time.Hour).Format(TimeFormat)))
rwc.Writer.WriteString("\r\n")
rwc.Writer.Flush()

完整代码在这里

四. Go标准库如何发送chunked数据以及查看挂载信息

发送chunked代码同样是调用Flush方法即可

1
2
3
4
5
6
7
8
9
10
11
12
13
http.HandleFunc("/chunked", func(w http.ResponseWriter, r *http.Request) {
	w.Header().Add("Transfer-Encoding", "chrunkd")
	w.Header().Add("Content-Type", "text/html")
	w.WriteHeader(http.StatusOK)
	w.Write([]byte("<html><title>Chunked</title>"))
	for i := 0; i < 3; i++ {
		w.Write([]byte(fmt.Sprintf("<p style=\"color:red\">message %d</p><br>", i)))
		w.(http.Flusher).Flush()
		time.Sleep(1 * time.Second)
	}
	w.Write([]byte("<p>end</p>"))
	w.Write([]byte("</html>"))
	})

查看挂载信息则需要在读取完主体内容后才可以操作

1
2
resb, err := ioutil.ReadAll(res.Body)
log.Println(res.Trailer)

五. 补充

理论上挂载的信息应该是需要在Trailer头中指明的.但是实际测试却发现不是这样,翻阅标准库代码发现如果fixTrailer方法预先处理的Trailer为空,但是报文仍旧含有挂载信息的话,那么就会直接将读取到的挂载信息作为Trailer使用,而不去依照key做value的匹配.

部分代码如下:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
switch rr := b.hdr.(type) {
	case *Request:
		mergeSetHeader(&rr.Trailer, Header(hdr))
	case *Response:
		mergeSetHeader(&rr.Trailer, Header(hdr))
}
func mergeSetHeader(dst *Header, src Header) {
	if *dst == nil {
		*dst = src
		return
	}
	for k, vv := range src {
		(*dst)[k] = vv
	}
}

结论就是在使用go标准库的时候,如果没有指定Trailer头的值,go标准库还是可以完全读取解析全部挂载信息的.如果指定了Trailer头信息,那么只会匹配指定的field.

客官扫码领红包哟~