HTTP POST提交数据方式不同引起的躺坑记
HTTP POST提交数据方式不同引起的躺坑记
jasonye 2017-08-12
问题现象：
PHP代码中调用curl POST提交的数据，在Go Server端一直用PostFormValue读不到，但是用curl -d命令提交的数据可以读取到。
定位问题：
在试图采用postman手动post数据到后端看能否重现问题的过程中，无意发现Postman中提供了四种POST提交方式：
- application/x-www-form-urlencoded
- multipart/form-data
- raw
- binary
进一步试验发现，不同提交方式到后台结果不一样。采用 application/x-www-form-urlencoded 可以读取到，而 multipart/form-data 读取不到。
进一步发现：这两种提交方式的不同，在数据传输的形式上也是不同的。分别如下：
application/x-www-form-urlencoded如下：
POST /CrowdCal HTTP/1.1
Host: x.x.x.x:xxxx
Content-Type: application/x-www-form-urlencoded
Cache-Control: no-cache
Postman-Token: 76d762fa-c06a-6f0f-168f-cabac25f5d11
Fcal_formula=1&Fcal_job_id=206&Fcustom_id=1
而 multipart/form-data：
POST /CrowdCal HTTP/1.1
Host: x.x.x.x:xxxx
Content-Type: multipart/form-data; boundary=----WebKitFormBoundary7MA4YWxkTrZu0gW
Cache-Control: no-cache
Postman-Token: fa780fa5-ab1e-97bc-0e2b-91e40483412a
------WebKitFormBoundary7MA4YWxkTrZu0gW
Content-Disposition: form-data; name="Fcal_formula"
AA=1&BB=1^C=1
------WebKitFormBoundary7MA4YWxkTrZu0gW
Content-Disposition: form-data; name="Fcal_job_id"
12
------WebKitFormBoundary7MA4YWxkTrZu0gW
于是问题差不多定位到了，是由于前后端PHP代码和GO代码对POST提交数据的解析方式不统一引起的问题。
解决问题：
方法一：
原来PHP代码使用如下方式提交：
curl_setopt($ch, CURLOPT_POST, true);
curl_setopt($ch, CURLOPT_POSTFIELDS, $arrData);
进一步查看PHP文档解析如下：
CURLOPT_POST : TRUE to do a regular HTTP POST. This POST is the normal application/x-www-form-urlencoded kind, most commonly used by HTML forms.
CURLOPT_POSTFIELDS 提交的第三个参数：
If value is an array, the Content-Type header will be set to multipart/form-data.
并且特别Note：
Passing an array to CURLOPT_POSTFIELDS will encode the data as multipart/form-data, while passing a URL-encoded string will encode the data as application/x-www-form-urlencoded.
于是上面代码修改为这样解决：
$strQuery = http_build_query($arrData);
curl_setopt($ch, CURLOPT_POST, true);
// curl_setopt($ch, CURLOPT_POSTFIELDS, $arrData);
curl_setopt($ch, CURLOPT_POSTFIELDS, $strQuery);
问题解决，改成使用application/x-www-form-urlencoded方式数据，后端就可以正确解析提交的数据了。
方法二：
上面的问题也可以通过GO Server端改变解析POST数据的方式来解决。
Go端原来代码如下：
r.ParseForm()
//r.ParseMultipartForm(100)
fmt.Println("PostFormValue", r.PostFormValue("Fcal_formula"))
查看r.ParseForm文档：
For all requests, ParseForm parses the raw query from the URL and updates r.Form.
For POST, PUT, and PATCH requests, it also parses the request body as a form and puts the results into both r.PostForm and r.Form. Request body parameters take precedence over URL query string values in r.Form.
For other HTTP methods, or when the Content-Type is not application/x-www-form-urlencoded, the request Body is not read, and r.PostForm is initialized to a non-nil, empty value.
PostFormValue returns the first value for the named component of the POST or PUT request body. URL query parameters are ignored. **PostFormValue calls ParseMultipartForm and ParseForm if necessary and ignores any errors returned by these functions. If key is not present, PostFormValue returns the empty string.
**
于是修改去掉 r.ParseForm 就好了。
进一步说明：
上述4中方式，其实是POST的：Form content types 参考[https://www.w3.org/TR/html401/interact/forms.html#h-17.13.4]
HTTP协议默认要求：
User agents must support the content types listed below. Behavior for other content types is unspecified.
application/x-www-form-urlencoded 和 multipart/form-data
其他的的类型并没有要求，但是越来越多的浏览器、WEB站点开始支持
raw类型：
包括：text/plain, appliation/json , appliation/javascript , application/xml , application/html ,application/xml, text/xml 等
和
binary：即发送二进制文件
POST /pcc HTTP/1.1
Host: 127.0.0.1:8808
Content-Type: application/json
Cache-Control: no-cache
Postman-Token: c30910c3-8371-a472-4b1a-6640e85f4623
{"sfj":{"sfd":"sdff"}}参考文献：
https://www.w3.org/TR/html401/interact/forms.html#h-17.13.4
https://imququ.com/post/four-ways-to-post-data-in-http.html
Go文档、
PHP文档