/**
* http测试
* 注:PHP版本5.2以上才支持CURL_IPRESOLVE_V4
* @param $url 网站域名
* @param $type 网站访问协议
* @param $ipresolve 解析方式
*/
public function web_http($url,$type,$ipresolve) {
//设置Header头
$header[] = "Accept: application/json";
$header[] = "Accept-Encoding: gzip";
$httptype = function_exists('curl_init');
if (!$httptype) {
$html = file_get_contents($url);
} else {
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $url);
//输出头信息
curl_setopt($ch, CURLOPT_HEADER, 1);
//递归访问location跳转的链接,直到返回200OK
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);
//不对HTML中的BODY部分进行输出
curl_setopt($ch, CURLOPT_NOBODY, 1);
//将结果以文件流的方式返回,不是直接输出
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
//以IPv4/IPv6的方式访问
if($ipresolve=='ipv6') {
curl_setopt($ch,CURLOPT_IPRESOLVE,CURL_IPRESOLVE_V6);
}else{
curl_setopt($ch,CURLOPT_IPRESOLVE,CURL_IPRESOLVE_V4);
}
//添加HTTP header头采用压缩和GET方式请求
curl_setopt( $ch, CURLOPT_HTTPHEADER, $header );
curl_setopt($ch,CURLOPT_ENCODING , "gzip");
curl_setopt($ch, CURLOPT_CUSTOMREQUEST, 'GET');
//清除DNS缓存
curl_setopt($ch,CURLOPT_DNS_CACHE_TIMEOUT,0);
//设置连接超时时间
curl_setopt($ch,CURLOPT_CONNECTTIMEOUT,15);
//设置访问超时
curl_setopt($ch,CURLOPT_TIMEOUT,50);
//设置User-agent
curl_setopt($ch,CURLOPT_USERAGENT,'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.47 Safari/536.11');
if($type=="https") {
//不对认证证书来源的检查
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
//从证书中检查SSL加密算法是否存在
curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, true);
}
//执行Curl操作
$html = curl_exec($ch);
//获取一个cURL连接资源句柄的信息(获取最后一次传输的相关信息)
$info = curl_getinfo($ch);
curl_close($ch);
}
return $info;
}
以上为一个基本curl访问的方法,由于这里需要通过使用IPv6的方式,所以加了相应的选项,相信大家能看的明白,平时经常用到的选项上面都有出现,大家根据需要取舍。
状态码提示405/Method Not Allowed表示不支持请求的方法,这个错误并不常见。
导致这个错误是要是由于curl默认是采用post方式进行提交访问的,post方式在此类域名下是没有权限的,比如在测试www.amazon.cn的时候就出现了这类问题,而修改为get的方式,并且增加了header头后,即可正常访问,个人推测,或许是亚马逊那边基本上都是采用get的方式,才会被认为是人为的点击,对post做了相应屏蔽。
对此增加了如下代码:
//设置Header头
$header[] = "Accept: application/json";
$header[] = "Accept-Encoding: gzip";
//添加HTTP header头采用压缩和GET方式请求
curl_setopt( $ch, CURLOPT_HTTPHEADER, $header );
curl_setopt($ch,CURLOPT_ENCODING , "gzip");
curl_setopt($ch, CURLOPT_CUSTOMREQUEST, 'GET');
命令行的形式为:
curl -v www.amazon.cn
您可能感兴趣的文章:使用PHP curl模拟浏览器抓取网站信息PHP curl模拟浏览器采集阿里巴巴的实现代码php使用curl模拟浏览器表单上传文件或者图片的方法PHP基于curl实现模拟微信浏览器打开微信链接的方法示例php使用curl访问https示例分享php 使用curl模拟ip和来源进行访问的实现方法php使用curl并发减少后端访问时间的方法分析PHP基于curl模拟post提交json数据示例PHP使用Curl实现模拟登录及抓取数据功能示例PHP curl模拟登录带验证码的网站php使用curl伪造浏览器访问操作示例