[ laravel爬虫实战--基础篇 ] guzzle发送并发请求

Song6141 次浏览0个评论2017年11月01日

一般我们的请求都是阻塞的,如果需要同时进行多请求的话,就得需要使用并发请求了。

Guzzle你可以使用Promise和异步请求来同时发送多个请求:

$client = new Client();
// 创建一个请求列表
$promises = [
    baidu => $client->getAsync(https://www.baidu.com/),
    jd   => $client->getAsync(http://www.jd.com/),
    earnp  => $client->getAsync(http://bbs.earnp.com/),
];
// 等待所有请求完成
$results = Promise\unwrap($promises);
// 查看请求结果
$baidu = $results[baidu]->getHeader(Content-Length);
$jd = $results[jd]->getHeader(Content-Length);
$earnp = $results[earnp]->getHeader(Content-Length);
dd($jd);

上面确定了并发的数量,当你想发送不确定数量的请求时,可以使用GuzzleHttp\Pool对象:

$client = new Client();
$requests = function ($total) {
    $uri = http://baidu.com;
    for ($i = 0; $i < $total; $i++) {
        yield new Request(GET, $uri);
    }
};
$pool = new Pool($client, $requests(100), [
    concurrency => 5,
    fulfilled => function ($response, $index) {
        // 成功的响应。
    },
    rejected => function ($reason, $index) {
        // 失败的响应
    },
]);
// 构建请求
$promise = $pool->promise();
// 等待请求池完成。
$promise->wait();

这样我们就可以发布并发请求了

提交评论

请登录后评论

用户评论

    当前暂无评价,快来发表您的观点吧...

更多相关好文