PHP实现抓取百度搜索结果，并分析数据结构-php教程

保举：《PHP视频教程》

PHP网络爬虫理论：抓取baidu搜寻后果，并剖析数据构造

baidu的搜寻引擎有反爬虫机制，我先间接用guzzle尝尝水。代码以下：

<?php
/**
 * Created by Benjiemin
 * Date: 2020/3/5
 * Time: 14:58
 */
require ('./vendor/autoload.php');
use QL\QueryList;
//进入网页
$jar = new \GuzzleHttp\Cookie\CookieJar;
$client = new GuzzleHttp\Client(['cookies' => true]);
$ql = $client->request('GET', 'https://www.百度.com', [
    'cookies' => $jar
]);
if($ql->getStatusCode()!=200){
    echo '网站状态没有失常';die;
}
echo  $ql->getBody();

baidu间接阻拦了，进了跳转页面，我尝尝加个阅读器头文件，再尝尝。

修正后的header以下：

$ql = $client->request('GET', 'https://www.百度.com', [
    'cookies' => $jar,
    'headers' => [
    'Accept-Encoding' => 'gzip, deflate, br',
    'Accept'     => 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
    'Accept-Language'      => 'zh-CN,zh;q=0.9,en;q=0.8',
    'Cache-Control'      => 'no-cache',
    'Connection'      => 'keep-alive',
    'User-Agent'      => 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36',
]
]);

我测试了下，网站关上了。

咱们持续，输出要害词，并搜寻,后果发现被平安阻拦了，以是我觉得间接用GuzzleHttp搞没有动，于是我持续我的神器：jaeger/querylist以及jaeger/querylist-puppeteer。

装置步骤：

1.装置依赖

正在这以前，要先启用php的proc_open函数，不然无奈装置完好

composer install jaeger/querylist
composer install jaeger/querylist-puppeteer

2.装置nodejs

yum install nodejs

3.装置npm

4.装置@nesk/puphpeteer

npm install @nesk/puphpeteer

5.PHP启用proc_open

代码以下：

<?php
/**
 * Created by Benjiemin
 * Date: 2020/3/5
 * Time: 14:58
 */
require ('./vendor/autoload.php');
use QL\QueryList;
use QL\Ext\Chrome;
$ql = QueryList::getInstance();
// 注册插件，默许注册的办法名为: chrome
$ql->use(Chrome::class);
 $ql->chrome(function ($page,$browser) {
    $page->goto('https://www.百度.com');
    // 这里成心设置一个很长的延伸工夫，让你能够看到chrome阅读器的启动
    sleep(3);
    //输出要害词
    $wd = '简庆旺博客';
    $page->type("input[id='kw']",$wd);
    sleep(1);
    //点击搜寻
    $page->click("input[type='submit']");
    //期待搜寻后果
    sleep(3);
    //猎取后果
    $html = $page->content();
    //用jquery抉择器抽取后果
    $rules = array(
        'title'=>['#content_left h3 a','text'],//题目
        'url'=>['#content_left h3 a','href'],//跳转网址
        'description'=>['div .c-abstract','text'],//形容
    );
    $ql = QueryList::html($html);
    $rt = $ql->rules($rules)->query()->getData();
    //假如有需求，能够把$rt入库，和做其余操作
    sleep(10);
    $browser->close();
    // 前往值肯定要是页面的HTML内容
    return $html;
},[
    'headless' => false, // 启动可视化Chrome阅读器,不便调试
    'devtools' => false, // 关上阅读器的开发者对象
])->find('title')->text();

$rt是我的后果荟萃，打印下，以下

以上就是PHP完成抓取baidu搜寻后果，并剖析数据构造的具体内容，更多请存眷资源魔其它相干文章！