爬虫高阶（一）：解决验证码及爬取知网论文数据

爬取知网论文数据

• 解决验证码
• 实现过程
• 代码

解决验证码

首先我们必须要识别出验证码，才能让进行下一步。

分享一个好用的网站
云码

接着按照流程操作来得到积分，点击个人中心查看自己的token即可（会用到，一次大约10积分，初始有300免费积分，1元能有1000积分）

实现过程

我们使用的是DrissionPage这个简单又迅速的库
✨️ 概述

DrissionPage 是一个基于 python 的网页自动化工具。

它既能控制浏览器，也能收发数据包，还能把两者合而为一。

可兼顾浏览器自动化的便利性和 requests 的高效率。

它功能强大，内置无数人性化设计和便捷功能。

它的语法简洁而优雅，代码量少，对新手友好。

项目地址：gitee

🎇 强大的自研内核
本库采用全自研的内核，内置了 N 多实用功能，对常用功能作了整合和优化，对比 selenium，有以下优点：

无 webdriver 特征 无需为不同版本的浏览器下载不同的驱动 运行速度更快 可以跨 iframe 查找元素，无需切入切出 把
iframe 看作普通元素，获取后可直接在其中查找元素，逻辑更清晰 可以同时操作浏览器中的多个标签页，即使标签页为非激活状态，无需切换
可以直接读取浏览器缓存来保存图片，无需用 GUI 点击另存 可以对整个网页截图，包括视口外的部分（90以上版本浏览器支持）
可处理非open状态的 shadow-root

🎇 亮点功能
除了以上优点，本库还内置了无数人性化设计。

极简的语法规则。集成大量常用功能，代码更优雅 定位元素更加容易，功能更强大稳定
无处不在的等待和自动重试功能。使不稳定的网络变得易于控制，程序更稳定，编写更省心 提供强大的下载工具。操作浏览器时也能享受快捷可靠的下载功能
允许反复使用已经打开的浏览器。无需每次运行从头启动浏览器，调试超方便 使用 ini
文件保存常用配置，自动调用，提供便捷的设置，远离繁杂的配置项 内置 lxml 作为解析引擎，解析速度成几个数量级提升 使用 POM
模式封装，可直接用于测试，便于扩展 高度集成的便利功能，从每个细节中体现

实现流程：输入文献关键词+文献爬取页数+保存的文件名即可得到

代码

from DrissionPage import ChromiumPage
import time
from DrissionPage.common import Actions
import random
from tqdm import tqdm
from DrissionPage import WebPage
import csv
import base64
import requests,json
#识别很难的验证码，但是使用有限制，别一直狂用，不然就会没了。
def get_vecode():
    url = "https://www.jfbym.com/api/YmServer/customApi"
    with open(r'验证码.png','rb') as f:
        im = base64.b64encode(f.read()).decode()
    data = {
   
        "token":" ",  #输入自己的token
        "type":"10103",#效果不行就改成10103
        "image":im,
    }
    _headers = {
   
            'Content-Type': 'application/json'
        }
    response = requests.request