如何使用vscode调试scrapy爬虫项目

scrapy 一个开放源代码和协作框架，用于从网站提取所需的数据。以一种快速，简单但可扩展的方式。

在本教程将会描述如何使用vscode调试scrapy爬虫项目。

软件环境

• ubuntu 16.04
• scrapy 1.7.4
• virtualenv
• python 3.5

安装python扩展

启动 VS Code按Ctrl+P 输入以下命令

ext install ms-python.python

创建scrapy爬虫项目

mkdir spiders && cd spiders
virtualenv  --python=python3.5  .venv
pip install scrapy
scrapy startproject tutorial
scrapy genspider quotes quotes.org

配置Vscode调试scrapy爬虫

点击vscode调试图标或者按下 Ctrl+shift+D ，添加以下配置文件args中的quotes是你创建的spider蜘蛛名称

{
    // Use IntelliSense to learn about possible attributes.
    // Hover to view descriptions of existing attributes.
    // For more information, visit: https://go.microsoft.com/fwlink/?linkid=830387
    "version": "0.2.0",
    "configurations": [
        {
            "name": "Python: Module",
            "type": "python",
            "request": "launch",
            "module": "scrapy",
            "cwd": "${workspaceRoot}/tutorial",
            "args": [
                "crawl",
                "quotes"
            ]
        }
    ]
}

结论

至此，你已经完成scrapy爬虫项目调试方式的配置