scrapy-环境安装+基本配置
1.安装
pip install scrapy2.创建项目
scrapy startproject 项目名称例:
scrapy startproject firstBlood
2.1目录结构
firstBlood/
├── firstBlood
│ ├── __init__.py
│ ├── items.py
│ ├── middlewares.py
│ ├── pipelines.py
│ ├── settings.py
│ └── spiders # 爬虫文件存放目录
│ └── __init__.py
└── scrapy.cfg3.生成爬虫文件
进入项目目录 cd firstBlood
scrapy genspider 爬虫名称 起始url例:
scrapy genspider first www.soulchild.cn
创建后的文件在firstBlood/spiders/first.py目录
4.运行爬虫
scrapy crawl 爬虫名称例:
scrapy crawl first
配置修改
settings.py
USER_AGENT = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.61 Safari/537.36'
ROBOTSTXT_OBEY = False
LOG_LEVEL = 'ERROR'最后更新于 2020-11-23 09:19:16 并被添加「python 爬虫 scrapy」标签，已有 918 位童鞋阅读过。
本站使用「署名 4.0 国际」创作共享协议，可自由转载、引用，但需署名作者且注明文章出处