scrapy 2.3 请求.meta特殊键
这个 Request.meta 属性可以包含任意数据,但有一些特殊的键可以被scrapy及其内置扩展识别。
那些是:
-
dont_redirect -
dont_retry -
handle_httpstatus_list -
handle_httpstatus_all -
dont_merge_cookies -
cookiejar -
dont_cache -
redirect_reasons -
redirect_urls -
bindaddress -
dont_obey_robotstxt -
download_timeout -
download_maxsize -
download_latency -
download_fail_on_dataloss -
proxy -
ftp_user (见 FTP_USER 更多信息) -
ftp_password (见 FTP_PASSWORD 更多信息) -
referrer_policy -
max_retry_times
绑定地址
用于执行请求的传出IP地址的IP。
download_timeout
下载程序在超时前等待的时间(以秒计)。参见: DOWNLOAD_TIMEOUT .
download_latency
自请求启动以来,获取响应所花费的时间,即通过网络发送的HTTP消息。只有在下载响应后,此元键才可用。虽然大多数其他的元键用于控制零碎的行为,但这个元键应该是只读的。
download_fail_on_dataloss
是否在错误的响应上失败。见: DOWNLOAD_FAIL_ON_DATALOSS .
max_retry_times
使用meta key设置每个请求的重试次数。初始化时, max_retry_times 元键优先于 RETRY_TIMES 设置。