scrapy 2.3 请求.meta特殊键
这个 Request.meta
属性可以包含任意数据,但有一些特殊的键可以被scrapy及其内置扩展识别。
那些是:
-
dont_redirect
-
dont_retry
-
handle_httpstatus_list
-
handle_httpstatus_all
-
dont_merge_cookies
-
cookiejar
-
dont_cache
-
redirect_reasons
-
redirect_urls
-
bindaddress
-
dont_obey_robotstxt
-
download_timeout
-
download_maxsize
-
download_latency
-
download_fail_on_dataloss
-
proxy
-
ftp_user
(见 FTP_USER
更多信息) -
ftp_password
(见 FTP_PASSWORD
更多信息) -
referrer_policy
-
max_retry_times
绑定地址
用于执行请求的传出IP地址的IP。
download_timeout
下载程序在超时前等待的时间(以秒计)。参见: DOWNLOAD_TIMEOUT
.
download_latency
自请求启动以来,获取响应所花费的时间,即通过网络发送的HTTP消息。只有在下载响应后,此元键才可用。虽然大多数其他的元键用于控制零碎的行为,但这个元键应该是只读的。
download_fail_on_dataloss
是否在错误的响应上失败。见: DOWNLOAD_FAIL_ON_DATALOSS
.
max_retry_times
使用meta key设置每个请求的重试次数。初始化时, max_retry_times
元键优先于 RETRY_TIMES
设置。