scrapy 2.3 分析javascript代码
如果所需数据是用javascript硬编码的,则首先需要获取javascript代码:
- 如果javascript代码在javascript文件中,只需读取
response.text
. - 如果javascript代码在
<script/>
HTML页的元素,使用 selectors 提取其中的文本 <script/>
元素。
一旦有了包含javascript代码的字符串,就可以从中提取所需的数据:
- 你可能会使用 regular expression 以JSON格式提取所需数据,然后可以使用
json.loads()
.
例如,如果javascript代码包含类似 var data = {{"field": "value"}};
您可以按如下方式提取该数据:
>>> pattern = r'\bvar\s+data\s*=\s*(\{.*?\})\s*;\s*\n'
>>> json_data = response.css('script::text').re_first(pattern)
>>> json.loads(json_data)
{'field': 'value'}
- chompjs 提供将JavaScript对象解析为 dict .例如,如果javascript代码包含
var data = {{field: "value", secondField: "second value"}};
您可以按如下方式提取该数据:
>>> import chompjs
>>> javascript = response.css('script::text').get()
>>> data = chompjs.parse_js_object(javascript)
>>> data
{'field': 'value', 'secondField': 'second value'}
- 否则,使用 js2xml 要将javascript代码转换为XML文档,可以使用 selectors .
例如,如果javascript代码包含 var data = {{field: "value"}}; 您可以按如下方式提取该数据:
>>> import js2xml
>>> import lxml.etree
>>> from parsel import Selector
>>> javascript = response.css('script::text').get()
>>> xml = lxml.etree.tostring(js2xml.parse(javascript), encoding='unicode')
>>> selector = Selector(text=xml)
>>> selector.css('var[name="data"]').get()
'<var name="data"><object><property name="field"><string>value</string></property></object></var>'