学习爬取通过JavaScript动态加载的内容。
页面加载后,数据是通过API异步获取的。
真实的数据接口:https://req.haleibc.com/api/level19/data
爬取方法:
import requests
# 直接请求API接口
api_url = 'https://req.haleibc.com/api/level19/data'
response = requests.get(api_url)
data = response.json()
# 提取数据
title = data['data']['title']
content = data['data']['content']
items = data['data']['items']
print(title)
print(content)
for item in items:
print(item)
通过API接口获取动态加载的数据
数据包含:标题、内容、5个列表项