抓取实时辟谣数据

https://vp.fact.qq.com/home

image.png

https://vp.fact.qq.com/article?id=be3aea585b07c193778985e180cf164b

https://vp.fact.qq.com/loadmore?artnum=0&page=0

image.png

https://vp.fact.qq.com/loadmore?artnum=0&page=0

image.png

import requests
from bs4 import BeautifulSoup

path = 'https://vp.fact.qq.com/loadmore?artnum=0&token=U2FsdGVkX18vf24Ll8I4bLXafIv7BY3GfCU0q9PJ%252FhM2kTmyPKf78WYKL5KP%252BGx4&page='
url = path + '0'
content = requests.get(url)
d = content.json()
d['content'][0]
{'title': '现阶段接种新冠疫苗后就不需要再戴口罩了',
 'author': '健康中国',
 'authordesc': '健康中国',
 'id': '6883746aa79c6203d57d6553f2626927',
 'date': '2021-05-06',
 'markstyle': 'fake',
 'result': '假',
 'explain': '谣言',
 'abstract': '对于个人来说,接种疫苗的保护效果不是100%,并且产生保护性抗体也需要一定的时间;对于群体来说,在没有形成免疫屏障的情况下,新冠病毒依然容易传播。\n要防止新冠肺炎疫情反弹,现阶段一些防控措施仍然要坚持,包括戴口罩、保持社交距离、勤洗手、通风等防护措施。',
 'tag': ['新冠疫苗', '口罩'],
 'type': 1,
 'videourl': '',
 'cover': '//jiaozhen-70111.picnjc.qpic.cn/6ZBozQyyqzBtWuzCUHjazX?imageView2/2/w/150/h/90',
 'coverrect': '//jiaozhen-70111.picnjc.qpic.cn/6ZBozQyyqzBtWuzCUHjazX',
 'coversqual': '//jiaozhen-70111.picnjc.qpic.cn/6ZBozQyyqzBtWuzCUHjazX?imageView2/2/w/300/h/300',
 'section': '',
 'iscolled': False,
 'arttype': 'normal'}
print(*range(74))
0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73
import random

random.random()
0.8587583054308262
from time import sleep
import random

jsons = []
for i in range(74):
    print(i)
    sleep(random.random())
    path = 'https://vp.fact.qq.com/loadmore?artnum=0&token=U2FsdGVkX18vf24Ll8I4bLXafIv7BY3GfCU0q9PJ%252FhM2kTmyPKf78WYKL5KP%252BGx4&page='
    url = path + str(i)
    content = requests.get(url)
    d = content.json()
    for j in d['content']:
        jsons.append(j)
0
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
len(jsons)
730
import pandas as pd
df = pd.DataFrame(jsons)
df.head()
title author authordesc id date markstyle result explain abstract tag type videourl cover coverrect coversqual section iscolled arttype
0 现阶段接种新冠疫苗后就不需要再戴口罩了 健康中国 健康中国 6883746aa79c6203d57d6553f2626927 2021-05-06 fake 谣言 对于个人来说,接种疫苗的保护效果不是100%,并且产生保护性抗体也需要一定的时间;对于群体来... [新冠疫苗, 口罩] 1 //jiaozhen-70111.picnjc.qpic.cn/6ZBozQyyqzBtWu... //jiaozhen-70111.picnjc.qpic.cn/6ZBozQyyqzBtWu... //jiaozhen-70111.picnjc.qpic.cn/6ZBozQyyqzBtWu... False normal
1 国内新冠疫情已经平息,接种疫苗意义不大 健康中国 健康中国 be8eb254c795d6058f3ff9f0c923b8ff 2021-05-06 fake 谣言 在全球新冠肺炎疫情仍在流行的背景下,尽管国内感染风险较低,但疫情输入传播风险依然存在,所以还... [新冠疫情, 新冠疫苗] 1 //jiaozhen-70111.picnjc.qpic.cn/9Hm7Y9hVRN6Qmc... //jiaozhen-70111.picnjc.qpic.cn/9Hm7Y9hVRN6Qmc... //jiaozhen-70111.picnjc.qpic.cn/9Hm7Y9hVRN6Qmc... False normal
2 别人都接种了疫苗,我就没必要接种了 健康中国 健康中国 7aa217ce6dd76992c2138083f7a7f69a 2021-05-06 fake 谣言 接种疫苗后,绝大部分人可以获得免疫力,从而有效降低发病、重症和死亡的风险。接种疫苗的人越多,... [新冠疫苗, 免疫] 1 //jiaozhen-70111.picnjc.qpic.cn/gXJ6jgfvojbk9w... //jiaozhen-70111.picnjc.qpic.cn/gXJ6jgfvojbk9w... //jiaozhen-70111.picnjc.qpic.cn/gXJ6jgfvojbk9w... False normal
3 接种新冠病毒疫苗期间,不能注射狂犬病等其他疫苗 健康中国 健康中国 6175da06e58d1a2bb2f0e2d8b915791f 2021-05-06 doubt 有失实 新冠病毒疫苗是新疫苗,为了便于识别或区别可能出现的疑似疫苗不良反应,目前不建议新冠病毒疫苗与... [新冠疫苗, 免疫] 1 //jiaozhen-70111.picnjc.qpic.cn/s6Tmxe2U6vk22s... //jiaozhen-70111.picnjc.qpic.cn/s6Tmxe2U6vk22s... //jiaozhen-70111.picnjc.qpic.cn/s6Tmxe2U6vk22s... False normal
4 加拿大禁止航班进出,每日新冠死亡人数超1000 福建日报社东南网承办 福建日报社东南网承办 820277109aad5a7a708f7e8b0607f4bc 2021-04-29 fake 谣言 加拿大并没有禁止航班的进出,只是根据疫情防控的需要,某个时间段内暂停部分国家的航班。\n20... [加拿大, 新冠病毒] 1 //jiaozhen-70111.picnjc.qpic.cn/emJa9jbrvoF1Xy... //jiaozhen-70111.picnjc.qpic.cn/emJa9jbrvoF1Xy... //jiaozhen-70111.picnjc.qpic.cn/emJa9jbrvoF1Xy... False normal
df.to_excel('./data/vpqq2021-05-15.xlsx')