python爬取保险岛17000多个保险顾问的个性标签，并做词云图

那一抹辉煌

先上图


代码

1. import time
   
2. import re
   
3. import requests
   
4. from bs4 import BeautifulSoup
   
5. import pandas as pd
   
6. import numpy as np
   
7. from selenium import webdriver
   
8. from selenium.webdriver.common.keys import Keys
   
9. from selenium.webdriver.common.action_chains import ActionChains
   
10. from selenium.webdriver.support.select import Select
    
11. #driver=webdriver.Chrome()
    
12. url_list=[]
    
13. for i in range(1,1742):
    
14.     print(i)
    
15.     url='https://www.bxd365.com/agent/0-0-0/'+str(i)+'.html'
    
16.     #url='https://www.bxd365.com/agent/0-0-0/2.html'
    
17.     try:
    
18.        page=requests.get(url,timeout=15)
    
19.     except:
    
20.        time.sleep(5)
    
21.        page=requests.get(url,timeout=15)
    
22.     page.encoding='utf-8'
    
23.     page=page.text
    
24.     p_url=re.compile(r"""class="name">\r\n\t\t\t\t\t\t\t<a href="([\s\S]*?)" target="_blank">""")
    
25.     url=p_url.findall(page)
    
26.     url_list.extend(url)
    
27. len(url_list)
    
28. count=0
    
29. content_dict={}
    
30. for url in url_list:
    
31.     #url='https://bxd574268973.bxd365.com/'
    
32.     try:
    
33.        page=requests.get(url,timeout=15)
    
34.     except:
    
35.        time.sleep(5)
    
36.        page=requests.get(url,timeout=15)
    
37.     page.encoding='utf-8'
    
38.     page=page.text
    
39.     page
    
40.     p_content=re.compile(r"""个性签名：</span>\r\n\t\t\t\t\t\t<a class="f14co2 cu">\r\n\t\t\t\t\t\t\t([\s\S]*?)\t\t\t\t\t\t</a>""")
    
41.     content=p_content.findall(page)
    
42.     if len(content)>0:
    
43.         content_dict[url]=content[0]
    
44.     print(url)
    
45.     count+=1
    
46.     print(count)
    
47.    
    
48. len(content_dict)  
    
49. result=''
    
50. count=0
    
51. for i in content_dict.values():
    
52.     if i!='保险是晴天的一把伞，是汽车的安全带':
    
53.         result=result+i
    
54.         count=count+1
    
55.         print(count)
    
56. result

复制代码

#词云图代码

1. import matplotlib.pyplot as plt     #数学绘图库  
   
2. import jieba               #分词库  
   
3. from wordcloud import WordCloud   #词云库  
   
4.   
   
5. #1、读入txt文本数据  
   
6. text = open(r'C:/Users/Administrator/Desktop/保险代理人个性标签.txt',"r").read()  
   
7.   
   
8. #2、结巴分词，默认精确模式。可以添加自定义词典userdict.txt,然后jieba.load_userdict(file_name) ,file_name为文件类对象或自定义词典的路径  
   
9. # 自定义词典格式和默认词库dict.txt一样，一个词占一行：每一行分三部分：词语、词频（可省略）、词性（可省略），用空格隔开，顺序不可颠倒  
   
10.   
    
11. cut_text= jieba.cut(text)  
    
12. result= "/".join(cut_text)#必须给个符号分隔开分词结果来形成字符串,否则不能绘制词云  
    
13. 
    
14. #print(result)  
    
15. my_wordcloud = WordCloud(font_path='C:/Users/Administrator/Desktop/msyh.ttf').generate(result)
    
16. 
    
17. plt.imshow(my_wordcloud)
    
18. plt.axis("off")
    
19. plt.show()

复制代码