1、find_all是在python的爬虫功能使用广泛的一个函数，经常用来查找html相应的标签信息

#python的find_all函数使用介绍

'''

find_all是在python的爬虫功能使用广泛的一个

#python的find_all函数使用介绍

'''

find_all是在python的爬虫功能使用广泛的一个函数，经常用来查找html相应的标签信息

'''

2、代码如下：

#1、导入相应的模块

import requests

import re

from bs4 import beautifulsoup

import random

#2、定义对网站进行get请求的函数

def downvideo(page): if page==1: url="
https://www.cmdy5.com/dongzuopian.html" elif page>1: url="
https://www.cmdy5.com/dongzuopian-"+str(2)+".html" agent1 = { "user-agent": "mozilla/5.0 (windows nt 10.0; win64; x64) applewebkit/537.36 (khtml, like gecko) chrome/78.0.3904.70 safari/537.36"} # 设定请求头的值agent1 agent2 = { "user-agent": "mozilla/5.0 (windows nt 10.0; wow64) applewebkit/537.36 (khtml, like gecko) chrome/69.0.3497.100 safari/537.36"} # 设定请求头的值agent2 agent3 = { "user-agent": "mozilla/5.0 (x11; linux x86_64) applewebkit/537.36 (khtml, like gecko) chrome/62.0.3202.62 safari/537.36"} # 设定请求头的值agent3 list1 = [agent1, agent2, agent3] # 设置3个请求头组成的列表，并赋值给列表list1 agent = random.choice(list1) # 请求头的值agent从列表list1里随机选择一个 try: response=requests.get(url,headers=agent) #伪装浏览器对网站进行get请求，并将请求结果赋值给response response.encoding=
response.apparent_encoding #根据内容解析出网页的编码格式并赋值给response.encoding html=response.text #将网页的源代码赋值给html soup=beautifulsoup(html,"html.parser") #对html源代码进行html.parser解析，并赋值给soup imgurl=soup.find_all(re.compile(r"img")) #找出匹配正则规则img标签的所有信息，并赋值给imgurl link=soup.find_all("a","link-hover") #找出a标签里属性值为link-hover的所有标签信息并赋值给link print(imgurl) print("分隔符：","*"*100) print(link) except: #当接收错误反馈信息时 print("错误") #打印错误

#3、对函数进行调用

if __name__ == '__main__': downvideo(1) #调用爬取网页第一页的函数

函数，经常用来查找html相应的标签信息

'''

#1、导入相应的模块

import requests

import re

from bs4 import beautifulsoup

import random

#2、定义对网站进行get请求的函数

def downvideo(page): if page==1: url="
https://www.cmdy5.com/dongzuopian.html" elif page>1: url="
https://www.cmdy5.com/dongzuopian-"+str(2)+".html" agent1 = { "user-agent": "mozilla/5.0 (windows nt 10.0; win64; x64) applewebkit/537.36 (khtml, like gecko) chrome/78.0.3904.70 safari/537.36"} # 设定请求头的值agent1 agent2 = { "user-agent": "mozilla/5.0 (windows nt 10.0; wow64) applewebkit/537.36 (khtml, like gecko) chrome/69.0.3497.100 safari/537.36"} # 设定请求头的值agent2 agent3 = { "user-agent": "mozilla/5.0 (x11; linux x86_64) applewebkit/537.36 (khtml, like gecko) chrome/62.0.3202.62 safari/537.36"} # 设定请求头的值agent3 list1 = [agent1, agent2, agent3] # 设置3个请求头组成的列表，并赋值给列表list1 agent = random.choice(list1) # 请求头的值agent从列表list1里随机选择一个 try: response=requests.get(url,headers=agent) #伪装浏览器对网站进行get请求，并将请求结果赋值给response response.encoding=
response.apparent_encoding #根据内容解析出网页的编码格式并赋值给response.encoding html=response.text #将网页的源代码赋值给html soup=beautifulsoup(html,"html.parser") #对html源代码进行html.parser解析，并赋值给soup imgurl=soup.find_all(re.compile(r"img")) #找出匹配正则规则img标签的所有信息，并赋值给imgurl link=soup.find_all("a","link-hover") #找出a标签里属性值为link-hover的所有标签信息并赋值给link print(imgurl) print("分隔符：","*"*100) print(link) except: #当接收错误反馈信息时 print("错误") #打印错误

#3、对函数进行调用

if __name__ == '__main__': downvideo(1) #调用爬取网页第一页的函数

3、代码运行结果如下：

[, , , , , , , , , , , , , , , , , , , , , , , , , , , , , , ]

分隔符： ****************************************************************************************************

[

催眠裁决

张家辉 / 张翰 / 秦沛 / 郑则仕 / 金燕玲 / 张兆辉 / 谷祖琳 / 苏丽珊 / 李尚正 / 王浩信 / 郭政鸿 / 董畅 / 艾米 / 蔡瀚亿 / 骆应钧 / 杨偲泳

动作片

2019/香港

hc

第一滴血5

西尔维斯特·史泰龙 / 帕斯·贝加 / 路易·曼迪勒 / 奥斯卡·贾恩那达 / 维特·蒙雷尔 / 华金·科西奥 / 杰西卡·马德森 / 艾德里安娜·巴拉扎 / 塞尔吉奥·佩里斯-门切塔 / 阿塔纳斯·斯雷布雷夫 / 尼克·威特曼 / sheila shah / díana bermudez / dimitri 'vegas' thivaios / marco de la o / manuel uriza / 亚伦·科恩

动作片

2019/美国

hc

复仇者联盟4：终局之战

布丽·拉尔森 / 小罗伯特·唐尼 / 克里斯·海姆斯沃斯 / 斯嘉丽·约翰逊 / 乔什·布洛林 / 克里斯·埃文斯 / 布莱德利·库珀 / 凯伦·吉兰 / 伊万杰琳·莉莉 / 伊丽莎白·奥尔森 / 汤姆·赫兰德 / 保罗·路德 / 泰莎·汤普森 / 米歇尔·菲佛 / 塞巴斯蒂安·斯坦 / 庞·克莱门捷夫 / 戴夫·巴蒂斯塔 / 蒂尔达·斯文顿 / 杰瑞米·雷纳 / 查德维克·博斯曼 / 乔恩·费儒 / 丹娜·奎里拉 / 格温妮斯·帕特洛 / 马克·鲁弗洛 / 弗兰克·格里罗 / 凯瑟琳·兰福德 / 温斯顿

动作片

2019/美国

hd

速度与激情：特别行动

道恩·强森,杰森·斯坦森,伊德里斯·艾尔巴,艾莎·冈萨雷斯

动作片

2019/美国

hd中字

戈斯内尔

迈克尔·比奇 / 迪恩·凯恩 / 简宁·特纳 / 尼克·瑟西 / 辛丽娜·弗亚洛 / 萨拉·简·莫里斯 / 达里尔·考克斯

动作片

2018/美国

hd

动物本能

古勒莫·法兰塞拉 / 卡拉·彼德森 / gloria carrá / 马塞洛·索比奥托

动作片

2018/其它

hd

拳击烈女

马达范 / 纳赛尔 / ritika singh / mumtaz sorcar

动作片

2016/印度

hd

非对称较量

赵燕国彰 / 启杰 / 希童

动作片

2019/大陆

hd

杀人秘密

雨果·贝克 / 迪迪埃·布尔东 / 伊莎贝拉·雷纳德 / 比阿特丽丝·德·斯塔尔

动作片

2018/法国

hd

萨尼32.变态粉丝绑架案

北原里英 / 泷正则 / 门胁麦 / 中川雅也 / 骏河太郎 / 音尾琢真 / 山崎银之丞

动作片

2018/日本

hd

过境救援

guy bleyaert / 莎拉·费希恩 / lee charles

动作片

2019/美国

hd

最危险的游戏

约翰·赫宁甘 / 埃里克·艾特巴里 / michelle taylor / 约瑟夫·盖特 / alistair mckenzie

动作片

2017/美国

hd

缘分

阿克希尔 akhil akkineni / 卡尔娅妮 kalyani priyadarshan

动作片

2017/印度

hd

八仙传之吕仙惩贪记

张春年 / 许歌 / 苏家豪 / 李冲

动作片

2016/大陆

hd

八卦拳之武林争霸

薛江涛 / 赵昕 / 崔煜林 / 刘剑伟

动作片

2016/大陆

hd

八卦拳之蓝凤凰

金雨淳 / 贺宽 / 杨名 / 李美慧

动作片

2016/大陆

hd

八卦拳之不共戴天

薛江涛 / 赵昕 / 崔煜林 / 刘剑伟

动作片

2016/大陆

hd

犯罪现场

古天乐 / 宣萱 / 张继聪 / 谭耀文 / 姜皓文 / 李灿森 / 安志杰 / 刘心悠 / 薛凯琪 / 凌文龙 / 吴肇轩 / 颜卓灵 / 陈国邦 / 张松枝 / 蔡洁 / 徐广林 / 周祉君 / 张文杰 / 胡卓希

动作片

2019/香港

hc清晰粤语/国语

镖行天下之天下镖局

邓衍成 / 周群达 / 吴晓敏 / 姜大卫 / 高亚麟 / 闫妮 / 姬麒麟 / 房振华

动作片

2007/大陆

hd

镖行天下之桃花劫

周群达 / 吴晓敏 / 邹爽

动作片

2007/大陆

hd

镖行天下之神武大炮

周群达 / 吴晓敏 / 姜大卫 / 张智尧 / 连晋

动作片

2007/大陆

hd

镖行天下之深宅大院

周群达 / 吴晓敏 / 姜大卫

动作片

2007/大陆

hd

镖行天下前传之漠上风云

吴奇隆 / 海波 / 王鸥

动作片

2010/大陆

hd

镖行天下前传之库丁之谜

吴奇隆 / 刘波 / 王鸥

动作片

2010/大陆

hd

小旋风柴进之簪花请命

张博豪 / 李火火 / 薛江涛 / 王心海

动作片

2017/大陆

hd

小旋风柴进之丹书铁券

张博豪 / 张浩 / 李长海 / 李星海 / 孙文雪

动作片

2016/大陆

hd

小旋风柴进之传世宝藏

张博豪 / 莫美林 / 鲍丹

动作片

2017/大陆

hd

小旋风柴进之逼上梁山

张博豪 / 张浩 / 赵秋生 / 王怀臣 / 于连军

动作片

2016/大陆

hd

小旋风柴进

高天 / 卢星宇 / 王心海 / 许明虎

动作片

2012/大陆

hd

小警风云之寻帅记

宋家腾 夏铭浩

动作片

2016/大陆

hd

图片示例如下：