当前位置: 首页 > news >正文

帝国cms建设 政府网站官方百度下载安装

帝国cms建设 政府网站,官方百度下载安装,lnmp 502 wordpress,visual studio 做网站文章目录 一、Beautiful Soup的简介1、BeautifulSoup安装2、解析工具对比 二、BeautifulSoup的使用1、解析器2、搜索⽂档树3、CSS常⽤选择器介绍4、select和css选择器提取元素5、BeautifulSoup4四大对象种类遍历文档树 一、Beautiful Soup的简介 Beautiful Soup是python的⼀个…

文章目录

  • 一、Beautiful Soup的简介
    • 1、BeautifulSoup安装
    • 2、解析工具对比
  • 二、BeautifulSoup的使用
    • 1、解析器
    • 2、搜索⽂档树
    • 3、CSS常⽤选择器介绍
    • 4、select和css选择器提取元素
    • 5、BeautifulSoup4四大对象种类
      • 遍历文档树

一、Beautiful Soup的简介

Beautiful Soup是python的⼀个库,最主要的功能是从⽹⻚抓取数据,官⽅解释如下:

  • Beautiful Soup提供⼀些简单的、python式的函数⽤来处理导航、搜索、修改分析树等功能。它是⼀个⼯具箱,通过解析⽂档为⽤户提供需要抓取的数据,因为简单,所以不需要多少代码就可以写出⼀个完整的应⽤程序。
  • Beautiful Soup⾃动将输⼊⽂档转换为Unicode编码,输出⽂档转换为utf-8编码。你不需要考虑编码⽅式,除⾮⽂档没有指定⼀个编码⽅式,这时,Beautiful Soup就不能⾃动识别编码⽅式了。然后,你仅仅需要说明⼀下原始编码⽅式就可以了。
  • Beautiful Soup已成为和lxml⼀样出⾊的python解释器,为⽤户灵活地提供不同的解析策略或强劲的速度。
    和lxml⼀样,BeautifulSoup也是⼀个HTML/XML的解析器,主要功能也是如何解析和提取HTML/XML数据。
    lxml只会局部遍历,⽽BeautifulSoup是基于HTML DOM的,会载⼊整个⽂档,解析整个DOM树,因此时间和内存开销都会很⼤,所以性能要低于lxml。
    BeautifulSoup⽤来解析HTML⽐较简单,⽀持CSS选择器,Python标准库中的HTML解析器,也⽀持lxml的XML解析器。

1、BeautifulSoup安装

pip install bs4

2、解析工具对比

抓取工具速度使用难度
正则最快困难
lxml简单
BeautifulSoup最简单

二、BeautifulSoup的使用

# 导入
from bs4 import BeautifulSouphtml_doc = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title"><b>The Dormouse's story</b></p><p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p><p class="story">...</p>
"""# 创建Beautiful Soup对象
soup = BeautifulSoup(html_doc, 'html.parser')print(type(soup))print(soup)# 格式化输出对象的内容
print(soup.prettify())

1、解析器

解析器使用方法优势劣势
Python标准库BeautifulSoup(markup, “html.parser”)1. Python的内置标准库2.执⾏速度适中3.⽂档容错能⼒强Python 2.7.3 or3.2.2)前 的版本中⽂档容错能⼒差
lxml HTML 解析器BeautifulSoup(markup, “lxml”)1.速度快 2.⽂档容错能⼒强需要安装C语⾔库

2、搜索⽂档树

Beautiful Soup定义了很多搜索⽅法,这⾥着重介绍2个: find() 和 find_all() .其它⽅法的参数和⽤法类似


from bs4 import BeautifulSouphtml_doc = """
<table class="tablelist" cellspacing="0" cellpadding="0"><tbody><tr class="h"><td class="1" width="374">职位名称</td><td>职位类别</td><td>人数</td><td>地点</td><td>发布时间</td></tr><tr class="even"><td class="l"><a href="https://www.baidu.com">区块链高级研发工程师</a></td><td class="l">技术类</td><td class="l">1</td><td class="l">深圳</td><td class="l">2018-11-25</td></tr><tr class="even"><td><a href="https://www.qq.com">金融云高级后台开发</a></td><td>技术类</td><td>2</td><td>深圳</td><td>2018-11-24</td></tr><tr><td><a href="https://www.juran.com">高级研发工程师</a></td><td>技术类</td><td>2</td><td>深圳</td><td>2018-11-24</td></tr><tr><td><a href="https://www.python.com">高级图像算法工程师</a></td><td>技术类</td><td>2</td><td>深圳</td><td>2018-11-24</td></tr><tr><td><a href="https://www.lg.com" id="test" class="test">高级业务运维工程师</a></td><td>技术类</td><td>2</td><td>深圳</td><td>2018-11-24</td></tr></tbody>
</table>
"""soup = BeautifulSoup(html_doc, 'lxml')
# print(type(soup))
# tr = soup.find('tr')
# print(tr.contents)
# print(list(tr.children))
tdf = soup.find('td').parent
print(tdf)# 1.获取所有tr标签
# trs = soup.find_all('tr')
# trs = soup.find('tr')
# print(trs)
# 返回的是list
# print(trs)
# for tr in trs:
#     print(tr)# print(type(tr))# print("="*30)# 2.获取第2个tr标签
# tr = soup.find_all('tr', limit=2)[1]
# print(tr)# 3.获取所有class等于even的tr标签
# trs = soup.find_all('tr', class_='even')
# trs = soup.find_all('tr', attrs={"class": 'even'})
# for tr in trs:
#     print(tr)
#     print("="*30)# 4.将所有id等于test,class也等于test的a标签提取出来
# alist = soup.find_all('a', attrs={"id": "test", "class": "test"})
# alist = soup.find_all('a', id="test", class_="test")
# print(alist)# 5.获取所有的a标签的href属性
# hrefs = soup.find_all('a')
# for a in hrefs:# print(a)# 1.通过下表的方式# href = a['hrefs']# 如果没有取到返回None# href = a.get('hrefs')# print(href)# 2.通过attrs属性的方式# href = a.attrs['hrefs']# print(href)# 6.获取所有的职位信息(纯文本)
# trs = soup.find_all('tr')[1:]
# for tr in trs:# print(tr)# tds = tr.find_all('td')# print(tds)# title = tds[0]# print(title.string)# 获取tr标签的所有文本# infos = list(tr.strings)# print(infos)# 可以去除空格取纯文本# infos = list(tr.stripped_strings)# print(infos[0])

3、CSS常⽤选择器介绍

  • 通过标签名查找
print(soup.select('a'))
  • 通过类名查找
print(soup.select('.sister')) #查找class=sister的标签
  • 通过id查找
print(soup.select("#link1"))
  • 组合查找
    组合查找即和写 class ⽂件时,标签名与类名、id名进⾏的组合原理是⼀样的,例如查找 p 标签中,id 等于 link1的内容,⼆者需要⽤空格分开:
print(soup.select("p #link1"))
  • 直接⼦标签查找,则使⽤ > 分隔:
print(soup.select("head > title"))
  • 通过属性查找
print(soup.select('a[href="http://example.com/elsie"]'))
  • 获取内容
    以上的 select ⽅法返回的结果都是列表形式,可以遍历形式输出,然后⽤get_text() ⽅法来获取它的内容。

4、select和css选择器提取元素


from bs4 import BeautifulSouphtml_doc = """
<table class="tablelist" cellspacing="0" cellpadding="0"><tbody><tr class="h"><td class="1" width="374">职位名称</td><td>职位类别</td><td>人数</td><td>地点</td><td>发布时间</td></tr><tr class="even"><td class="l"><a href="https://www.baidu.com">区块链高级研发工程师</a></td><td class="l">技术类</td><td class="l">1</td><td class="l">深圳</td><td class="l">2018-11-25</td></tr><tr><td><a href="https://www.qq.com">金融云高级后台开发</a></td><td>技术类</td><td>2</td><td>深圳</td><td>2018-11-24</td></tr><tr><td><a href="https://www.juran.com">高级研发工程师</a></td><td>技术类</td><td>2</td><td>深圳</td><td>2018-11-24</td></tr><tr><td><a href="https://www.python.com">高级图像算法工程师</a></td><td>技术类</td><td>2</td><td>深圳</td><td>2018-11-24</td></tr><tr><td><a href="https://www.lg.com" id="test" class="test">高级业务运维工程师</a></td><td>技术类</td><td>2</td><td>深圳</td><td>2018-11-24</td></tr></tbody>
</table>
"""soup = BeautifulSoup(html_doc, 'lxml')# 1.获取所有tr标签
trs = soup.select('tr')
# print(trs)# 2.获取第2个tr标签
# tr = soup.select('tr')[1]
# print(tr)# 3.获取所有class等于even的tr标签
# tr = soup.select('tr.even')
# print(tr)# 4.获取所有的a标签的href属性
# alist = soup.select('a')
# for a in alist:
#     href = a.get('href')
#     print(href)# 5.获取所有的职位信息(纯文本)
trs = soup.select('tr')for tr in trs:infos = list(tr.stripped_strings)print(infos)

5、BeautifulSoup4四大对象种类

BeautifulSoup4将复杂HTML⽂档转换成⼀个复杂的树形结构,每个节点都是Python对象,所有对象可以归纳为4种:

  • Tag
  • NavigableString
  • BeautifulSoup
  • Comment

遍历文档树

contents和children

  • contents返回所有⼦节点的列表
  • children返回所有⼦节点的迭代器
http://www.15wanjia.com/news/45387.html

相关文章:

  • 一级做a免费观看视频网站河南怎样做网站推广
  • Wordpress页面函数泰州seo平台
  • 点子网站制作百度网页版登录入口
  • 做网站买那种服务器好重庆网站seo推广公司
  • 定制手机网站开发专业地推团队
  • 浙江绿建设计院网站企业网站定制
  • 网站管理规章制度微信软文
  • 网站真实性核验单下载账号权重查询入口站长工具
  • wordpress漏洞上传php文件夹快速优化关键词排名
  • html代码中标签的书写不区分大小写班级优化大师怎么下载
  • 做彩票的网站吗如何优化搜索关键词
  • 北海哪里做网站建设百度代理合作平台
  • 青海学会网站建设公司搜索关键词网站
  • 提供手机自适应网站建设百度关键词排名批量查询工具
  • 劳务派遣做网站有必要吗热点事件营销案例
  • 电脑游戏网站建设网络开发
  • 建设专业网站公司百度资源搜索平台官网
  • 海外营销网站建设网站免费优化软件
  • 山西省住房和城乡建设厅网站首页下拉关键词排名
  • 上海企业在线网站制作优化排名
  • 邢台市建设局官方网站浏览器搜索引擎大全
  • 网站域名必须备案吗网站优化及推广
  • 推荐一些做网站网络公司电商沙盘seo裤子关键词
  • 做网站推广大概需要多少钱seo草根博客
  • 自己怎么做网站赚钱吗研究生培训机构排名
  • 大连模板建站定制网站2345网址导航设置
  • 新疆网站建设公司微信推广平台收费标准
  • 网站设置不拦截百度推广落地页
  • 比较大气的企业网站商城网站开发公司
  • 数据网站建设哪家好seo是如何做优化的