当前位置: 首页 > news >正文

机械厂做的网站模板叫什么营销助手

机械厂做的网站模板叫什么,营销助手,一搜网站制作,云莱坞网站开发python自动化爬虫实战 偶然的一次机会再次用到爬虫,借此机会记录一下爬虫的学习经历,方便后续复用。 需求:爬取网站数据并存入的csv文件中,总体分为两步 爬取网站数据存到到csv文件中 1、配置爬虫环境 1.1、下载自动化测试驱动 …

python自动化爬虫实战

偶然的一次机会再次用到爬虫,借此机会记录一下爬虫的学习经历,方便后续复用。

需求:爬取网站数据并存入的csv文件中,总体分为两步

  1. 爬取网站数据
  2. 存到到csv文件中

1、配置爬虫环境

1.1、下载自动化测试驱动

由于需要实现模拟手动点击浏览器的效果,因此笔者使用到了chromedriver.exe自动化驱动文件。这里选择谷歌浏览器相同版本的驱动。
驱动下载中心

比如:笔者浏览器为110版本,因此下载110版本的driver,因为window只有32位,因此不用犹豫直接下载chromedriver_win32.zip文件

在这里插入图片描述

1.2、下载需要的库文件

笔者这里用到了:requestseleniumbeautifulsoup4
在Setting中的Project项目下载对应的库文件
在这里插入图片描述

2、编写代码

以上爬虫环境配置完成后,接下来便可以编码了。
爬虫的基本逻辑:

  1. 配置谷歌浏览器的驱动文件和自动化测试文件
  2. 创建保存爬取数据的字典和设置读取的起始页码和结束页码
  3. 判断是否有下一页并进行等待,如果没有下一页则直接退出
  4. 解析读取到的页面信息
  5. 保存到csv文件中

根据以上的逻辑,大致就可以理解代码的意思了

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.chrome.service import Service
import csv# 1、设置自动化启动的浏览器和浏览器的驱动器
options = Options()
# 设置自己电脑的浏览器启动文件目录
options.binary_location = "C:\\Users\\wuming\\Google\\Chrome\\Application\\chrome.exe"
options.add_argument('–-incognito')
options.add_argument('--disable-infobars')
options.add_argument('--start-maximized')
# 自动化浏览器驱动器
driver = webdriver.Chrome(options=options, service=Service("D:\\chromedriver.exe"))# 2、设置爬取的网站
url = 'https://bj.zu.anjuke.com/fangyuan/'
driver.get(url)# 3、存储爬取的数据  -这里根据需要修改需要存储多少位
data = [['title', 'price', 'detail_url']]# 4、开始爬取数据
# 计数需要爬取多少数据,一页60条,5k则需要爬取10页,begin:起始页  end:结束页
begin = 1
end = 1
while True:# 4.1、等待下一页按钮出现try:next_button = WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.LINK_TEXT, '下一页 >')))except:break# 4.2、点击下一页按钮next_button.click()# 判断是否到达结束页,到达则退出if begin > end:breakbegin = begin + 1# 4.3、等待页面加载完成WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.CLASS_NAME, 'zu-itemmod')))# 4.4、解析页面数据house_list = driver.find_elements(By.CLASS_NAME, 'zu-itemmod')for house in house_list:title = house.find_element(By.TAG_NAME, 'h3').text.strip()price = house.find_element(By.TAG_NAME, 'strong').text.strip()detail_url = house.find_element(By.TAG_NAME, 'a').get_attribute('href')print(title, price, detail_url)# 4.5、向data中添加数据data.append([title, price, detail_url])driver.quit()# 5、将爬取的数据存入csv文件中
with open('D:\\wuming\\data.csv', 'w', newline='') as file:writer = csv.writer(file)for row in data:writer.writerow(row)

根据以上代码,相信大家已经可以爬取数据,至于内容的提取,则需要大家各显神通,后面会详细写一篇文章,说一说如何从爬取的网页中获取想要的信息。

http://www.15wanjia.com/news/19768.html

相关文章:

  • 公司网站怎么做包括什么整站优化加盟
  • 天津 响应式网站设计百度长尾关键词挖掘工具
  • 自己网站如何做关键词排名软文推广营销服务平台
  • 可以用css3做响应式网站吗seo是什么姓氏
  • wordpress迁移后后台页面打不开太原seo霸屏
  • 做网站怎样找重庆seo整站优化方案范文
  • 对象存储oss做视频网站游戏推广渠道
  • 懒懒淘客怎么做自己的网站网络销售怎么做
  • 做那个免费视频网站seo搜索引擎优化价格
  • 超级门户博客版wordpress主题潜江seo
  • 网站上的图用美图秀秀做可以吗班级优化大师官网登录
  • 西安高端网站定制google官网
  • 南京网络推广嘉兴百度seo
  • 个人网站构建网站域名ip地址查询
  • wordpress 商家 用户北京seo培训
  • 做团队网站源码有哪些黑马程序员培训机构官网
  • 东莞虚拟主机关键词推广优化
  • 网站备案跟域名备案中国搜索引擎排行榜
  • 重庆网站建设是什么重庆seo软件
  • 全国工商网seo优化方式
  • asp.net做的网站模板下载下载百度安装
  • 100网站建设张北网站seo
  • php做的卖水果网站有哪些网站建设公司官网
  • logo做ppt模板下载网站超级软文
  • 网站文章优化怎么做百度推广客户端电脑版
  • 国内做博彩网站代理企业推广平台有哪些
  • 高端网站建设教学市场营销图片高清
  • 有没有做那事的网站网络安全培训机构排名
  • 中国建设网站官网百度搜索指数是怎么计算的
  • 网站备案账号是什么app推广拉新一手渠道代理