当前位置: 首页 > news >正文

网站开发定制综合性b2b电子商务平台网站

网站开发定制,综合性b2b电子商务平台网站,艺术设计专业,wordpress广告模板下载一、项目背景 在素材网想找到合适图片需要一页一页往下翻,现在学会python就可以用程序把所有图片保存下来,慢慢挑选合适的图片。 二、项目目标 1、根据给定的网址获取网页源代码。 2、利用正则表达式把源代码中的图片地址过滤出来。 3、过滤出来的图片地…

274d5f5c414e4440dbdc1bfcd0c6c04b.png

一、项目背景

在素材网想找到合适图片需要一页一页往下翻,现在学会python就可以用程序把所有图片保存下来,慢慢挑选合适的图片。

二、项目目标

1、根据给定的网址获取网页源代码。

2、利用正则表达式把源代码中的图片地址过滤出来。

3、过滤出来的图片地址下载素材图片。

三、涉及的库和网站

1、网址如下:

https://www.51miz.com/

2、涉及的库:requestslxml

四、项目分析

首先需要解决如何对下一页的网址进行请求的问题。可以点击下一页的按钮,观察到网站的变化分别如下所示:

https://www.51miz.com/so-sucai/1789243.html
https://www.51miz.com/so-sucai/1789243/p_2/
https://www.51miz.com/so-sucai/1789243/p_3/

我们可以发现图片页数是1789243/p{},p{}花括号数字表示图片哪一页。

五、项目实施

1、打开觅知网,在搜索中输入你想要的图片素材(以鼠年素材图片为例)。

f13f8b375b7b724f89939e20317edaa9.png

2、根据上一步对网址的分析,首先我们定义一个类叫做ImageSpider,类里面定义初始化函数、发送请求获取响应数据函数、解析函数、主函数。首先初始化函数,准备url地址和headers,代码如下图所示。

499e9fb6cbed134f4b38767306b8164c.png

3、发送请求获取响应数据函数。

d7946ec7323a15c40b86e97da93293bf.png

4、解析数据,使用xpath获取二级页面链接,最后把图片存储在文件夹中。使用谷歌浏览器选择开发者工具或直接按F12,发现我们需要的图片src是在img标签下的,于是用Python的requests提取该组件。

0d072d01cbe04aa8d2a86f5e57c1bd25.png

37b3536742b7008ffd5603562bf251fd.png

5、主函数,代码如下图所示。

4ef2e4f4cd7258b881c72c505622b4a6.png

六、效果展示

1、运行程序,在控制台输入你要爬取的页数,如下图所示。

1d2b99e2c9721c1244a7dfe8601c7753.png

2、在本地可以看到效果图,如下图所示。

15bff25e070d2caf8f821f2006dd856f.png

最后总结:

1、不建议抓取太多数据,容易对服务器造成负载,浅尝辄止即可。

2、希望通过这个项目,能够帮助大家下载到素材图片。

3、本文基于Python网络爬虫,利用爬虫库,实现素材图片的获取。实现的时候,总会有各种各样的问题,切勿眼高手低,勤动手,才可以理解的更加深刻。

4、欢迎大家点赞,留言,转发,感谢大家的相伴与支持,需要本文源码可以关注公众号:【编程语言之家】有惊喜哦!

往期精彩文章:

30段极简Python代码,测试自己有没有学Python的天赋​mp.weixin.qq.com
3ae0184fd9d2aba1d046107d57a38e0c.png
http://www.15wanjia.com/news/56305.html

相关文章:

  • 展示型外贸网站建设关键词挖掘查询工具爱站网
  • 可以做微积分的网站惠州seo快速排名
  • 郑州专业网站建设价格火星时代教育培训机构怎么样
  • 交河网站建设四川网络推广seo
  • 商城型移动端网站开发多少钱推广运营怎么做
  • 网站搜索引擎优化案例seo站内优化技巧
  • 做公众号必了解的网站线上销售培训机构
  • java做的网站怎么发布免费二级域名注册申请
  • thinkphp做的教育网站seo会被取代吗
  • 网页设计常见模块优化站点
  • 网站开发的微端郑州企业网络推广外包
  • 广西网站建设定制网络电商推广方案
  • 直播app开发哪家好重庆公司seo
  • 怎么导入wordpress模板关键词优化的技巧
  • 平邑网站开发免费聊天软件
  • 网站开发的完整流程成都电脑培训班零基础
  • 文化公司做网站交文化事业费吗点击排名优化
  • 做网站要找什么公司关键词规划师工具
  • 网站导航怎么做社群营销成功案例
  • 网站视频转码软件网络推广方式有哪些
  • 网站更换服务器如何做镜像重要新闻今天8条新闻
  • 通过身份证号查房产pc优化工具
  • wordpress去除评论限制网站排名优化培训课程
  • wordpress 登陆 插件下载石家庄百度快速排名优化
  • 预订网站模板长春网络科技公司排名
  • 做网站推广要注意什么网站优化要多少钱
  • 圣辉友联做网站公司网站建设的方法有哪些
  • 有没有IT做兼职的网站百度站长平台网页版
  • 网站页面太多怎么做网站地图灰色关键词怎么做排名
  • 广州注册公司营业执照seo黑帽教程视频