茶叶响应式网站今日广东头条新闻
工具：python 3.7.3 、Chrome 、PyCharm
爬取过程
一、安装库：requests
requests库：在python2 和python3中通用，方法完全一样，简单易用，能够自动帮助我们解压（gzip压缩的等）网页内容。requests提供了session类，来实现客户端和服务端的会话保持。
session=requests.session()
session.post("http://www.renren.com/PLogin.do",headers=headers,data=data)
response=session.get("http://www.renren.com/328724207",headers=headers)二、爬取
1.寻找包含登陆信息的url和data
Chrome浏览器中打开人人网直接跳转至登录页面，打开检查点击Network下的Preview寻找包含响应的url。依次查看左侧除图片和Js外的响应发现登录信息在http://www.renren.com响应中。
转到Headers观察发现发送get请求,复制url和User-Agent，运行代码
import requests
session=requests.session()#实例化session
url="http://www.renren.com"
headers={"User-Agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36"}
session.get(url,headers=headers)
response=session.get("http://www.renren.com/328724207",headers=headers)
# print(response.status_code,response.content.decode())
with open("renren.html","w",encoding="utf-8") as f:f.write(response.content.decode())打开得到的html文件发现并不包含用户个人信息
说明发送请求的url地址不正确，分析为form表单登陆,需发送POST请求。
转到Network下的Response下搜索form，发现url地址为 http://www.renren.com/PLogin.do , data参数的数据为input标签下的内容，name属性下的值为字典的键，用户个人用户名和密码为字典的值。
2.代码
import requests
session=requests.session()#实例化session
url="http://www.renren.com/PLogin.do"
headers={"User-Agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36"}
data={"email": "35xxxxxx0@qq.com","password":"xxxxxxxxxx" }#个人用户名密码
session.post(url,headers=headers,data=data)#请求登陆页面
response=session.get("http://www.renren.com/328724207",headers=headers)#请求个人主页页面
# print(response.status_code,response.content.decode())
with open("renren.html","w",encoding="utf-8") as f:f.write(response.content.decode())三、结果及出现问题
