当前位置: 首页 > news >正文

公司怎么制作网站关键词首页排名优化价格

公司怎么制作网站,关键词首页排名优化价格,牛牛襄阳做网站,网页制作基础教程试卷一.最终效果 二.项目代码 2.1 新建项目 本文使用scrapy分布式、多线程爬虫框架编写的高性能爬虫,因此新建、运行scrapy项目3步骤: 1.新建项目: scrapy startproject weibo_hot 2.新建 spider: scrapy genspider hot_search "weibo.com" 3…

一.最终效果

二.项目代码

2.1 新建项目

本文使用scrapy分布式、多线程爬虫框架编写的高性能爬虫,因此新建、运行scrapy项目3步骤:

1.新建项目:
scrapy startproject weibo_hot

2.新建 spider:
scrapy genspider hot_search "weibo.com"

3.运行 spider:
scrapy crawl hot_search

注意:hot_search 是spider中的name

4.编写item:

class WeiboHotItem(scrapy.Item):index = scrapy.Field()topic_flag = scrapy.Field()icon_desc_color = scrapy.Field()small_icon_desc = scrapy.Field()small_icon_desc_color = scrapy.Field()is_hot = scrapy.Field()is_gov = scrapy.Field()note = scrapy.Field()mid = scrapy.Field()url = scrapy.Field()flag = scrapy.Field()name = scrapy.Field()word = scrapy.Field()pos = scrapy.Field()icon_desc = scrapy.Field()

5.编写爬虫解析代码:


import os
from itemadapter import ItemAdapter
from .settings import DATA_URI
from .Utils import Tooltool = Tool()class WeiboHotPipeline:def open_spider(self, spider):self.hot_line = "index,mid,word,label_name,raw_hot,category,onboard_time\n"data_dir = os.path.join(DATA_URI)file_path = data_dir + '/hot.csv'#判断文件夹存放的位置是否存在,不存在则新建文件夹if os.path.isfile(file_path):self.data_file = open(file_path, 'a', encoding='utf-8')else:if not os.path.exists(data_dir):os.makedirs(data_dir)self.data_file = open(file_path, 'a', encoding='utf-8')self.data_file.write(self.hot_line)def close_spider(self, spider):  # 在关闭一个spider的时候自动运行self.data_file.close()def process_item(self, item, spider):try:hot_line = '{},{},{},{},{},{},{}\n'.format(item.get('index', ''),item.get('mid', ''),item.get('word', ''),item.get('label_name', ''),item.get('raw_hot', ''),tool.translate_chars(item.get('category', '')),tool.get_format_time(item.get('onboard_time', '')),)self.data_file.write(hot_line)except BaseException as e:print("hot错误在这里>>>>>>>>>>>>>", e, "<<<<<<<<<<<<<错误在这里")return item

三.注意事项

settings.py配置项修改


# Obey robots.txt rules
ROBOTSTXT_OBEY = False # 关闭,否则根据weibo的爬虫策略爬虫无法获取数据

如果

四.运行过程

五.项目说明文档

六.获取完整源码

爱学习的小伙伴,本次案例的完整源码,已上传微信公众号“一个努力奔跑的snail”,后台回复 热搜榜 即可获取。

http://www.15wanjia.com/news/19638.html

相关文章:

  • 网站备案需要年检吗全网搜索
  • php旅游网站开发背景网络营销专业的就业方向
  • 做网站域名解析华夏思源培训机构官网
  • 网站备案更换市场营销方案
  • 馆陶网站建设公司北京网
  • 进行企业网站建设规划站外推广
  • 模板自助建站网站制作百度广告多少钱
  • 团购网站设计竞价推广哪里开户
  • 用帝国做的网站只收录首页竞价运营是做什么的
  • 网站开发平台软件百度推广如何代理加盟
  • 怎样查网站备案网络营销师
  • 免费做网站排名网络营销品牌推广
  • 襄阳网站建设多少钱开发软件app需要多少钱
  • 网络营销的特点主要有哪些seo咨询河北
  • 怀柔石家庄网站建设抖音推广渠道有哪些
  • 建立制度优化方案模板
  • 网站开发流程三部分开鲁网站seo站长工具
  • 庆阳市人大常委会网站建设如何规划企业网络推广方案
  • 做网站创业流程图在线磁力搜索神器
  • 北京政府网站开发友情链接网站
  • 网站文字设计百度指数网址是多少
  • 汕头网站设计制作公司怎么创建网页链接
  • 网站开发 协作平台论坛推广方案
  • 幼儿园网站建设的意义seo优化关键词排名
  • 网站建设的相关书籍sem培训班培训多少钱
  • 做网站怎么做优化公司流程制度
  • 网站甲假发头套真头发做的假发湖北荆门今日头条
  • 企业网站 seo怎么做seo技术网网
  • 做交友网站如何吸引用户注册自己如何开网站
  • 做网站是什么课搜索引擎免费下载