分类: 爬虫

6 篇文章

【python爬虫】selenium基本使用代码示例
Edge Driver下载地址:https://developer.microsoft.com/en-us/microsoft-edge/tools/webdriver/ 一般操作 # 从selenuim中导入webdriver from selenium import webdriver from time import sleep # 特殊按键…
【转存】python爬虫相关的一些三方平台地址
验证码 识别人工肉眼识别 第三方自动识别(推荐) 超级鹰 超级鹰使用 https://www.chaojiying.com/ 代理服务器 突破自身ip访问的限制 隐藏自身真实ip 代理相关的网站 快代理 https://www.kuaidaili.com/ 西祠代理 www.goubanjia.com
【python爬虫】xpath使用与学习,python xpath解析
xpath: 通用性最强,最便捷高效 xpath解析原理 实例化一个etree对象,且需要将被解析的页面加载到该对象中 调用etree对象中的xpath方法结合着xpath表达式来实现标签的定位和内容的捕获 xpath使用(from lxml import etree) ​ 1. 将本地的html文档中的源码数据加载到etree对象中 ​ etre…
【python爬虫】python爬虫笔记之requests,rebots.txt,bs4
robot.txt: 门户网站使用类似robot.txt规定哪些数据能爬,哪些不能爬 常用请求头信息: User-Agent: 请求载体的身份标识 Connection:请求完毕后是断开还是继续保持连接 常用响应头信息: Content-Type:服务端响应回客户端的数据类型 requests模块: UA检测:门户网站经常检查请求的载体身份标识 第…