我猜每个人的一生里都会遇见某个人，喜欢上她。有些人在合适的时间相遇，就像是在春天遇到花开，于是一切都会很好，他们会相恋、订婚、结婚、一起生活。而有些人在错误的时间相遇，就像是在冬天隔着冰看见浮上来换气的鱼，鱼换完气沉到水下去，再也看不见了，什么结果都没有，但我们能说在春天遇到花是对的，而在冬天遇到鱼是错的吗？在错误的时间遇到，就能克制自己不喜欢那个人么？是不是仍然会用尽了力气想去接近?想尽办法掩饰自己甚至伪装成另外一条鱼。
最后更新时间：
13:3159
星期三
2019年2月20日前言
selenium可以模拟真实浏览器，自动化测试工具，支持多种浏览器，爬虫中主要用来解决JavaScript渲染问题。本文记载的是selenium这个库常用的语句，方便复习。
基本使用方法
选择使用的浏览器类型
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.wait import WebDriverWait
import time声明使用的浏览器
browser=webdriver.Chrome() #常用的有Chrome()，PhantomJS(),Firefox() //注意大小写访问网址
browser.get('http://www.baidu.com')//找到ID为kw的元素
input = browser.find_element_by_id('kw')//向这个元素里面发送一些键，就好像让你输入一些字符串
input.send_keys('Langzi_blog')敲入回车
input.send_keys(Keys.ENTER)
//等待一段时间，这段时间浏览器会发送请求
wait=WebDriverWait(browser,10)#接受参数1浏览器2等待时间等待期望的数值或者结果加载出来
wait.until(EC.presence_of_all_elements_located((By.ID,'content_left')))//等待id是content_id的页面加载出来打印浏览器当前的网址
print browser.current_url打印浏览器当前的Cookies
print browser.get_cookies()打印浏览器当前网页的源代码
print browser.page_source()关闭浏览器
browser.close()查找元素
单个元素查找
browser.get('http://www.taobao.com')利用id=xxx来寻找，比如寻找id=q的元素
first_input=browser.find_element_by_id('q')利用CSS选择器，用法类似Pyquery #q
secend_input=browser.find_element_by_css_selector('#q')利用xpath来选择元素
third_input=browser.find_element_by_xpath('//*[@id=q"]')一个通用的方法
forth_input=browser.find_element(By.ID,'q')# 这里有By.ID,By.CSS等等
还有by_name,xpath,lint_text,tag_name,class_name,css_selector利用浏览器元素
按F12，点击到需要点击的地方，右键，copy–>选择copy selector。然后把复制到的内容使用By.CSS_SELECTOR即可。
比如：
browser.find_element(By.CSS_SELECTOR,"#xxx你复制的内容xxx")查找多个元素
browser.get('http://www.taobao.com')
fifth_input=browser.find_elements_by_class_name('li')
print fifth_input//返回的对象是列表，使用索引可以获取指定想要的某一个元素浏览器交互
输入文字与回车点击
browser.get('http://www.taobao.com')首先找到输入位置的标签
input=browser.find_element(By.ID,'q')其次输入文字
input.send_keys('Book')清除刚刚输入的文字
input.clear()然后你在输入其他的文字
input.send_keys('ZhaohanEB0')在找到浏览器页面中的点击标签
button=browser.find_element(By.CLASS_NAME,'btn-search')点击刚刚找到的点击按钮
button.click()把动作附加到动作链中串行执行,比如拖动某个地方(验证码中拖到最右边这种情况)
from selenium.webdriver import ActionChains
browser.get('http://www.runoob.com/try/try.php?filename=jqueryui-api-droppable')//这个链接是模拟拖动的地址
browser.switch_to.frame('iframeResult')#这里相当于切换到里面的iframe
source=browser.find_element(By.CSS_SELECTOR,'.ui-draggable') //找到被拖动的那个块
target=browser.find_element(By.CSS_SELECTOR,'.ui-droppable') //找到要拖拽的目标块
actions=ActionChains(browser)
actions.drag_and_drop(source,target)
actions.perform()//在这里实现拖拽执行JavaScript 实现进度条下拖
browser.get('https://www.zhihu.com/people/lan-yan-xiao-cang-shu/activities')
browser.execute_script('window.scrollTo(0,document.body.scrollHeight)')
browser.execute_script('alert("To Bottom")')浏览器前进与后退
browser.get('https://sxadmin.github.io')
browser.get('http://www.baidu.com')
browser.back() //后退
browser.forward() //前进获取元素的属性
browser.get('https://sxadmin.github.io')
input = browser.find_element(By.CSS_SELECTOR,'.fade_box')
print input.get_attribute('href') //标签里面href的值
print input.text //获取文本值获取已经获取元素的属性，包括id，标签，大小
browser.get('https://sxadmin.github.io')
input = browser.find_element(By.CSS_SELECTOR,'.fade_box')获取id
print input.id获取在浏览器里面的位置
print input.location获取标签名
print input.tag_name获取大小
print input.sizeFrame的用法 相当于一个另外的网页，在主页面里切换到这个主页面里面的另一个页面
browser.get('http://www.runoob.com/try/try.php?filename=jqueryui-api-droppable')//这个链接是模拟拖动的地址
browser.switch_to.frame('iframeResult')//这里相当于切换到里面的iframe,可以赋给一个新的变量然后寻找元素或者操作等待
隐式等待，就是如果你想要找到的元素没有出现的时候等待一点时间(可以自己设置)，直到那个元素出现为止
browser.implicitly_wait(10)//设置等待的时间
browser.get('https://sxadmin.github.io')
print browser.find_element(By.ID,'link')显式等待 设置一个等待时间，程序寻找元素，如果找到了就打印出来，没有找到就继续寻找，时间一到抛出异常
browser.implicitly_wait(10)//隐性等待和显性等待可以同时用，但要注意：等待的最长时间取两者之中的大者
browser.get('https://www.sxadmin.github.io')
locator = (By.LINK_TEXT, 'CSDN')
try:
WebDriverWait(browser, 20, 0.5).until(EC.presence_of_element_located(locator))
print browser.find_element_by_link_text('CSDN').get_attribute('href')
finally:
browser.close()Cookie 当获取cookie后在调用或者编辑或者删除
browser.get('https://sxadmin.github.io')
print browser.get_cookies()
browser.delete_all_cookies()在浏览器里面在另外打开一个页面
使用JavaScript
browser.get('https://sxadmin.github.io')
browser.execute_script('window.open()')
print browser.window_handles使用代理IP
我一般是只是用chrome，首先你去这里下载chrome，然后添加到系统环境变量下载地址
第一种(好像咩用)
options = webdriver.ChromeOptions()
# 进入chrome设置模式
proxy = 'http://114.119.116.92:61066'
# 这个是一个代理IP
options.add_argument("'--proxy-server={}".format(proxy))
# 把代理IP添加到代理中
browser = webdriver.Chrome(chrome_options=options)
# 初始化浏览器
browser.get('https://sxadmin.github.io')
# 发起请求第二种(不带密码的)
chromeOptions = webdriver.ChromeOptions()
chromeOptions.add_argument('--proxy-server=http://ip:port')
driver = webdriver.Chrome(chrome_options=chromeOptions)第三种(带密码的)
# -*- coding:utf-8 -*-
import time
from selenium import webdriver
def create_proxyauth_extension(proxy_host, proxy_port,
proxy_username, proxy_password,
scheme='http', plugin_path=None):
"""Proxy Auth Extension
args:
proxy_host (str): domain or ip address, ie proxy.domain.com
proxy_port (int): port
proxy_username (str): auth username
proxy_password (str): auth password
kwargs:
scheme (str): proxy scheme, default http
plugin_path (str): absolute path of the extension
return str -> plugin_path
"""
import string
import zipfile
if plugin_path is None:
plugin_path = 'vimm_chrome_proxyauth_plugin.zip'
manifest_json = """
{
"version": "1.0.0",
"manifest_version": 2,
"name": "Chrome Proxy",
"permissions": [
"proxy",
"tabs",
"unlimitedStorage",
"storage",
"<all_urls>",
"webRequest",
"webRequestBlocking"
],
"background": {
"scripts": ["background.js"]
},
"minimum_chrome_version":"22.0.0"
}
"""
background_js = string.Template(
"""
var config = {
mode: "fixed_servers",
rules: {
singleProxy: {
scheme: "${scheme}",
host: "${host}",
port: parseInt(${port})
},
bypassList: ["foobar.com"]
}
};
chrome.proxy.settings.set({value: config, scope: "regular"}, function() {});
function callbackFn(details) {
return {
authCredentials: {
username: "${username}",
password: "${password}"
}
};
}
chrome.webRequest.onAuthRequired.addListener(
callbackFn,
{urls: ["<all_urls>"]},
['blocking']
);
"""
).substitute(
host=proxy_host,
port=proxy_port,
username=proxy_username,
password=proxy_password,
scheme=scheme,
)
with zipfile.ZipFile(plugin_path, 'w') as zp:
zp.writestr("manifest.json", manifest_json)
zp.writestr("background.js", background_js)
return plugin_path
proxyauth_plugin_path = create_proxyauth_extension(
proxy_host="220.176.90.95",
proxy_port=62089,
proxy_username="swkj",
proxy_password="swkj"
)
co = webdriver.ChromeOptions()
co.add_argument("--start-maximized")
co.add_extension(proxyauth_plugin_path)
driver = webdriver.Chrome(chrome_options=co)
driver.get("https://sxadmin.github.io")打印当前网址
使用 current.url即可，这样可以用来判断网页是否关闭
def run():
browser = webdriver.Chrome()
browser.get('https://sxadmin.github.io')
while 1:
try:
print(browser.current_url)
if browser.current_url:
time.sleep(2)
else:
return None
except:
return None判断是否有弹窗并截图
嘻嘻，猜一猜我要用这个功能干嘛~
driver = webdriver.Firefox()
driver.get('http://xxxx.com/help/searchlist.html?keyw=%E5%95%8A%E5%95%8A%E5%95%8A%E5%95%8A%E5%95%8A" onclick="confirm(1)')
print('加载完毕')
try:
result = EC.alert_is_present()(driver)
print(result)
if result:
print('存在弹窗行为')
print('截图咯')
driver.save_screenshot("codingpy.png")
except Exception as e:
print(e)
print('over')chrome过滤了xss，需要使用火狐噢，首先到官网下载firefox，然后下载geckodriver.exe就行~
但是发现selenium无法截图弹窗，我日，还是老老实实用pillow，根据弹窗判断然后截图吧，日
pillow也有个缺陷，就是如果打包成exe后，不能保存jpg的图片，只能保存为png图片
哪位大佬要是能解决这个，希望能告知小弟。
记住：如果网页弹窗，必须要使用quite方法关闭，而不能使用close噢~
忽略ssl
firefox
profile = webdriver.FirefoxProfile()
profile.accept_untrusted_certs = True
driver = webdriver.Firefox(firefox_profile = profile)
driver.get(u'url地址')chrome
options = webdriver.ChromeOptions()
options.add_argument('--ignore-certificate-errors')
ddriver = webdriver.Chrome(chrome_options=options)
driver.get(u'url地址')结语
大概最常用的就这么多，其实语法还是很简单通用的，多多练习就好了。
