5分钟学会自动化和爬虫

1893

收藏 2022-08-09

<div class="pinggu_markdown">
<div class="pinggu_markdown__html"><h1 id="既然学了python，应该花5分钟学下自动化爬虫">既然学了Python，应该花5分钟学下自动化&爬虫</h1>
看完Al Sweigart的《Automate the Boring Stuff with Python》，附上网页<a href="https://automatetheboringstuff.com/">原版</a>, 喜欢实体书的可以豆瓣<a href="https://book.douban.com/subject/26836700/">中文版</a>。这里不介绍统计、画图、机器学习了。讲一下另一个更加有趣和实用的功能，自动化。当然你也可能把它用来当做爬虫。
下面的例子教大家如何自动下载YouTube视频。同样你也可以修改一下用来下B站视频，<a href="https://www.bilibili.com/read/cv15033695">参考</a>。
简单介绍一下 <a href="https://www.clicknium.com/documents/quickstart">Clicknium</a>是2022年最新的Python自动化库，可以用来自动化操作网页和Windows App. 采用可视化操作和代码结合的方式实现自动化。 
<a href="https://pytube.io/en/latest/">pytube</a>是一个用来下载youtube视频的Python库。只要用视屏的link就可以下载（当然网首先得通）
确保你有:
<ul>
<li>一个Python3.7+的环境</li>
<li>VS Code</li>
<li>梯子</li>
</ul>
<h3 id="配置clicknium">配置Clicknium</h3>
<ol>
<li>在VS Code的插件市场中搜索并安装Clicknium</li>
</ol>
<img src="https://s1.328888.xyz/2022/08/10/4bSI7.png" alt="sss">
在VS Code右侧点击Clicknium的图标进入Welcome页面，跟着welcome 点击按钮安装module， chrome的插件和注册账号。
<img src="https://s1.328888.xyz/2022/08/10/4bInd.png" alt="hhh">
<h3 id="code">Code</h3>
用VS Code 创建一个Python文件，比如 <code>youtube.py</code>
<pre class=" language-python"><code class="prism language-python">from clicknium import clicknium as cc, locator

def main():
tab = cc.chrome.open("https://www.youtube.com")

if __name__ == "__main__":
main()
</code></pre>
可以通过F5运行。这行代码Clicknium会自动打开Chrome浏览器，并且进入油管的首页。
<h3 id="抓取">抓取</h3>
这个时候，我们要下载霉霉的视频，那就得先打开霉霉视频页，类似把大象塞进冰箱：
步骤：
<ol>
<li>在搜索框输入Taylor Swift</li>
<li>点击搜索按钮</li>
<li>点击进入霉霉首页</li>
<li>点击进入霉霉视频页</li>
</ol>
这里一个涉及到四个元素：搜索框，搜索按钮，搜索结果中的艺人名字，视频页切换按钮
Clicknium中使用Locator来定位UI元素，并且提供了Recorder来生成Locator。
我们使用上面的代码打开油管页面然后打开VS Code调用Recorder。
<img src="https://pic4.zhimg.com/80/v2-a6c044263d07d381f93470b80f48d72b_1440w.jpg" alt="">
调用Recorder
点击上图VS Code中Locator tab上这个小小的capture按钮启用Recorder。这个按钮比较隐蔽。如果没看到LOCATORS 这个tab，点击右上角的三个点勾选Locator。将鼠标移动到搜索栏上，会自动高亮显示input。按住Ctrl+Click(鼠标右键单击)即可抓取搜索框。同样的方法抓取搜索按钮，和下图右上角Taylor Swift的链接。
<img src="https://pic4.zhimg.com/80/v2-0de3690728d063e86f12ebc9aa8b7c77_1440w.jpg" alt="">
Youtube页
<img src="https://pic3.zhimg.com/80/v2-a597af797527d812b8913fdc9f1199be_1440w.jpg" alt="">
Recorder
每次抓取都会在Recorder中生成一个UI元素对应的locator，可以对其进行重命名。完成后点击Complete。
然后回到VS Code
<pre class=" language-python"><code class="prism language-python">from clicknium import clicknium as cc, locator
from clicknium.common.enums import *

def main():
urlArrary = []
tab = cc.chrome.open("https://www.youtube.com")
tab.find_element(locator.chrome.youtube.searchBar).set_text(
 "Taylor Swift", by='sendkey-after-click')
tab.find_element(locator.chrome.youtube.button_search_icon_legacy).click()
tab.find_element(locator.chrome.youtube.TS).click()

if __name__ == "__main__":
main()
</code></pre>
通过find_element函数传入对应locator定位到某个UI元素然后利用set_text方法将“Taylor Swift”写入搜索框。
下一行是相同的方法定位到搜索按钮，然后用click函数表示鼠标点击。TS表示搜索结果中taylor Swift的连接。
运行上面的code，进入霉霉的主页，我们采用相同的方法进入视频列表。
<img src="https://pic4.zhimg.com/80/v2-c9be1de93b826a65d997889a8892b38f_1440w.jpg" alt="">
视频列表
在上图的列表中我们需要拿到每个视频的地址。这个地址可以通过locator取得。我们不可能给每个视频都抓取一个Locator，这里使用Clicknium Recorder一个非常强大的功能 Similar elements。点击下图的按钮后，同样采用Ctrl+Click的方式，Clicknium就能自动识别的到类型的元素，生成一个locator。
<img src="https://pic1.zhimg.com/80/v2-5169acab094c7e83e3e57ce907fd2750_1440w.jpg" alt="">
<pre class=" language-python"><code class="prism language-python"> tab = cc.chrome.open("https://www.youtube.com")
tab.find_element(locator.chrome.youtube.searchBar).set_text(
 "Taylor Swift", by='sendkey-after-click')
tab.find_element(locator.chrome.youtube.button_search_icon_legacy).click()
tab.find_element(locator.chrome.youtube.TS).click()
tab.find_element(locator.chrome.youtube.div_video).click()
tab.wait_appear(locator.chrome.youtube.a_video_title)#等待视频列表加载完毕
vidioTitles = tab.find_elements(locator.chrome.youtube.a_video_title)
</code></pre>
因为视频列表是异步加载的，我们需要使用wait_appear等待locator出现。因为使用similar elements抓取了多个视频，这个locator指向了多个视频所以使用find_elements方法。这个方法会返回一个UiElement的List。我们可以href从中获取到视频的相对路径，拼接上油管的地址就能得到完整的URL。
有了完整url，就可以使用Pytube下载视频了。 Pytube可以根据指定的参数下载不同分辨率的视频，需要注意高画质是video codec 和audio codec分开的。具体可以参考<a href="https://pytube.io/en/latest/user/streams.html">Working with Streams and StreamQuery</a>。这里我们下载1080p的版本，下载路径可以修改SAVE_PATH。可是使用相同的方法实现视频上传。反响好我就再写一篇。
下面是完整的代码：
<pre class=" language-python"><code class="prism language-python">from pytube import YouTube
from clicknium import clicknium as cc, locator
from clicknium.common.enums import *

def downloadVideo(url):
SAVE_PATH = "C:\\Users\\zhaoritian\\Downloads\\Youtube"
try:
 yt = YouTube(url)
 yt.streams.filter(res="1080p").first().download(output_path=SAVE_PATH)
except:
 print("Connection Error") # to handle exception

# filters out all the files with "mp4" extension
print('Task Completed!')

def main():
urlArrary = []
tab = cc.chrome.open("https://www.youtube.com")
tab.find_element(locator.chrome.youtube.searchBar).set_text(
 "Taylor Swift", by='sendkey-after-click')
tab.find_element(locator.chrome.youtube.button_search_icon_legacy).click()
tab.find_element(locator.chrome.youtube.TS).click()
tab.find_element(locator.chrome.youtube.div_video).click()
tab.wait_appear(locator.chrome.youtube.a_video_title)
videoTitles = tab.find_elements(locator.chrome.youtube.a_video_title)
for locat in videoTitles:
 url = "https://www.youtube.com" + locat.get_property("href")
 urlArrary.append(url)
tab.close()

for v in urlArrary:
 downloadVideo(v)

if __name__ == "__main__":
main()
</code></pre>
参考：
<a href="https://link.zhihu.com/?target=https%3A//www.clicknium.com/documents">Clicknium</a>
<a href="https://link.zhihu.com/?target=https%3A//pytube.io/en/latest/index.html">Pytube</a>
</div>
</div>