Làm cách nào để sử dụng Selenium với Python?

Động lực. Theo dõi thói quen nghe

Giả sử bạn đã nghe nhạc trên bandcamp được một thời gian và bạn ước mình có thể nhớ một bài hát mà bạn đã nghe cách đây vài tháng.

Chắc chắn, bạn có thể tìm hiểu lịch sử trình duyệt của mình và kiểm tra từng bài hát, nhưng điều đó có thể hơi khó khăn… Tất cả những gì bạn nhớ là bạn đã nghe bài hát cách đây vài tháng và nó thuộc thể loại điện tử

“Sẽ không tuyệt sao,” bạn tự nghĩ, “nếu tôi có một bản ghi lịch sử nghe của mình? . ”

Hôm nay, bạn sẽ xây dựng một lớp Python cơ bản, được gọi là

$ pip install selenium

Lịch sử nghe sẽ được lưu vào đĩa dưới dạng tệp CSV. Sau đó, bạn có thể khám phá tệp CSV đó trong ứng dụng bảng tính yêu thích của mình hoặc thậm chí với Python

Nếu bạn đã có một số kinh nghiệm với việc quét web bằng Python, thì bạn đã quen với việc tạo các yêu cầu HTTP và sử dụng API Pythonic để điều hướng DOM. Hôm nay bạn sẽ làm nhiều hơn như vậy, ngoại trừ một điểm khác biệt

Hôm nay, bạn sẽ sử dụng trình duyệt chính thức chạy ở chế độ không đầu để thực hiện các yêu cầu HTTP cho bạn

Trình duyệt không đầu chỉ là một trình duyệt web thông thường, ngoại trừ việc nó không chứa phần tử giao diện người dùng hiển thị. Đúng như bạn mong đợi, nó có thể làm được nhiều việc hơn ngoài việc đưa ra yêu cầu. nó cũng có thể hiển thị HTML [mặc dù bạn không thể nhìn thấy nó], lưu giữ thông tin phiên và thậm chí thực hiện giao tiếp mạng không đồng bộ bằng cách chạy mã JavaScript

Nếu bạn muốn tự động hóa web hiện đại, trình duyệt không đầu là điều cần thiết

Tiền thưởng miễn phí. mà bạn có thể sử dụng làm nền tảng cho các ứng dụng tự động hóa và quét web Python của riêng mình

Cài đặt

Bước đầu tiên của bạn, trước khi viết một dòng Python, là cài đặt Selenium được hỗ trợ cho trình duyệt web yêu thích của bạn. Trong phần tiếp theo, bạn sẽ làm việc với Firefox, nhưng Chrome cũng có thể dễ dàng làm việc

Giả sử rằng đường dẫn

$ pip install selenium

$ pip install selenium

>>> from selenium.webdriver import Firefox
>>> from selenium.webdriver.firefox.options import Options
>>> opts = Options[]
>>> opts.set_headless[]
>>> assert opts.headless  # Operating in headless mode
>>> browser = Firefox[options=opts]
>>> browser.get['//duckduckgo.com']

$ wget //github.com/mozilla/geckodriver/releases/download/v0.19.1/geckodriver-v0.19.1-linux64.tar.gz
$ tar xvfz geckodriver-v0.19.1-linux64.tar.gz
$ mv geckodriver ~/.local/bin

Tiếp theo, bạn cài đặt gói Selenium, sử dụng

>>> from selenium.webdriver import Firefox
>>> from selenium.webdriver.firefox.options import Options
>>> opts = Options[]
>>> opts.set_headless[]
>>> assert opts.headless  # Operating in headless mode
>>> browser = Firefox[options=opts]
>>> browser.get['//duckduckgo.com']

$ pip install selenium

Ghi chú. Nếu bạn cảm thấy lạc lõng trong suốt quá trình hướng dẫn này, bạn có thể tìm thấy bản demo mã đầy đủ trên GitHub

Bây giờ là lúc lái thử

Lái thử trình duyệt không đầu

Để kiểm tra xem mọi thứ có hoạt động không, bạn quyết định thử tìm kiếm trên web cơ bản qua DuckDuckGo. Bạn kích hoạt trình thông dịch Python ưa thích của mình và nhập nội dung sau

>>>

>>> from selenium.webdriver import Firefox
>>> from selenium.webdriver.firefox.options import Options
>>> opts = Options[]
>>> opts.set_headless[]
>>> assert opts.headless  # Operating in headless mode
>>> browser = Firefox[options=opts]
>>> browser.get['//duckduckgo.com']

Cho đến giờ, bạn đã tạo một trình duyệt Firefox không đầu và điều hướng đến

>>> from selenium.webdriver import Firefox
>>> from selenium.webdriver.firefox.options import Options
>>> opts = Options[]
>>> opts.set_headless[]
>>> assert opts.headless  # Operating in headless mode
>>> browser = Firefox[options=opts]
>>> browser.get['//duckduckgo.com']

>>> from selenium.webdriver import Firefox
>>> from selenium.webdriver.firefox.options import Options
>>> opts = Options[]
>>> opts.set_headless[]
>>> assert opts.headless  # Operating in headless mode
>>> browser = Firefox[options=opts]
>>> browser.get['//duckduckgo.com']

>>> from selenium.webdriver import Firefox
>>> from selenium.webdriver.firefox.options import Options
>>> opts = Options[]
>>> opts.set_headless[]
>>> assert opts.headless  # Operating in headless mode
>>> browser = Firefox[options=opts]
>>> browser.get['//duckduckgo.com']

>>> from selenium.webdriver import Firefox
>>> from selenium.webdriver.firefox.options import Options
>>> opts = Options[]
>>> opts.set_headless[]
>>> assert opts.headless  # Operating in headless mode
>>> browser = Firefox[options=opts]
>>> browser.get['//duckduckgo.com']

Bây giờ một trang đã được tải, bạn có thể truy vấn DOM bằng cách sử dụng các phương thức được xác định trên đối tượng

>>> from selenium.webdriver import Firefox
>>> from selenium.webdriver.firefox.options import Options
>>> opts = Options[]
>>> opts.set_headless[]
>>> assert opts.headless  # Operating in headless mode
>>> browser = Firefox[options=opts]
>>> browser.get['//duckduckgo.com']

Cách tốt nhất là mở trình duyệt web của bạn và sử dụng các công cụ dành cho nhà phát triển để kiểm tra nội dung của trang. Ngay bây giờ, bạn muốn có được biểu mẫu tìm kiếm để bạn có thể gửi truy vấn. Bằng cách kiểm tra trang chủ của DuckDuckGo, bạn thấy rằng phần tử biểu mẫu tìm kiếm

>>> from selenium.webdriver import Firefox
>>> from selenium.webdriver.firefox.options import Options
>>> opts = Options[]
>>> opts.set_headless[]
>>> assert opts.headless  # Operating in headless mode
>>> browser = Firefox[options=opts]
>>> browser.get['//duckduckgo.com']

>>> from selenium.webdriver import Firefox
>>> from selenium.webdriver.firefox.options import Options
>>> opts = Options[]
>>> opts.set_headless[]
>>> assert opts.headless  # Operating in headless mode
>>> browser = Firefox[options=opts]
>>> browser.get['//duckduckgo.com']

>>> from selenium.webdriver import Firefox
>>> from selenium.webdriver.firefox.options import Options
>>> opts = Options[]
>>> opts.set_headless[]
>>> assert opts.headless  # Operating in headless mode
>>> browser = Firefox[options=opts]
>>> browser.get['//duckduckgo.com']

>>>

>>> search_form = browser.find_element_by_id['search_form_input_homepage']
>>> search_form.send_keys['real python']
>>> search_form.submit[]

Bạn đã tìm thấy biểu mẫu tìm kiếm, sử dụng phương pháp

>>> search_form = browser.find_element_by_id['search_form_input_homepage']
>>> search_form.send_keys['real python']
>>> search_form.submit[]

>>> search_form = browser.find_element_by_id['search_form_input_homepage']
>>> search_form.send_keys['real python']
>>> search_form.submit[]

>>> search_form = browser.find_element_by_id['search_form_input_homepage']
>>> search_form.send_keys['real python']
>>> search_form.submit[]

>>>

>>> results = browser.find_elements_by_class_name['result']
>>> print[results[0].text]

Real Python - Real Python
Get Real Python and get your hands dirty quickly so you spend more time making real applications. Real Python teaches Python and web development from the ground up ...
//realpython.com

Mọi thứ dường như đang hoạt động. Để ngăn các phiên bản trình duyệt không đầu vô hình chồng chất trên máy của bạn, bạn đóng đối tượng trình duyệt trước khi thoát phiên Python của mình

>>>

>>> browser.close[]
>>> quit[]

Groovin' trên Giai điệu

Bạn đã thử nghiệm rằng bạn có thể điều khiển trình duyệt không đầu bằng Python. Bây giờ bạn có thể đưa nó vào sử dụng

1. Bạn muốn chơi nhạc
2. Bạn muốn duyệt và khám phá âm nhạc
3. Bạn muốn biết thông tin về bản nhạc đang phát

Để bắt đầu, bạn điều hướng đến https. //nhóm cắm trại. com và bắt đầu khám phá các công cụ dành cho nhà phát triển của trình duyệt của bạn. Bạn phát hiện ra một nút phát lớn sáng bóng ở cuối màn hình với thuộc tính

>>> search_form = browser.find_element_by_id['search_form_input_homepage']
>>> search_form.send_keys['real python']
>>> search_form.submit[]

>>> search_form = browser.find_element_by_id['search_form_input_homepage']
>>> search_form.send_keys['real python']
>>> search_form.submit[]

>>>

>>> opts = Option[]
>>> opts.set_headless[]
>>> browser = Firefox[options=opts]
>>> browser.get['//bandcamp.com']
>>> browser.find_element_by_class['playbutton'].click[]

Bạn nên nghe nhạc. Để nó phát và quay lại trình duyệt web của bạn. Ngay bên cạnh nút phát là phần khám phá. Một lần nữa, bạn kiểm tra phần này và thấy rằng mỗi bản nhạc có sẵn hiện đang hiển thị có giá trị

>>> search_form = browser.find_element_by_id['search_form_input_homepage']
>>> search_form.send_keys['real python']
>>> search_form.submit[]

>>> search_form = browser.find_element_by_id['search_form_input_homepage']
>>> search_form.send_keys['real python']
>>> search_form.submit[]

>>>

>>> tracks = browser.find_elements_by_class_name['discover-item']
>>> len[tracks]  # 8
>>> tracks[3].click[]

Một bản nhạc mới sẽ được phát. Đây là bước đầu tiên để khám phá bandcamp bằng Python. Bạn dành vài phút để nhấp vào nhiều bản nhạc khác nhau trong môi trường Python của mình nhưng sẽ sớm cảm thấy mệt mỏi với thư viện tám bài hát ít ỏi

Khám phá danh mục

Nhìn lại trình duyệt của mình, bạn sẽ thấy các nút để khám phá tất cả các bản nhạc có trong phần khám phá âm nhạc của bandcamp. Đến bây giờ, điều này cảm thấy quen thuộc. mỗi nút có giá trị

>>> search_form = browser.find_element_by_id['search_form_input_homepage']
>>> search_form.send_keys['real python']
>>> search_form.submit[]

>>> search_form = browser.find_element_by_id['search_form_input_homepage']
>>> search_form.send_keys['real python']
>>> search_form.submit[]

>>>

>>> next_button = [e for e in browser.find_elements_by_class_name['item-page']
                   if e.text.lower[].find['next'] > -1]
>>> next_button.click[]

Tuyệt vời. Bây giờ bạn muốn xem các bản nhạc mới, vì vậy bạn nghĩ, “Tôi sẽ chỉ điền lại biến

>>> search_form = browser.find_element_by_id['search_form_input_homepage']
>>> search_form.send_keys['real python']
>>> search_form.submit[]

Đầu tiên, bandcamp thiết kế trang web của họ để mọi người thích sử dụng, không phải để các tập lệnh Python truy cập theo chương trình. Khi bạn gọi

>>> results = browser.find_elements_by_class_name['result']
>>> print[results[0].text]

Real Python - Real Python
Get Real Python and get your hands dirty quickly so you spend more time making real applications. Real Python teaches Python and web development from the ground up ...
//realpython.com

Nếu bạn dùng thử trong trình duyệt của mình, bạn sẽ thấy rằng một thời gian trôi qua khi danh mục các bài hát cuộn với hiệu ứng hoạt hình mượt mà. Nếu bạn cố gắng điền lại biến

>>> search_form = browser.find_element_by_id['search_form_input_homepage']
>>> search_form.send_keys['real python']
>>> search_form.submit[]

Giải pháp là gì? . Rốt cuộc, bạn cũng cần có thời gian để gõ

Một nút thắt nhỏ khác là thứ chỉ có thể được khám phá thông qua thử nghiệm. Bạn cố gắng chạy lại cùng một mã

>>>

>>> tracks = browser.find_elements_by_class_name['discover-item']
>>> assert[len[tracks] == 8]
AssertionError
...

Nhưng bạn nhận thấy một cái gì đó kỳ lạ.

>>> results = browser.find_elements_by_class_name['result']
>>> print[results[0].text]

Real Python - Real Python
Get Real Python and get your hands dirty quickly so you spend more time making real applications. Real Python teaches Python and web development from the ground up ...
//realpython.com

>>> results = browser.find_elements_by_class_name['result']
>>> print[results[0].text]

Real Python - Real Python
Get Real Python and get your hands dirty quickly so you spend more time making real applications. Real Python teaches Python and web development from the ground up ...
//realpython.com

>>> results = browser.find_elements_by_class_name['result']
>>> print[results[0].text]

Real Python - Real Python
Get Real Python and get your hands dirty quickly so you spend more time making real applications. Real Python teaches Python and web development from the ground up ...
//realpython.com

Sau khi thử một vài điều, bạn quyết định chỉ giữ một bản nhạc nếu tọa độ

>>> results = browser.find_elements_by_class_name['result']
>>> print[results[0].text]

Real Python - Real Python
Get Real Python and get your hands dirty quickly so you spend more time making real applications. Real Python teaches Python and web development from the ground up ...
//realpython.com

>>> search_form = browser.find_element_by_id['search_form_input_homepage']
>>> search_form.send_keys['real python']
>>> search_form.submit[]

>>> results = browser.find_elements_by_class_name['result']
>>> print[results[0].text]

Real Python - Real Python
Get Real Python and get your hands dirty quickly so you spend more time making real applications. Real Python teaches Python and web development from the ground up ...
//realpython.com

>>>

$ pip install selenium

xây dựng một lớp học

Nếu bạn cảm thấy mệt mỏi với việc gõ đi gõ lại cùng một lệnh trong môi trường Python của mình, bạn nên đưa một số lệnh đó vào một mô-đun. Một lớp cơ bản cho thao tác bandcamp của bạn nên làm như sau

1. Khởi tạo trình duyệt không đầu và điều hướng đến bandcamp
2. Giữ một danh sách các bản nhạc có sẵn
3. Hỗ trợ tìm thêm bài hát
4. Phát, tạm dừng và bỏ qua các bản nhạc

Đây là mã cơ bản, tất cả trong một lần

$ pip install selenium

khá gọn gàng. Bạn có thể nhập cái này vào môi trường Python của mình và chạy bandcamp theo chương trình. Nhưng chờ đã, không phải bạn bắt đầu toàn bộ điều này vì bạn muốn theo dõi thông tin về lịch sử nghe của mình sao?

Thu thập dữ liệu có cấu trúc

Nhiệm vụ cuối cùng của bạn là theo dõi các bài hát mà bạn đã thực sự nghe. Làm thế nào bạn có thể làm điều này? . Bạn sẽ dành thời gian 'khám phá' để tính đến việc thu thập dữ liệu của mình

Mục tiêu của bạn bây giờ là

1. Thu thập thông tin có cấu trúc về bản nhạc hiện đang phát
2. Giữ một “cơ sở dữ liệu” các bản nhạc
3. Lưu và khôi phục “cơ sở dữ liệu” đó vào và từ đĩa

Bạn quyết định sử dụng một bộ có tên để lưu trữ thông tin mà bạn theo dõi. Các bộ dữ liệu được đặt tên phù hợp để biểu diễn các gói thuộc tính không có chức năng gắn với chúng, giống như một bản ghi cơ sở dữ liệu

$ pip install selenium

Để thu thập thông tin này, bạn thêm một phương thức vào lớp

$ pip install selenium

>>> results = browser.find_elements_by_class_name['result']
>>> print[results[0].text]

Real Python - Real Python
Get Real Python and get your hands dirty quickly so you spend more time making real applications. Real Python teaches Python and web development from the ground up ...
//realpython.com

Với những cân nhắc này trong tâm trí, bạn viết một vài phương pháp

$ pip install selenium

Để có biện pháp tốt, bạn cũng sửa đổi phương pháp

>>> browser.close[]
>>> quit[]

$ pip install selenium

Tiếp theo, bạn phải giữ một số loại cơ sở dữ liệu. Mặc dù nó có thể không mở rộng tốt trong thời gian dài, nhưng bạn có thể tiến xa với một danh sách đơn giản. Bạn thêm phương pháp

>>> browser.close[]
>>> quit[]

>>> browser.close[]
>>> quit[]

>>> browser.close[]
>>> quit[]

>>> browser.close[]
>>> quit[]

Bạn sẽ cung cấp một phương thức

>>> browser.close[]
>>> quit[]

$ pip install selenium

>>> browser.close[]
>>> quit[]

Bạn sẽ bắt đầu chủ đề khi lớp được khởi tạo bằng cách thêm một số mã vào

>>> browser.close[]
>>> quit[]

$ pip install selenium

Nếu bạn chưa bao giờ làm việc với lập trình đa luồng trong Python, bạn nên đọc nó. Đối với mục đích hiện tại của bạn, bạn có thể coi luồng như một vòng lặp chạy trong nền của quy trình Python chính [quy trình mà bạn tương tác trực tiếp]. Cứ sau hai mươi giây, vòng lặp sẽ kiểm tra một số thứ để xem cơ sở dữ liệu có cần được cập nhật hay không và nếu có, hãy thêm một bản ghi mới. Tuyệt đấy

Bước cuối cùng là lưu cơ sở dữ liệu và khôi phục từ trạng thái đã lưu. Sử dụng gói csv, bạn có thể đảm bảo cơ sở dữ liệu của mình nằm ở định dạng có tính di động cao và vẫn có thể sử dụng được ngay cả khi bạn từ bỏ lớp

$ pip install selenium

Phương pháp

>>> browser.close[]
>>> quit[]

$ pip install selenium

thì đấy. Bạn có thể nghe nhạc và ghi lại những gì bạn nghe được. Kinh ngạc

Một điều thú vị về điều trên là việc sử dụng

>>> opts = Option[]
>>> opts.set_headless[]
>>> browser = Firefox[options=opts]
>>> browser.get['//bandcamp.com']
>>> browser.find_element_by_class['playbutton'].click[]

>>> browser.close[]
>>> quit[]

>>> opts = Option[]
>>> opts.set_headless[]
>>> browser = Firefox[options=opts]
>>> browser.get['//bandcamp.com']
>>> browser.find_element_by_class['playbutton'].click[]

Điều gì tiếp theo và bạn đã học được gì?

Bạn có thể làm nhiều hơn nữa. Dưới đây là một vài ý tưởng nhanh sẽ tận dụng siêu năng lực nhẹ đó là Python + Selenium

• Bạn có thể mở rộng lớp

  $ pip install selenium
  

  7 để điều hướng đến các trang album và phát các bản nhạc bạn tìm thấy ở đó
• Bạn có thể quyết định tạo danh sách phát dựa trên các bản nhạc yêu thích hoặc được nghe thường xuyên nhất của mình
• Có lẽ bạn muốn thêm tính năng tự động phát
• Có thể bạn muốn truy vấn các bài hát theo ngày hoặc tiêu đề hoặc nghệ sĩ và tạo danh sách phát theo cách đó

Tiền thưởng miễn phí. mà bạn có thể sử dụng làm nền tảng cho các ứng dụng tự động hóa và quét web Python của riêng mình

Bạn đã học được rằng Python có thể làm mọi thứ mà trình duyệt web có thể làm và hơn thế nữa. Bạn có thể dễ dàng viết các tập lệnh để kiểm soát các phiên bản trình duyệt ảo chạy trên đám mây. Bạn có thể tạo các bot tương tác với người dùng thực hoặc điền vào các biểu mẫu mà không cần suy nghĩ. Đi ra ngoài và tự động hóa