Chạy wget trong python
Tải xuống nhiều tệp từ Internet theo cách thủ công như một phần của thói quen hàng ngày của bạn thực sự có thể là một cơn ác mộng. Và nếu bạn đang tìm cách tự động tải xuống tệp của mình, thì Wget của Python là công cụ phù hợp với bạn Show
Trong hướng dẫn này, bạn sẽ tìm hiểu nhiều cách để tải xuống các tệp, từ việc chạy lệnh 9 cơ bản của Python đến tạo một tập lệnh để tải xuống nhiều tệp cùng lúcHãy bắt tay vào việc điều kiện tiên quyếtHướng dẫn này sẽ là một cuộc biểu tình thực hành. Nếu bạn muốn làm theo, hãy chắc chắn rằng bạn có những điều sau đây
Tải xuống và cài đặt Wget trên WindowsWget là một tiện ích không tương tác để tải xuống các tệp từ xa từ internet. Ngoài việc được tích hợp sẵn với HĐH dựa trên Unix, lệnh 9 còn có phiên bản được tích hợp cho HĐH Windows. Tại thời điểm viết bài, phiên bản Wget Windows mới nhất là 1. 21. 6Trước khi bạn tải xuống các tệp bằng lệnh 9, trước tiên hãy tìm hiểu cách tải xuống và cài đặt Wget trên PC Windows của bạn1. Tải xuống Wget cho 64bit hoặc 32bit cho Windows 2. Mở File Explorer và tìm wget. exe bạn đã tải xuống, sau đó sao chép và dán tệp đó vào C. Thư mục \Windows\System32 để thêm wget. exe vào biến môi trường PATH. Biến môi trường PATH chỉ định các bộ thư mục được tìm kiếm để tìm lệnh hoặc chạy các chương trình thực thi thêm wget. exe trong biến môi trường PATH cho phép bạn chạy lệnh 9 từ bất kỳ thư mục làm việc nào trong dấu nhắc lệnh3. Bây giờ, khởi chạy dấu nhắc lệnh và xác nhận phiên bản ( 3) của Wget ( 9) mà bạn đã tải xuống bằng lệnh bên dưới
Khi bạn thấy đầu ra trên ảnh chụp màn hình bên dưới, thì Wget đã được cài đặt thành công trong máy của bạn Tải xuống tệp trực tiếp từ một URLBây giờ bạn đã cài đặt Wget, hãy bắt đầu chạy các lệnh cơ bản của 9. Có lẽ bạn muốn tải xuống một tệp từ một URL cụ thể. Trong trường hợp đó, bạn chỉ cần cú pháp lệnh cơ bản 9 và chỉ định URL để tải xuống tệp từCó liên quan. Tải xuống tệp có Lệnh wget PowerShell thay thế Dưới đây, bạn có thể xem cú pháp cơ bản để chạy lệnh 9. Lưu ý rằng sau lệnh 9, bạn sẽ chỉ định các tùy chọn khác nhau theo sau là URL của trang web
Tải xuống một tệp vào thư mục làm việcVới cú pháp lệnh 9 mà bạn đã học vẫn còn nguyên trong bộ nhớ của mình, hãy xem tải tệp xuống thư mục làm việc bằng cách chạy lệnh 9 mà không có tùy chọn bổ sungChạy lệnh bên dưới để tải xuống wget. exe từ URL được chỉ định ( 1) vào thư mục làm việc
Khi bạn thấy đầu ra này trên dấu nhắc lệnh của mình, tệp đã được tải xuống thành công Tải tệp xuống một đường dẫn tệp cụ thểBạn vừa tải một tệp xuống thư mục làm việc của mình, nhưng nếu bạn muốn tải tệp xuống một đường dẫn tệp cụ thể thì sao? Chạy lệnh 9 bên dưới và thêm tùy chọn 3 để chỉ định đường dẫn tệp ( 4) để lưu tệp bạn đang tải xuống
Mở File Explorer và điều hướng đến vị trí tải xuống mà bạn đã chỉ định (C. \Temp\Downloads) để xác nhận rằng bạn đã tải xuống tệp thành công Tải xuống và đổi tên tệpTải xuống một tệp vào thư mục ưa thích của bạn bằng một lệnh duy nhất là đủ tuyệt vời. Nhưng có lẽ bạn muốn tải xuống một tệp có tên khác. Nếu vậy, cờ 5 là câu trả lời. Thêm cờ 5 cho phép bạn xuất tệp bạn đang tải xuống bằng một tên khácBên dưới, hãy chạy cú pháp lệnh cơ bản 9 để tải xuống tệp 8 từ một URL cụ thể. Nhưng lần này, hãy thêm cờ 5 để đổi tên tệp bạn đang tải xuống. Vì vậy, thay vì 8, bạn đang đặt tên tệp là 1
Bạn có thể thấy bên dưới trong File Explorer rằng tệp đã tải xuống có tên new_wget. người cũ Tải xuống phiên bản mới hơn của tệpCó lẽ bạn muốn tải xuống phiên bản mới hơn của tệp bạn đã tải xuống trước đó. Nếu vậy, việc thêm tùy chọn 2 vào lệnh wget của bạn sẽ thực hiện thủ thuật. Các ứng dụng trên trang web có xu hướng được cập nhật theo thời gian và tùy chọn 2 kiểm tra phiên bản cập nhật của tệp trong URL đã chỉ địnhLệnh 9 bên dưới kiểm tra ( 2) và tải xuống phiên bản mới hơn của tệp 8 vào C. Thư mục \Temp\Downloads
Nếu tệp (wget. exe) đã được sửa đổi từ phiên bản bạn đã chỉ định, bạn sẽ nhận được kết quả tương tự như trong các ví dụ trước. Nhưng nếu không, bạn sẽ thấy ảnh chụp màn hình bên dưới. Lưu ý phần có ghi Không được sửa đổi, cho biết không có phiên bản mới hơn mới hơn của tệp bạn đang tải xuống Tải xuống tệp từ một trang web yêu cầu tên người dùng và mật khẩuHầu hết các trang web yêu cầu người dùng phải đăng nhập để truy cập hoặc tải xuống một số tệp và nội dung. Để thực hiện điều này, Wget cung cấp các tùy chọn 7 và 8. Với các tùy chọn này, Wget cung cấp tên người dùng và mật khẩu để xác thực yêu cầu kết nối của bạn khi tải xuống từ một trang webDưới đây là cú pháp cơ bản của lệnh 9 để tải xuống tệp từ các trang web yêu cầu tên người dùng tài khoản của bạn ( 0) và mật khẩu ( 1)
Bạn sẽ thấy kết quả tương tự như hình bên dưới nếu lệnh thành công Tải xuống một trang webThay vì một tệp, có lẽ bạn đang cố tải xuống một trang web để giữ một bản sao cục bộ. Trong trường hợp đó, bạn sẽ chạy một lệnh tương tự để tải xuống một tệp, nhưng với các tùy chọn bổ sung Chạy lệnh 9 bên dưới để tải xuống trang chủ của trang web 3 và tạo một thư mục có tên miền. com trong thư mục làm việc. Lĩnh vực. thư mục com là nơi lưu trang chủ đã tải xuống ( 5)Lệnh này cũng tạo một tệp 5 trong thư mục làm việc thay vì in đầu ra trên bàn điều khiển
Bên dưới, bạn sẽ thấy bản sao cục bộ của trang web đã tải xuống và tệp nhật ký nơi lưu nhật ký tải xuống Bạn cũng có thể đặt một số tùy chọn cùng nhau, không yêu cầu đối số. Dưới đây, bạn có thể thấy rằng thay vì viết các tùy chọn một cách riêng biệt ( 6), bạn có thể kết hợp chúng theo định dạng này ( 7)
Tải xuống toàn bộ trang webThay vì chỉ một trang web, bạn cũng có thể muốn tải xuống toàn bộ trang web để xem trang web được xây dựng như thế nào. Để làm như vậy, bạn sẽ cần định cấu hình lệnh 9 như sau
Khi bạn thấy đầu ra bên dưới, tệp đã được tải xuống thành công Wget tải xuống tất cả các tệp tạo nên toàn bộ trang web vào thư mục local-dir, như hình bên dưới Lệnh bên dưới đưa ra kết quả tương tự như lệnh trước bạn đã thực hiện. Sự khác biệt là tùy chọn 5 đặt khoảng thời gian 15 giây khi tải xuống mỗi trang web. Trong khi tùy chọn 6 đặt giới hạn tốc độ tải xuống thành 7mbps 0Tải xuống các tệp từ các URL khác nhau cùng một lúcNhư bạn đã làm trong các ví dụ trước, việc tải xuống các tệp theo cách thủ công mỗi ngày rõ ràng là một công việc tẻ nhạt. Wget cung cấp tính linh hoạt để tải xuống các tệp từ nhiều URL bằng một lệnh duy nhất, yêu cầu một tệp văn bản Nghe giống một giá rẻ? Mở trình soạn thảo văn bản yêu thích của bạn và nhập URL của các tệp bạn muốn tải xuống, mỗi tệp trên một dòng mới, giống như hình bên dưới Bây giờ, hãy chạy lệnh bên dưới để tải xuống các tệp từ mỗi URL bạn đã liệt kê trong tệp văn bản 1Bên dưới, bạn có thể xem đầu ra của tiến trình tải xuống của từng tệp Tiếp tục quá trình tải xuống bị gián đoạnĐến bây giờ, bạn đã biết cách tải tệp xuống bằng lệnh 9. Nhưng có lẽ, quá trình tải xuống của bạn bị gián đoạn trong quá trình tải xuống. Bạn sẽ làm gì? Dưới đây là một ví dụ về việc tải xuống bị gián đoạn do bạn mất kết nối internet. Lưu ý rằng tiến trình tải xuống (7%) bị kẹt và eta tiếp tục đếm Quá trình tải xuống sẽ tự động tiếp tục khi bạn có kết nối internet trở lại. Nhưng trong các trường hợp khác, chẳng hạn như nếu dấu nhắc lệnh bị lỗi bất ngờ hoặc PC của bạn khởi động lại, bạn sẽ tiếp tục tải xuống như thế nào? Chạy lệnh 9 bên dưới để tiếp tục ( 0) quá trình tải xuống tệp 8 bị gián đoạn 2Bạn có thể thấy bên dưới rằng quá trình tải xuống bị gián đoạn đã tiếp tục ở mức 7% khi bị gián đoạn (không phải lúc nào cũng vậy). Bạn cũng sẽ thấy tổng dung lượng và kích thước tệp còn lại để tải xuống Ngoài ra, bạn có thể muốn đặt một số lần nhất định lệnh 9 sẽ thử lại quá trình tải xuống bị lỗi hoặc bị gián đoạnThêm tùy chọn 5 trong lệnh 9 bên dưới để đặt 7 cố gắng hoàn tất tải xuống tệp 8 nếu quá trình tải xuống không thành công. Để minh họa cách hoạt động của tùy chọn 5, hãy làm gián đoạn quá trình tải xuống bằng cách ngắt kết nối máy tính của bạn khỏi internet ngay khi bạn chạy lệnh 3Bên dưới, bạn có thể thấy quá trình tải xuống dừng lại và yêu cầu HTTP đang chờ phản hồi Bây giờ, hãy kết nối lại máy tính của bạn với internet và bạn sẽ thấy quá trình tải xuống sẽ tự động tiếp tục, như hình bên dưới. Bạn có thể thấy rằng đây là lần thử tải xuống tệp thứ hai Tạo tập lệnh Python để tải xuống tệpCho đến nay, bạn đã học cách tải tệp xuống bằng cách chạy lệnh, nhưng bạn có biết bạn cũng có thể tạo tập lệnh để tải tệp xuống tự động không? 1. Tạo một thư mục mới có tên ~downloader 2. Khởi chạy Mã VS, sau đó nhấp vào menu Tệp -> Mở Thư mục để mở thư mục ~downloader mà bạn đã tạo 3. Nhấp vào biểu tượng tệp mới để tạo tệp tập lệnh Python mới có tên ứng dụng. py trong thư mục dự án của bạn, như hình bên dưới 4. Bây giờ, hãy nhấp vào menu Terminal và chọn New Terminal để mở một thiết bị đầu cuối dòng lệnh mới, như hình bên dưới Cài đặt và kích hoạt môi trường ảoBây giờ bạn đã có thư mục dự án và tệp tập lệnh, hãy bắt đầu tạo một môi trường ảo. Môi trường ảo là một môi trường biệt lập dành cho các dự án Python nơi các gói cần thiết cho dự án của bạn được cài đặt. Bạn sẽ kích hoạt môi trường ảo này để cho phép thực thi chương trình của mình trong tương lai Chạy các lệnh bên dưới trên thiết bị đầu cuối Mã VS của bạn để cài đặt gói môi trường ảo và tạo môi trường ảo 4Chạy một trong các lệnh bên dưới tùy thuộc vào hệ điều hành của bạn để kích hoạt môi trường ảo của bạn 5Cài đặt Mô-đun wgetBây giờ bạn đã thiết lập môi trường ảo của mình, vì vậy đã đến lúc cài đặt mô-đun 9. Mô-đun 9 được phát triển để cung cấp API cho cộng đồng các nhà phát triển Python. Mô-đun này giúp giảm bớt các ứng dụng và triển khai lệnh 9 với PythonKhi xây dựng một dự án Python, bạn cần lưu trữ các gói trong một yêu cầu. tập tin txt. Tệp này sẽ giúp bạn cài đặt phiên bản tương tự của các gói được sử dụng trong tương lai Chạy các lệnh bên dưới để cài đặt mô-đun Wget và thêm nó vào các yêu cầu. tập tin txt 6Bây giờ sao chép và dán mã bên dưới vào ứng dụng. py bạn đã tạo trước đó trong Mã VS Mã bên dưới thay đổi đầu ra của tệp tải xuống để bạn có thể xem tiến trình tải xuống của từng tệp bằng thanh tiến trình tùy chỉnh 7Cuối cùng, chạy lệnh bên dưới để thực thi ứng dụng tập lệnh. tập lệnh py 8Bên dưới, bạn có thể thấy tiến trình tải xuống của từng tệp theo tỷ lệ phần trăm với tổng kích thước được tải xuống hiện tại và của tệp theo byte Phần kết luậnXuyên suốt hướng dẫn này, bạn đã học cách tải xuống các tệp bằng lệnh Python 9. Bạn cũng đã trải qua quá trình tải xuống các tệp từ việc chạy các lệnh 9 cơ bản đến chạy mô-đun 9 trong tập lệnh Python để tải xuống nhiều tệpBây giờ, bạn sẽ sử dụng Python Wget như thế nào trong dự án tiếp theo của mình để tự động tải xuống các tệp? Ghét quảng cáo? Khám phá sách hướng dẫn ATAThông tin khác từ ATA Learning & Partners
|