Hãy tưởng tượng người quản lý của bạn yêu cầu bạn thức dậy vào lúc nửa đêm để chạy một kịch bản. Đây sẽ là cơn ác mộng lớn nhất của bạn. Bạn thức dậy sớm, tiếp xúc với ánh sáng xanh khủng khiếp và tránh những giấc ngủ ngon vào mỗi nửa đêm
Là bất kỳ chuyên gia dữ liệu nào, bạn có thể cần chạy nhiều tập lệnh để tạo báo cáo hoặc triển khai quy trình phân tích. Do đó, bạn cần tìm hiểu về lịch trình để tránh làm hỏng ngày cuối tuần của mình
Mỗi kỹ sư dữ liệu và nhà khoa học tại một thời điểm cần chạy các nhiệm vụ định kỳ
Theo định nghĩa, các nhiệm vụ định kỳ là các nhiệm vụ được thực hiện lặp đi lặp lại trong một khoảng thời gian nhất định mà không có hoặc có sự can thiệp tối thiểu của con người. Trong thời kỳ dữ liệu và công nghệ phát triển nhanh chóng, bạn cần chạy các tập lệnh để phát triển sao lưu cơ sở dữ liệu, phát trực tuyến Twitter, v.v.
May mắn thay, với Trình lập lịch tác vụ, giờ đây bạn có thể chạy tập lệnh Python của mình để thực thi các tác vụ định kỳ hàng ngày/tuần/tháng/năm tùy theo nhu cầu của bạn
Trong hướng dẫn này, bạn sẽ tìm hiểu cách chạy bộ lập lịch tác vụ để thu thập dữ liệu web từ trang web Lazada [Thương mại điện tử] và kết xuất nó vào Cơ sở dữ liệu SQLite RDBMS
Đây là một cái nhìn thoáng qua để chạy tập lệnh của bạn một cách tự động
Chạy Tập lệnh quét web với Trình lập lịch tác vụ, sau đó nối nó vào Đĩa SQLite
Các phương phápBắt đầu nào
Trong hướng dẫn này, chúng tôi sẽ sử dụng Trình lập lịch tác vụ Windows để chạy tập lệnh bat sẽ kích hoạt Tập lệnh Python. Để thực thi các tập lệnh này, chúng tôi có hai bước đơn giản
- Tạo tệp thực thi Python [tệp bat]
- Cấu hình tác vụ trong Windows Task Scheduler
Tuy nhiên, nếu bạn là người dùng Linux và không có sẵn Bộ lập lịch tác vụ Windows, bạn nên sử dụng bộ lập lịch cron
Tạo tệp bat Windows Executable để chạy PythonTệp BAT là tệp bó DOS được sử dụng để thực thi các lệnh bằng Dấu nhắc Lệnh của Windows [cmd. exe]. Nó chứa một loạt các dòng lệnh thường có thể được nhập tại dấu nhắc lệnh của DOS. Các tệp BAT được sử dụng phổ biến nhất để khởi động chương trình và chạy các tiện ích bảo trì trong Windows. - nộp thông tin. com
Sử dụng tệp bat làm tệp thực thi của chúng tôi, chúng tôi sẽ lưu trữ tập lệnh chạy của mình trong một tệp, sau đó nhấp đúp vào tệp bat để thực thi lệnh trên cmd [dấu nhắc lệnh] để chạy tập lệnh python
All you need to do is to create a new bat file [e.g: web-scraping.bat] and write the executable script with the format of . You can add the pause command to avoid closing the command prompt after the execution.
C:\new_software\finance\Scripts\python.exe "C:/new_software/Web Scraping/Web-Scraping/Selenium Web Scraping/scraping-lazada.py"
pause
Khi bạn nhấp đúp vào tệp bat này, Windows sẽ mở dấu nhắc lệnh của bạn và chạy công cụ quét web. Để lên lịch cho lần nhấp/thực thi nhấp đúp này, chúng tôi sẽ nối bộ lập lịch tác vụ của chúng tôi với tệp bat
Cấu hình tác vụ trong Windows Task SchedulerBộ lập lịch tác vụ Windows là Ứng dụng Windows mặc định để quản lý các tác vụ theo phản hồi của trình kích hoạt dựa trên sự kiện hoặc dựa trên thời gian. Ví dụ: bạn có thể đề xuất một hành động nhấp chuột và máy tính nhất định [chẳng hạn như khởi động lại] hoặc thậm chí đề xuất thời gian như mỗi ngày đầu tiên của quý tài chính để thực hiện tác vụ
Trong một bức tranh lớn hơn, tác vụ này sẽ chứa tập lệnh và siêu dữ liệu để xác định những gì và cách hành động sẽ được thực thi. Bạn có thể thêm bối cảnh bảo mật nhất định vào đối số và kiểm soát vị trí bộ lập lịch sẽ chạy chương trình trong. Windows sẽ tuần tự hóa tất cả các tác vụ này dưới dạng. các tệp công việc trong một thư mục đặc biệt có tên là Thư mục tác vụ
Luồng quy trình của Trình lập lịch tác vụ để tự động quét web của ứng dụng
Trong hướng dẫn này, chúng ta sẽ thiết lập một sự kiện dựa trên thời gian để chạy ứng dụng của mình và kết xuất dữ liệu vào SQLite. Tổng cộng có
- Nhấp vào Khởi động Windows, tìm kiếm Trình lập lịch tác vụ và mở nó
- Nhấp vào Tạo tác vụ cơ bản ở cửa sổ bên phải
- Chọn thời gian kích hoạt của bạn
- Chọn thời gian chính xác cho lựa chọn trước đó của chúng tôi
- Bắt đầu một chương trình
- Chèn tập lệnh chương trình của bạn vào nơi bạn đã lưu tệp bat trước đó
- Nhấp vào Kết thúc
Bắt đầu nào
- Nhấp vào Khởi động Windows, tìm kiếm Trình lập lịch tác vụ và mở nó
Trình lập lịch tác vụ Windows
2. Nhấp vào Tạo tác vụ cơ bản ở cửa sổ bên phải
Bạn nên đặt tên nhiệm vụ của mình [e. g. quét web] và mô tả [e. g. Web Scraping và SQLite Dump tự động mỗi ngày vào lúc 6 giờ chiều]
3. Chọn thời gian kích hoạt của bạn
Bạn sẽ có tùy chọn để chọn thời gian kích hoạt hàng ngày hàng tuần và thậm chí hàng tháng. Về mặt logic, lựa chọn này phụ thuộc phần lớn vào tần suất bạn muốn làm mới các giá trị từ nguồn dữ liệu của mình. Ví dụ: nếu nhiệm vụ của bạn là thu thập bảng cân đối của MarketWatch Stocks, bạn nên chạy tập lệnh mỗi quý tài chính
4. Chọn thời gian chính xác cho lựa chọn trước đó của chúng tôi
Chúng tôi sẽ chọn tháng 1, tháng 4, tháng 7 và tháng 9 để chỉ ra tất cả các quý tài chính sớm
5. Bắt đầu một chương trình
Tại đây, bạn sẽ có thể bắt đầu Tập lệnh Python, gửi e-mail và thậm chí hiển thị thông báo. Hãy thoải mái lựa chọn những cái mà bạn cảm thấy thoải mái nhất. Tuy nhiên, bạn nên chú ý vì có những tác vụ không dùng nữa sẽ bị xóa trong các bản vá tiếp theo
6. Chèn tập lệnh chương trình của bạn vào nơi bạn đã lưu tệp bat trước đó
Điều này sẽ chạy Trình lập lịch tác vụ cho Tập lệnh Python của bạn để tự động hóa. Đảm bảo rằng bạn cũng bao gồm Bắt đầu vào vị trí thư mục ứng dụng của mình để truy cập tất cả các thành phần có liên quan [Selenium Browser executables/SQLite Disk]
7. Nhấp vào Kết thúc
Bạn có thể kiểm tra lịch tác vụ đã tạo của mình trên trang đầu của Trình lập lịch tác vụ
Kết quảXin chúc mừng, bạn đã thiết lập bộ lập lịch tự động đầu tiên của mình trong Windows
Đây là hình ảnh động gif để bạn tham khảo. Lưu ý cách bộ lập lịch tự chạy Tập lệnh Python. Khi các tập lệnh chạy xong, nó sẽ kết xuất giá trị được trích xuất bên trong cơ sở dữ liệu SQLite. Trong tương lai, ứng dụng này sẽ chạy mỗi khi đáp ứng điều kiện kích hoạt và nối các giá trị đã cập nhật vào SQLite
Chạy Tập lệnh quét web với Trình lập lịch tác vụ, sau đó nối nó vào Đĩa SQLite
Dữ liệu được thêm vào SQLite bằng Trình lập lịch tác vụ
Cuối cùng…
Cậu bé cười khi đọc sách, nguồn. bỏ đi
Tôi thực sự hy vọng đây là một bài đọc tuyệt vời và là nguồn cảm hứng để bạn phát triển và đổi mới
Vui lòng bình luận bên dưới để đề xuất và phản hồi
Nếu bạn thực sự thích nó, xin vui lòng kiểm tra hồ sơ của tôi. Có nhiều bài viết khác về Phân tích dữ liệu và Dự án Python sẽ phù hợp với sở thích của bạn
Mã hóa vui vẻ. ]
Thông tin về các Tác giảVincent Tatan là một người đam mê Dữ liệu và Công nghệ với kinh nghiệm làm việc phù hợp từ Visa Inc. và Lazada để triển khai các dự án kiến trúc microservice, kinh doanh thông minh và phân tích
Vincent là người Indonesia bản địa với thành tích giải quyết vấn đề với thế mạnh về Phát triển Full Stack, Phân tích dữ liệu và Lập kế hoạch chiến lược
Anh ấy đã tích cực tư vấn cho SMU BI & Câu lạc bộ phân tích, hướng dẫn các nhà khoa học và kỹ sư dữ liệu đầy tham vọng từ nhiều nền tảng khác nhau, đồng thời mở mang kiến thức chuyên môn của anh ấy cho các doanh nghiệp để phát triển sản phẩm của họ