Dự án AWS Python

Có thể tải xuống, giải nén và tải tệp lên AWS S3 bằng tập lệnh python. Bây giờ, câu hỏi là làm thế nào để đạt được điều này mà không cần máy cục bộ hoặc bất kỳ máy chủ nào tham gia, để tải xuống thư mục zip. Chúng tôi giới thiệu AWS EC2 tại thời điểm này, nơi tập lệnh python thực hiện hành động tải xuống, trích xuất và tải tệp lên S3 được lưu trữ. Phiên bản máy chủ trong EC2 với cấu hình cần thiết được chọn từ rất nhiều tùy chọn do AWS cung cấp


Sau khi tập lệnh được lưu trữ trong EC2 và một công việc crontab được lên lịch để tập lệnh được kích hoạt hàng ngày, các tệp thường xuyên được tải lên bộ chứa S3 đã định cấu hình từ phiên bản EC2 và chúng tôi cũng có thể xóa bộ nhớ của phiên bản EC2 bằng cách xóa tệp một lần . Bằng cách này, phiên bản EC2 sẽ chỉ là điểm gắn kết để trích xuất tệp từ thư mục zip


Bước 1. Tạo phiên bản EC2


Tạo Phiên bản EC2 trong AWS. Để làm theo các bước. Liên kết


Lưu cặp khóa ssh vào một thư mục



Bước 2. Cấp quyền truy cập cho. tệp pem ở địa phương


Chạy các lệnh sau bằng cách thay thế. đường dẫn tệp pem


Trong Windows PowerShell

PSC. \Users\ishwaryabb\Downloads\Mini Project> cd AWS

PSC. \Users\ishwaryabb\Downloads\Mini Project\AWS> $path = ". \sshkeypair. pem"

PSC. \Users\ishwaryabb\Downloads\Mini Project\AWS> icacls. exe $path/thiết lập lại

PSC. \Users\ishwaryabb\Downloads\Mini Project\AWS> icacls. exe đường dẫn $ / CẤP. R "$[$env. TÊN TÀI KHOẢN]. [R]"

PSC. \Users\ishwaryabb\Downloads\Mini Project\AWS> icacls. exe $path /kế thừa. r


Ghi chú. Có sshkeypair. pem trong thư mục người dùng được bảo vệ bằng mật khẩu


Bước 3. Kết nối với Phiên bản EC2 qua CMD


Chọn phiên bản EC2 và nhấp vào nút kết nối

Trong đó sao chép lệnh Ví dụ trong máy khách SSH


Bây giờ hãy mở dấu nhắc cmd [hoặc bất kỳ CLI nào khác] và điều hướng đến thư mục lưu trữ tệp pem cặp khóa ssh

Dán lệnh đã sao chép vào thư mục đó


Thí dụ


ssh -i "sshkeycặp. pem" ec2-user@ec2-13-233-247-25. ap-nam-1. tính toán. amazonaws. com


Khi lệnh này được chạy [với quyền truy cập phù hợp trong trường hợp người dùng không phải root], CLI sẽ được kết nối với Phiên bản EC2


Ghi chú. Thay thế sshkeypair. pem thành bất kỳ tên nào bạn đã lưu. tập tin pem




Bước 4. Tạo thư mục và tải lên Python Script


Tạo các thư mục để sắp xếp tập lệnh python và các tệp liên quan đến dự án khác

Sử dụng lệnh scp để tải lên. py từ cục bộ đến thư mục phiên bản EC2


Thí dụ


scp -i "C. \Users\ishwaryabb\Downloads\Mini Project\AWS\sshkeypair. pem" "C. \Users\ishwaryabb\Downloads\Mini Project\AWS\gdelt_script. py" ec2-13-233-247-25. ap-nam-1. tính toán. amazonaws. com. /home/ec2-user/Project/script


Bước 5. Cài đặt Python 3 & Tải xuống tất cả các gói python hỗ trợ trong thư mục gốc


Chạy các lệnh sau để cài đặt python 3, định cấu hình pip và cài đặt các gói cần thiết


Sudo yum cài đặt python3

Sudo yum cài đặt python35-pip


Thí dụ. cài đặt pip boto3


Bước 6. Chạy tập lệnh Python


Chạy tập lệnh python bằng python3 script_name. lệnh py



Bước 7. Lên lịch một crontab


Lên lịch một crontab để chạy tập lệnh python [ví dụ sử dụng múi giờ UTC]


Thí dụ

sudo crontab -e – Chỉnh sửa tệp crontab của bạn hoặc tạo tệp nếu nó chưa tồn tại

36 22 * ​​* * /usr/bin/python3 /script/gdelt_script. py

sudo crontab -l – Hiển thị tệp crontab của bạn

sudo crontab -r – Xóa tệp crontab của bạn


Chạy lệnh này trong phiên bản EC2 [bất kỳ thư mục nào]


Sau khi hoàn tất tất cả các bước và phiên bản EC2 ở trạng thái đang chạy, tập lệnh python đã lên lịch sẽ chạy hàng ngày vào thời điểm đã đề cập. Lưu ý rằng crontab phải được cấu hình mỗi khi phiên bản được khởi động sau khi dừng



Phần kết luận


Tải xuống, giải nén và sao chép tệp vào S3 được thực hiện trong 7 bước. Đầu tiên, một phiên bản EC2 được tạo trong AWS với cấu hình dựa trên kích thước tối đa của tệp được tải xuống. Sau đó, hệ thống được định cấu hình để chúng tôi có thể kết nối với phiên bản đám mây EC2 thông qua giao diện dòng lệnh. Bây giờ các thư mục được tạo khi cần để tập lệnh python có thể được lưu trữ. Python 3 đã được cài đặt và tất cả các thư viện cần thiết để tập lệnh chạy được cài đặt trong phiên bản EC2 thông qua CLI. Cuối cùng, tập lệnh python được lên lịch bằng crontab và nó chạy vào thời gian đã lên lịch

Python có được sử dụng với AWS không?

Bạn có thể sử dụng nó để tạo, định cấu hình và quản lý các dịch vụ AWS như Amazon Elastic Compute Cloud [EC2], Amazon Simple Storage Service [S3] và Amazon DynamoDB . Boto3 cũng cung cấp hai loại API. API cấp thấp và API tài nguyên dành cho nhà phát triển.

Tôi có thể chạy Python trên phiên bản EC2 không?

Phiên bản EC2 của bạn đã cung cấp phiên bản Python3 , bạn có thể tự xác minh phiên bản này bằng lệnh --version python3. Nếu bạn đang tìm kiếm một phiên bản cụ thể của Python, bạn có thể tự cài đặt nó [bỏ qua bước này nếu điều này không áp dụng cho bạn]. Phiên bản Amazon Linux cung cấp Python 3. 7.

Tôi nên học gì trong AWS Python?

Trong hành trình thú vị này, bạn sẽ tìm hiểu và quản lý các dịch vụ AWS sau với sự trợ giúp của Boto3 như. .
S3 [Dịch vụ lưu trữ AWS]
Hiểu [dịch vụ AWS Machine Learning]
Polly [Dịch vụ AWS Machine Learning]
Phát hiện đối tượng và cảnh [Dịch vụ AWS Machine Learning]
Phân tích khuôn mặt [dịch vụ AWS Machine Learning]

Chủ Đề