Giới hạn kích thước dữ liệu Python

Động lực

Có nhiều giá trị cần được biểu diễn trong máy ảo. Nếu không có giới hạn nào được chỉ định cho các giá trị này, thì biểu diễn phải không hiệu quả hoặc dễ bị tràn. Máy ảo CPython đại diện cho các giá trị như số dòng, độ lệch ngăn xếp và độ lệch lệnh theo giá trị 32 bit. Điều này không hiệu quả và có khả năng không an toàn

Nó không hiệu quả vì các giá trị thực tế hiếm khi cần nhiều hơn một chục bit để biểu thị chúng

Nó không an toàn vì mã độc hại hoặc được tạo kém có thể khiến các giá trị vượt quá 232

Ví dụ: số dòng được biểu thị bằng giá trị 32 bit bên trong. Điều này không hiệu quả vì các mô-đun hầu như không bao giờ vượt quá vài nghìn dòng. Mặc dù không hiệu quả nhưng nó vẫn dễ bị tràn vì kẻ tấn công dễ dàng tạo một mô-đun với hàng tỷ ký tự dòng mới

Truy cập bộ nhớ thường là một yếu tố hạn chế trong hiệu suất của các CPU hiện đại. Việc đóng gói cấu trúc dữ liệu tốt hơn giúp tăng cường tính cục bộ và giảm băng thông bộ nhớ, với mức tăng vừa phải trong mức sử dụng ALU [để dịch chuyển và tạo mặt nạ]. Khả năng lưu trữ an toàn các giá trị quan trọng trong 20 bit sẽ cho phép tiết kiệm bộ nhớ trong một số cấu trúc dữ liệu bao gồm, nhưng không giới hạn ở

• Đối tượng khung
• Tiêu đề đối tượng
• đối tượng mã

Ngoài ra còn có tiềm năng cho một định dạng hướng dẫn hiệu quả hơn, tăng tốc độ gửi thông dịch viên

cơ sở lý luận

Áp đặt giới hạn cho các giá trị như dòng mã trong mô-đun và số lượng biến cục bộ, có lợi thế đáng kể để dễ triển khai và hiệu quả của máy ảo. Nếu giới hạn đủ lớn, sẽ không có tác động xấu đến người dùng ngôn ngữ

Bằng cách chọn một giới hạn cố định nhưng lớn cho các giá trị này, có thể đạt được cả sự an toàn và hiệu quả trong khi không gây bất tiện cho người lập trình con người và chỉ xảy ra các sự cố rất hiếm gặp đối với trình tạo mã

Sự chỉ rõ

PR này đề xuất rằng các tính năng ngôn ngữ và giá trị thời gian chạy sau đây có giới hạn mềm là một triệu

• Số lượng dòng mã nguồn trong một mô-đun
• Số lượng hướng dẫn mã byte trong một đối tượng mã
• Tổng các biến cục bộ và mức sử dụng ngăn xếp cho một đối tượng mã
• Số lớp trong trình thông dịch đang chạy
• Độ sâu đệ quy của mã Python

Có khả năng các hạn chế về bộ nhớ sẽ là một yếu tố hạn chế trước khi số lớp đạt đến một triệu

Giới hạn mềm và cứng

Việc triển khai sẽ phát ra cảnh báo bất cứ khi nào vượt quá giới hạn mềm, trừ khi giới hạn cứng có cùng giá trị với giới hạn mềm. Khi vượt quá giới hạn cứng, thì một ngoại lệ sẽ được đưa ra

Tùy thuộc vào việc triển khai, các giới hạn cứng khác nhau có thể áp dụng. Trong một số trường hợp, giới hạn cứng có thể thấp hơn giới hạn mềm. Ví dụ: nhiều cổng micropython không có khả năng hỗ trợ các giới hạn lớn như vậy

struct header {
    uint32_t gc_flags:6; /* Needs finalisation, might be part of a cycle, etc. */
    uint32_t class_id:26; /* Can be efficiently mapped to address by ensuring suitable alignment of classes */
    uint32_t refcount; /* Limited memory or saturating */
}

Giới hạn cứng trong CPython

CPython sẽ thực thi giới hạn cứng đối với tất cả các giá trị trên. Giá trị của hard limit sẽ là 8 triệu

Theo giả thuyết, có thể một số mã do máy tạo ra vượt quá một hoặc nhiều giới hạn trên. Tác giả tin rằng điều đó khó xảy ra và dễ dàng khắc phục bằng cách sửa đổi giai đoạn đầu ra của trình tạo mã

Chúng tôi muốn đạt được lợi ích từ các giới hạn hiệu suất trên càng sớm càng tốt. Vì vậy, CPython sẽ bắt đầu áp dụng các giới hạn từ phiên bản 3. 9 trở đi. Để dễ dàng chuyển đổi và giảm thiểu sự cố, giới hạn ban đầu sẽ là 16 triệu, giảm xuống còn 8 triệu trong phiên bản sau

Khả năng tương thích ngược

Các giới hạn cứng thực tế được thi hành bởi CPython sẽ là

Với sự hiếm có của các trình tạo mã vượt quá giới hạn một triệu và môi trường mà chúng thường được sử dụng, có vẻ hợp lý để bắt đầu đưa ra các cảnh báo trong 3. 9 nếu bất kỳ số lượng hạn chế nào vượt quá một triệu

Trong lịch sử, giới hạn đệ quy đã được đặt ở 1000. Để tránh vi phạm mã hoàn toàn dựa vào giá trị nhỏ, giới hạn đệ quy mềm sẽ được tăng dần, như sau

Giới hạn cứng sẽ được đặt thành 8 triệu ngay lập tức

triển khai khác

Việc triển khai Python ngoài CPython có các mục đích khác nhau, do đó, các giới hạn khác nhau có thể phù hợp. Điều này có thể chấp nhận được, miễn là các giới hạn được ghi lại rõ ràng

Ý nghĩa bảo mật

Tối thiểu. Điều này làm giảm một lượng nhỏ bề mặt tấn công của bất kỳ máy ảo Python nào

Thực hiện tham khảo

Chưa có. Điều này sẽ được triển khai trong CPython, sau khi PEP đã được chấp nhận

Ý tưởng bị từ chối

Có thể sửa đổi các giới hạn cứng trở lên tại thời điểm biên dịch được đề xuất bởi Tal Einat. Điều này bị từ chối vì giới hạn hiện tại là 232 không phải là vấn đề và lợi ích thực tế của việc cho phép giới hạn từ 220 đến 232 có vẻ nhỏ so với độ phức tạp của mã bổ sung khi hỗ trợ tính năng như vậy

vấn đề mở

Chưa có

Người giới thiệu

https. // tài liệu. tiên tri. com/javase/specs/jvms/se8/jvms8. pdf

bản quyền

Tài liệu này được đặt trong phạm vi công cộng hoặc theo CC0-1. 0-Giấy phép phổ thông, tùy theo điều kiện nào dễ dãi hơn

Python có thể xử lý bao nhiêu dữ liệu?

Pandas có thể xử lý hàng triệu hàng không?

Pandas có thể được sử dụng cho dữ liệu lớn không?

Có giới hạn về số lượng hàng trong Pandas không?