Mô-đun này không hoạt động hoặc không khả dụng trên nền tảng WebAssugging
import multiprocessing as mp def foo[q]: q.put['hello'] if __name__ == '__main__': ctx = mp.get_context['spawn'] q = ctx.Queue[] p = ctx.Process[target=foo, args=[q,]] p.start[] print[q.get[]] p.join[]7 và
import multiprocessing as mp def foo[q]: q.put['hello'] if __name__ == '__main__': ctx = mp.get_context['spawn'] q = ctx.Queue[] p = ctx.Process[target=foo, args=[q,]] p.start[] print[q.get[]] p.join[]8. Xem để biết thêm thông tin
Giới thiệu
là gói hỗ trợ các quy trình sinh sản bằng API tương tự như mô-đun. Gói cung cấp cả đồng thời cục bộ và từ xa, hỗ trợ hiệu quả bằng cách sử dụng các quy trình con thay vì các luồng. Do đó, mô-đun cho phép lập trình viên tận dụng tối đa nhiều bộ xử lý trên một máy nhất định. Nó chạy trên cả Unix và Windows
Mô-đun này cũng giới thiệu các API không có tương tự trong mô-đun. Một ví dụ điển hình của điều này là đối tượng cung cấp một phương tiện thuận tiện để song song hóa việc thực thi một hàm trên nhiều giá trị đầu vào, phân phối dữ liệu đầu vào qua các quy trình [song song hóa dữ liệu]. Ví dụ sau minh họa cách thực hành phổ biến để xác định các chức năng như vậy trong một mô-đun để các quy trình con có thể nhập thành công mô-đun đó. Ví dụ cơ bản này về tính song song dữ liệu bằng cách sử dụng,
from multiprocessing import Pool def f[x]: return x*x if __name__ == '__main__': with Pool[5] as p: print[p.map[f, [1, 2, 3]]]
sẽ in ra đầu ra tiêu chuẩn
[1, 4, 9]
Xem thêm
cung cấp giao diện cấp cao hơn để đẩy các tác vụ sang quy trình nền mà không chặn thực thi quy trình gọi. So với việc sử dụng giao diện trực tiếp, API dễ dàng hơn cho phép gửi công việc đến nhóm quy trình cơ bản để tách biệt khỏi việc chờ kết quả
Lớp
Trong , các quy trình được sinh ra bằng cách tạo một đối tượng và sau đó gọi phương thức của nó. tuân theo API của. Một ví dụ nhỏ về chương trình đa xử lý là
from multiprocessing import Process def f[name]: print['hello', name] if __name__ == '__main__': p = Process[target=f, args=['bob',]] p.start[] p.join[]
Để hiển thị các ID quy trình riêng lẻ có liên quan, đây là một ví dụ mở rộng
from multiprocessing import Process import os def info[title]: print[title] print['module name:', __name__] print['parent process:', os.getppid[]] print['process id:', os.getpid[]] def f[name]: info['function f'] print['hello', name] if __name__ == '__main__': info['main line'] p = Process[target=f, args=['bob',]] p.start[] p.join[]
Để biết giải thích tại sao phần
from multiprocessing import Process, Pipe def f[conn]: conn.send[[42, None, 'hello']] conn.close[] if __name__ == '__main__': parent_conn, child_conn = Pipe[] p = Process[target=f, args=[child_conn,]] p.start[] print[parent_conn.recv[]] # prints "[42, None, 'hello']" p.join[]6 là cần thiết, hãy xem
Bối cảnh và phương pháp bắt đầu
Tùy thuộc vào nền tảng, hỗ trợ ba cách để bắt đầu một quy trình. Các phương thức bắt đầu này là
đẻ trứng
Quá trình mẹ bắt đầu một quá trình phiên dịch Python mới. Tiến trình con sẽ chỉ kế thừa những tài nguyên cần thiết để chạy phương thức của đối tượng tiến trình. Cụ thể, các bộ mô tả và xử lý tệp không cần thiết từ quy trình gốc sẽ không được kế thừa. Bắt đầu một quy trình bằng phương pháp này khá chậm so với sử dụng fork hoặc forkserver
Có sẵn trên Unix và Windows. Mặc định trên Windows và macOS
cái nĩaQuá trình mẹ sử dụng để rẽ nhánh trình thông dịch Python. Tiến trình con, khi nó bắt đầu, thực sự giống với tiến trình cha. Tất cả các tài nguyên của cha mẹ được kế thừa bởi tiến trình con. Lưu ý rằng việc rẽ nhánh một cách an toàn một quy trình đa luồng là một vấn đề
Chỉ khả dụng trên Unix. Mặc định trên Unix
máy chủ rẽ nhánhKhi chương trình bắt đầu và chọn phương thức khởi động máy chủ rẽ nhánh, một quy trình máy chủ sẽ được bắt đầu. Từ đó trở đi, bất cứ khi nào cần một quy trình mới, quy trình mẹ sẽ kết nối với máy chủ và yêu cầu nó rẽ nhánh một quy trình mới. Quá trình máy chủ ngã ba là một luồng nên nó an toàn khi sử dụng. Không có tài nguyên không cần thiết được kế thừa
Có sẵn trên các nền tảng Unix hỗ trợ chuyển bộ mô tả tệp qua các đường ống Unix
Đã thay đổi trong phiên bản 3. 8. Trên macOS, phương thức bắt đầu sinh sản hiện là mặc định. Phương pháp bắt đầu ngã ba nên được coi là không an toàn vì nó có thể dẫn đến sự cố của quy trình con. Xem bpo-33725.
Đã thay đổi trong phiên bản 3. 4. đã thêm spawn trên tất cả các nền tảng Unix và thêm máy chủ phân nhánh cho một số nền tảng Unix. Các tiến trình con không còn kế thừa tất cả các xử lý có thể kế thừa của cha mẹ trên Windows.
Trên Unix, việc sử dụng các phương thức khởi động spawn hoặc forkserver cũng sẽ bắt đầu một quy trình theo dõi tài nguyên theo dõi các tài nguyên hệ thống được đặt tên chưa được liên kết [chẳng hạn như các semaphores hoặc đối tượng được đặt tên] được tạo bởi các quy trình của chương trình. Khi tất cả các quy trình đã thoát, trình theo dõi tài nguyên sẽ hủy liên kết mọi đối tượng được theo dõi còn lại. Thông thường sẽ không có, nhưng nếu một quá trình bị giết bởi một tín hiệu thì có thể có một số tài nguyên "bị rò rỉ". [Các semaphore bị rò rỉ cũng như các phân đoạn bộ nhớ dùng chung sẽ không được tự động hủy liên kết cho đến lần khởi động lại tiếp theo. Đây là vấn đề đối với cả hai đối tượng vì hệ thống chỉ cho phép một số lượng hạn chế các semaphores được đặt tên và các phân đoạn bộ nhớ dùng chung chiếm một số không gian trong bộ nhớ chính. ]
Để chọn phương thức bắt đầu, bạn sử dụng mệnh đề trong mệnh đề
from multiprocessing import Process, Pipe def f[conn]: conn.send[[42, None, 'hello']] conn.close[] if __name__ == '__main__': parent_conn, child_conn = Pipe[] p = Process[target=f, args=[child_conn,]] p.start[] print[parent_conn.recv[]] # prints "[42, None, 'hello']" p.join[]6 của mô-đun chính. Ví dụ
________số 8
không nên được sử dụng nhiều hơn một lần trong chương trình
Ngoài ra, bạn có thể sử dụng để có được một đối tượng bối cảnh. Các đối tượng ngữ cảnh có API giống như mô-đun đa xử lý và cho phép một người sử dụng nhiều phương thức bắt đầu trong cùng một chương trình
import multiprocessing as mp def foo[q]: q.put['hello'] if __name__ == '__main__': ctx = mp.get_context['spawn'] q = ctx.Queue[] p = ctx.Process[target=foo, args=[q,]] p.start[] print[q.get[]] p.join[]
Lưu ý rằng các đối tượng liên quan đến một bối cảnh có thể không tương thích với các quy trình cho một bối cảnh khác. Cụ thể, các khóa được tạo bằng bối cảnh ngã ba không thể được chuyển đến các quy trình được bắt đầu bằng phương pháp bắt đầu sinh sản hoặc máy chủ ngã ba
Một thư viện muốn sử dụng một phương thức bắt đầu cụ thể có lẽ nên sử dụng để tránh can thiệp vào sự lựa chọn của người dùng thư viện
Cảnh báo
Các phương thức bắt đầu của
import multiprocessing as mp def foo[q]: q.put['hello'] if __name__ == '__main__': ctx = mp.get_context['spawn'] q = ctx.Queue[] p = ctx.Process[target=foo, args=[q,]] p.start[] print[q.get[]] p.join[]07 và
import multiprocessing as mp def foo[q]: q.put['hello'] if __name__ == '__main__': ctx = mp.get_context['spawn'] q = ctx.Queue[] p = ctx.Process[target=foo, args=[q,]] p.start[] print[q.get[]] p.join[]08 hiện không thể được sử dụng với các tệp thực thi "đóng băng" [i. e. , các tệp nhị phân được tạo bởi các gói như PyInstaller và cx_Freeze] trên Unix. Phương thức bắt đầu của
import multiprocessing as mp def foo[q]: q.put['hello'] if __name__ == '__main__': ctx = mp.get_context['spawn'] q = ctx.Queue[] p = ctx.Process[target=foo, args=[q,]] p.start[] print[q.get[]] p.join[]09 không hoạt động
Trao đổi đối tượng giữa các tiến trình
hỗ trợ hai loại kênh liên lạc giữa các quy trình
hàng đợi
Lớp học là một bản sao gần như của. Ví dụ
import multiprocessing as mp def foo[q]: q.put['hello'] if __name__ == '__main__': ctx = mp.get_context['spawn'] q = ctx.Queue[] p = ctx.Process[target=foo, args=[q,]] p.start[] print[q.get[]] p.join[]3Hàng đợi là luồng và xử lý an toàn
ống
Hàm trả về một cặp đối tượng kết nối được kết nối bằng một đường ống mà theo mặc định là song công [hai chiều]. Ví dụ
from multiprocessing import Process, Pipe def f[conn]: conn.send[[42, None, 'hello']] conn.close[] if __name__ == '__main__': parent_conn, child_conn = Pipe[] p = Process[target=f, args=[child_conn,]] p.start[] print[parent_conn.recv[]] # prints "[42, None, 'hello']" p.join[]Hai đối tượng kết nối được trả về bằng đại diện cho hai đầu của đường ống. Mỗi đối tượng kết nối có các phương thức
import multiprocessing as mp def foo[q]: q.put['hello'] if __name__ == '__main__': ctx = mp.get_context['spawn'] q = ctx.Queue[] p = ctx.Process[target=foo, args=[q,]] p.start[] print[q.get[]] p.join[]55 vàimport multiprocessing as mp def foo[q]: q.put['hello'] if __name__ == '__main__': ctx = mp.get_context['spawn'] q = ctx.Queue[] p = ctx.Process[target=foo, args=[q,]] p.start[] print[q.get[]] p.join[]56 [trong số các phương thức khác]. Lưu ý rằng dữ liệu trong một đường ống có thể bị hỏng nếu hai quy trình [hoặc luồng] cố gắng đọc hoặc ghi vào cùng một đầu của đường ống cùng một lúc. Tất nhiên, không có nguy cơ tham nhũng từ các quy trình sử dụng các đầu khác nhau của đường ống cùng một lúc
Đồng bộ hóa giữa các quy trình
chứa tương đương của tất cả các nguyên thủy đồng bộ hóa từ. Chẳng hạn, người ta có thể sử dụng khóa để đảm bảo rằng mỗi lần chỉ có một quy trình in ra đầu ra tiêu chuẩn
import multiprocessing as mp def foo[q]: q.put['hello'] if __name__ == '__main__': ctx = mp.get_context['spawn'] q = ctx.Queue[] p = ctx.Process[target=foo, args=[q,]] p.start[] print[q.get[]] p.join[]0
Không sử dụng đầu ra khóa từ các quy trình khác nhau có thể bị lẫn lộn
Chia sẻ trạng thái giữa các tiến trình
Như đã đề cập ở trên, khi thực hiện lập trình đồng thời, tốt nhất là tránh sử dụng trạng thái chia sẻ càng nhiều càng tốt. Điều này đặc biệt đúng khi sử dụng nhiều quy trình
Tuy nhiên, nếu bạn thực sự cần sử dụng một số dữ liệu được chia sẻ thì hãy cung cấp một số cách để thực hiện việc đó
Bộ nhớ dùng chung
Dữ liệu có thể được lưu trữ trong bản đồ bộ nhớ dùng chung bằng cách sử dụng hoặc. Ví dụ, đoạn mã sau
import multiprocessing as mp def foo[q]: q.put['hello'] if __name__ == '__main__': ctx = mp.get_context['spawn'] q = ctx.Queue[] p = ctx.Process[target=foo, args=[q,]] p.start[] print[q.get[]] p.join[]5sẽ in
[1, 4, 9]0Các đối số
[1, 4, 9]02 và[1, 4, 9]03 được sử dụng khi tạo[1, 4, 9]04 và[1, 4, 9]05 là các loại mã được sử dụng bởi mô-đun.[1, 4, 9]02 biểu thị số float có độ chính xác kép và[1, 4, 9]03 biểu thị số nguyên đã ký. Các đối tượng được chia sẻ này sẽ được xử lý và an toàn cho luồngĐể linh hoạt hơn trong việc sử dụng bộ nhớ dùng chung, người ta có thể sử dụng mô-đun hỗ trợ tạo các đối tượng ctypes tùy ý được cấp phát từ bộ nhớ dùng chung
quy trình máy chủ
Một đối tượng người quản lý được trả về bởi các điều khiển quy trình máy chủ chứa các đối tượng Python và cho phép các quy trình khác thao tác chúng bằng proxy
Trình quản lý được trả về sẽ hỗ trợ các loại , , , , , , , , , , , và. Ví dụ,
[1, 4, 9]1sẽ in
[1, 4, 9]2Trình quản lý quy trình máy chủ linh hoạt hơn so với việc sử dụng các đối tượng bộ nhớ dùng chung vì chúng có thể được tạo để hỗ trợ các loại đối tượng tùy ý. Ngoài ra, một trình quản lý duy nhất có thể được chia sẻ bởi các quy trình trên các máy tính khác nhau qua mạng. Tuy nhiên, chúng chậm hơn so với sử dụng bộ nhớ dùng chung
Sử dụng một nhóm công nhân
Lớp đại diện cho một nhóm các quy trình công nhân. Nó có các phương thức cho phép các tác vụ được giảm tải cho các quy trình công nhân theo một số cách khác nhau
Ví dụ
[1, 4, 9]3
Lưu ý rằng các phương thức của một nhóm chỉ nên được sử dụng bởi quy trình đã tạo ra nó
Ghi chú
Chức năng trong gói này yêu cầu trẻ em có thể nhập mô-đun
[1, 4, 9]26. Điều này được đề cập trong tuy nhiên nó đáng được chỉ ra ở đây. Điều này có nghĩa là một số ví dụ, chẳng hạn như các ví dụ sẽ không hoạt động trong trình thông dịch tương tác. Ví dụ
[1, 4, 9]4
[Nếu bạn thử điều này, nó sẽ thực sự tạo ra ba lần theo dõi đầy đủ được xen kẽ theo kiểu bán ngẫu nhiên, và sau đó bạn có thể phải dừng quá trình gốc bằng cách nào đó. ]
Thẩm quyền giải quyết
Gói chủ yếu sao chép API của mô-đun
và ngoại lệ
lớp đa xử lý. Quy trình[nhóm=Không, target=None, name=None, args=[], kwargs={}, *, daemon=None]Các đối tượng quy trình đại diện cho hoạt động được chạy trong một quy trình riêng biệt. Lớp có tương đương với tất cả các phương thức của
Hàm tạo phải luôn được gọi với các đối số từ khóa. nhóm phải luôn là
[1, 4, 9]33; . target là đối tượng có thể gọi được gọi theo phương thức. Nó mặc định là
[1, 4, 9]33, nghĩa là không có gì được gọi. tên là tên quy trình [xem để biết thêm chi tiết]. args là bộ đối số cho lệnh gọi đích. kwargs là một từ điển các đối số từ khóa cho lệnh gọi đích. Nếu được cung cấp, đối số trình nền chỉ có từ khóa sẽ đặt cờ quy trình thành
[1, 4, 9]39 hoặc
[1, 4, 9]40. Nếu
[1, 4, 9]33 [mặc định], cờ này sẽ được kế thừa từ quá trình tạo
Theo mặc định, không có đối số nào được chuyển đến đích. Đối số args, mặc định là
[1, 4, 9]42, có thể được sử dụng để chỉ định danh sách hoặc bộ đối số sẽ chuyển đến đích
Nếu một lớp con ghi đè hàm tạo, nó phải đảm bảo rằng nó gọi hàm tạo của lớp cơ sở [
[1, 4, 9]43] trước khi thực hiện bất kỳ điều gì khác đối với quy trình
Đã thay đổi trong phiên bản 3. 3. Đã thêm đối số daemon.
chạy[]Phương thức biểu diễn hoạt động của tiến trình
Bạn có thể ghi đè phương thức này trong một lớp con. Phương thức tiêu chuẩn gọi đối tượng có thể gọi được truyền cho hàm tạo của đối tượng làm đối số đích, nếu có, với các đối số tuần tự và từ khóa được lấy từ các đối số args và kwargs tương ứng
Sử dụng một danh sách hoặc bộ dữ liệu làm đối số args được truyền để đạt được hiệu quả tương tự
Ví dụ
[1, 4, 9]5bắt đầu[]
Bắt đầu hoạt động của quy trình
Điều này phải được gọi nhiều nhất một lần cho mỗi đối tượng quy trình. Nó sắp xếp để phương thức của đối tượng được gọi trong một tiến trình riêng biệt
tham gia[[hết thời gian]]Nếu thời gian chờ của đối số tùy chọn là
[1, 4, 9]33 [mặc định], phương thức sẽ chặn cho đến khi quá trình có phương thức được gọi kết thúc. Nếu thời gian chờ là một số dương, nó sẽ chặn tối đa các giây hết thời gian chờ. Lưu ý rằng phương thức trả về
[1, 4, 9]33 nếu quá trình của nó kết thúc hoặc nếu phương thức hết thời gian. Kiểm tra quy trình để xác định xem nó có chấm dứt không
Một quá trình có thể được tham gia nhiều lần
Một quá trình không thể tự tham gia vì điều này sẽ gây ra bế tắc. Có lỗi khi cố gắng tham gia một quy trình trước khi nó được bắt đầu
TênTên quy trình. Tên là một chuỗi chỉ được sử dụng cho mục đích nhận dạng. Nó không có ngữ nghĩa. Nhiều quá trình có thể được đặt tên giống nhau
Tên ban đầu được đặt bởi hàm tạo. Nếu không có tên rõ ràng nào được cung cấp cho hàm tạo, tên có dạng 'Process-N1. N2. …. Nk' được xây dựng, trong đó mỗi Nk là con thứ N của cha mẹ của nó
is_alive[]Trả về xem quá trình có còn hoạt động không
Đại khái, một đối tượng quá trình tồn tại từ thời điểm phương thức trả về cho đến khi quá trình con kết thúc
yêu tinhCờ daemon của tiến trình, một giá trị Boolean. Điều này phải được thiết lập trước khi được gọi là
Giá trị ban đầu được kế thừa từ quá trình tạo
Khi một tiến trình thoát, nó sẽ cố gắng chấm dứt tất cả các tiến trình con daemon của nó
Lưu ý rằng quy trình daemon không được phép tạo quy trình con. Mặt khác, một quy trình daemon sẽ khiến các con của nó mồ côi nếu nó bị chấm dứt khi quá trình cha mẹ của nó thoát ra. Ngoài ra, đây không phải là dịch vụ hoặc daemon Unix, chúng là các quy trình bình thường sẽ bị chấm dứt [và không được tham gia] nếu các quy trình không phải daemon đã thoát
Ngoài API, các đối tượng cũng hỗ trợ các thuộc tính và phương thức sau
pidTrả lại ID tiến trình. Trước khi quá trình được sinh ra, đây sẽ là
[1, 4, 9]33mã thoát
Mã thoát của trẻ. Đây sẽ là
[1, 4, 9]33 nếu quá trình chưa kết thúc
Nếu phương thức của con trả về bình thường, mã thoát sẽ là 0. Nếu nó kết thúc bằng một đối số nguyên N, mã thoát sẽ là N
Nếu đứa trẻ bị chấm dứt do một ngoại lệ không bị bắt trong , mã thoát sẽ là 1. Nếu nó bị kết thúc bởi tín hiệu N, mã thoát sẽ là giá trị âm -N
mã xác thựcKhóa xác thực của quy trình [một chuỗi byte]
Khi được khởi tạo, quy trình chính được gán một chuỗi ngẫu nhiên bằng cách sử dụng
Khi một đối tượng được tạo, nó sẽ kế thừa khóa xác thực của quy trình cha của nó, mặc dù điều này có thể được thay đổi bằng cách đặt thành một chuỗi byte khác
Nhìn thấy
lính gácMột điều khiển số của một đối tượng hệ thống sẽ trở thành "sẵn sàng" khi quá trình kết thúc
Bạn có thể sử dụng giá trị này nếu bạn muốn đợi nhiều sự kiện cùng một lúc bằng cách sử dụng. Nếu không thì việc gọi đơn giản hơn
Trên Windows, đây là một trình điều khiển hệ điều hành có thể sử dụng được với nhóm lệnh gọi API
[1, 4, 9]66 và
[1, 4, 9]67. Trên Unix, đây là một bộ mô tả tệp có thể sử dụng được với các nguyên hàm từ mô-đun
Mới trong phiên bản 3. 3
chấm dứt[]Chấm dứt quá trình. Trên Unix, điều này được thực hiện bằng tín hiệu
[1, 4, 9]69; . Lưu ý rằng các trình xử lý thoát và các mệnh đề cuối cùng, v.v. , sẽ không được thực hiện
Lưu ý rằng các tiến trình con của tiến trình sẽ không bị chấm dứt – chúng sẽ đơn giản trở nên mồ côi
Cảnh báo
Nếu phương pháp này được sử dụng khi quy trình được liên kết đang sử dụng đường ống hoặc hàng đợi thì đường ống hoặc hàng đợi đó có thể bị hỏng và có thể trở nên không sử dụng được bởi quy trình khác. Tương tự, nếu quá trình đã có khóa hoặc semaphore, v.v. sau đó chấm dứt nó có khả năng gây ra bế tắc cho các quá trình khác
giết[]Tương tự nhưng sử dụng tín hiệu
[1, 4, 9]72 trên Unix
Mới trong phiên bản 3. 7
đóng[]Đóng đối tượng, giải phóng tất cả các tài nguyên được liên kết với nó. được nâng lên nếu quá trình cơ bản vẫn đang chạy. Sau khi trả về thành công, hầu hết các phương thức và thuộc tính khác của đối tượng sẽ tăng
Mới trong phiên bản 3. 7
Lưu ý rằng các phương thức , , và chỉ nên được gọi bởi quy trình đã tạo đối tượng quy trình
Ví dụ sử dụng một số phương pháp của
[1, 4, 9]6ngoại lệ đa xử lý. Lỗi quy trình
Lớp cơ sở của tất cả các ngoại lệ
ngoại lệ đa xử lý. BufferTooShortNgoại lệ được đưa ra bởi
[1, 4, 9]85 khi đối tượng bộ đệm được cung cấp quá nhỏ để đọc thông báo
Nếu
[1, 4, 9]86 là một phiên bản của thì
[1, 4, 9]88 sẽ đưa ra thông báo dưới dạng chuỗi bytengoại lệ đa xử lý. Lỗi xác thực
Xảy ra khi có lỗi xác thực
ngoại lệ đa xử lý. Lỗi hết giờTăng theo các phương thức có thời gian chờ khi hết thời gian chờ
Đường ống và hàng đợi
Khi sử dụng nhiều quy trình, người ta thường sử dụng tính năng truyền thông báo để liên lạc giữa các quy trình và tránh phải sử dụng bất kỳ nguyên tắc đồng bộ hóa nào như khóa
Để truyền tin nhắn, người ta có thể sử dụng [đối với kết nối giữa hai quy trình] hoặc hàng đợi [cho phép nhiều nhà sản xuất và người tiêu dùng]
Các và các loại là hàng đợi FIFO nhiều nhà sản xuất, nhiều người tiêu dùng được mô hình hóa trên lớp trong thư viện chuẩn. Chúng khác nhau ở chỗ thiếu các phương thức và được đưa vào Python 2. lớp 5
Nếu bạn sử dụng thì bạn phải gọi cho từng tác vụ đã bị xóa khỏi hàng đợi, nếu không, semaphore được sử dụng để đếm số lượng tác vụ chưa hoàn thành cuối cùng có thể bị tràn, tạo ra một ngoại lệ
Lưu ý rằng người ta cũng có thể tạo hàng đợi dùng chung bằng cách sử dụng đối tượng người quản lý – xem
Ghi chú
sử dụng thông thường và ngoại lệ để báo hiệu thời gian chờ. Chúng không có sẵn trong không gian tên nên bạn cần nhập chúng từ
Ghi chú
Khi một đối tượng được đưa vào hàng đợi, đối tượng sẽ được chọn và một chuỗi nền sau đó sẽ xóa dữ liệu đã chọn vào một đường ống bên dưới. Điều này có một số hậu quả hơi ngạc nhiên, nhưng sẽ không gây ra bất kỳ khó khăn thực tế nào – nếu chúng thực sự làm phiền bạn thì thay vào đó, bạn có thể sử dụng hàng đợi được tạo bằng
Sau khi đặt một đối tượng vào hàng đợi trống, có thể có một độ trễ vô cùng nhỏ trước khi phương thức của hàng đợi trả về và có thể trả về mà không tăng
Nếu nhiều quá trình đang xếp hàng các đối tượng, thì có thể các đối tượng được nhận ở đầu kia không theo thứ tự. Tuy nhiên, các đối tượng được xử lý bởi cùng một quy trình sẽ luôn theo thứ tự mong đợi đối với nhau
Cảnh báo
Nếu một quá trình bị hủy khi sử dụng hoặc trong khi nó đang cố sử dụng a , thì dữ liệu trong hàng đợi có khả năng bị hỏng. Điều này có thể khiến bất kỳ quy trình nào khác gặp ngoại lệ khi nó cố sử dụng hàng đợi sau này
Cảnh báo
Như đã đề cập ở trên, nếu một tiến trình con đã đặt các mục vào hàng đợi [và nó chưa được sử dụng ], thì tiến trình đó sẽ không kết thúc cho đến khi tất cả các mục trong bộ đệm đã được xóa vào đường ống
Điều này có nghĩa là nếu bạn cố gắng tham gia quá trình đó, bạn có thể gặp bế tắc trừ khi bạn chắc chắn rằng tất cả các mục được đưa vào hàng đợi đã được sử dụng hết. Tương tự, nếu tiến trình con không phải là daemon thì tiến trình cha có thể bị treo khi thoát khi nó cố gắng nối tất cả các con không phải daemon của nó
Lưu ý rằng hàng đợi được tạo bằng trình quản lý không gặp sự cố này. Nhìn thấy
Để biết ví dụ về việc sử dụng hàng đợi để liên lạc giữa các quá trình, hãy xem
đa xử lý. Đường ống[[song công]]Trả về một cặp
from multiprocessing import Process def f[name]: print['hello', name] if __name__ == '__main__': p = Process[target=f, args=['bob',]] p.start[] p.join[]13 của các đối tượng đại diện cho các đầu của một đường ống
Nếu song công là
[1, 4, 9]39 [mặc định] thì đường ống là hai chiều. Nếu song công là
[1, 4, 9]40 thì đường ống là một chiều.
from multiprocessing import Process def f[name]: print['hello', name] if __name__ == '__main__': p = Process[target=f, args=['bob',]] p.start[] p.join[]17 chỉ có thể được sử dụng để nhận tin nhắn và
from multiprocessing import Process def f[name]: print['hello', name] if __name__ == '__main__': p = Process[target=f, args=['bob',]] p.start[] p.join[]18 chỉ có thể được sử dụng để gửi tin nhắnlớp đa xử lý. Hàng đợi[[kích thước tối đa]]
Trả về một hàng đợi chia sẻ quy trình được thực hiện bằng cách sử dụng một đường ống và một vài ổ khóa/semaphores. Khi một quy trình lần đầu tiên đặt một mục vào hàng đợi, một chuỗi trung chuyển được bắt đầu để chuyển các đối tượng từ bộ đệm vào đường ống
Thông thường và ngoại lệ từ mô-đun của thư viện tiêu chuẩn được nâng lên để báo hiệu thời gian chờ
thực hiện tất cả các phương pháp ngoại trừ và
qsize[]Trả về kích thước gần đúng của hàng đợi. Do ngữ nghĩa đa luồng/đa xử lý, con số này không đáng tin cậy
Lưu ý rằng điều này có thể xảy ra trên các nền tảng Unix như macOS nơi
from multiprocessing import Process def f[name]: print['hello', name] if __name__ == '__main__': p = Process[target=f, args=['bob',]] p.start[] p.join[]27 không được triển khai
Trả lại
[1, 4, 9]39 nếu hàng đợi trống, ngược lại là
[1, 4, 9]40. Do ngữ nghĩa đa luồng/đa xử lý, điều này không đáng tin cậyđầy đủ[]
Trả lại
[1, 4, 9]39 nếu hàng đợi đã đầy, ngược lại là
[1, 4, 9]40. Do ngữ nghĩa đa luồng/đa xử lý, điều này không đáng tin cậyđặt[obj[ , block[, timeout]]]
Đặt obj vào hàng đợi. Nếu khối đối số tùy chọn là
[1, 4, 9]39 [mặc định] và thời gian chờ là
[1, 4, 9]33 [mặc định], hãy chặn nếu cần cho đến khi có chỗ trống. Nếu thời gian chờ là một số dương, nó sẽ chặn hầu hết các giây hết thời gian chờ và tăng ngoại lệ nếu không có chỗ trống trong thời gian đó. Mặt khác [khối là
[1, 4, 9]40], hãy đặt một mục vào hàng đợi nếu có sẵn một vị trí miễn phí, nếu không thì đưa ra ngoại lệ [thời gian chờ bị bỏ qua trong trường hợp đó]
Đã thay đổi trong phiên bản 3. 8. Nếu hàng đợi đã đóng, sẽ được nâng lên thay vì.
put_nowait[obj]Tương đương với
from multiprocessing import Process def f[name]: print['hello', name] if __name__ == '__main__': p = Process[target=f, args=['bob',]] p.start[] p.join[]39nhận[[chặn[, timeout]]]
Xóa và trả lại một mục khỏi hàng đợi. Nếu khối đối số tùy chọn là
[1, 4, 9]39 [mặc định] và thời gian chờ là
[1, 4, 9]33 [mặc định], hãy chặn nếu cần cho đến khi có sẵn một mục. Nếu thời gian chờ là một số dương, nó sẽ chặn tối đa các giây hết thời gian chờ và tăng ngoại lệ nếu không có mục nào có sẵn trong thời gian đó. Mặt khác [khối là
[1, 4, 9]40], trả lại một mục nếu một mục có sẵn ngay lập tức, nếu không thì đưa ra ngoại lệ [thời gian chờ bị bỏ qua trong trường hợp đó]
Đã thay đổi trong phiên bản 3. 8. Nếu hàng đợi đã đóng, sẽ được nâng lên thay vì.
get_nowait[]Tương đương với
from multiprocessing import Process def f[name]: print['hello', name] if __name__ == '__main__': p = Process[target=f, args=['bob',]] p.start[] p.join[]47
có một vài phương pháp bổ sung không tìm thấy trong. Các phương thức này thường không cần thiết đối với hầu hết mã
đóng[]Cho biết rằng quy trình hiện tại sẽ không đưa thêm dữ liệu vào hàng đợi này. Chủ đề nền sẽ thoát sau khi nó đã xóa tất cả dữ liệu được lưu vào bộ đệm vào đường ống. Điều này được gọi tự động khi hàng đợi được thu gom rác
join_thread[]Tham gia chủ đề nền. Điều này chỉ có thể được sử dụng sau khi đã được gọi. Nó chặn cho đến khi luồng nền thoát ra, đảm bảo rằng tất cả dữ liệu trong bộ đệm đã được chuyển sang đường ống
Theo mặc định, nếu một quy trình không phải là người tạo hàng đợi thì khi thoát, nó sẽ cố gắng tham gia luồng nền của hàng đợi. Quá trình có thể gọi để thực hiện không làm gì cả
cancel_join_thread[]Ngăn chặn chặn. Đặc biệt, điều này ngăn luồng nền tự động được nối khi quá trình thoát – xem
Một tên tốt hơn cho phương pháp này có thể là
from multiprocessing import Process def f[name]: print['hello', name] if __name__ == '__main__': p = Process[target=f, args=['bob',]] p.start[] p.join[]55. Nó có khả năng làm mất dữ liệu trong hàng đợi và bạn gần như chắc chắn sẽ không cần sử dụng nó. Nó thực sự chỉ ở đó nếu bạn cần quy trình hiện tại thoát ngay lập tức mà không cần chờ chuyển dữ liệu đã xử lý sang đường ống bên dưới và bạn không quan tâm đến dữ liệu bị mất
Ghi chú
Chức năng của lớp này yêu cầu triển khai semaphore được chia sẻ chức năng trên hệ điều hành máy chủ. Nếu không có, chức năng trong lớp này sẽ bị vô hiệu hóa và cố gắng khởi tạo một sẽ dẫn đến một. Xem bpo-3770 để biết thêm thông tin. Điều này cũng đúng với bất kỳ loại hàng đợi chuyên biệt nào được liệt kê bên dưới
lớp đa xử lý. Queue đơn giảnNó là một loại đơn giản hóa, rất gần với một khóa
đóng[]Đóng hàng đợi. giải phóng nội lực
Một hàng đợi không được sử dụng nữa sau khi nó bị đóng. Ví dụ: và các phương thức không còn được gọi nữa
Mới trong phiên bản 3. 9
trống[]Trả lại
[1, 4, 9]39 nếu hàng đợi trống, ngược lại là
[1, 4, 9]40nhận[]
Xóa và trả lại một mục khỏi hàng đợi
đặt[mục]Đặt mục vào hàng đợi
lớp đa xử lý. JoinableQueue[[kích thước tối đa]], một lớp con, là một hàng đợi có thêm và các phương thức
task_done[]Chỉ ra rằng một nhiệm vụ được xử lý trước đây đã hoàn thành. Được sử dụng bởi người tiêu dùng xếp hàng. Đối với mỗi lần được sử dụng để tìm nạp một tác vụ, một lệnh gọi tiếp theo sẽ thông báo cho hàng đợi rằng quá trình xử lý tác vụ đã hoàn tất
Nếu một hiện đang bị chặn, nó sẽ tiếp tục khi tất cả các mục đã được xử lý [có nghĩa là đã nhận được lệnh gọi cho mọi mục đã được đưa vào hàng đợi]
Tăng nếu được gọi nhiều lần hơn số mục được đặt trong hàng đợi
tham gia[]Chặn cho đến khi tất cả các mục trong hàng đợi đã được nhận và xử lý
Số lượng nhiệm vụ chưa hoàn thành tăng lên bất cứ khi nào một mục được thêm vào hàng đợi. Số lượng giảm xuống bất cứ khi nào người tiêu dùng gọi để cho biết rằng mặt hàng đã được lấy và mọi công việc trên mặt hàng đó đã hoàn tất. Khi số lượng nhiệm vụ chưa hoàn thành giảm xuống 0, hãy bỏ chặn
Điều khoản khác
đa xử lý. active_children[]Trả về danh sách tất cả các phần tử con còn sống của tiến trình hiện tại
Gọi điều này có tác dụng phụ là “tham gia” bất kỳ quy trình nào đã kết thúc
đa xử lý. số lượng cpu[]Trả về số lượng CPU trong hệ thống
Con số này không tương đương với số lượng CPU mà tiến trình hiện tại có thể sử dụng. Số lượng CPU có thể sử dụng có thể thu được với
from multiprocessing import Process def f[name]: print['hello', name] if __name__ == '__main__': p = Process[target=f, args=['bob',]] p.start[] p.join[]77
Khi không xác định được số lượng CPU a được nâng lên
Xem thêm
đa xử lý. current_ process[]Trả về đối tượng tương ứng với quy trình hiện tại
Một chất tương tự của
đa xử lý. parent_process[]Trả về đối tượng tương ứng với tiến trình cha của. Đối với quy trình chính,
from multiprocessing import Process def f[name]: print['hello', name] if __name__ == '__main__': p = Process[target=f, args=['bob',]] p.start[] p.join[]84 sẽ là
[1, 4, 9]33
Mới trong phiên bản 3. 8
đa xử lý. freeze_support[]Thêm hỗ trợ khi chương trình sử dụng đã bị đóng băng để tạo tệp thực thi Windows. [Đã được thử nghiệm với py2exe, PyInstaller và cx_Freeze. ]
Người ta cần gọi hàm này ngay sau dòng
from multiprocessing import Process, Pipe def f[conn]: conn.send[[42, None, 'hello']] conn.close[] if __name__ == '__main__': parent_conn, child_conn = Pipe[] p = Process[target=f, args=[child_conn,]] p.start[] print[parent_conn.recv[]] # prints "[42, None, 'hello']" p.join[]6 của mô-đun chính. Ví dụ
[1, 4, 9]7
Nếu dòng
from multiprocessing import Process def f[name]: print['hello', name] if __name__ == '__main__': p = Process[target=f, args=['bob',]] p.start[] p.join[]88 bị bỏ qua thì việc cố gắng chạy tệp thực thi bị đóng băng sẽ tăng
Gọi
from multiprocessing import Process def f[name]: print['hello', name] if __name__ == '__main__': p = Process[target=f, args=['bob',]] p.start[] p.join[]88 không có tác dụng khi được gọi trên bất kỳ hệ điều hành nào ngoài Windows. Ngoài ra, nếu mô-đun đang được trình thông dịch Python trên Windows chạy bình thường [chương trình chưa bị đóng băng] thì
from multiprocessing import Process def f[name]: print['hello', name] if __name__ == '__main__': p = Process[target=f, args=['bob',]] p.start[] p.join[]88 không có tác dụngđa xử lý. get_all_start_methods[]
Trả về danh sách các phương thức bắt đầu được hỗ trợ, phương thức đầu tiên là mặc định. Các phương pháp bắt đầu có thể là
import multiprocessing as mp def foo[q]: q.put['hello'] if __name__ == '__main__': ctx = mp.get_context['spawn'] q = ctx.Queue[] p = ctx.Process[target=foo, args=[q,]] p.start[] print[q.get[]] p.join[]09,
import multiprocessing as mp def foo[q]: q.put['hello'] if __name__ == '__main__': ctx = mp.get_context['spawn'] q = ctx.Queue[] p = ctx.Process[target=foo, args=[q,]] p.start[] print[q.get[]] p.join[]07 và
import multiprocessing as mp def foo[q]: q.put['hello'] if __name__ == '__main__': ctx = mp.get_context['spawn'] q = ctx.Queue[] p = ctx.Process[target=foo, args=[q,]] p.start[] print[q.get[]] p.join[]08. Trên Windows chỉ có
import multiprocessing as mp def foo[q]: q.put['hello'] if __name__ == '__main__': ctx = mp.get_context['spawn'] q = ctx.Queue[] p = ctx.Process[target=foo, args=[q,]] p.start[] print[q.get[]] p.join[]07. Trên Unix,
import multiprocessing as mp def foo[q]: q.put['hello'] if __name__ == '__main__': ctx = mp.get_context['spawn'] q = ctx.Queue[] p = ctx.Process[target=foo, args=[q,]] p.start[] print[q.get[]] p.join[]09 và
import multiprocessing as mp def foo[q]: q.put['hello'] if __name__ == '__main__': ctx = mp.get_context['spawn'] q = ctx.Queue[] p = ctx.Process[target=foo, args=[q,]] p.start[] print[q.get[]] p.join[]07 luôn được hỗ trợ, với
import multiprocessing as mp def foo[q]: q.put['hello'] if __name__ == '__main__': ctx = mp.get_context['spawn'] q = ctx.Queue[] p = ctx.Process[target=foo, args=[q,]] p.start[] print[q.get[]] p.join[]09 là mặc định
Mới trong phiên bản 3. 4
đa xử lý. get_context[phương thức=Không]Trả về một đối tượng ngữ cảnh có cùng thuộc tính với mô-đun
Nếu phương thức là
[1, 4, 9]33 thì ngữ cảnh mặc định được trả về. Nếu không thì phương thức phải là
import multiprocessing as mp def foo[q]: q.put['hello'] if __name__ == '__main__': ctx = mp.get_context['spawn'] q = ctx.Queue[] p = ctx.Process[target=foo, args=[q,]] p.start[] print[q.get[]] p.join[]09,
import multiprocessing as mp def foo[q]: q.put['hello'] if __name__ == '__main__': ctx = mp.get_context['spawn'] q = ctx.Queue[] p = ctx.Process[target=foo, args=[q,]] p.start[] print[q.get[]] p.join[]07,
import multiprocessing as mp def foo[q]: q.put['hello'] if __name__ == '__main__': ctx = mp.get_context['spawn'] q = ctx.Queue[] p = ctx.Process[target=foo, args=[q,]] p.start[] print[q.get[]] p.join[]08. được nâng lên nếu phương thức bắt đầu được chỉ định không khả dụng
Mới trong phiên bản 3. 4
đa xử lý. get_start_method[allow_none=Sai]Trả về tên của phương thức bắt đầu được sử dụng để bắt đầu các quy trình
Nếu phương thức bắt đầu chưa được sửa và allow_none là sai, thì phương thức bắt đầu được sửa thành mặc định và tên được trả về. Nếu phương thức bắt đầu chưa được sửa và allow_none là đúng thì trả về
[1, 4, 9]33
Giá trị trả về có thể là
import multiprocessing as mp def foo[q]: q.put['hello'] if __name__ == '__main__': ctx = mp.get_context['spawn'] q = ctx.Queue[] p = ctx.Process[target=foo, args=[q,]] p.start[] print[q.get[]] p.join[]09,
import multiprocessing as mp def foo[q]: q.put['hello'] if __name__ == '__main__': ctx = mp.get_context['spawn'] q = ctx.Queue[] p = ctx.Process[target=foo, args=[q,]] p.start[] print[q.get[]] p.join[]07,
import multiprocessing as mp def foo[q]: q.put['hello'] if __name__ == '__main__': ctx = mp.get_context['spawn'] q = ctx.Queue[] p = ctx.Process[target=foo, args=[q,]] p.start[] print[q.get[]] p.join[]08 hoặc
[1, 4, 9]33.
import multiprocessing as mp def foo[q]: q.put['hello'] if __name__ == '__main__': ctx = mp.get_context['spawn'] q = ctx.Queue[] p = ctx.Process[target=foo, args=[q,]] p.start[] print[q.get[]] p.join[]09 là mặc định trên Unix, trong khi
import multiprocessing as mp def foo[q]: q.put['hello'] if __name__ == '__main__': ctx = mp.get_context['spawn'] q = ctx.Queue[] p = ctx.Process[target=foo, args=[q,]] p.start[] print[q.get[]] p.join[]07 là mặc định trên Windows và macOS
Đã thay đổi trong phiên bản 3. 8. Trên macOS, phương thức bắt đầu sinh sản hiện là mặc định. Phương pháp bắt đầu ngã ba nên được coi là không an toàn vì nó có thể dẫn đến sự cố của quy trình con. Xem bpo-33725.
Mới trong phiên bản 3. 4
đa xử lý. set_executable[có thể thực thi]Đặt đường dẫn của trình thông dịch Python để sử dụng khi bắt đầu tiến trình con. [Theo mặc định được sử dụng]. Embedders có thể sẽ cần phải làm một cái gì đó như
[1, 4, 9]8
trước khi họ có thể tạo các tiến trình con
Đã thay đổi trong phiên bản 3. 4. Hiện được hỗ trợ trên Unix khi sử dụng phương thức khởi động
import multiprocessing as mp def foo[q]: q.put['hello'] if __name__ == '__main__': ctx = mp.get_context['spawn'] q = ctx.Queue[] p = ctx.Process[target=foo, args=[q,]] p.start[] print[q.get[]] p.join[]07.
Đã thay đổi trong phiên bản 3. 11. Chấp nhận một.
đa xử lý. set_start_method[phương thức , lực lượng=False]Đặt phương thức sẽ được sử dụng để bắt đầu các tiến trình con. Đối số phương thức có thể là
import multiprocessing as mp def foo[q]: q.put['hello'] if __name__ == '__main__': ctx = mp.get_context['spawn'] q = ctx.Queue[] p = ctx.Process[target=foo, args=[q,]] p.start[] print[q.get[]] p.join[]09,
import multiprocessing as mp def foo[q]: q.put['hello'] if __name__ == '__main__': ctx = mp.get_context['spawn'] q = ctx.Queue[] p = ctx.Process[target=foo, args=[q,]] p.start[] print[q.get[]] p.join[]07 hoặc
import multiprocessing as mp def foo[q]: q.put['hello'] if __name__ == '__main__': ctx = mp.get_context['spawn'] q = ctx.Queue[] p = ctx.Process[target=foo, args=[q,]] p.start[] print[q.get[]] p.join[]08. Tăng nếu phương pháp bắt đầu đã được thiết lập và lực lượng không phải là
[1, 4, 9]39. Nếu phương thức là
[1, 4, 9]33 và lực lượng là
[1, 4, 9]39 thì phương thức bắt đầu được đặt thành
[1, 4, 9]33. Nếu phương thức là
[1, 4, 9]33 và lực lượng là
[1, 4, 9]40 thì bối cảnh được đặt thành bối cảnh mặc định
Lưu ý rằng điều này nên được gọi nhiều nhất một lần và nó phải được bảo vệ bên trong mệnh đề
from multiprocessing import Process, Pipe def f[conn]: conn.send[[42, None, 'hello']] conn.close[] if __name__ == '__main__': parent_conn, child_conn = Pipe[] p = Process[target=f, args=[child_conn,]] p.start[] print[parent_conn.recv[]] # prints "[42, None, 'hello']" p.join[]6 của mô-đun chính
Mới trong phiên bản 3. 4
Ghi chú
không chứa tương tự của , , , , hoặc
Đối tượng kết nối
Các đối tượng kết nối cho phép gửi và nhận các đối tượng hoặc chuỗi có thể chọn. Chúng có thể được coi là ổ cắm được kết nối theo định hướng thông báo
Các đối tượng kết nối thường được tạo bằng cách sử dụng – xem thêm
lớp đa xử lý. sự liên quan. Kết nốigửi[obj]Gửi một đối tượng đến đầu kia của kết nối sẽ được đọc bằng cách sử dụng
Đối tượng phải được picklable. Dưa chua rất lớn [khoảng 32 MiB+, mặc dù nó phụ thuộc vào hệ điều hành] có thể gây ra ngoại lệ
recv[]Trả lại một đối tượng được gửi từ đầu kia của kết nối bằng cách sử dụng. Chặn cho đến khi có thứ gì đó để nhận. Tăng nếu không còn gì để nhận và đầu kia đã đóng
fileno[]Trả lại bộ mô tả tệp hoặc tay cầm được sử dụng bởi kết nối
đóng[]Đóng kết nối
Điều này được gọi tự động khi kết nối được thu gom rác
thăm dò ý kiến[[hết thời gian]]Trả về xem có bất kỳ dữ liệu nào có sẵn để đọc không
Nếu thời gian chờ không được chỉ định thì nó sẽ quay lại ngay lập tức. Nếu thời gian chờ là một số thì số này chỉ định thời gian tối đa tính bằng giây để chặn. Nếu thời gian chờ là
[1, 4, 9]33 thì thời gian chờ vô hạn được sử dụng
Lưu ý rằng nhiều đối tượng kết nối có thể được thăm dò cùng một lúc bằng cách sử dụng
send_bytes[bộ đệm[ , offset[, size]]]Gửi dữ liệu byte từ a dưới dạng một tin nhắn hoàn chỉnh
Nếu offset được đưa ra thì dữ liệu được đọc từ vị trí đó trong bộ đệm. Nếu kích thước được đưa ra thì nhiều byte sẽ được đọc từ bộ đệm. Bộ đệm rất lớn [khoảng 32 MiB+, mặc dù nó phụ thuộc vào HĐH] có thể gây ra ngoại lệ
recv_byte[[độ dài tối đa]]Trả về một thông báo đầy đủ về dữ liệu byte được gửi từ đầu kia của kết nối dưới dạng chuỗi. Chặn cho đến khi có thứ gì đó để nhận. Tăng nếu không còn gì để nhận và đầu kia đã đóng
Nếu độ dài tối đa được chỉ định và thông báo dài hơn độ dài tối đa thì sẽ được nâng lên và kết nối sẽ không thể đọc được nữa
Đã thay đổi trong phiên bản 3. 3. Hàm này được sử dụng để tăng , hiện là bí danh của.
recv_bytes_into[bộ đệm[ , offset]]Đọc vào bộ đệm một thông báo đầy đủ về dữ liệu byte được gửi từ đầu kia của kết nối và trả về số byte trong thông báo. Chặn cho đến khi có thứ gì đó để nhận. Tăng nếu không còn gì để nhận và đầu kia đã đóng
bộ đệm phải là một bộ đệm có thể ghi. Nếu offset được đưa ra thì thông báo sẽ được ghi vào bộ đệm từ vị trí đó. Độ lệch phải là một số nguyên không âm nhỏ hơn độ dài của bộ đệm [tính bằng byte]
Nếu bộ đệm quá ngắn thì một ngoại lệ
[1, 4, 9]87 sẽ được đưa ra và thông báo hoàn chỉnh có sẵn dưới dạng
[1, 4, 9]88 trong đó
[1, 4, 9]86 là trường hợp ngoại lệ
Đã thay đổi trong phiên bản 3. 3. Bản thân các đối tượng kết nối giờ đây có thể được chuyển giữa các quy trình bằng cách sử dụng và.
Mới trong phiên bản 3. 3. Các đối tượng kết nối hiện hỗ trợ giao thức quản lý ngữ cảnh – xem. trả về đối tượng kết nối và gọi.
Ví dụ
[1, 4, 9]9
Cảnh báo
Phương pháp này tự động giải mã dữ liệu mà nó nhận được, đây có thể là rủi ro bảo mật trừ khi bạn có thể tin tưởng vào quy trình đã gửi tin nhắn
Do đó, trừ khi đối tượng kết nối được tạo bằng cách sử dụng
import multiprocessing as mp def foo[q]: q.put['hello'] if __name__ == '__main__': ctx = mp.get_context['spawn'] q = ctx.Queue[] p = ctx.Process[target=foo, args=[q,]] p.start[] print[q.get[]] p.join[]53, bạn chỉ nên sử dụng các phương thức và sau khi thực hiện một số loại xác thực. Nhìn thấy
Cảnh báo
Nếu một quá trình bị giết trong khi nó đang cố đọc hoặc ghi vào một đường dẫn thì dữ liệu trong đường dẫn đó có khả năng bị hỏng, vì có thể không thể chắc chắn ranh giới của thông báo nằm ở đâu
nguyên thủy đồng bộ hóa
Nói chung, các nguyên hàm đồng bộ hóa không cần thiết trong chương trình đa xử lý như trong chương trình đa luồng. Xem tài liệu cho mô-đun
Lưu ý rằng người ta cũng có thể tạo các nguyên hàm đồng bộ hóa bằng cách sử dụng đối tượng trình quản lý - xem
lớp đa xử lý. Rào cản[các bên[ , action[, timeout]]]Đối tượng rào cản. một bản sao của
Mới trong phiên bản 3. 3
lớp đa xử lý. BoundedSemaphore[[giá trị]]Một đối tượng semaphore giới hạn. một tương tự gần gũi của
Một sự khác biệt duy nhất từ tương tự gần của nó tồn tại. đối số đầu tiên của phương thức
from multiprocessing import Process import os def info[title]: print[title] print['module name:', __name__] print['parent process:', os.getppid[]] print['process id:', os.getpid[]] def f[name]: info['function f'] print['hello', name] if __name__ == '__main__': info['main line'] p = Process[target=f, args=['bob',]] p.start[] p.join[]60 của nó được đặt tên là khối, phù hợp với
Ghi chú
Trên macOS, điều này không thể phân biệt được vì
from multiprocessing import Process def f[name]: print['hello', name] if __name__ == '__main__': p = Process[target=f, args=['bob',]] p.start[] p.join[]27 không được triển khai trên nền tảng đólớp đa xử lý. Điều kiện[[khóa]]
Biến điều kiện. một bí danh cho
Nếu lock được chỉ định thì nó phải là một hoặc đối tượng từ
Đã thay đổi trong phiên bản 3. 3. Phương thức đã được thêm vào.
lớp đa xử lý. Sự kiệnmột bản sao của
lớp đa xử lý. KhóaMột đối tượng khóa không đệ quy. một tương tự gần gũi của. Khi một quy trình hoặc luồng đã nhận được khóa, các nỗ lực tiếp theo để lấy khóa đó từ bất kỳ quy trình hoặc luồng nào sẽ bị chặn cho đến khi khóa được giải phóng; . Các khái niệm và hành vi khi nó áp dụng cho các luồng được sao chép ở đây giống như khi nó áp dụng cho các quy trình hoặc luồng, ngoại trừ như đã lưu ý
Lưu ý rằng đó thực sự là một chức năng xuất xưởng trả về một thể hiện của
from multiprocessing import Process import os def info[title]: print[title] print['module name:', __name__] print['parent process:', os.getppid[]] print['process id:', os.getpid[]] def f[name]: info['function f'] print['hello', name] if __name__ == '__main__': info['main line'] p = Process[target=f, args=['bob',]] p.start[] p.join[]74 được khởi tạo với ngữ cảnh mặc định
hỗ trợ giao thức và do đó có thể được sử dụng trong các câu lệnh
mua lại[chặn=Đúng, timeout=None]Nhận khóa, chặn hoặc không chặn
Với đối số khối được đặt thành
[1, 4, 9]39 [mặc định], lệnh gọi phương thức sẽ chặn cho đến khi khóa ở trạng thái mở khóa, sau đó đặt thành bị khóa và trả về
[1, 4, 9]39. Lưu ý rằng tên của đối số đầu tiên này khác với tên trong
Với đối số khối được đặt thành
[1, 4, 9]40, lệnh gọi phương thức không chặn. Nếu khóa hiện đang ở trạng thái khóa, hãy trả lại
[1, 4, 9]40;
Khi được gọi với giá trị dương, dấu chấm động cho thời gian chờ, hãy chặn tối đa số giây được chỉ định theo thời gian chờ miễn là không thể lấy được khóa. Các yêu cầu có giá trị âm cho thời gian chờ tương đương với thời gian chờ bằng 0. Các yêu cầu có giá trị thời gian chờ là
[1, 4, 9]33 [mặc định] đặt khoảng thời gian chờ thành vô hạn. Lưu ý rằng việc xử lý các giá trị âm hoặc
[1, 4, 9]33 cho thời gian chờ khác với hành vi được triển khai trong. Đối số thời gian chờ không có ý nghĩa thực tế nếu đối số khối được đặt thành
[1, 4, 9]40 và do đó bị bỏ qua. Trả về
[1, 4, 9]39 nếu đã lấy được khóa hoặc
[1, 4, 9]40 nếu hết thời gian chờphát hành[]
Phát hành một khóa. Điều này có thể được gọi từ bất kỳ quy trình hoặc luồng nào, không chỉ quy trình hoặc luồng ban đầu có khóa
Hành vi giống như ngoại trừ khi được gọi trên khóa đã mở khóa, a được nâng lên
lớp đa xử lý. RLockMột đối tượng khóa đệ quy. một tương tự gần gũi của. Khóa đệ quy phải được giải phóng bởi quy trình hoặc luồng đã nhận được nó. Khi một quy trình hoặc luồng đã nhận được khóa đệ quy, cùng một quy trình hoặc luồng đó có thể lấy lại nó mà không bị chặn;
Lưu ý rằng đó thực sự là một hàm xuất xưởng trả về một thể hiện của
from multiprocessing import Process import os def info[title]: print[title] print['module name:', __name__] print['parent process:', os.getppid[]] print['process id:', os.getpid[]] def f[name]: info['function f'] print['hello', name] if __name__ == '__main__': info['main line'] p = Process[target=f, args=['bob',]] p.start[] p.join[]93 được khởi tạo với ngữ cảnh mặc định
hỗ trợ giao thức và do đó có thể được sử dụng trong các câu lệnh
mua lại[chặn=Đúng, timeout=None]Nhận khóa, chặn hoặc không chặn
Khi được gọi với đối số khối được đặt thành
[1, 4, 9]39, hãy chặn cho đến khi khóa ở trạng thái không khóa [không thuộc sở hữu của bất kỳ quy trình hoặc luồng nào] trừ khi khóa đã được sở hữu bởi quy trình hoặc luồng hiện tại. Sau đó, quy trình hoặc luồng hiện tại sẽ có quyền sở hữu khóa [nếu nó chưa có quyền sở hữu] và mức đệ quy bên trong khóa tăng thêm một, dẫn đến giá trị trả về là
[1, 4, 9]39. Lưu ý rằng có một số khác biệt trong hành vi của đối số đầu tiên này so với việc triển khai , bắt đầu từ tên của chính đối số đó
Khi được gọi với đối số khối được đặt thành
[1, 4, 9]40, không chặn. Nếu khóa đã được mua [và do đó được sở hữu] bởi một quy trình hoặc luồng khác, thì quy trình hoặc luồng hiện tại không có quyền sở hữu và mức đệ quy trong khóa không bị thay đổi, dẫn đến giá trị trả về là
[1, 4, 9]40. Nếu khóa ở trạng thái không khóa, quy trình hoặc luồng hiện tại sẽ có quyền sở hữu và mức đệ quy được tăng lên, dẫn đến giá trị trả về là
[1, 4, 9]39
Việc sử dụng và hành vi của đối số hết thời gian chờ giống như trong. Lưu ý rằng một số hành vi hết thời gian chờ này khác với các hành vi được triển khai trong
phát hành[]Phát hành khóa, giảm mức đệ quy. Nếu sau khi giảm, mức đệ quy bằng 0, hãy đặt lại khóa thành mở khóa [không thuộc sở hữu của bất kỳ quy trình hoặc luồng nào] và nếu bất kỳ quy trình hoặc luồng nào khác bị chặn chờ khóa được mở khóa, hãy cho phép chính xác một trong số chúng tiếp tục. Nếu sau khi giảm, mức đệ quy vẫn khác không, thì khóa vẫn bị khóa và thuộc sở hữu của quy trình gọi hoặc luồng
Chỉ gọi phương thức này khi quá trình gọi hoặc luồng sở hữu khóa. An được nâng lên nếu phương thức này được gọi bởi một quy trình hoặc luồng không phải là chủ sở hữu hoặc nếu khóa ở trạng thái đã mở khóa [không có chủ sở hữu]. Lưu ý rằng loại ngoại lệ được đưa ra trong tình huống này khác với hành vi được triển khai trong
lớp đa xử lý. Semaphore[[giá trị]]Một đối tượng semaphore. một tương tự gần gũi của
Một sự khác biệt duy nhất từ tương tự gần của nó tồn tại. đối số đầu tiên của phương thức
from multiprocessing import Process import os def info[title]: print[title] print['module name:', __name__] print['parent process:', os.getppid[]] print['process id:', os.getpid[]] def f[name]: info['function f'] print['hello', name] if __name__ == '__main__': info['main line'] p = Process[target=f, args=['bob',]] p.start[] p.join[]60 của nó được đặt tên là khối, phù hợp với
Ghi chú
Trên macOS,
import multiprocessing as mp def foo[q]: q.put['hello'] if __name__ == '__main__': mp.set_start_method['spawn'] q = mp.Queue[] p = mp.Process[target=foo, args=[q,]] p.start[] print[q.get[]] p.join[]09 không được hỗ trợ, vì vậy, việc gọi
import multiprocessing as mp def foo[q]: q.put['hello'] if __name__ == '__main__': mp.set_start_method['spawn'] q = mp.Queue[] p = mp.Process[target=foo, args=[q,]] p.start[] print[q.get[]] p.join[]10 khi hết thời gian chờ sẽ mô phỏng hành vi của chức năng đó bằng cách sử dụng vòng lặp ngủ
Ghi chú
Nếu tín hiệu SIGINT do Ctrl-C tạo ra đến trong khi luồng chính bị chặn bởi lệnh gọi tới
import multiprocessing as mp def foo[q]: q.put['hello'] if __name__ == '__main__': mp.set_start_method['spawn'] q = mp.Queue[] p = mp.Process[target=foo, args=[q,]] p.start[] print[q.get[]] p.join[]11, , ,
import multiprocessing as mp def foo[q]: q.put['hello'] if __name__ == '__main__': mp.set_start_method['spawn'] q = mp.Queue[] p = mp.Process[target=foo, args=[q,]] p.start[] print[q.get[]] p.join[]14,
import multiprocessing as mp def foo[q]: q.put['hello'] if __name__ == '__main__': mp.set_start_method['spawn'] q = mp.Queue[] p = mp.Process[target=foo, args=[q,]] p.start[] print[q.get[]] p.join[]15 hoặc
import multiprocessing as mp def foo[q]: q.put['hello'] if __name__ == '__main__': mp.set_start_method['spawn'] q = mp.Queue[] p = mp.Process[target=foo, args=[q,]] p.start[] print[q.get[]] p.join[]16 thì lệnh gọi đó sẽ bị gián đoạn ngay lập tức và sẽ được nâng lên
Điều này khác với hành vi trong đó SIGINT sẽ bị bỏ qua trong khi các cuộc gọi chặn tương đương đang diễn ra
Ghi chú
Một số chức năng của gói này yêu cầu triển khai semaphore được chia sẻ chức năng trên hệ điều hành máy chủ. Nếu không có, mô-đun
import multiprocessing as mp def foo[q]: q.put['hello'] if __name__ == '__main__': mp.set_start_method['spawn'] q = mp.Queue[] p = mp.Process[target=foo, args=[q,]] p.start[] print[q.get[]] p.join[]19 sẽ bị vô hiệu hóa và cố gắng nhập nó sẽ dẫn đến lỗi. Xem bpo-3770 để biết thêm thông tin
Đối tượng được chia sẻ
Có thể tạo các đối tượng dùng chung bằng bộ nhớ dùng chung có thể được kế thừa bởi các tiến trình con
đa xử lý. Giá trị[typecode_or_type , *args, lock=True]Trả về một đối tượng được phân bổ từ bộ nhớ dùng chung. Theo mặc định, giá trị trả về thực sự là một trình bao bọc được đồng bộ hóa cho đối tượng. Bản thân đối tượng có thể được truy cập thông qua thuộc tính giá trị của một
typecode_or_type xác định loại đối tượng được trả về. nó là kiểu ctypes hoặc kiểu mã một ký tự thuộc loại được sử dụng bởi mô-đun. *args được chuyển đến hàm tạo cho loại
Nếu khóa là
[1, 4, 9]39 [mặc định] thì một đối tượng khóa đệ quy mới được tạo để đồng bộ hóa quyền truy cập vào giá trị. Nếu lock là một đối tượng hoặc thì nó sẽ được sử dụng để đồng bộ hóa quyền truy cập vào giá trị. Nếu khóa là
[1, 4, 9]40 thì quyền truy cập vào đối tượng được trả về sẽ không được khóa tự động bảo vệ, vì vậy nó không nhất thiết phải là “quy trình an toàn”
Các hoạt động như
import multiprocessing as mp def foo[q]: q.put['hello'] if __name__ == '__main__': mp.set_start_method['spawn'] q = mp.Queue[] p = mp.Process[target=foo, args=[q,]] p.start[] print[q.get[]] p.join[]29 liên quan đến đọc và viết không phải là nguyên tử. Vì vậy, nếu, ví dụ, bạn muốn tăng nguyên tử một giá trị được chia sẻ thì không đủ để làm
from multiprocessing import Process def f[name]: print['hello', name] if __name__ == '__main__': p = Process[target=f, args=['bob',]] p.start[] p.join[]0
Giả sử khóa được liên kết là đệ quy [theo mặc định], thay vào đó, bạn có thể làm
from multiprocessing import Process def f[name]: print['hello', name] if __name__ == '__main__': p = Process[target=f, args=['bob',]] p.start[] p.join[]1
Lưu ý rằng khóa là đối số chỉ có từ khóa
đa xử lý. Mảng[typecode_or_type , size_or_initializer, *, lock=True]Trả về một mảng ctypes được phân bổ từ bộ nhớ dùng chung. Theo mặc định, giá trị trả về thực sự là một trình bao bọc được đồng bộ hóa cho mảng
typecode_or_type xác định loại phần tử của mảng được trả về. nó là kiểu ctypes hoặc kiểu mã một ký tự thuộc loại được sử dụng bởi mô-đun. Nếu size_or_initializer là một số nguyên, thì nó xác định độ dài của mảng và ban đầu mảng sẽ bằng 0. Mặt khác, size_or_initializer là một chuỗi được sử dụng để khởi tạo mảng và độ dài của nó xác định độ dài của mảng
Nếu khóa là
[1, 4, 9]39 [mặc định] thì một đối tượng khóa mới được tạo để đồng bộ hóa quyền truy cập vào giá trị. Nếu lock là một đối tượng hoặc thì nó sẽ được sử dụng để đồng bộ hóa quyền truy cập vào giá trị. Nếu khóa là
[1, 4, 9]40 thì quyền truy cập vào đối tượng được trả về sẽ không được khóa tự động bảo vệ, vì vậy nó không nhất thiết phải là “quy trình an toàn”
Lưu ý rằng khóa chỉ là một đối số từ khóa
Lưu ý rằng một mảng có thuộc tính giá trị và thô cho phép một người sử dụng nó để lưu trữ và truy xuất chuỗi
mô-đun
Mô-đun này cung cấp các chức năng cấp phát đối tượng từ bộ nhớ dùng chung có thể được kế thừa bởi các tiến trình con
Ghi chú
Mặc dù có thể lưu trữ một con trỏ trong bộ nhớ dùng chung, hãy nhớ rằng con trỏ này sẽ đề cập đến một vị trí trong không gian địa chỉ của một quy trình cụ thể. Tuy nhiên, con trỏ rất có thể không hợp lệ trong ngữ cảnh của quy trình thứ hai và việc cố gắng hủy đăng ký con trỏ khỏi quy trình thứ hai có thể gây ra sự cố
đa xử lý. sharedctypes. RawArray[typecode_or_type , size_or_initializer]Trả về một mảng ctypes được phân bổ từ bộ nhớ dùng chung
typecode_or_type xác định loại phần tử của mảng được trả về. nó là kiểu ctypes hoặc kiểu mã một ký tự thuộc loại được sử dụng bởi mô-đun. Nếu size_or_initializer là một số nguyên thì nó xác định độ dài của mảng và ban đầu mảng sẽ bằng 0. Mặt khác, size_or_initializer là một chuỗi được sử dụng để khởi tạo mảng và độ dài của nó xác định độ dài của mảng
Lưu ý rằng cài đặt và nhận một phần tử có khả năng không phải là nguyên tử – thay vào đó, hãy sử dụng để đảm bảo rằng quyền truy cập được tự động đồng bộ hóa bằng cách sử dụng khóa
đa xử lý. sharedctypes. Giá trị thô[typecode_or_type , *args]Trả về một đối tượng ctypes được phân bổ từ bộ nhớ dùng chung
typecode_or_type xác định loại đối tượng được trả về. nó là kiểu ctypes hoặc kiểu mã một ký tự thuộc loại được sử dụng bởi mô-đun. *args được chuyển đến hàm tạo cho loại
Lưu ý rằng cài đặt và nhận giá trị có khả năng không phải là nguyên tử – thay vào đó, hãy sử dụng để đảm bảo rằng quyền truy cập được tự động đồng bộ hóa bằng cách sử dụng khóa
Lưu ý rằng một mảng có các thuộc tính
import multiprocessing as mp def foo[q]: q.put['hello'] if __name__ == '__main__': mp.set_start_method['spawn'] q = mp.Queue[] p = mp.Process[target=foo, args=[q,]] p.start[] print[q.get[]] p.join[]44 và
import multiprocessing as mp def foo[q]: q.put['hello'] if __name__ == '__main__': mp.set_start_method['spawn'] q = mp.Queue[] p = mp.Process[target=foo, args=[q,]] p.start[] print[q.get[]] p.join[]45 cho phép một người sử dụng nó để lưu trữ và truy xuất các chuỗi – xem tài liệu vềđa xử lý. sharedctypes. Mảng[typecode_or_type , size_or_initializer, *, lock=True]
Giống như ngoại trừ tùy thuộc vào giá trị của khóa, trình bao bọc đồng bộ hóa an toàn cho quy trình có thể được trả về thay vì một mảng ctypes thô
Nếu khóa là
[1, 4, 9]39 [mặc định] thì một đối tượng khóa mới được tạo để đồng bộ hóa quyền truy cập vào giá trị. Nếu lock là một đối tượng hoặc thì nó sẽ được sử dụng để đồng bộ hóa quyền truy cập vào giá trị. Nếu khóa là
[1, 4, 9]40 thì quyền truy cập vào đối tượng được trả về sẽ không được khóa tự động bảo vệ, vì vậy nó không nhất thiết phải là “quy trình an toàn”
Lưu ý rằng khóa là đối số chỉ có từ khóa
đa xử lý. sharedctypes. Giá trị[typecode_or_type , *args, lock=True]Giống như ngoại trừ tùy thuộc vào giá trị của khóa, trình bao bọc đồng bộ hóa an toàn cho quy trình có thể được trả về thay vì đối tượng ctypes thô
Nếu khóa là
[1, 4, 9]39 [mặc định] thì một đối tượng khóa mới được tạo để đồng bộ hóa quyền truy cập vào giá trị. Nếu lock là một đối tượng hoặc thì nó sẽ được sử dụng để đồng bộ hóa quyền truy cập vào giá trị. Nếu khóa là
[1, 4, 9]40 thì quyền truy cập vào đối tượng được trả về sẽ không được khóa tự động bảo vệ, vì vậy nó không nhất thiết phải là “quy trình an toàn”
Lưu ý rằng khóa là đối số chỉ có từ khóa
đa xử lý. sharedctypes. bản sao[obj]Trả về đối tượng ctypes được cấp phát từ bộ nhớ dùng chung, đây là bản sao của đối tượng ctypes obj
đa xử lý. sharedctypes. đồng bộ[obj[ , lock]]Trả về một đối tượng trình bao an toàn cho một đối tượng ctypes sử dụng khóa để đồng bộ hóa quyền truy cập. Nếu khóa là
[1, 4, 9]33 [mặc định] thì một đối tượng được tạo tự động
Một trình bao bọc được đồng bộ hóa sẽ có hai phương thức ngoài các phương thức của đối tượng mà nó bao bọc.
import multiprocessing as mp def foo[q]: q.put['hello'] if __name__ == '__main__': mp.set_start_method['spawn'] q = mp.Queue[] p = mp.Process[target=foo, args=[q,]] p.start[] print[q.get[]] p.join[]59 trả về đối tượng được bọc và
import multiprocessing as mp def foo[q]: q.put['hello'] if __name__ == '__main__': mp.set_start_method['spawn'] q = mp.Queue[] p = mp.Process[target=foo, args=[q,]] p.start[] print[q.get[]] p.join[]60 trả về đối tượng khóa được sử dụng để đồng bộ hóa
Lưu ý rằng việc truy cập đối tượng ctypes thông qua trình bao bọc có thể chậm hơn rất nhiều so với truy cập đối tượng ctypes thô
Đã thay đổi trong phiên bản 3. 5. Các đối tượng được đồng bộ hóa hỗ trợ giao thức.
Bảng bên dưới so sánh cú pháp tạo các đối tượng ctypes dùng chung từ bộ nhớ dùng chung với cú pháp ctypes thông thường. [Trong bảng
import multiprocessing as mp def foo[q]: q.put['hello'] if __name__ == '__main__': mp.set_start_method['spawn'] q = mp.Queue[] p = mp.Process[target=foo, args=[q,]] p.start[] print[q.get[]] p.join[]61 là một số phân lớp của. ]
ctypes
sharedctypes sử dụng loại
sharedctypes sử dụng mã kiểu
c_double[2. 4]
RawValue[c_double, 2. 4]
RawValue['d', 2. 4]
Cấu trúc của tôi[4, 6]
RawValue[MyStruct, 4, 6]
[c_short * 7][]
RawArray[c_short, 7]
RawArray['h', 7]
[c_int * 3][9, 2, 8]
RawArray[c_int, [9, 2, 8]]
RawArray['i', [9, 2, 8]]
Dưới đây là một ví dụ trong đó một số đối tượng ctypes được sửa đổi bởi một tiến trình con
from multiprocessing import Process def f[name]: print['hello', name] if __name__ == '__main__': p = Process[target=f, args=['bob',]] p.start[] p.join[]2
Kết quả in ra là
from multiprocessing import Process def f[name]: print['hello', name] if __name__ == '__main__': p = Process[target=f, args=['bob',]] p.start[] p.join[]3
quản lý
Trình quản lý cung cấp cách tạo dữ liệu có thể được chia sẻ giữa các quy trình khác nhau, bao gồm chia sẻ qua mạng giữa các quy trình chạy trên các máy khác nhau. Một đối tượng người quản lý điều khiển một quy trình máy chủ quản lý các đối tượng được chia sẻ. Các quy trình khác có thể truy cập các đối tượng được chia sẻ bằng cách sử dụng proxy
đa xử lý. Người quản lý[]Trả về một đối tượng đã bắt đầu có thể được sử dụng để chia sẻ các đối tượng giữa các quy trình. Đối tượng trình quản lý được trả về tương ứng với một tiến trình con được sinh ra và có các phương thức sẽ tạo các đối tượng được chia sẻ và trả về các proxy tương ứng
Các quy trình quản lý sẽ bị tắt ngay khi chúng được thu gom rác hoặc quy trình mẹ của chúng thoát ra. Các lớp quản lý được định nghĩa trong mô-đun
lớp đa xử lý. quản lý. Trình quản lý cơ sở[địa chỉ=Không có . 0, authkey=None, serializer='pickle', ctx=None, *, shutdown_timeout=1.0]Tạo đối tượng BaseManager
Sau khi tạo, người ta nên gọi hoặc
import multiprocessing as mp def foo[q]: q.put['hello'] if __name__ == '__main__': mp.set_start_method['spawn'] q = mp.Queue[] p = mp.Process[target=foo, args=[q,]] p.start[] print[q.get[]] p.join[]66 để đảm bảo rằng đối tượng người quản lý đề cập đến quy trình người quản lý đã bắt đầu
address là địa chỉ mà quá trình quản lý lắng nghe các kết nối mới. Nếu địa chỉ là
[1, 4, 9]33 thì một địa chỉ tùy ý được chọn
authkey là khóa xác thực sẽ được sử dụng để kiểm tra tính hợp lệ của các kết nối đến quy trình máy chủ. Nếu authkey là
[1, 4, 9]33 thì
import multiprocessing as mp def foo[q]: q.put['hello'] if __name__ == '__main__': mp.set_start_method['spawn'] q = mp.Queue[] p = mp.Process[target=foo, args=[q,]] p.start[] print[q.get[]] p.join[]69 được sử dụng. Nếu không thì authkey được sử dụng và nó phải là một chuỗi byte
bộ nối tiếp phải là
import multiprocessing as mp def foo[q]: q.put['hello'] if __name__ == '__main__': mp.set_start_method['spawn'] q = mp.Queue[] p = mp.Process[target=foo, args=[q,]] p.start[] print[q.get[]] p.join[]70 [sử dụng tuần tự hóa] hoặc
import multiprocessing as mp def foo[q]: q.put['hello'] if __name__ == '__main__': mp.set_start_method['spawn'] q = mp.Queue[] p = mp.Process[target=foo, args=[q,]] p.start[] print[q.get[]] p.join[]72 [sử dụng tuần tự hóa]
ctx là một đối tượng ngữ cảnh hoặc
[1, 4, 9]33 [sử dụng ngữ cảnh hiện tại]. Xem hàm
import multiprocessing as mp def foo[q]: q.put['hello'] if __name__ == '__main__': ctx = mp.get_context['spawn'] q = ctx.Queue[] p = ctx.Process[target=foo, args=[q,]] p.start[] print[q.get[]] p.join[]05
shutdown_timeout là thời gian chờ tính bằng giây được sử dụng để đợi cho đến khi quá trình được người quản lý sử dụng hoàn tất trong phương thức. Nếu hết thời gian tắt máy, quá trình kết thúc. Nếu kết thúc quá trình cũng hết thời gian, quá trình bị hủy
Đã thay đổi trong phiên bản 3. 11. Đã thêm tham số shutdown_timeout.
start[[trình khởi tạo[, initargs]]]Bắt đầu một quy trình con để khởi động trình quản lý. Nếu bộ khởi tạo không phải là
[1, 4, 9]33 thì quy trình con sẽ gọi
import multiprocessing as mp def foo[q]: q.put['hello'] if __name__ == '__main__': mp.set_start_method['spawn'] q = mp.Queue[] p = mp.Process[target=foo, args=[q,]] p.start[] print[q.get[]] p.join[]78 khi nó bắt đầuget_server[]
Trả về một đối tượng
import multiprocessing as mp def foo[q]: q.put['hello'] if __name__ == '__main__': mp.set_start_method['spawn'] q = mp.Queue[] p = mp.Process[target=foo, args=[q,]] p.start[] print[q.get[]] p.join[]79 đại diện cho máy chủ thực dưới sự kiểm soát của Người quản lý. Đối tượng
import multiprocessing as mp def foo[q]: q.put['hello'] if __name__ == '__main__': mp.set_start_method['spawn'] q = mp.Queue[] p = mp.Process[target=foo, args=[q,]] p.start[] print[q.get[]] p.join[]79 hỗ trợ phương thức
import multiprocessing as mp def foo[q]: q.put['hello'] if __name__ == '__main__': mp.set_start_method['spawn'] q = mp.Queue[] p = mp.Process[target=foo, args=[q,]] p.start[] print[q.get[]] p.join[]81
from multiprocessing import Process def f[name]: print['hello', name] if __name__ == '__main__': p = Process[target=f, args=['bob',]] p.start[] p.join[]4
Ngoài ra,
import multiprocessing as mp def foo[q]: q.put['hello'] if __name__ == '__main__': mp.set_start_method['spawn'] q = mp.Queue[] p = mp.Process[target=foo, args=[q,]] p.start[] print[q.get[]] p.join[]79 còn có một thuộc tínhkết nối[]
Kết nối đối tượng quản lý cục bộ với quy trình quản lý từ xa
from multiprocessing import Process def f[name]: print['hello', name] if __name__ == '__main__': p = Process[target=f, args=['bob',]] p.start[] p.join[]5tắt[]
Dừng quá trình được sử dụng bởi người quản lý. Điều này chỉ khả dụng nếu đã được sử dụng để bắt đầu quá trình máy chủ
Điều này có thể được gọi nhiều lần
đăng ký[typeid[ , callable[, proxytype[, exposed[, method_to_typeid[, create_method]]]]]]Một phương thức lớp có thể được sử dụng để đăng ký một loại hoặc có thể gọi được với lớp người quản lý
typeid là một "định danh loại" được sử dụng để xác định một loại đối tượng được chia sẻ cụ thể. Đây phải là một chuỗi
có thể gọi được là một có thể gọi được sử dụng để tạo các đối tượng cho loại định danh này. Nếu một phiên bản trình quản lý sẽ được kết nối với máy chủ bằng phương thức này hoặc nếu đối số create_method là
[1, 4, 9]40 thì điều này có thể được để lại là
[1, 4, 9]33
proxytype là một lớp con được sử dụng để tạo proxy cho các đối tượng dùng chung với typeid này. Nếu
[1, 4, 9]33 thì một lớp proxy được tạo tự động
được sử dụng để chỉ định một chuỗi tên phương thức mà proxy cho typeid này sẽ được phép truy cập bằng cách sử dụng. [Nếu tiếp xúc là
[1, 4, 9]33 thì
import multiprocessing as mp def foo[q]: q.put['hello'] if __name__ == '__main__': mp.set_start_method['spawn'] q = mp.Queue[] p = mp.Process[target=foo, args=[q,]] p.start[] print[q.get[]] p.join[]92 được sử dụng thay thế nếu nó tồn tại. ] Trong trường hợp không có danh sách hiển thị nào được chỉ định, tất cả các “phương thức công khai” của đối tượng được chia sẻ sẽ có thể truy cập được. [Ở đây “phương thức công khai” có nghĩa là bất kỳ thuộc tính nào có phương thức và tên của nó không bắt đầu bằng
import multiprocessing as mp def foo[q]: q.put['hello'] if __name__ == '__main__': mp.set_start_method['spawn'] q = mp.Queue[] p = mp.Process[target=foo, args=[q,]] p.start[] print[q.get[]] p.join[]94. ]
method_to_typeid là ánh xạ được sử dụng để chỉ định kiểu trả về của các phương thức được hiển thị đó sẽ trả về proxy. Nó ánh xạ các tên phương thức thành các chuỗi typeid. [Nếu method_to_typeid là
[1, 4, 9]33 thì
import multiprocessing as mp def foo[q]: q.put['hello'] if __name__ == '__main__': mp.set_start_method['spawn'] q = mp.Queue[] p = mp.Process[target=foo, args=[q,]] p.start[] print[q.get[]] p.join[]96 được sử dụng thay thế nếu nó tồn tại. ] Nếu tên của phương thức không phải là khóa của ánh xạ này hoặc nếu ánh xạ là
[1, 4, 9]33 thì đối tượng được phương thức trả về sẽ được sao chép theo giá trị
create_method xác định xem một phương thức có nên được tạo với tên typeid có thể được sử dụng để báo cho quy trình máy chủ tạo một đối tượng dùng chung mới và trả về proxy cho nó hay không. Theo mặc định, nó là
[1, 4, 9]39
các phiên bản cũng có một thuộc tính chỉ đọc
Địa chỉĐịa chỉ được sử dụng bởi người quản lý
Đã thay đổi trong phiên bản 3. 3. Các đối tượng trình quản lý hỗ trợ giao thức quản lý ngữ cảnh – xem. bắt đầu quá trình máy chủ [nếu nó chưa bắt đầu] và sau đó trả về đối tượng người quản lý. cuộc gọi.
Trong các phiên bản trước không bắt đầu quy trình máy chủ của người quản lý nếu nó chưa được bắt đầu
lớp đa xử lý. quản lý. Trình quản lý đồng bộ hóaMột lớp con có thể được sử dụng để đồng bộ hóa các quy trình. Các đối tượng thuộc loại này được trả về bởi
Các phương thức của nó tạo và trả về một số loại dữ liệu thường được sử dụng để được đồng bộ hóa giữa các quy trình. Điều này đáng chú ý bao gồm các danh sách và từ điển được chia sẻ
Rào cản[các bên[ , action[, timeout]]]Tạo một đối tượng được chia sẻ và trả lại proxy cho nó
Mới trong phiên bản 3. 3
BoundedSemaphore[[giá trị]]Tạo một đối tượng được chia sẻ và trả lại proxy cho nó
Điều kiện[[khóa]]Tạo một đối tượng được chia sẻ và trả lại proxy cho nó
Nếu lock được cung cấp thì nó phải là proxy cho một hoặc đối tượng
Đã thay đổi trong phiên bản 3. 3. Phương thức đã được thêm vào.
Sự kiện[]Tạo một đối tượng được chia sẻ và trả lại proxy cho nó
Khóa[]Tạo một đối tượng được chia sẻ và trả lại proxy cho nó
Không gian tên[]Tạo một đối tượng được chia sẻ và trả lại proxy cho nó
Hàng đợi[[kích thước tối đa]]Tạo một đối tượng được chia sẻ và trả lại proxy cho nó
RLock[]Tạo một đối tượng được chia sẻ và trả lại proxy cho nó
Semaphore[[giá trị]]Tạo một đối tượng được chia sẻ và trả lại proxy cho nó
Mảng[mã loại , trình tự]Tạo một mảng và trả về một proxy cho nó
Giá trị[mã loại , giá trị]Tạo một đối tượng có thuộc tính
import multiprocessing as mp def foo[q]: q.put['hello'] if __name__ == '__main__': mp.set_start_method['spawn'] q = mp.Queue[] p = mp.Process[target=foo, args=[q,]] p.start[] print[q.get[]] p.join[]44 có thể ghi và trả về proxy cho đối tượng đódict[]dict[mapping]dict[sequence]
Tạo một đối tượng được chia sẻ và trả lại proxy cho nó
danh sách[]danh sách[sequence]Tạo một đối tượng được chia sẻ và trả lại proxy cho nó
Đã thay đổi trong phiên bản 3. 6. Các đối tượng được chia sẻ có khả năng được lồng vào nhau. Ví dụ: một đối tượng vùng chứa được chia sẻ như danh sách được chia sẻ có thể chứa các đối tượng được chia sẻ khác, tất cả sẽ được quản lý và đồng bộ hóa bởi.
lớp đa xử lý. quản lý. Không gian tênMột loại có thể đăng ký với
Một đối tượng không gian tên không có phương thức công khai, nhưng có các thuộc tính có thể ghi. Đại diện của nó cho thấy các giá trị của các thuộc tính của nó
Tuy nhiên, khi sử dụng proxy cho đối tượng không gian tên, thuộc tính bắt đầu bằng
import multiprocessing as mp def foo[q]: q.put['hello'] if __name__ == '__main__': mp.set_start_method['spawn'] q = mp.Queue[] p = mp.Process[target=foo, args=[q,]] p.start[] print[q.get[]] p.join[]94 sẽ là thuộc tính của proxy chứ không phải thuộc tính của tham chiếu
from multiprocessing import Process def f[name]: print['hello', name] if __name__ == '__main__': p = Process[target=f, args=['bob',]] p.start[] p.join[]6
người quản lý tùy chỉnh
Để tạo trình quản lý của riêng mình, người ta tạo một lớp con và sử dụng phương thức lớp để đăng ký các loại hoặc khả năng gọi mới với lớp trình quản lý. Ví dụ
from multiprocessing import Process def f[name]: print['hello', name] if __name__ == '__main__': p = Process[target=f, args=['bob',]] p.start[] p.join[]7
Sử dụng trình quản lý từ xa
Có thể chạy máy chủ quản lý trên một máy và để khách hàng sử dụng nó từ các máy khác [giả sử rằng tường lửa có liên quan cho phép điều đó]
Chạy các lệnh sau sẽ tạo một máy chủ cho một hàng đợi được chia sẻ duy nhất mà các máy khách từ xa có thể truy cập
from multiprocessing import Process def f[name]: print['hello', name] if __name__ == '__main__': p = Process[target=f, args=['bob',]] p.start[] p.join[]8
Một khách hàng có thể truy cập máy chủ như sau
from multiprocessing import Process def f[name]: print['hello', name] if __name__ == '__main__': p = Process[target=f, args=['bob',]] p.start[] p.join[]9
Một khách hàng khác cũng có thể sử dụng nó
from multiprocessing import Process import os def info[title]: print[title] print['module name:', __name__] print['parent process:', os.getppid[]] print['process id:', os.getpid[]] def f[name]: info['function f'] print['hello', name] if __name__ == '__main__': info['main line'] p = Process[target=f, args=['bob',]] p.start[] p.join[]0
Các quy trình cục bộ cũng có thể truy cập hàng đợi đó, sử dụng mã từ phía trên trên máy khách để truy cập từ xa
from multiprocessing import Process import os def info[title]: print[title] print['module name:', __name__] print['parent process:', os.getppid[]] print['process id:', os.getpid[]] def f[name]: info['function f'] print['hello', name] if __name__ == '__main__': info['main line'] p = Process[target=f, args=['bob',]] p.start[] p.join[]1
Đối tượng ủy quyền
Proxy là một đối tượng đề cập đến một đối tượng được chia sẻ tồn tại [có lẽ] trong một quy trình khác. Đối tượng được chia sẻ được cho là tham chiếu của proxy. Nhiều đối tượng proxy có thể có cùng một tham chiếu
Một đối tượng proxy có các phương thức gọi các phương thức tương ứng của tham chiếu của nó [mặc dù không phải mọi phương thức của tham chiếu đều nhất thiết phải có sẵn thông qua proxy]. Bằng cách này, một proxy có thể được sử dụng giống như người tham chiếu của nó có thể
from multiprocessing import Process import os def info[title]: print[title] print['module name:', __name__] print['parent process:', os.getppid[]] print['process id:', os.getpid[]] def f[name]: info['function f'] print['hello', name] if __name__ == '__main__': info['main line'] p = Process[target=f, args=['bob',]] p.start[] p.join[]2
Lưu ý rằng việc áp dụng cho proxy sẽ trả về đại diện của tham chiếu, trong khi áp dụng sẽ trả về đại diện của proxy
Một tính năng quan trọng của các đối tượng proxy là chúng có thể chọn được để chúng có thể được chuyển giữa các quy trình. Như vậy, một tham chiếu có thể chứa. Điều này cho phép lồng các danh sách được quản lý này, các lệnh và các danh sách khác
from multiprocessing import Process import os def info[title]: print[title] print['module name:', __name__] print['parent process:', os.getppid[]] print['process id:', os.getpid[]] def f[name]: info['function f'] print['hello', name] if __name__ == '__main__': info['main line'] p = Process[target=f, args=['bob',]] p.start[] p.join[]3
Tương tự, proxy dict và list có thể được lồng vào nhau
from multiprocessing import Process import os def info[title]: print[title] print['module name:', __name__] print['parent process:', os.getppid[]] print['process id:', os.getpid[]] def f[name]: info['function f'] print['hello', name] if __name__ == '__main__': info['main line'] p = Process[target=f, args=['bob',]] p.start[] p.join[]4
Nếu tiêu chuẩn [không phải proxy] hoặc các đối tượng được chứa trong một tham chiếu, các sửa đổi đối với các giá trị có thể thay đổi đó sẽ không được truyền qua trình quản lý vì proxy không có cách nào biết khi nào các giá trị chứa bên trong được sửa đổi. Tuy nhiên, việc lưu trữ một giá trị trong proxy vùng chứa [kích hoạt
import multiprocessing as mp def foo[q]: q.put['hello'] if __name__ == '__main__': ctx = mp.get_context['spawn'] q = ctx.Queue[] p = ctx.Process[target=foo, args=[q,]] p.start[] print[q.get[]] p.join[]30 trên đối tượng proxy] sẽ lan truyền qua trình quản lý và do đó, để sửa đổi mục đó một cách hiệu quả, người ta có thể gán lại giá trị đã sửa đổi cho proxy vùng chứa
from multiprocessing import Process import os def info[title]: print[title] print['module name:', __name__] print['parent process:', os.getppid[]] print['process id:', os.getpid[]] def f[name]: info['function f'] print['hello', name] if __name__ == '__main__': info['main line'] p = Process[target=f, args=['bob',]] p.start[] p.join[]5
Cách tiếp cận này có lẽ kém thuận tiện hơn so với việc sử dụng lồng nhau cho hầu hết các trường hợp sử dụng nhưng cũng thể hiện mức độ kiểm soát đồng bộ hóa
Ghi chú
Các loại proxy không làm gì để hỗ trợ so sánh theo giá trị. Vì vậy, ví dụ, chúng ta có
from multiprocessing import Process import os def info[title]: print[title] print['module name:', __name__] print['parent process:', os.getppid[]] print['process id:', os.getpid[]] def f[name]: info['function f'] print['hello', name] if __name__ == '__main__': info['main line'] p = Process[target=f, args=['bob',]] p.start[] p.join[]6
Thay vào đó, người ta chỉ nên sử dụng một bản sao của người giới thiệu khi so sánh
lớp đa xử lý. quản lý. Proxy cơ sởCác đối tượng proxy là các thể hiện của các lớp con của
_callmethod[tên phương thức[ , args[, kwds]]]Gọi và trả về kết quả của một phương thức tham chiếu của proxy
Nếu
import multiprocessing as mp def foo[q]: q.put['hello'] if __name__ == '__main__': ctx = mp.get_context['spawn'] q = ctx.Queue[] p = ctx.Process[target=foo, args=[q,]] p.start[] print[q.get[]] p.join[]33 là proxy có tham chiếu là
import multiprocessing as mp def foo[q]: q.put['hello'] if __name__ == '__main__': ctx = mp.get_context['spawn'] q = ctx.Queue[] p = ctx.Process[target=foo, args=[q,]] p.start[] print[q.get[]] p.join[]34 thì biểu thức
from multiprocessing import Process import os def info[title]: print[title] print['module name:', __name__] print['parent process:', os.getppid[]] print['process id:', os.getpid[]] def f[name]: info['function f'] print['hello', name] if __name__ == '__main__': info['main line'] p = Process[target=f, args=['bob',]] p.start[] p.join[]7
sẽ đánh giá biểu thức
from multiprocessing import Process import os def info[title]: print[title] print['module name:', __name__] print['parent process:', os.getppid[]] print['process id:', os.getpid[]] def f[name]: info['function f'] print['hello', name] if __name__ == '__main__': info['main line'] p = Process[target=f, args=['bob',]] p.start[] p.join[]8
trong quy trình của nhà quản lý
Giá trị được trả về sẽ là một bản sao kết quả của cuộc gọi hoặc một proxy cho một đối tượng được chia sẻ mới – xem tài liệu về đối số method_to_typeid của
Nếu một ngoại lệ được đưa ra bởi cuộc gọi, thì nó sẽ được đưa ra lại bởi. Nếu một số ngoại lệ khác được đưa ra trong quy trình của người quản lý thì điều này được chuyển đổi thành ngoại lệ
import multiprocessing as mp def foo[q]: q.put['hello'] if __name__ == '__main__': ctx = mp.get_context['spawn'] q = ctx.Queue[] p = ctx.Process[target=foo, args=[q,]] p.start[] print[q.get[]] p.join[]37 và được đưa ra bởi
Đặc biệt lưu ý rằng một ngoại lệ sẽ được nêu ra nếu tên phương thức chưa được hiển thị
Một ví dụ về việc sử dụng
from multiprocessing import Process import os def info[title]: print[title] print['module name:', __name__] print['parent process:', os.getppid[]] print['process id:', os.getpid[]] def f[name]: info['function f'] print['hello', name] if __name__ == '__main__': info['main line'] p = Process[target=f, args=['bob',]] p.start[] p.join[]9_getvalue[]
Trả lại một bản sao của người giới thiệu
Nếu người giới thiệu không thể chọn được thì điều này sẽ đưa ra một ngoại lệ
__repr__[]Trả về một đại diện của đối tượng proxy
__str__[]Trả về đại diện của tham chiếu
Dọn dẹp
Một đối tượng proxy sử dụng một cuộc gọi lại yếu để khi nó được thu gom rác, nó sẽ tự hủy đăng ký khỏi trình quản lý sở hữu tham chiếu của nó
Một đối tượng được chia sẻ sẽ bị xóa khỏi quy trình quản lý khi không còn bất kỳ proxy nào đề cập đến nó
Nhóm quy trình
Người ta có thể tạo một nhóm các quy trình sẽ thực hiện các nhiệm vụ được gửi cho nó với lớp
lớp đa xử lý. hồ bơi. Nhóm[[quy trình[, initializer[, initargs[, maxtasksperchild[, context]]]]]]Một đối tượng nhóm quy trình kiểm soát nhóm quy trình công nhân mà công việc có thể được gửi tới. Nó hỗ trợ các kết quả không đồng bộ với thời gian chờ và gọi lại và có triển khai bản đồ song song
quy trình là số lượng quy trình công nhân để sử dụng. Nếu các quy trình là
[1, 4, 9]33 thì số được trả về bởi được sử dụng
Nếu trình khởi tạo không phải là
[1, 4, 9]33 thì mỗi worker process sẽ gọi
import multiprocessing as mp def foo[q]: q.put['hello'] if __name__ == '__main__': mp.set_start_method['spawn'] q = mp.Queue[] p = mp.Process[target=foo, args=[q,]] p.start[] print[q.get[]] p.join[]78 khi nó bắt đầu
maxtasksperchild là số lượng tác vụ mà một worker process có thể hoàn thành trước khi nó thoát và được thay thế bằng một worker process mới, để cho phép giải phóng các tài nguyên không sử dụng. Maxtasksperchild mặc định là
[1, 4, 9]33, có nghĩa là worker process sẽ tồn tại miễn là pool
bối cảnh có thể được sử dụng để chỉ định bối cảnh được sử dụng để bắt đầu các quy trình worker. Thông thường, một nhóm được tạo bằng hàm
import multiprocessing as mp def foo[q]: q.put['hello'] if __name__ == '__main__': ctx = mp.get_context['spawn'] q = ctx.Queue[] p = ctx.Process[target=foo, args=[q,]] p.start[] print[q.get[]] p.join[]46 hoặc phương thức của một đối tượng bối cảnh. Trong cả hai trường hợp bối cảnh được thiết lập một cách thích hợp
Lưu ý rằng các phương thức của đối tượng nhóm chỉ nên được gọi bởi quá trình tạo nhóm
Cảnh báo
các đối tượng có tài nguyên nội bộ cần được quản lý đúng cách [giống như bất kỳ tài nguyên nào khác] bằng cách sử dụng nhóm làm trình quản lý bối cảnh hoặc bằng cách gọi và thủ công. Không làm điều này có thể dẫn đến quá trình bị treo khi quyết toán
Lưu ý rằng việc dựa vào trình thu gom rác để hủy nhóm là không đúng vì CPython không đảm bảo rằng trình hoàn thiện của nhóm sẽ được gọi [xem để biết thêm thông tin]
Mới trong phiên bản 3. 2. maxtaskperchild
Mới trong phiên bản 3. 4. bối cảnh
Ghi chú
Worker process trong một thường sống trong toàn bộ thời gian của hàng đợi công việc của Pool. Một mô hình phổ biến được tìm thấy trong các hệ thống khác [chẳng hạn như Apache, mod_wsgi, v.v.] để giải phóng tài nguyên do công nhân nắm giữ là cho phép một công nhân trong nhóm chỉ hoàn thành một lượng công việc nhất định trước khi thoát, được dọn sạch và một quy trình mới được sinh ra . Đối số maxtasksperchild để hiển thị khả năng này cho người dùng cuối
áp dụng[chức năng[ , args[, kwds]]]Gọi func với đối số args và đối số từ khóa kwds. Nó chặn cho đến khi kết quả sẵn sàng. Với các khối này, phù hợp hơn để thực hiện công việc song song. Ngoài ra, func chỉ được thực thi ở một trong các công nhân của nhóm
apply_async[func[ , args[, kwds[, callback[, error_callback]]]]]Một biến thể của phương thức trả về một đối tượng
Nếu gọi lại được chỉ định thì nó phải là một cuộc gọi có thể chấp nhận một đối số. Khi kết quả sẵn sàng gọi lại được áp dụng cho nó, đó là trừ khi cuộc gọi không thành công, trong trường hợp đó, error_callback được áp dụng thay thế
Nếu error_callback được chỉ định thì nó phải là một đối số có thể gọi được chấp nhận một đối số. Nếu chức năng đích không thành công, thì error_callback được gọi với trường hợp ngoại lệ
Các cuộc gọi lại phải hoàn thành ngay lập tức vì nếu không thì chuỗi xử lý kết quả sẽ bị chặn
map[func , có thể lặp lại[, chunksize]]Tương đương song song với hàm dựng sẵn [tuy nhiên, nó chỉ hỗ trợ một đối số có thể lặp lại, đối với nhiều lần lặp lại, hãy xem ]. Nó chặn cho đến khi kết quả sẵn sàng
Phương pháp này cắt iterable thành một số khối mà nó gửi đến nhóm quy trình dưới dạng các tác vụ riêng biệt. Kích thước [gần đúng] của các khối này có thể được chỉ định bằng cách đặt kích thước khối thành một số nguyên dương
Lưu ý rằng nó có thể gây ra việc sử dụng bộ nhớ cao cho các lần lặp rất dài. Cân nhắc sử dụng hoặc với tùy chọn chunksize rõ ràng để có hiệu quả tốt hơn
map_async[func , có thể lặp lại[, chunksize[, callback[, error_callback]]]]Một biến thể của phương thức trả về một đối tượng
Nếu gọi lại được chỉ định thì nó phải là một cuộc gọi có thể chấp nhận một đối số. Khi kết quả sẵn sàng gọi lại được áp dụng cho nó, đó là trừ khi cuộc gọi không thành công, trong trường hợp đó, error_callback được áp dụng thay thế
Nếu error_callback được chỉ định thì nó phải là một đối số có thể gọi được chấp nhận một đối số. Nếu chức năng đích không thành công, thì error_callback được gọi với trường hợp ngoại lệ
Các cuộc gọi lại phải hoàn thành ngay lập tức vì nếu không thì chuỗi xử lý kết quả sẽ bị chặn
imap[func , có thể lặp lại[, chunksize]]Một phiên bản lười biếng hơn của
Đối số chunksize giống như đối số được sử dụng bởi phương thức. Đối với các lần lặp rất dài, sử dụng giá trị lớn cho chunksize có thể giúp công việc hoàn thành nhanh hơn nhiều so với sử dụng giá trị mặc định là
import multiprocessing as mp def foo[q]: q.put['hello'] if __name__ == '__main__': ctx = mp.get_context['spawn'] q = ctx.Queue[] p = ctx.Process[target=foo, args=[q,]] p.start[] print[q.get[]] p.join[]65
Ngoài ra, nếu chunksize là
import multiprocessing as mp def foo[q]: q.put['hello'] if __name__ == '__main__': ctx = mp.get_context['spawn'] q = ctx.Queue[] p = ctx.Process[target=foo, args=[q,]] p.start[] print[q.get[]] p.join[]65 thì phương thức
import multiprocessing as mp def foo[q]: q.put['hello'] if __name__ == '__main__': ctx = mp.get_context['spawn'] q = ctx.Queue[] p = ctx.Process[target=foo, args=[q,]] p.start[] print[q.get[]] p.join[]67 của trình vòng lặp được phương thức trả về có tham số thời gian chờ tùy chọn.
import multiprocessing as mp def foo[q]: q.put['hello'] if __name__ == '__main__': ctx = mp.get_context['spawn'] q = ctx.Queue[] p = ctx.Process[target=foo, args=[q,]] p.start[] print[q.get[]] p.join[]69 sẽ tăng nếu kết quả không thể được trả về trong thời gian chờ giâyimap_unordered[func , có thể lặp lại[, chunksize]]
Giống như ngoại trừ thứ tự của các kết quả từ trình vòng lặp được trả về phải được coi là tùy ý. [Chỉ khi chỉ có một worker process thì lệnh mới được đảm bảo là “đúng”. ]
starmap[func , có thể lặp lại[, chunksize]]Giống như ngoại trừ việc các phần tử của iterable dự kiến là iterables được giải nén dưới dạng đối số
Do đó, một lần lặp của
import multiprocessing as mp def foo[q]: q.put['hello'] if __name__ == '__main__': ctx = mp.get_context['spawn'] q = ctx.Queue[] p = ctx.Process[target=foo, args=[q,]] p.start[] print[q.get[]] p.join[]73 dẫn đến
import multiprocessing as mp def foo[q]: q.put['hello'] if __name__ == '__main__': ctx = mp.get_context['spawn'] q = ctx.Queue[] p = ctx.Process[target=foo, args=[q,]] p.start[] print[q.get[]] p.join[]74
Mới trong phiên bản 3. 3
starmap_async[func , có thể lặp lại[, chunksize[, callback[, error_callback]]]]Một sự kết hợp của và lặp đi lặp lại trên iterable của iterables và gọi func với iterables được giải nén. Trả về một đối tượng kết quả
Mới trong phiên bản 3. 3
đóng[]Ngăn chặn bất kỳ nhiệm vụ nào khác được gửi đến nhóm. Khi tất cả các tác vụ đã được hoàn thành, các quy trình công nhân sẽ thoát
chấm dứt[]Dừng quy trình công nhân ngay lập tức mà không hoàn thành công việc chưa hoàn thành. Khi đối tượng pool được thu gom rác sẽ được gọi ngay lập tức
tham gia[]Chờ các worker process thoát ra. Người ta phải gọi hoặc trước khi sử dụng
Mới trong phiên bản 3. 3. Các đối tượng nhóm hiện hỗ trợ giao thức quản lý ngữ cảnh – xem. trả về đối tượng nhóm và gọi.
lớp đa xử lý. hồ bơi. Kết quả không đồng bộLớp của kết quả được trả về bởi và
nhận[[thời gian chờ]]Trả lại kết quả khi nó đến. Nếu thời gian chờ không phải là
[1, 4, 9]33 và kết quả không đến trong vòng vài giây hết thời gian thì sẽ tăng. Nếu cuộc gọi từ xa đưa ra một ngoại lệ thì ngoại lệ đó sẽ được đưa ra lại bởichờ[[hết giờ]]
Đợi cho đến khi có kết quả hoặc cho đến khi hết giây
sẵn sàng[]Quay lại xem cuộc gọi đã hoàn thành chưa
thành công[]Trả lại xem cuộc gọi có hoàn thành mà không đưa ra ngoại lệ hay không. Sẽ tăng nếu kết quả chưa sẵn sàng
Đã thay đổi trong phiên bản 3. 7. Nếu kết quả chưa sẵn sàng, sẽ được nâng lên thay vì.
Ví dụ sau minh họa việc sử dụng pool
import multiprocessing as mp def foo[q]: q.put['hello'] if __name__ == '__main__': mp.set_start_method['spawn'] q = mp.Queue[] p = mp.Process[target=foo, args=[q,]] p.start[] print[q.get[]] p.join[]0
Người nghe và Khách hàng
Thông thường việc chuyển thông báo giữa các tiến trình được thực hiện bằng cách sử dụng hàng đợi hoặc bằng cách sử dụng các đối tượng được trả về bởi
Tuy nhiên, mô-đun cho phép một số linh hoạt hơn. Về cơ bản, nó cung cấp API định hướng thông báo cấp cao để xử lý các ổ cắm hoặc đường ống có tên Windows. Nó cũng có hỗ trợ xác thực thông báo bằng mô-đun và để thăm dò nhiều kết nối cùng một lúc
đa xử lý. sự liên quan. deliver_challenge[kết nối , mã xác thực]Gửi một tin nhắn được tạo ngẫu nhiên đến đầu kia của kết nối và chờ phản hồi
Nếu câu trả lời khớp với thông báo của tin nhắn sử dụng authkey làm khóa thì tin nhắn chào mừng sẽ được gửi đến đầu kia của kết nối. Nếu không thì được nâng lên
đa xử lý. sự liên quan. answer_challenge[kết nối , mã xác thực]Nhận một tin nhắn, tính toán thông báo của tin nhắn bằng authkey làm khóa, sau đó gửi lại thông báo
Nếu không nhận được tin nhắn chào mừng, thì sẽ được nâng lên
đa xử lý. sự liên quan. Khách hàng[địa chỉ[ , family[, authkey]]]Cố gắng thiết lập kết nối với người nghe đang sử dụng địa chỉ địa chỉ, trả về một
Loại kết nối được xác định bởi đối số họ, nhưng điều này thường có thể được bỏ qua vì nó thường có thể được suy ra từ định dạng địa chỉ. [Nhìn thấy ]
Nếu authkey được cung cấp và không phải là Không có, thì đó phải là một chuỗi byte và sẽ được sử dụng làm khóa bí mật cho thử thách xác thực dựa trên HMAC. Không có xác thực nào được thực hiện nếu authkey là Không có. được nâng lên nếu xác thực không thành công. Nhìn thấy
lớp đa xử lý. sự liên quan. Người nghe[[địa chỉ[, family[, backlog[, authkey]]]]]Trình bao bọc cho ổ cắm bị ràng buộc hoặc đường ống có tên Windows đang 'lắng nghe' các kết nối
địa chỉ là địa chỉ được sử dụng bởi ổ cắm bị ràng buộc hoặc đường ống có tên của đối tượng người nghe
Ghi chú
Nếu một địa chỉ của '0. 0. 0. 0' được sử dụng, địa chỉ sẽ không phải là điểm cuối có thể kết nối trên Windows. Nếu bạn yêu cầu điểm cuối có thể kết nối, bạn nên sử dụng '127. 0. 0. 1’
family là loại ổ cắm [hoặc ống có tên] sẽ sử dụng. Đây có thể là một trong các chuỗi
import multiprocessing as mp def foo[q]: q.put['hello'] if __name__ == '__main__': ctx = mp.get_context['spawn'] q = ctx.Queue[] p = ctx.Process[target=foo, args=[q,]] p.start[] print[q.get[]] p.join[]300 [đối với ổ cắm TCP],
import multiprocessing as mp def foo[q]: q.put['hello'] if __name__ == '__main__': ctx = mp.get_context['spawn'] q = ctx.Queue[] p = ctx.Process[target=foo, args=[q,]] p.start[] print[q.get[]] p.join[]301 [đối với ổ cắm tên miền Unix] hoặc
import multiprocessing as mp def foo[q]: q.put['hello'] if __name__ == '__main__': ctx = mp.get_context['spawn'] q = ctx.Queue[] p = ctx.Process[target=foo, args=[q,]] p.start[] print[q.get[]] p.join[]302 [đối với đường ống có tên Windows]. Trong số này chỉ có cái đầu tiên được đảm bảo có sẵn. Nếu họ là
[1, 4, 9]33 thì họ được suy ra từ dạng địa chỉ. Nếu địa chỉ cũng là
[1, 4, 9]33 thì giá trị mặc định được chọn. Mặc định này là họ được coi là nhanh nhất hiện có. Nhìn thấy. Lưu ý rằng nếu họ là
import multiprocessing as mp def foo[q]: q.put['hello'] if __name__ == '__main__': ctx = mp.get_context['spawn'] q = ctx.Queue[] p = ctx.Process[target=foo, args=[q,]] p.start[] print[q.get[]] p.join[]301 và địa chỉ là
[1, 4, 9]33 thì ổ cắm sẽ được tạo trong một thư mục tạm thời riêng tư được tạo bằng cách sử dụng
Nếu đối tượng người nghe sử dụng ổ cắm thì tồn đọng [1 theo mặc định] được chuyển đến phương thức của ổ cắm sau khi nó đã bị ràng buộc
Nếu authkey được cung cấp và không phải là Không có, thì đó phải là một chuỗi byte và sẽ được sử dụng làm khóa bí mật cho thử thách xác thực dựa trên HMAC. Không có xác thực nào được thực hiện nếu authkey là Không có. được nâng lên nếu xác thực không thành công. Nhìn thấy
chấp nhận[]Chấp nhận kết nối trên ổ cắm bị ràng buộc hoặc đường ống có tên của đối tượng người nghe và trả về một đối tượng. Nếu xác thực được cố gắng và không thành công, thì được nâng lên
đóng[]Đóng ổ cắm bị ràng buộc hoặc đường ống có tên của đối tượng người nghe. Điều này được gọi tự động khi người nghe được thu gom rác. Tuy nhiên, nên gọi nó một cách rõ ràng
Các đối tượng người nghe có các thuộc tính chỉ đọc sau
Địa chỉĐịa chỉ đang được sử dụng bởi đối tượng Listener
last_acceptedĐịa chỉ mà từ đó kết nối được chấp nhận cuối cùng đến. Nếu cái này không có thì nó là
[1, 4, 9]33
Mới trong phiên bản 3. 3. Các đối tượng trình nghe hiện hỗ trợ giao thức quản lý ngữ cảnh – xem. trả về đối tượng người nghe và gọi.
đa xử lý. sự liên quan. chờ đã[object_list , hết thời gian=None]Đợi cho đến khi một đối tượng trong object_list sẵn sàng. Trả về danh sách các đối tượng đó trong object_list đã sẵn sàng. Nếu thời gian chờ là thời gian trôi nổi thì cuộc gọi sẽ chặn nhiều nhất là bao nhiêu giây. Nếu thời gian chờ là
[1, 4, 9]33 thì nó sẽ bị chặn trong một khoảng thời gian không giới hạn. Thời gian chờ âm tương đương với thời gian chờ bằng 0
Đối với cả Unix và Windows, một đối tượng có thể xuất hiện trong object_list nếu nó
một đối tượng có thể đọc được;
một đối tượng được kết nối và có thể đọc được;
thuộc tính của một đối tượng
Một đối tượng kết nối hoặc ổ cắm đã sẵn sàng khi có sẵn dữ liệu để đọc từ nó hoặc đầu kia đã bị đóng
Unix.
import multiprocessing as mp def foo[q]: q.put['hello'] if __name__ == '__main__': ctx = mp.get_context['spawn'] q = ctx.Queue[] p = ctx.Process[target=foo, args=[q,]] p.start[] print[q.get[]] p.join[]321 gần như tương đương
import multiprocessing as mp def foo[q]: q.put['hello'] if __name__ == '__main__': ctx = mp.get_context['spawn'] q = ctx.Queue[] p = ctx.Process[target=foo, args=[q,]] p.start[] print[q.get[]] p.join[]322. Sự khác biệt là, nếu bị gián đoạn bởi tín hiệu, nó có thể tăng lên với số lỗi là
import multiprocessing as mp def foo[q]: q.put['hello'] if __name__ == '__main__': ctx = mp.get_context['spawn'] q = ctx.Queue[] p = ctx.Process[target=foo, args=[q,]] p.start[] print[q.get[]] p.join[]325, trong khi sẽ không
các cửa sổ. Một mục trong object_list phải là một số nguyên xử lý có thể đợi được [theo định nghĩa được sử dụng bởi tài liệu về hàm Win32
import multiprocessing as mp def foo[q]: q.put['hello'] if __name__ == '__main__': ctx = mp.get_context['spawn'] q = ctx.Queue[] p = ctx.Process[target=foo, args=[q,]] p.start[] print[q.get[]] p.join[]327] hoặc nó có thể là một đối tượng có phương thức
import multiprocessing as mp def foo[q]: q.put['hello'] if __name__ == '__main__': ctx = mp.get_context['spawn'] q = ctx.Queue[] p = ctx.Process[target=foo, args=[q,]] p.start[] print[q.get[]] p.join[]328 trả về một tay cầm ổ cắm hoặc tay cầm ống. [Lưu ý rằng tay cầm ống và tay cầm ổ cắm không phải là tay cầm có thể chờ được. ]
Mới trong phiên bản 3. 3
ví dụ
Mã máy chủ sau đây tạo một trình lắng nghe sử dụng
import multiprocessing as mp def foo[q]: q.put['hello'] if __name__ == '__main__': ctx = mp.get_context['spawn'] q = ctx.Queue[] p = ctx.Process[target=foo, args=[q,]] p.start[] print[q.get[]] p.join[]329 làm khóa xác thực. Sau đó, nó chờ kết nối và gửi một số dữ liệu đến máy khách
import multiprocessing as mp def foo[q]: q.put['hello'] if __name__ == '__main__': mp.set_start_method['spawn'] q = mp.Queue[] p = mp.Process[target=foo, args=[q,]] p.start[] print[q.get[]] p.join[]1
Đoạn mã sau kết nối với máy chủ và nhận một số dữ liệu từ máy chủ
import multiprocessing as mp def foo[q]: q.put['hello'] if __name__ == '__main__': mp.set_start_method['spawn'] q = mp.Queue[] p = mp.Process[target=foo, args=[q,]] p.start[] print[q.get[]] p.join[]2
Đoạn mã sau sử dụng để chờ tin nhắn từ nhiều quy trình cùng một lúc
import multiprocessing as mp def foo[q]: q.put['hello'] if __name__ == '__main__': mp.set_start_method['spawn'] q = mp.Queue[] p = mp.Process[target=foo, args=[q,]] p.start[] print[q.get[]] p.join[]3
Định dạng địa chỉ
Địa chỉ
import multiprocessing as mp def foo[q]: q.put['hello'] if __name__ == '__main__': ctx = mp.get_context['spawn'] q = ctx.Queue[] p = ctx.Process[target=foo, args=[q,]] p.start[] print[q.get[]] p.join[]
300 là một bộ có dạngimport multiprocessing as mp def foo[q]: q.put['hello'] if __name__ == '__main__': ctx = mp.get_context['spawn'] q = ctx.Queue[] p = ctx.Process[target=foo, args=[q,]] p.start[] print[q.get[]] p.join[]
332 trong đó tên máy chủ là một chuỗi và cổng là một số nguyênĐịa chỉ
import multiprocessing as mp def foo[q]: q.put['hello'] if __name__ == '__main__': ctx = mp.get_context['spawn'] q = ctx.Queue[] p = ctx.Process[target=foo, args=[q,]] p.start[] print[q.get[]] p.join[]
301 là một chuỗi đại diện cho tên tệp trên hệ thống tệpĐịa chỉ
import multiprocessing as mp def foo[q]: q.put['hello'] if __name__ == '__main__': ctx = mp.get_context['spawn'] q = ctx.Queue[] p = ctx.Process[target=foo, args=[q,]] p.start[] print[q.get[]] p.join[]
302 là một chuỗi có dạngimport multiprocessing as mp def foo[q]: q.put['hello'] if __name__ == '__main__': ctx = mp.get_context['spawn'] q = ctx.Queue[] p = ctx.Process[target=foo, args=[q,]] p.start[] print[q.get[]] p.join[]
335. Để sử dụng để kết nối với một đường ống có tên trên một máy tính từ xa có tên ServerName, thay vào đó, bạn nên sử dụng một địa chỉ có dạngimport multiprocessing as mp def foo[q]: q.put['hello'] if __name__ == '__main__': ctx = mp.get_context['spawn'] q = ctx.Queue[] p = ctx.Process[target=foo, args=[q,]] p.start[] print[q.get[]] p.join[]
337
Lưu ý rằng bất kỳ chuỗi nào bắt đầu bằng hai dấu gạch chéo ngược đều được mặc định là địa chỉ
import multiprocessing as mp def foo[q]: q.put['hello'] if __name__ == '__main__': ctx = mp.get_context['spawn'] q = ctx.Queue[] p = ctx.Process[target=foo, args=[q,]] p.start[] print[q.get[]] p.join[]302 thay vì địa chỉ
import multiprocessing as mp def foo[q]: q.put['hello'] if __name__ == '__main__': ctx = mp.get_context['spawn'] q = ctx.Queue[] p = ctx.Process[target=foo, args=[q,]] p.start[] print[q.get[]] p.join[]301
khóa xác thực
Khi một người sử dụng, dữ liệu nhận được sẽ tự động được giải nén. Thật không may, việc giải nén dữ liệu từ một nguồn không đáng tin cậy là một rủi ro bảo mật. Do đó và sử dụng mô-đun để cung cấp xác thực thông báo
Khóa xác thực là một chuỗi byte có thể được coi là mật khẩu. khi kết nối được thiết lập, cả hai đầu sẽ yêu cầu bằng chứng rằng đầu kia biết khóa xác thực. [Chứng minh rằng cả hai đầu đang sử dụng cùng một khóa không liên quan đến việc gửi khóa qua kết nối. ]
Nếu xác thực được yêu cầu nhưng không có khóa xác thực nào được chỉ định thì giá trị trả về của
import multiprocessing as mp def foo[q]: q.put['hello'] if __name__ == '__main__': mp.set_start_method['spawn'] q = mp.Queue[] p = mp.Process[target=foo, args=[q,]] p.start[] print[q.get[]] p.join[]69 sẽ được sử dụng [xem phần ]. Giá trị này sẽ được tự động kế thừa bởi bất kỳ đối tượng nào mà quy trình hiện tại tạo ra. Điều này có nghĩa là [theo mặc định] tất cả các quy trình của chương trình đa quy trình sẽ chia sẻ một khóa xác thực duy nhất có thể được sử dụng khi thiết lập kết nối giữa chúng
Các khóa xác thực phù hợp cũng có thể được tạo bằng cách sử dụng
ghi nhật ký
Một số hỗ trợ cho ghi nhật ký có sẵn. Tuy nhiên, lưu ý rằng gói không sử dụng khóa chia sẻ quy trình nên có thể [tùy thuộc vào loại trình xử lý] cho các thông báo từ các quy trình khác nhau bị lẫn lộn
đa xử lý. get_logger[]Trả về nhật ký được sử dụng bởi. Nếu cần thiết, một cái mới sẽ được tạo ra
Khi lần đầu tiên được tạo, bộ ghi có cấp độ
import multiprocessing as mp def foo[q]: q.put['hello'] if __name__ == '__main__': ctx = mp.get_context['spawn'] q = ctx.Queue[] p = ctx.Process[target=foo, args=[q,]] p.start[] print[q.get[]] p.join[]350 và không có trình xử lý mặc định. Theo mặc định, các tin nhắn được gửi tới bộ ghi này sẽ không lan truyền tới bộ ghi gốc
Lưu ý rằng trên Windows, các tiến trình con sẽ chỉ kế thừa cấp độ của trình ghi nhật ký của tiến trình cha – bất kỳ tùy chỉnh nào khác của trình ghi nhật ký sẽ không được kế thừa
đa xử lý. log_to_stderr[cấp độ=Không có]Hàm này thực hiện lệnh gọi nhưng ngoài việc trả về trình ghi nhật ký được tạo bởi get_logger, hàm này còn bổ sung trình xử lý gửi đầu ra tới sử dụng định dạng
import multiprocessing as mp def foo[q]: q.put['hello'] if __name__ == '__main__': ctx = mp.get_context['spawn'] q = ctx.Queue[] p = ctx.Process[target=foo, args=[q,]] p.start[] print[q.get[]] p.join[]353. Bạn có thể sửa đổi
import multiprocessing as mp def foo[q]: q.put['hello'] if __name__ == '__main__': ctx = mp.get_context['spawn'] q = ctx.Queue[] p = ctx.Process[target=foo, args=[q,]] p.start[] print[q.get[]] p.join[]354 của bộ ghi nhật ký bằng cách chuyển đối số
import multiprocessing as mp def foo[q]: q.put['hello'] if __name__ == '__main__': ctx = mp.get_context['spawn'] q = ctx.Queue[] p = ctx.Process[target=foo, args=[q,]] p.start[] print[q.get[]] p.join[]355
Dưới đây là phiên ví dụ có bật ghi nhật ký
import multiprocessing as mp def foo[q]: q.put['hello'] if __name__ == '__main__': mp.set_start_method['spawn'] q = mp.Queue[] p = mp.Process[target=foo, args=[q,]] p.start[] print[q.get[]] p.join[]4
Để biết bảng đầy đủ các cấp độ ghi nhật ký, hãy xem mô-đun
mô-đun
sao chép API của nhưng không hơn gì một trình bao bọc xung quanh mô-đun
Cụ thể, hàm
import multiprocessing as mp def foo[q]: q.put['hello'] if __name__ == '__main__': ctx = mp.get_context['spawn'] q = ctx.Queue[] p = ctx.Process[target=foo, args=[q,]] p.start[] print[q.get[]] p.join[]35 được cung cấp bởi trả về một thể hiện của , là một lớp con của hỗ trợ tất cả các lệnh gọi phương thức giống nhau nhưng sử dụng một nhóm các chuỗi công nhân thay vì các quy trình công nhânlớp đa xử lý. hồ bơi. ThreadPool[[quy trình[, initializer[, initargs]]]]
Một đối tượng nhóm luồng kiểm soát nhóm luồng công nhân mà công việc có thể được gửi tới. các phiên bản có giao diện hoàn toàn tương thích với các phiên bản và tài nguyên của chúng cũng phải được quản lý đúng cách, bằng cách sử dụng nhóm làm trình quản lý bối cảnh hoặc bằng cách gọi và thủ công
quy trình là số lượng luồng công nhân sẽ sử dụng. Nếu các quy trình là
[1, 4, 9]33 thì số được trả về bởi được sử dụng
Nếu trình khởi tạo không phải là
[1, 4, 9]33 thì mỗi worker process sẽ gọi
import multiprocessing as mp def foo[q]: q.put['hello'] if __name__ == '__main__': mp.set_start_method['spawn'] q = mp.Queue[] p = mp.Process[target=foo, args=[q,]] p.start[] print[q.get[]] p.join[]78 khi nó bắt đầu
Không giống như , không thể cung cấp maxt taskperchild và ngữ cảnh
Ghi chú
A chia sẻ giao diện giống như , được thiết kế xung quanh một nhóm các quy trình và có trước khi giới thiệu mô-đun. Như vậy, nó kế thừa một số thao tác không có ý nghĩa đối với nhóm được hỗ trợ bởi các luồng và nó có loại riêng để biểu thị trạng thái của các công việc không đồng bộ, mà bất kỳ thư viện nào khác không hiểu được
Nói chung, người dùng nên sử dụng , có giao diện đơn giản hơn được thiết kế xung quanh các luồng ngay từ đầu và trả về các phiên bản tương thích với nhiều thư viện khác, bao gồm
hướng dẫn lập trình
Có một số nguyên tắc và thành ngữ cần được tuân thủ khi sử dụng
Tất cả các phương pháp bắt đầu
Những điều sau đây áp dụng cho tất cả các phương pháp bắt đầu
Tránh trạng thái chia sẻ
Càng nhiều càng tốt, người ta nên cố gắng tránh chuyển một lượng lớn dữ liệu giữa các quy trình
Có lẽ tốt nhất là nên sử dụng hàng đợi hoặc đường ống để liên lạc giữa các quy trình thay vì sử dụng các nguyên mẫu đồng bộ hóa cấp thấp hơn
độ chua
Đảm bảo rằng các đối số cho các phương thức của proxy có thể chọn được
Chủ đề an toàn của proxy
Không sử dụng đối tượng proxy từ nhiều luồng trừ khi bạn bảo vệ nó bằng khóa
[Không bao giờ có vấn đề với các quy trình khác nhau sử dụng cùng một proxy. ]
Tham gia các quá trình zombie
Trên Unix khi một quá trình kết thúc nhưng chưa được kết nối, nó sẽ trở thành một thây ma. Không bao giờ có quá nhiều vì mỗi khi một quy trình mới bắt đầu [hoặc được gọi], tất cả các quy trình đã hoàn thành chưa được tham gia sẽ được tham gia. Cũng gọi một quá trình đã hoàn thành sẽ tham gia quá trình. Mặc dù vậy, có lẽ nên tham gia một cách rõ ràng tất cả các quy trình mà bạn bắt đầu
Kế thừa tốt hơn là dưa chua/bỏ dưa chua
Khi sử dụng các phương thức khởi động spawn hoặc forkserver, nhiều loại cần phải được chọn để các tiến trình con có thể sử dụng chúng. Tuy nhiên, nói chung nên tránh gửi các đối tượng được chia sẻ đến các quy trình khác bằng cách sử dụng đường ống hoặc hàng đợi. Thay vào đó, bạn nên sắp xếp chương trình sao cho một quy trình cần truy cập vào tài nguyên được chia sẻ được tạo ở nơi khác có thể kế thừa nó từ quy trình tổ tiên
Tránh chấm dứt quá trình
Việc sử dụng phương pháp để dừng một quy trình có thể khiến bất kỳ tài nguyên được chia sẻ nào [chẳng hạn như khóa, semaphores, đường ống và hàng đợi] hiện đang được quy trình sử dụng bị hỏng hoặc không khả dụng đối với các quy trình khác
Do đó, có lẽ tốt nhất là chỉ xem xét sử dụng trên các quy trình không bao giờ sử dụng bất kỳ tài nguyên được chia sẻ nào
Tham gia các quy trình sử dụng hàng đợi
Hãy nhớ rằng một quy trình đã đặt các mục vào hàng đợi sẽ đợi trước khi kết thúc cho đến khi tất cả các mục được lưu trong bộ đệm được luồng "bộ nạp" nạp vào đường ống bên dưới. [Quá trình con có thể gọi phương thức của hàng đợi để tránh hành vi này. ]
Điều này có nghĩa là bất cứ khi nào bạn sử dụng hàng đợi, bạn cần đảm bảo rằng tất cả các mục đã được đưa vào hàng đợi cuối cùng sẽ bị xóa trước khi quy trình được tham gia. Nếu không, bạn không thể chắc chắn rằng các quy trình đã đặt các mục vào hàng đợi sẽ kết thúc. Cũng nên nhớ rằng các quy trình không phải daemon sẽ được tự động tham gia
Một ví dụ sẽ bế tắc như sau
import multiprocessing as mp def foo[q]: q.put['hello'] if __name__ == '__main__': mp.set_start_method['spawn'] q = mp.Queue[] p = mp.Process[target=foo, args=[q,]] p.start[] print[q.get[]] p.join[]5Cách khắc phục ở đây là hoán đổi hai dòng cuối cùng [hoặc chỉ cần xóa dòng
import multiprocessing as mp def foo[q]: q.put['hello'] if __name__ == '__main__': ctx = mp.get_context['spawn'] q = ctx.Queue[] p = ctx.Process[target=foo, args=[q,]] p.start[] print[q.get[]] p.join[]388]
Truyền rõ ràng tài nguyên cho các tiến trình con
Trên Unix sử dụng phương thức fork start, một tiến trình con có thể sử dụng tài nguyên được chia sẻ được tạo trong tiến trình cha bằng tài nguyên chung. Tuy nhiên, tốt hơn là truyền đối tượng làm đối số cho hàm tạo cho tiến trình con
Ngoài việc làm cho mã [có khả năng] tương thích với Windows và các phương thức bắt đầu khác, điều này còn đảm bảo rằng miễn là tiến trình con vẫn còn hoạt động, đối tượng sẽ không bị thu gom rác trong tiến trình cha. Điều này có thể quan trọng nếu một số tài nguyên được giải phóng khi đối tượng được thu gom rác trong quy trình gốc
Vì vậy, ví dụ
import multiprocessing as mp def foo[q]: q.put['hello'] if __name__ == '__main__': mp.set_start_method['spawn'] q = mp.Queue[] p = mp.Process[target=foo, args=[q,]] p.start[] print[q.get[]] p.join[]6nên được viết lại như
import multiprocessing as mp def foo[q]: q.put['hello'] if __name__ == '__main__': mp.set_start_method['spawn'] q = mp.Queue[] p = mp.Process[target=foo, args=[q,]] p.start[] print[q.get[]] p.join[]7
Cẩn thận với việc thay thế bằng một “tệp giống như đối tượng”
ban đầu được gọi vô điều kiện
import multiprocessing as mp def foo[q]: q.put['hello'] if __name__ == '__main__': mp.set_start_method['spawn'] q = mp.Queue[] p = mp.Process[target=foo, args=[q,]] p.start[] print[q.get[]] p.join[]8trong phương pháp
import multiprocessing as mp def foo[q]: q.put['hello'] if __name__ == '__main__': ctx = mp.get_context['spawn'] q = ctx.Queue[] p = ctx.Process[target=foo, args=[q,]] p.start[] print[q.get[]] p.join[]391 - điều này dẫn đến các vấn đề với quy trình đang xử lý. Điều này đã được thay đổi thànhimport multiprocessing as mp def foo[q]: q.put['hello'] if __name__ == '__main__': mp.set_start_method['spawn'] q = mp.Queue[] p = mp.Process[target=foo, args=[q,]] p.start[] print[q.get[]] p.join[]9Điều này giải quyết vấn đề cơ bản của các quy trình xung đột với nhau dẫn đến lỗi bộ mô tả tệp không hợp lệ, nhưng lại gây ra mối nguy hiểm tiềm tàng cho các ứng dụng thay thế bằng một “đối tượng giống như tệp” với bộ đệm đầu ra. Mối nguy hiểm này là nếu nhiều quá trình gọi đối tượng giống như tệp này, nó có thể dẫn đến cùng một dữ liệu được chuyển sang đối tượng nhiều lần, dẫn đến hỏng
Nếu bạn viết một đối tượng giống như tệp và triển khai bộ nhớ đệm của riêng mình, bạn có thể làm cho nó an toàn bằng cách lưu trữ pid bất cứ khi nào bạn thêm vào bộ đệm và loại bỏ bộ đệm khi pid thay đổi. Ví dụ
import multiprocessing as mp def foo[q]: q.put['hello'] if __name__ == '__main__': ctx = mp.get_context['spawn'] q = ctx.Queue[] p = ctx.Process[target=foo, args=[q,]] p.start[] print[q.get[]] p.join[]0Để biết thêm thông tin, hãy xem bpo-5155, bpo-5313 và bpo-5331
Các phương thức bắt đầu spawn và forkserver
Có một số hạn chế bổ sung không áp dụng cho phương thức khởi động fork
dễ ăn hơn
Đảm bảo rằng tất cả các đối số của
[1, 4, 9]43 đều có thể chọn được. Ngoài ra, nếu bạn phân lớp thì hãy đảm bảo rằng các phiên bản sẽ có thể chọn được khi phương thức được gọi
biến toàn cầu
Hãy nhớ rằng nếu mã chạy trong một tiến trình con cố gắng truy cập vào một biến toàn cục, thì giá trị mà nó thấy [nếu có] có thể không giống với giá trị trong tiến trình cha tại thời điểm được gọi
Tuy nhiên, các biến toàn cục chỉ là hằng số cấp độ mô-đun không gây ra vấn đề gì
Nhập an toàn mô-đun chính
Đảm bảo rằng mô-đun chính có thể được nhập an toàn bởi trình thông dịch Python mới mà không gây ra tác dụng phụ ngoài ý muốn [chẳng hạn như bắt đầu một quy trình mới]
Ví dụ: sử dụng phương thức khởi động spawn hoặc forkserver chạy mô-đun sau sẽ không thành công với một
import multiprocessing as mp def foo[q]: q.put['hello'] if __name__ == '__main__': ctx = mp.get_context['spawn'] q = ctx.Queue[] p = ctx.Process[target=foo, args=[q,]] p.start[] print[q.get[]] p.join[]1Thay vào đó, người ta nên bảo vệ “điểm vào” của chương trình bằng cách sử dụng
import multiprocessing as mp def foo[q]: q.put['hello'] if __name__ == '__main__': ctx = mp.get_context['spawn'] q = ctx.Queue[] p = ctx.Process[target=foo, args=[q,]] p.start[] print[q.get[]] p.join[]399 như sauimport multiprocessing as mp def foo[q]: q.put['hello'] if __name__ == '__main__': ctx = mp.get_context['spawn'] q = ctx.Queue[] p = ctx.Process[target=foo, args=[q,]] p.start[] print[q.get[]] p.join[]2[Có thể bỏ dòng
from multiprocessing import Process def f[name]: print['hello', name] if __name__ == '__main__': p = Process[target=f, args=['bob',]] p.start[] p.join[]88 nếu chương trình chạy bình thường thay vì đơ. ]Điều này cho phép trình thông dịch Python mới được tạo ra nhập mô-đun một cách an toàn và sau đó chạy hàm
from multiprocessing import Process, Pipe def f[conn]: conn.send[[42, None, 'hello']] conn.close[] if __name__ == '__main__': parent_conn, child_conn = Pipe[] p = Process[target=f, args=[child_conn,]] p.start[] print[parent_conn.recv[]] # prints "[42, None, 'hello']" p.join[]01 của mô-đunÁp dụng các hạn chế tương tự nếu một nhóm hoặc trình quản lý được tạo trong mô-đun chính
ví dụ
Trình diễn cách tạo và sử dụng trình quản lý và proxy tùy chỉnh
import multiprocessing as mp def foo[q]: q.put['hello'] if __name__ == '__main__': ctx = mp.get_context['spawn'] q = ctx.Queue[] p = ctx.Process[target=foo, args=[q,]] p.start[] print[q.get[]] p.join[]3
sử dụng
import multiprocessing as mp def foo[q]: q.put['hello'] if __name__ == '__main__': ctx = mp.get_context['spawn'] q = ctx.Queue[] p = ctx.Process[target=foo, args=[q,]] p.start[] print[q.get[]] p.join[]4
Một ví dụ cho thấy cách sử dụng hàng đợi để cung cấp các tác vụ cho một tập hợp các quy trình công nhân và thu thập kết quả