Truy vấn mongodb 1 triệu bản ghi
|
Làm việc với các bản ghi cơ sở dữ liệu 100 nghìn — 1 triệu gần như không phải là vấn đề với các gói giá Mongo Atlas hiện tại. Bạn tận dụng tối đa nó mà không cần phải hối hả, chỉ bằng phần cứng vừa đủ, chỉ cần sử dụng chỉ mục và phân trang Show Nhưng hãy tưởng tượng dự án của bạn gần đây có một tập dữ liệu khách hàng khổng lồ cho hệ thống ETL mới. Bây giờ, bạn cần tạo tập lệnh tải lên một lần và sau đó xử lý tính toán KPI cho tất cả (hoặc một phần) tập dữ liệu Còn việc có một tập dữ liệu lớn hơn 1 triệu bản ghi thì sao? . Không phải tất cả các phương pháp tiêu chuẩn đều hoạt động hiệu quả đối với những khối lượng như vậy Do đó, hãy xem cách chúng tôi có thể xử lý khối lượng này bằng cách tăng dần kích thước tập dữ liệu và giải quyết các vấn đề về hiệu suất Tuyên bố miễn trừ trách nhiệm — Tất cả mã nằm ở đây — Github Cài đặtĐể làm cho thử nghiệm này trở nên đơn giản, tôi chọn sử dụng cụm M30 *Dedicated * trên Mongodb Atlas. Có một gói Mongo không có máy chủ nhưng hãy bỏ qua nó cho thử nghiệm này  Ngoài ra, có một công cụ đã được tích hợp sẵn trong Atlas để tải các mẫu tập dữ liệu, nhưng tôi khuyên bạn nên làm theo cách tiếp cận *thô sơ* để thực hiện các tập lệnh tùy chỉnh. Bạn có thể có máy chủ MongoDB tự lưu trữ mà không có Atlas hoặc atlas CLI không thể hỗ trợ loại tiện ích mở rộng tập dữ liệu của bạn, hơn nữa, bạn sẽ tự kiểm soát luồng dữ liệu Một điều nữa cần đề cập là tốc độ internet. Các thử nghiệm đã được hoàn thành trên Macbook Pro cục bộ của tôi với kết nối wifi 25–35 Mbps. Kết quả của thử nghiệm hiện tại có thể khác so với chạy trên phiên bản EC2 sẵn sàng ra mắt vì mạng ở đó tốt hơn nhiều Bạn có thể tìm thấy một số dữ liệu mẫu ở đâu?Để thử với việc tạo dữ liệu và tạo tập dữ liệu tùy chỉnh, tôi có thể khuyên bạn nên sử dụng - https. // tạo dữ liệu. com/. Tôi đã sử dụng nó để tạo 1🍋 bản ghi dữ liệu. Tại thời điểm viết bài này, gói hàng năm cơ bản có giá 25 đô la và bạn sẽ không hối tiếc Công cụ này hoạt động trong trình duyệt, vì vậy bạn cần sẵn sàng cho tải CPU nặng trong quá trình tạo Đừng quên *bỏ khoảng trắng khỏi nội dung được tạo *đánh dấu để làm cho tệp của bạn nhỏ hơn ~20% Tôi mất ~3 giờ để tạo tập dữ liệu 1🍋 có kích thước 254MB. Đó là một tệp JSON mà sau này chúng ta sẽ sử dụng để tải nó vào Mongo
Tôi khuyên bạn nên sử dụng công cụ này để tạo không quá 2 triệu dữ liệu vì nó mất một khoảng thời gian hợp lý và CPU máy tính xách tay của bạn Muốn có nhiều dữ liệu hơn với ít nỗ lực hơn? Một đồng nghiệp của tôi đã giới thiệu cho tôi một nền tảng DS tuyệt vời với các bộ dữ liệu đã được chuẩn bị sẵn để thử nghiệm dữ liệu. Sau khi đào nó, tôi tìm thấy hai bộ dữ liệu phù hợp nhất
Bạn có thể xem lại tất cả nội dung của nó, nhưng nhìn chung, có một tệp JSON lớn 5GB — yelp_academic_dataset_review. json nó chứa 6,9 🍋 bản ghi JSON. Sử dụng Dadroid để xem lại các tệp JSON lớn 2. Đánh giá ứng dụng trên cửa hàng Steam Đây là một cái lớn — 45GB đánh giá trên steam. Tôi không biết có bao nhiêu bản ghi bên trong khi tải xuống vì tất cả các tệp đều nằm trong các thư mục được phân trang. Sau này, chúng ta sẽ tìm hiểu cách viết một kịch bản, để tóm tắt, đếm tất cả các bản ghi. Con số chính xác của chúng sẽ được tiết lộ, nhưng tin tôi đi, đây có thể gọi là Dữ liệu lớn (nhỏ) Làm thế nào để chèn dữ liệu?Tôi khuyên bạn nên đặt tập dữ liệu của mình bên ngoài thư mục làm việc. Nó sẽ ngăn trình chỉnh sửa mã của bạn lập chỉ mục tất cả cây tệp đó và làm chậm quá trình tìm kiếm văn bản Chèn 1 triệu bản ghi Hãy bắt đầu với việc chèn 1 triệu JSON chỉ bằng một thao tác cập nhật đơn giản Nhiều thao tác. Mẫu dữ liệu được tạo mẫu dữ liệu Tôi quyết định thử chèn tất cả các tài liệu vào một phần mà không có bất kỳ đoạn nào Trong tập lệnh này, chúng tôi chỉ đơn giản gọi một hàm ẩn danh sẽ được thực thi ngay lập tức. Tôi sẽ sử dụng trình điều khiển mongodb bản địa vì tất cả các lib khác đều được xây dựng trên trình điều khiển đó. Ở dòng 3, tôi đã nhập phiên bản fs được quảng cáo để sử dụng chờ trong đầu vào phân tích cú pháp JSON Thật thú vị khi thử khả năng của gói miễn phí, vì vậy tập lệnh này đã được chạy trên cụm Atlas miễn phí Vào chế độ toàn màn hình Thoát chế độ toàn màn hình Mongo thậm chí không cảm thấy điều đó. Nút mất ~3 giây để đọc tệp và khoảng 2,5 phút để Mongo ghi 1 triệu bản ghi. Ngoài ra, không có nhiều hơn 3 kết nối được tạo cho điều đó Còn cụm M30 thì sao? Vào chế độ toàn màn hình Thoát chế độ toàn màn hình Không có thay đổi về hiệu suất ở đây. Cách tiếp cận hiện tại là cách tiếp cận *tốt *, bạn có thể sử dụng nó cho một lần chèn. Nhưng con đường dễ dàng không phải là con đường của chúng ta. Chuyển sang phần tiếp theo Chèn 7 triệu Bây giờ hãy làm việc với 7 triệu JSON. Ví dụ về hồ sơ
Liệu cách tiếp cận trước đây có phù hợp với khối lượng dữ liệu như vậy không? . Tôi đã thay đổi đường dẫn đến tập dữ liệu mới và bắt đầu tập lệnh của mình Vào chế độ toàn màn hình Thoát chế độ toàn màn hình 2GB là kích thước giới hạn cho các tệp có thể được lưu trữ trong Nút. thực thể bộ đệm js. Đó là lý do tại sao chúng ta nên sử dụng Luồng ở đây Một tài liệu tham khảo nhanh từ tài liệu
Bây giờ chúng ta cần thực hiện một số thay đổi sơ bộ đối với tập lệnh
Dòng 25 - luồng được sử dụng thông qua Trình phát sự kiện. Hàm được đăng ký với một sự kiện *dữ liệu * và mỗi biến dữ liệu chứa chính xác một bản ghi JSON từ tệp tập dữ liệu 7m của chúng tôi Dòng 27 — tất cả các bản ghi được đẩy vào một mảng tích lũy — arrayToInsert Dòng 29 có một toán tử còn lại — nó chỉ được sử dụng để kích hoạt nhánh if bất cứ khi nào 100 nghìn bản ghi mới được đẩy vào mảng Dòng 30 - khi chúng tôi nhập nhánh câu lệnh if, đường ống sẽ bị tạm dừng để ngăn việc đẩy mảng mới. Không có gì mới hơn nữa — insertMany và đợi 100 mili giây sau mỗi cuộc gọi. Tiếp tục đường dẫn và thực hiện cho đến khi kết thúc sự kiện kích hoạt để thoát khỏi tập lệnh Trong ví dụ này, chúng tôi đang chèn 100k liên tục với một chút chậm trễ. thời gian thử nghiệm Vào chế độ toàn màn hình Thoát chế độ toàn màn hình Mất khoảng 29 phút để chèn. Và bây giờ có vẻ hợp lý quá nhiều thời gian để chạy Như bạn có thể thấy ở đây, chúng tôi đã sử dụng khoảng 30% CPU hệ thống và 66 IOP là giá trị cao nhất trong quá trình chèn Theo 29 phút trên 7 triệu tài liệu, khi bạn cần đặt 50 triệu bản ghi, sẽ mất gần như vô hạn (~ 3,5 giờ để chạy)😊 Chúng tôi chắc chắn có thể cải thiện nó bằng cách thêm một số thao tác chèn song song và có thể tăng kích thước khối 100k để xử lý nhiều thao tác song song hơn
Sau này, phương pháp này sẽ được sử dụng lại cho các phần chèn lớn hơn, vì vậy hãy dành thời gian của bạn để tìm hiểu cách thức hoạt động của nó Kết quả Vào chế độ toàn màn hình Thoát chế độ toàn màn hình Như chúng ta có thể thấy ở đây hiệu suất được cải thiện đến 50%. Tôi đoán nó bây giờ tốt hơn nhiều. Còn Mông Cổ thì sao? CPU hệ thống đã tăng lên 40%, nhiều hơn 10% so với lần chèn 100k theo trình tự IOPS cũng tăng gần gấp đôi từ 50 lên 100 và kết nối cũng tăng từ 40 lên ~60 Tôi chắc chắn rằng có một cách lớn để cải thiện ở đây nhưng kết quả này phù hợp với hầu hết các trường hợp. Bây giờ bằng cách sử dụng song song hóa này, chúng tôi có thể nhận được dữ liệu Lớn-nhỏ của mình Chèn hơn 50 🍋 Để thực hiện thử nghiệm này, chúng tôi cần rất nhiều dữ liệu, phải không? . Ngoài ra, tôi đã đề cập rằng trước khi loay hoay với tập lệnh chèn, chúng ta chỉ cần biết chính xác các bản ghi ở đó như thế nào Tổng quan nhanh về các thư mục tập dữ liệu Bộ dữ liệu này bao gồm các thư mục, mỗi thư mục chứa từ 10 đến 2000 tệp JSON. Mỗi JSON có thể chứa bất kỳ số lượng đánh giá nào Trong ví dụ hiện tại, tập lệnh chủ yếu nên lặp lại qua từng thư mục, đọc tệp và lưu bộ đếm độ dài mảng đánh giá ở đó. Hãy xem một bài đánh giá bên trong tệp JSON
Một điều tôi muốn thực hiện trong tập lệnh này là thêm một số tham số đầu vào để hạn chế phân trang thư mục của chúng tôi. Nó sẽ cho phép chúng tôi kiểm tra tập lệnh trên một tập hợp con dữ liệu và chèn song song bằng cách chọn một loạt thư mục cho mỗi quy trình. Bây giờ hãy kiểm tra chính tập lệnh Dòng 2 — gói tối thiểu được sử dụng để giúp dễ dàng đọc các tham số CLI bên trong quy trình nút. Bây giờ nó có thể được sử dụng như thế này * nút inde. js --from=1 --to=55* Dòng 11 - liệt kê các thư mục sử dụng fs. lời hứa. thư mục đọc Dòng 13 - chọn các đường dẫn bên trong thư mục của bộ dữ liệu và cắt chúng thành phạm vi chính xác mà chúng tôi sẽ làm việc với Dòng 18 - mọi đường dẫn bên trong vòng lặp chứa một thư mục không có tệp JSON và thao tác tương tự sẽ được thực hiện ở đây - liệt kê tất cả các tệp JSON có fs. lời hứa. thư mục đọc InternalPaths chứa tất cả các đường dẫn đến các tệp JSON mà chúng ta cần lặp lại. Tôi đã sử dụng củ cải. song song để đọc tệp trong dir nhanh hơn. Ngoài ra, không có luồng nào ở đây vì hầu hết mọi tệp đều không lớn hơn 100kb Dòng 27 - phân tích cú pháp JSON ra khỏi chuỗi Bộ đệm và đọc khóa đánh giá độ dài. Tổng hợp doneReadingReview var Có một nhật ký bảng điều khiển quan trọng trên dòng 33. Vì việc chèn dữ liệu có thể được thực hiện song song sau này nên chúng tôi cần biết có bao nhiêu thư mục đã được đọc để tích lũy một triệu bản ghi tiếp theo. Thời gian để chạy tập lệnh kỳ lạ này Vào chế độ toàn màn hình Thoát chế độ toàn màn hình Quạt máy tính xách tay của tôi đạt RPS tối đa khi đọc tập dữ liệu này. Khi nào chúng ta có ở đây
Hãy tính xem sẽ mất bao lâu để chèn 63🍋 bằng cách sử dụng kết quả tốt nhất của chúng tôi ở các bước trước đó (7🍋/14 phút) — 2h (khoảng 126 phút). Tôi không nghĩ chúng ta có thể từ bỏ điều đó Chèn 63 triệu bản ghi Như chúng ta đã thấy trước đây - quyền lực đang song song hóa. Sử dụng đầu ra nhật ký của phần trước, chúng ta nên chia nhật ký của mình thành 6 phần chẵn. Sau đó, sử dụng lại các phần đường dẫn đã thực hiện dưới dạng đầu vào --from và — toparams cho tập lệnh tiếp theo của chúng tôi. Nó sẽ dẫn đến các cặp này Vào chế độ toàn màn hình Thoát chế độ toàn màn hình Vì chúng tôi đã chuẩn bị tập lệnh đếm của mình để sử dụng phạm vi cho thư mục, bước tiếp theo chỉ là thêm phần chèn. Hãy xem lại kịch bản đã sẵn sàng và các phần chính của nó
Dòng 46–47 — chúng tôi chỉ đơn giản là đẩy các bài đánh giá mới vào một mảng Các dòng 55–65 — khi có nhiều đánh giá hơn ngưỡng chúng được chèn vào Mogno và khi vòng lặp ở lần lặp cuối cùng, chúng tôi buộc phải chèn dữ liệu để đảm bảo tất cả dữ liệu được chèn Dòng 87–100 — chức năng chèn phân đoạn tất cả các bài đánh giá trên mỗi 20k và chèn song song Vì chúng tôi đã xác định các cặp cho các khối có cùng kích thước tập dữ liệu trước đó, tôi đoán chúng tôi có thể thử chạy tập lệnh chèn trong 6 quy trình song song. Để làm cho mọi thứ đơn giản, hãy mở 6 cửa sổ đầu cuối và chạy nó. Bạn luôn có thể sử dụng các mô-đun luồng công nhân tích hợp trong Node. js và công cụ pm2, nhưng thử nghiệm của chúng tôi có thể đáp ứng giải pháp nguyên thủy nhất. thời gian thử nghiệm Kết quả của mỗi lần thực hiện song song Vào chế độ toàn màn hình Thoát chế độ toàn màn hình Mất khoảng 1 giờ 24 phút để chèn 63🍋 bản ghi. Tốc độ chèn tuần tự nhanh hơn 33% so với dự đoán trước đây của chúng tôi. Chúng tôi đã tải gần 45GB dữ liệu trong chưa đầy một tiếng rưỡi. Còn Mông Cổ thì sao? Những phần chèn này đã tải cụm khá nhiều. CPU hệ thống tối đa ~65%, CPU xử lý khoảng 40% trong toàn bộ thời gian. Các kết nối luôn ở mức 100 gần như toàn bộ thời gian và IOPS trung bình là 125. Tôi đoán những kết quả này là đủ tốt bây giờ Một điều nữaTất cả các phương pháp được mô tả là cải thiện hiệu suất chung. Nhưng có thêm một cách hack dành riêng cho trình điều khiển mà bạn có thể sử dụng tùy thuộc vào dự án của mình Phương thức insertMany của MongoDB có các tham số tùy chọn mà bạn có thể thay đổi để thực hiện thao tác chèn nhanh hơn nữa
Sử dụng chúng cũng có thể tăng tốc độ chèn Nhưng bạn cần lưu ý rằng việc sử dụng. ra lệnh. sai sẽ không cho phép bạn dựa vào thứ tự chèn của tài liệu viếtQuan tâm. {w. 0} không yêu cầu xác nhận thao tác ghi (nguồn) Nếu không có điều nào trong số này ngụ ý các yêu cầu của ứng dụng, bạn có thể sử dụng nó Gói (lại
Vô cùng cảm kích vì bạn đã đọc đến thời điểm này, hy vọng Nó sẽ giúp bạn trở thành một nhà phát triển tốt hơn Đăng ký Phương tiện của tôi, theo dõi tôi trên Twitter, kết nối trên LinkedIn và xem các ví dụ mã trên GitHub MongoDB có thể xử lý hàng triệu bản ghi không?Làm việc với MongoDB và ElasticSearch là một quyết định chính xác để xử lý hàng triệu bản ghi trong thời gian thực . Những cấu trúc và khái niệm này có thể được áp dụng cho các bộ dữ liệu lớn hơn và cũng sẽ hoạt động rất tốt.
Giới hạn của truy vấn MongoDB là bao nhiêu?Trong MongoDB, phương thức limit() giới hạn số lượng bản ghi hoặc tài liệu mà bạn muốn . Về cơ bản, nó xác định giới hạn tối đa của hồ sơ/tài liệu mà bạn muốn. Hay nói cách khác, phương thức này sử dụng trên con trỏ để chỉ định số lượng tài liệu/bản ghi tối đa mà con trỏ sẽ trả về.
Tôi có thể sử dụng MongoDB cho dữ liệu lớn không?Do những yêu cầu đặc biệt này, Cơ sở dữ liệu NoSQL (không liên quan), chẳng hạn như MongoDB, là một lựa chọn hiệu quả để lưu trữ dữ liệu lớn .
MongoDB có thể xử lý hàng petabyte dữ liệu không?Phần mềm cung cấp quy mô cực lớn, phục hồi nhanh chóng và tối ưu hóa lưu trữ thông minh. Sự gắn kết đang được các doanh nghiệp hàng đầu trong danh sách Fortune 500 sử dụng trong ngành bán lẻ, dịch vụ tài chính và chăm sóc sức khỏe. Các tính năng chính • Khả năng mở rộng cực cao sử dụng kiến trúc mở rộng quy mô có thể hỗ trợ dữ liệu từ vài terabyte đến petabyte . |
