Google sheet lấy dữ liệu từ website

Bạn có thể quét web trong Google Trang tính không? . Trên thực tế, Google Sheets có thể được coi là một công cụ quét web cơ bản. Bạn có thể sử dụng một công thức đặc biệt để trích xuất dữ liệu từ các trang web, nhập dữ liệu trực tiếp vào trang tính google và chia sẻ dữ liệu đó với bạn bè của mình. Bằng cách đọc các phần sau, bạn có thể tìm hiểu các phương pháp dễ dàng về cách xây dựng một công cụ quét web đơn giản bằng Google Trang tính

Nội dung chính Show

Lựa chọn 1. Tạo một công cụ quét web dễ dàng bằng cách sử dụng ImportXML trong Google Spreadsheets
Lựa chọn 2. Lấy dữ liệu giá với một công thức đơn giản. nhậpXML
Lựa chọn số 3. Một công thức khác để lấy dữ liệu với Google Sheets
Tùy chọn số 4. Công cụ quét web tự động mà không cần mã hóa
Một video về quét web với Octopude
Các bước để cạo dữ liệu web bằng Google Sheets Web Scraping Alternative
Nhập dữ liệu từ các bảng trong trang web vào Google Trang tính
Nhập dữ liệu từ bất kỳ trang web nào vào Google Trang tính
Nhập nội dung JSON từ bất kỳ trang web nào vào Google Trang tính
Thưởng. Nhập Nguồn cấp dữ liệu RSS trong Google Trang tính
Sự kết luận
Cách xuất miễn phí các bài đánh giá trên Google của bất kỳ doanh nghiệp nào
Cách hiển thị các giá trị duy nhất của nhiều cột trong một cột trong Google Sheets
Cách thêm ngày xuất bản và các trường tùy chỉnh khác vào dữ liệu Google Analytics của bạn
6 phản hồi

Mục lục

Lựa chọn 1. Tạo một công cụ quét web dễ dàng bằng cách sử dụng ImportXML trong Google Spreadsheets
Lựa chọn 2. Lấy dữ liệu giá với một công thức đơn giản. nhậpXML
Lựa chọn số 3. Một công thức khác để lấy dữ liệu với Google Sheets
Tùy chọn số 4. Công cụ quét web tự động mà không cần mã hóa

Lựa chọn 1. Tạo một công cụ quét web dễ dàng bằng cách sử dụng ImportXML trong Google Spreadsheets

Bước 1. Mở một trang tính Google mới

Bước 2. Mở một trang web mục tiêu với Chrome. Trong trường hợp này, chúng tôi chọn Trò chơi bán hàng. Nhấp chuột phải vào trang web và nó sẽ hiển thị menu thả xuống. Sau đó chọn "kiểm tra". Nhấn tổ hợp ba phím. "Ctrl" + "Shift" + "C" để kích hoạt "Bộ chọn". Điều này sẽ cho phép bảng kiểm tra lấy thông tin của thành phần được chọn trong trang web

Bước 3. Sao chép và dán URL trang web vào trang tính

Lựa chọn 2. Lấy dữ liệu giá với một công thức đơn giản. nhậpXML

Bước 1. Sao chép Xpath của phần tử. Chọn yếu tố giá và Nhấp chuột phải để hiển thị menu thả xuống. Sau đó chọn “Sao chép”, chọn “Sao chép XPath”

Bước 2. Nhập công thức vào bảng tính

=IMPORTXML(“URL”, “Biểu thức XPTH”)

Lưu ý "biểu thức Xpath" là biểu thức chúng tôi vừa sao chép từ Chrome. Thay thế dấu ngoặc kép " " trong biểu thức Xpath bằng dấu ngoặc kép đơn''

Lựa chọn số 3. Một công thức khác để lấy dữ liệu với Google Sheets

Có một công thức khác chúng ta có thể sử dụng

=IMPORTHTML(“URL”, “QUERY”, Chỉ mục)

Với công thức này, bạn trích ra cả bảng

Tùy chọn số 4. Công cụ quét web tự động mà không cần mã hóa

Bây giờ, hãy xem cách có thể hoàn thành dễ dàng cùng một tác vụ cạo bằng công cụ quét web, Octopude. Nó cho phép bạn trích xuất nhiều dữ liệu từ trang web hơn Google Sheets và bạn không cần học các kỹ năng mã hóa vì nó có chế độ tự động phát hiện. Octoparse hoạt động trên cả thiết bị Windows và Mac, hãy tải xuống và làm theo các bước bên dưới để thưởng thức

Một video về quét web với Octopude

Các bước để cạo dữ liệu web bằng Google Sheets Web Scraping Alternative

Bước 1. Mở Octopude sau khi cài đặt nhanh, xây dựng tác vụ mới bằng cách chọn “+Tác vụ” trong “Chế độ nâng cao”

Bước 2. Chọn Nhóm nhiệm vụ ưa thích của bạn. Sau đó nhập URL trang web mục tiêu và nhấp vào "Lưu URL". Trong trường hợp này. Trang web bán trò chơi http. // hơi nước. com/

Bước 3. Thông báo trang web Bán trò chơi được hiển thị trong phần chế độ xem tương tác Octoparse. Chúng ta cần tạo một danh sách vòng lặp để làm cho Octopude đi qua các danh sách

1. Nhấp vào một hàng của bảng (có thể là bất kỳ tệp nào trong bảng) Octopude sau đó phát hiện các mục tương tự và đánh dấu chúng bằng màu đỏ

2. Chúng ta cần trích xuất theo hàng, vì vậy hãy chọn “TR” (Table Row) từ bảng điều khiển

3. Sau khi một hàng đã được chọn, hãy chọn lệnh “Chọn tất cả thành phần phụ” từ bảng điều khiển Mẹo hành động. Chọn lệnh “Select All” để chọn tất cả các hàng trong bảng

Bước 4. Chọn “Trích xuất dữ liệu trong vòng lặp” để trích xuất dữ liệu

Bạn có thể xuất dữ liệu sang Excel, CSV, TXT hoặc các định dạng mong muốn khác. Trong khi bảng tính cần bạn sao chép và dán một cách vật lý, thì Octoparse sẽ tự động hóa quy trình. Ngoài ra, Octopude có nhiều quyền kiểm soát hơn đối với các trang web động bằng AJAX hoặc reCaptcha.

Nếu bạn đang tìm một dịch vụ dữ liệu cho dự án của mình, dịch vụ dữ liệu Octopude là một lựa chọn tốt. Chúng tôi hợp tác chặt chẽ với bạn để hiểu yêu cầu dữ liệu của bạn và đảm bảo chúng tôi cung cấp những gì bạn mong muốn. Hãy trò chuyện với chuyên gia dữ liệu của Octoparse ngay bây giờ để thảo luận về cách dịch vụ quét web có thể giúp bạn nỗ lực tối đa

Có nhiều cách để bạn có thể trích xuất hoặc trích xuất nội dung của một trang web chỉ bằng Google Trang tính. Để làm như vậy, nhiều công thức theo ý của bạn. Trong bài viết này, tôi sẽ xem xét ba công thức được sử dụng rộng rãi nhất mà bạn có thể sử dụng để thu thập nội dung của các trang web mà không cần kiến thức về mã hóa. Chúng ta hãy đi đến đó

Nhập dữ liệu từ các bảng trong trang web vào Google Trang tính

Một trong những cách phổ biến nhất để hiển thị khối dữ liệu lớn là sử dụng bảng. Các bảng HTML rất dễ viết mã và tạo nên mọi người có xu hướng sử dụng nó rất thường xuyên. Bạn có thể tìm thấy nó trên Wikipedia mà còn trên các trang web như Expatistan hoặc Numbeo (Ảnh chụp màn hình bên dưới)

Như bạn có thể thấy từ hình ảnh này, rõ ràng có hai cột. Một cho các yếu tố và một cho các giá trị

Nhìn code cũng thấy bảng HTML rõ ràng, dễ đọc, do đó dễ cạo bằng Google Sheets…

Để đưa bảng từ một trang web vào Google Trang tính, chúng ta cần xem xét kỹ hơn công thức mà chúng ta sẽ sử dụng, =IMPORTHTML, yêu cầu gì

Nhìn vào công thức, nó yêu cầu một URL, loại dữ liệu chúng tôi đang tìm cách trích xuất (Danh sách hoặc bảng) và chỉ mục

Looking at our Numbeo page (https://www.numbeo.com/cost-of-living/in/Paris), if you inspect the code and look for how many

elements there is, you can notice that the table that contains the data depicted two screenshots above is in the third table present in the source code.

Biết được điều đó, chúng ta có thể bắt đầu tạo công thức của mình như thế này

Và đây là kết quả

Bây giờ, có một trường hợp sử dụng tốt cho Numbeo. Chẳng hạn, bạn có thể tự động trích xuất toàn bộ dữ liệu của nhiều trang trong cùng một bảng tính

Để làm điều này, hãy tạo một cột A dành riêng cho các URL và hàng 1 cho tên các yếu tố

Bây giờ, thay vì chỉ sử dụng công thức IMPORTHTML như chúng tôi đã làm trước đây, chúng tôi cần điều chỉnh đầu ra của nó bằng các công thức khác, cụ thể là TRANSPOSE và INDEX. Chỉ riêng đầu ra được tạo bởi công thức IMPORTHTML là một bảng rộng ba cột và dài 65 hàng. Định dạng của bảng của chúng tôi được tạo sao cho các yếu tố phải là các cột và các tiêu đề sẽ trở thành các hàng. Công thức =TRANSPOSE thực hiện điều đó

Mặc dù đang đi đúng hướng, công thức này vẫn không sử dụng được cho mục đích của chúng tôi. Mục tiêu bây giờ là làm cho công thức chỉ xuất ra hàng thứ hai ở đây. Để làm như vậy, công thức INDEX sẽ trở nên hữu ích

Và đó là nó. Bây giờ chúng ta có thể thêm nhiều thành phố hơn vào cột URL, kéo công thức xuống và xem dữ liệu mở ra

Nhập dữ liệu từ bất kỳ trang web nào vào Google Trang tính

Bây giờ, nếu trang web mà bạn đang tìm kiếm bằng Google Trang tính không bao gồm các bảng và danh sách mà là mã thô, bạn có thể cần một công thức mạnh hơn một chút để hoàn thành công việc. Đáp ứng = IMPORTXML

Giống như IMPORTHTML, phần tử định kỳ ở đây là URL. Mặc dù vậy, Truy vấn Xpath là một khái niệm khó nắm bắt hơn. Cách mình giải thích trong bài viết hướng dẫn theo dõi kênh Youtube trên Google Sheets như sau

Để điền vào Truy vấn Xpath của hàm IMPORTXML, chúng tôi cần ba thành phần từ thông tin mà chúng tôi đang cố gắng lấy ra khỏi trang web