Bài toán xử lý ngôn ngữ tự nhiên năm 2024
Ngôn ngữ tự nhiên có thể hiểu đơn giản là ngôn ngữ mà con người sử dụng để giao tiếp với nhau trong cuộc sống hằng ngày. Nó có thể tồn tại dưới dạng âm thanh, chữ viết, ký hiệu, ... Ngôn ngữ tự nhiên cần được phân biệt với những ngôn ngữ hình thức điển hình như các ngôn ngữ lập trình. Show 1.2. Xử lý ngôn ngữ tự nhiênXử lý ngôn ngữ tự nhiên (Natural Language Procesing - NLP) là một nhánh của trí tuệ nhân tạo tập trung vào việc giải quyết các bài toán liên quan tới ngôn ngữ tự nhiên. Đây không phải là một thuật ngữ mới tuy nhiên nó mới chỉ được biết tới rộng rãi hơn trong những năm gần đây do sự phát triển mạnh mẽ của Trí tuệ nhân tạo. 1.3. Một số bài toán xử lý ngôn ngữ tự nhiên kinh điển
Ngoài những bài toán kể trên xử lý ngôn ngữ tự nhiên còn có rất nhiều những bài toán khác như: Nhận dạng tiếng nói, nhận dạng chữ viết, hệ thống hội thoại (chatbot), Sentiment Analysis, khai phá dữ liệu (data mining) và phát hiện tri thức, ... Những vấn đề, bài toán mà xử lý ngôn ngữ tự nhiên giải quyết có vai trò, ứng dụng to lớn trong sự phát triển của xã hội. 2. Các thuật ngữ cơ bản trong xử lý ngôn ngữ tự nhiên2.1. CorpusCorpus hiểu một cách đơn giản là các tập hợp dữ liệu văn bản, ngôn ngữ đã được số hóa, nó là các dữ liệu đã được xử lý, nó được dùng để kiểm chứng các quy luật của ngôn ngữ quá trình phân tích thông kê hay kiểm định giả thuyết thống kê của các mô hình dự đoán. Tham khảo: [1], [2] 2.2. Phân tích hình thái (Morphological analysis)Trong ngôn ngữ học, hình thái học là môn học xác định, phân tích và miêu tả cấu trúc của hình vị (morpheme) và các đơn vị ý nghĩa khác như từ, phụ tố, từ loại, thanh điệu, hàm ý. Để có thể dễ hiểu ta có thể sử dụng từ vựng để thay thế cho hình vị. Phân tích hình thái trong NLP có thể kể đến các khâu xử lý như:
2.3. Phân tích ngữ pháp (Parser)Một số công việc cần làm khi phân tích ngữ pháp như:
3. Kết luậnTrong bài viết này mình giới thiệu khái quát về Xử lý ngôn ngữ tự nhiên và bước đầu làm quen với các thuật ngữ trong xử lý ngôn ngữ tự nhiên. Trong bài viết tiếp theo mình sẽ đề cập thêm một số khái niệm khác của NLP hy vọng có thể giúp những người mới làm quen với xử lý ngôn ngữ tự nhiên dễ dàng hơn trong việc tiếp cận với hướng nghiên cứu này. Tham khảohttps://qiita.com/yura/items/6c1481ca652d3d131e47 https://ongxuanhong.wordpress.com/2016/02/05/cac-thuat-ngu-trong-xu-ly-ngon-ngu-tu-nhien/ http://viet.jnlp.org |