Khoảng cách euclide là gì
Posted by Trần Quốc Long trên Tháng Bảy 30, 2008
Ước lượng tham số của phân phối chuẩn (normal distribution): Ở bài thứ 3, ta đã thấy một ví dụ sử dụng công thức Bayes để ước lượng xác suất của tham số. Trong ví dụ này, ta sẽ thử sử dụng nguyên tắc cực đại hóa khả năng (maximum likelihood estimation – MLE) để ước lượng tham số. Ví dụ 1. Giả sử dữ liệu được lấy từ phân phối chuẩn . Hãy xác định . Giải: Giá trị của phải cực đại hóa khả năng (likelihood) của dữ liệu Lấy logarit cơ số tự nhiên cả hai vế và loại bỏ đi hằng số, việc cực đại hóa tương đương với việc cực đại hóa hàm log-likelihood sau Lấy đạo hàm và đặt bằng rồi giải ra ta được ước lượng MLE của là Ví dụ 2. Giả sử dữ liệu được lấy từ phân phối chuẩn . Hãy xác định . Giải: Tương tự như trên hàm log-likelihood là: Đầu tiên, cực đại hóa theo , ta được Tiếp tục cực đại hóa theo ta có Lưu ý:
Ví dụ 3. Giả sử có hai lớp đối tượng , ta biết rằng Nghĩa là phân bố của hai lớp đối tượng đều là phân phối chuẩn, có phương sai giống nhau. Đồng thời giả sử . Hãy xây dựng luật phân lớp tối ưu và ước lượng xác suất lỗi. Giải: Do nên luật phân lớp tối ưu là Lấy logarith cơ số tự nhiên cả hai vế của bất đẳng thức rồi loại bỏ hằng số chung ta được Tức là nếu ở gần hơn thì sẽ được phân vào lớp và ngược lại. Hoặc nếu , ta có thể viết Để tính xác suất lỗi (generalization error), ta có Do và tính đối xứng của các phân bố ta có Trong đó là hàm phân bố xác suất (cummulative distribution function) của phân bố chuẩn . Ví dụ 4. Xét trường hợp tổng quát hơn và Điều kiện để phân vào lớp là Lấy logarit cơ số tự nhiên cả 2 vế, ta có Như vậy, ở trường hợp phân phối chuẩn tổng quát, đường phân ranh giới tối ưu giữa 2 lớp là một đường cong bậc 2. Nó có thể là đường thẳng, elipsoid, hyperbol hay parabol tùy thuộc vào và . Ta xét một số trường hợp đơn giản:
Lưu ý:
|