Làm sao để đánh giá thuật toán Recommendation nào là hiệu quả nhất ?

  1. Công nghệ thông tin

Cho em hỏi có những tiêu chí và thang đo nào để những người xây dựng đánh giá hiệu quả của một Recommendation System

Từ khóa: 

công nghệ thông tin

Việc thuật toán Recommendation nào hiệu quả nhất với hệ thống của bạn còn phụ thuộc vào dữ liệu bạn đang có. Bạn tham khảo thêm tại:

https://viblo.asia/p/cac-thuat-toan-duoc-su-dung-trong-he-thong-goi-y-recommendation-system-oOVlYyPal8W

Trả lời

Việc thuật toán Recommendation nào hiệu quả nhất với hệ thống của bạn còn phụ thuộc vào dữ liệu bạn đang có. Bạn tham khảo thêm tại:

https://viblo.asia/p/cac-thuat-toan-duoc-su-dung-trong-he-thong-goi-y-recommendation-system-oOVlYyPal8W

Đúng là tùy vào dữ liệu, mục tiêu nhất định, mà mỗi thuật toán sẽ có điểm lợi và bất lợi khác nhau.

Và để trả lời những câu hỏi dạng này, bạn phải trả lời thước đo nào cho chất lượng các hệ thống gợi ý kết quả (recommendation).

Có lẽ nghĩ đến 2 thông số đầu tiên là Độ chính xác (Accuracy) và Độ Bao phủ (Coverage) . Từng thông số đo này lại phụ thuộc vào các kỹ thuật sử dụng trong quá trình lọc.

Ngoài ra, mỗi thang đo lại phù hợp cho từng kiểu dữ liệu, kết quả trả ra của từng thuật toán.


Một số thước đo như:


MAE (Mean Absolute Error), RMSE (Root Mean Square Error) and Correlation: Là thước đo độ chính xác về mặt thống kê.


Reversal rate, Weighted errors, Receiver Operating Characteristics (ROC) and Precision Recall Curve (PRC), Precision, Recall and F-measure: Là thước đo độ chính xác dựa trên sự quyết định.


Độ bao phủ: Được thể hiện ở tỷ lệ phần trăm mà các [Mục Được Gợi Ý] và [Số lượng người dùng] có quan tâm đến. Một hệ thống mà gợi ý xong, các chỉ số thước đo rất tốt, nhưng lại không có người dùng nào Sử dụng (Rated), thì cũng bỏ đi


=> Kết luận (Conclusion) : [Xác định dữ liệu]+[Mục tiêu] -> [Chọn thang đo phù hợp với dữ liệu] -> [Chọn giải thuật phù hợp với dữ liệu] -> [Thử nghiệm và chọn giải thuật tốt nhất, hiệu quả nhất]