So sánh DNN với HMM, GMM ...?

  1. Trí tuệ nhân tạo

Hiện nay trong nhiều lĩnh vực khác nhau thì Mạng nơ ron học sâu DNN được áp dụng rất nhiều và cho thấy kết quả rất mạnh mẽ, nhưng mình vẫn luôn có một thắc mắc là: Tại sao lại chọn DNN mà không phải là các thuật toán học máy cũ hơn như GMM, HMM, ... ?

Vậy câu hỏi của mình là: DNN có những điểm mạnh vượt trội nào so với GMM, HMM và các thuật toán cũ hơn trong các lĩnh vực??? Điểm yếu của nó là gì?

Từ khóa: 

trí tuệ nhân tạo

theo mình biết, một số đặc điểm nổi bật của DNN so với GMM, có thể kể đến như sau:

  • khả năng phân loại (classifier) của mô hình DNN tốt hơn so với GMM, và cần ít số lượng tham số hơn
  • DNN có thể mô hình hóa đưọc ngữ cảnh dài hơn. Ví dụ trong xử lý tiếng nói, mạng DNN có thể coi một ngữ cảnh là 40 frame liên tiếp nhau của tiếng nói, trong khi con số đó của GMM chỉ là 7-9 frames. GMM model không thể tốt hơn bạn cứ tiếp tục tăng độ dài của context, vì đặc tính lồi của hàm phân phối Gauss
  • DNN có thể tiếp nhận nhiều loại vector đầu vào khác nhau. Trong nhận dạng tiếng nói, chỉ cần nối các vector đặc trưng người nói (ivector) vào vector tiếng nói (MFCC,PLP) cũng sẽ tạo thành được vector đầu vào cho mạng DNN
  • Hiện nay một số hệ thống AI đã sữ dụng công nghệ đầu-cuối end-to-end, trong đó hệ thống học chỉ bao gồm các mạng nơ-ron mà không cần dùng đến GMM.
Trả lời

theo mình biết, một số đặc điểm nổi bật của DNN so với GMM, có thể kể đến như sau:

  • khả năng phân loại (classifier) của mô hình DNN tốt hơn so với GMM, và cần ít số lượng tham số hơn
  • DNN có thể mô hình hóa đưọc ngữ cảnh dài hơn. Ví dụ trong xử lý tiếng nói, mạng DNN có thể coi một ngữ cảnh là 40 frame liên tiếp nhau của tiếng nói, trong khi con số đó của GMM chỉ là 7-9 frames. GMM model không thể tốt hơn bạn cứ tiếp tục tăng độ dài của context, vì đặc tính lồi của hàm phân phối Gauss
  • DNN có thể tiếp nhận nhiều loại vector đầu vào khác nhau. Trong nhận dạng tiếng nói, chỉ cần nối các vector đặc trưng người nói (ivector) vào vector tiếng nói (MFCC,PLP) cũng sẽ tạo thành được vector đầu vào cho mạng DNN
  • Hiện nay một số hệ thống AI đã sữ dụng công nghệ đầu-cuối end-to-end, trong đó hệ thống học chỉ bao gồm các mạng nơ-ron mà không cần dùng đến GMM.