Cách xử lý trong trường hợp tập dữ liệu là không cân bằng (imbalanced dataset)?

  1. Trí tuệ nhân tạo

Từ khóa: 

trí tuệ nhân tạo

Data augmentation:

  • Oversampling -> Tạo thêm dữ liệu cho phần dữ liệu bị thiếu
  • Down sampling -> Bỏ bớt dữ liệu cho phần dữ liệu đang dư
Optimization:
  • Classweighting -> Tăng weight cho phần dữ liệu thiếu cao lên
  • Training -> Tăng xác suất phần dữ liệu thiếu được sử dụng trong quá trình training
  • Ngoài ra còn một số phương pháp khác mời các chuyên gia khác thêm vào

Trả lời

Data augmentation:

  • Oversampling -> Tạo thêm dữ liệu cho phần dữ liệu bị thiếu
  • Down sampling -> Bỏ bớt dữ liệu cho phần dữ liệu đang dư
Optimization:
  • Classweighting -> Tăng weight cho phần dữ liệu thiếu cao lên
  • Training -> Tăng xác suất phần dữ liệu thiếu được sử dụng trong quá trình training
  • Ngoài ra còn một số phương pháp khác mời các chuyên gia khác thêm vào

Mình cũng đang thắc mắc câu hỏi này mà chưa có lời giải tốt. Following
Mình comment để follow câu hỏi này. Thực sự trong cuộc số có nhiều tập dữ liệu bị lệch chẳng hạn bài toán phát hiện gian lận trong giao dịch. Mình cũng chưa tìm được phương pháp ổn cho bài toán này^^
Nội dung liên quan

Craw dữ liệu các trường đại học để dự báo số lượng tuyển sinh  ngành CNTT năm 2020?

Bạn sẽ chọn cách nào trong trường hợp này?

[Quan điểm của bạn] Các bạn ủng hộ hay không ủng hộ việc phát triển Trí tuệ nhân tạo trong tương lai?

Em bị để ý ánh mắt người khác?

Ranh giới giữa hài hước và vô duyên được biểu hiện như thế nào?

Học sinh lớp 12 nên làm công việc gì cho hợp nhỉ?

Nội dung sắp xếp theo thời gian

Làm thế nào để xây dựng model trong trường hợp ít dữ liệu?

Các phương pháp để tunning hyper parameters hiệu quả?

Hàm activition trong neural networks?

Yếu tố nào quan trọng nhất để xây dựng 1 model?

Best practice để thực hiện 1 dự án AI như thế nào?