Là trí thông minh được vận hành bởi máy móc và phần mềm, một nhánh của ngành khoa học máy tính, do con người lập trình để máy tính có thể tự động hóa các hành vi thông minh như con người.

Trí tuệ nhân tạo

Khác với các mô hình khác, RNN sử dụng đầu ra của step trước làm đầu vào của step sau, nhờ đó nó đặc biệt phù hợp với các bài toán xử lý chuỗi. Ví dụ như bài toán machine...

RNN, LSTM, Seq2seq series. part 1: RNN

Bravo!

Tìm hiểu kiến thức nhằm giải thích các sự vật, sự việc, hiện tượng, nguyên lý, quy tắc của tự nhiên, vũ trụ, con người.

Khoa học

Khái niệm đối ngược là Float là Fixed 
Float nghĩa là nổi, khi 1 vật nổi thì vị trí của nó ko cố định 
Điều này cũng giống như vị trí dấu phẩy (floating point) là không cố định....

Tại sao gọi là Float number

Theo hiểu biêt của mình thì learning rate decay là 1 phương pháp điều chỉnh learning rate qua mỗi bước update các tham số của mô hình. Thay vì fix giá trị learning rate đồng nghĩa với việc coi mỗi bước update đều có đóng góp tương đương nhau tới mô hình cuối, ta có thể điều chỉnh giá trị của nó đề điều chỉnh mức độ đóng góp của từng bước update. Ví dụ như ta thường muốn các gradient ở những bước đầu tiên có giá trị lớn (learning rate lớn) để mô hình nhanh hội tụ nhưng khi đã tiến gần hơn đến điểm tối ưu, ta lại muốn các gradient này có giá trị nhỏ đi (learning rate nhỏ) để tiến dần dần tới điểm tối ưu mà không vượt quá nó. Một cách để thực hiện điều này là tại mỗi bước update, ta sẽ cập nhật lại learning rate dựa theo số lượt update đã hoàn thành theo một tỷ lệ nào đó. Tỷ lệ này được gọi là decay rate và sẽ đóng góp trực tiếp vào quá trình cập nhật learning rate. Chi tiết hơn bạn có thể tham khảo video của giáo sư Andrew Ng nhé :D<iframe class="ql-video" frameborder="0" allowfullscreen="true" src="https://youtube.com/embed/QzulmoOg2JE?showinfo=0"></iframe>

Theo hiểu biêt của mình thì learning rate decay là 1 phương pháp điều chỉnh learning rate qua mỗi bước update các tham số của mô hình. Thay vì fix giá trị learning rate đồng...

Dat Bui

Dat Bui

RNN, LSTM, Seq2seq series. part 1: RNN

Bravo!

Tại sao gọi là Float number

Mong được cộng đồng khai sáng về khái niệm decay trong các đồ thị learning curve? :3?