Ở bài cuối của chuỗi bài phân tích tính hội tụ của thuật toán Gradient Descent mình sẽ phân tích đối với hàm smooth và strongly convex function. Đây là 2 tính chất quan trọng kết hợp trong 1 hàm làm cho thuật toán gradient descent “faster”. Định nghĩa: Cho...
[Read More]
Về tính hội tụ của thuật toán Gradient Descent (Phần 2)
Ở bài trước mình đã phân tính tính hội tụ của Gradient Descent đối với hàm Lipschitz Convex Function. Số steps khoảng . Bài viết này mình sẽ phân tích tính hội tụ của Gradient Descent với dạng hàm Smooth Convex Function. (Có thể hình dung hàm này là “Not...
[Read More]
Về tính hội tụ của thuật toán Gradient Descent (Phần 1)
Trong bài toán tối ưu cụ thể là các bài toán tìm giá trị lớn nhất hay giá trị nhỏ nhất của một hàm số, ta thường đi giải phương trình đạo hàm hoặc đạo hàm riêng bằng 0 đối với hàm nhiều biến. Tuy nhiên, việc tối ưu hàm...
[Read More]
Các phương pháp Matrix Decomposition (Phần 3)
Ở bài trước mình đã nói về Cholesky Decomposition, bài này mình sẽ trình bày về QR Decomposition. I. Các khái niệm cơ bản 1. Tích vô hướng và không gian Euclid Cho là không gian vector. Ánh xạ được gọi là tích vô hướng trong nếu với mọi và...
[Read More]
Các phương pháp Matrix Decomposition (Phần 2)
Bài trước mình đã nói về LU Decomposition, ở bài này mình sẽ trình bày về Cholesky Decomposition. Phân tích này được đề xuất bởi nhà toán học André-Louis Cholesky, nó có nhiều ứng dụng trong tính ma trận nghịch đảo, giải hệ phương trình tuyến tính, tính định thức,...
[Read More]