Sigmoid (Hàm Sigmoid)

Định nghĩa

Hàm Sigmoid (hay Hàm Logistic) là một hàm kích hoạt phi tuyến có dạng hình chữ “S”.

Công thức

σ(x) = 1 / (1 + e^-x)

• e: Hằng số Euler (khoảng 2.718).

Đặc điểm

• Đầu ra (Output): Luôn nằm trong khoảng (0, 1).
• Diễn giải Xác suất: Vì đầu ra nằm giữa 0 và 1, hàm Sigmoid rất phù hợp để sử dụng ở lớp đầu ra (output layer) của mạng nơ-ron cho bài toán phân loại nhị phân (binary classification). Đầu ra có thể được diễn giải như là xác suất để mẫu đó thuộc về lớp “dương” (positive class).

Nhược điểm

1. Vanishing Gradient: Khi đầu vào (x) rất lớn (dương hoặc âm), đạo hàm của hàm Sigmoid tiến về 0. Trong mạng nơ-ron rất sâu, điều này có thể khiến gradient (tín hiệu lỗi lan truyền ngược) trở nên cực kỳ nhỏ ở các lớp đầu tiên, làm chậm hoặc dừng quá trình học của các lớp đó.
2. Đầu ra không Zero-centered: Đầu ra luôn dương (0, 1). Điều này có thể làm chậm quá trình hội tụ của thuật toán tối ưu (gradient descent) ở một số trường hợp. Hàm Tanh (có đầu ra từ -1 đến 1) thường được ưa chuộng hơn ở các lớp ẩn.

Do các nhược điểm này, ReLU và các biến thể của nó thường được ưu tiên hơn Sigmoid cho các lớp ẩn.