Tanh (Hàm Tanh)

Định nghĩa

Hàm Tanh (Hyperbolic Tangent) là một hàm kích hoạt phi tuyến, có dạng hình chữ “S” tương tự như Sigmoid, nhưng có phạm vi đầu ra khác.

Công thức

tanh(x) = (e^x - e^-x) / (e^x + e^-x) (Cũng có thể viết là: tanh(x) = 2 * [Sigmoid] - 1)

Đặc điểm

• Đầu ra (Output): Nằm trong khoảng (-1, 1).
• Zero-centered: Khác với Sigmoid (đầu ra 0 đến 1), đầu ra của Tanh đối xứng quanh 0. Đặc tính này thường giúp quá trình hội tụ (convergence) của thuật toán tối ưu (gradient descent) diễn ra nhanh hơn khi sử dụng Tanh ở các lớp ẩn.

Ưu điểm và Nhược điểm

• Ưu điểm:
  • Zero-centered: Thường hiệu quả hơn Sigmoid ở các lớp ẩn.
• Nhược điểm:
  • Vanishing Gradient: Tương tự Sigmoid, Tanh cũng gặp vấn đề Vanishing Gradient khi đầu vào (x) có giá trị tuyệt đối lớn (đạo hàm tiến về 0).
  • Tính toán: Phức tạp hơn ReLU.

Do vấn đề Vanishing Gradient, ReLU và các biến thể của nó thường được ưu tiên hơn Tanh cho các lớp ẩn trong mạng nơ-ron sâu hiện đại.