Нейросети практика

– Гиперболический тангенс (Tanh):

Гиперболический тангенс (Tanh) – это функция активации, которая также ограничивает выходное значение нейрона в определенном диапазоне. В случае гиперболического тангенса, диапазон составляет от -1 до 1. Математически гиперболический тангенс определяется следующим образом:

tanh(x) = (exp(x) – exp(-x)) / (exp(x) + exp(-x))

где x – входное значение нейрона, exp – функция экспоненты.

По своей форме, гиперболический тангенс очень похож на сигмоидную функцию, но смещен на ноль и масштабирован.

Он имеет S-образную форму и обладает свойствами сжатия значений в диапазоне (-1, 1).

Гиперболический тангенс также страдает от проблемы затухающего градиента, аналогично сигмоидной функции. При глубоких нейронных сетях, градиенты, умноженные на производную гиперболического тангенса, становятся маленькими, что может привести к затуханию градиента.

Однако, гиперболический тангенс может быть полезным в некоторых случаях. Во-первых, он имеет симметричный диапазон значений, от -1 до 1, что может быть полезно в определенных задачах.

Например, в задачах, где требуется симметричное ограничение выходных значений нейронов, таких как центрирование данных.

Кроме того, гиперболический тангенс может быть полезным при работе с последовательностями или временными данными, где требуется моделирование симметричного изменения значений с учетом положительных и отрицательных направлений.

В современных глубоких нейронных сетях, гиперболический тангенс не так широко используется, как, например, функция активации ReLU и ее вариации.

Однако, в некоторых специфических случаях или при решении определенных задач, гиперболический тангенс все еще может быть полезной функцией активации.

– Функция ReLU (Rectified Linear Unit):

Функция ReLU (Rectified Linear Unit) – это одна из наиболее популярных функций активации в глубоком обучении. Она возвращает 0 для всех отрицательных значений входа и само значение для всех положительных значений.

Математически функция ReLU определяется следующим образом:

ReLU(x) = max(0, x)

где x – входное значение нейрона.

Одно из главных преимуществ функции ReLU заключается в ее простоте и эффективности. Функция ReLU позволяет нейронной сети просто отбрасывать отрицательные значения, не изменяя положительные значения. Это делает функцию ReLU вычислительно эффективной и ускоряет процесс обучения.