Периодические функции как функции активации в нейросетях
Full story
The article examines the use of periodic functions as activation functions in neural networks. It describes comparative experiments on simple networks to see how periodic activations such as sin perform against classical non-periodic ones: tanh, sigmoid and ReLU.
В данной статье мы рассмотрим применение периодических функций в качестве функций активации в нейросетях. Мы проведём сравнительные эксперименты на простых сетях и посмотрим, как периодические активации (например, sin ) ведут себя по сравнению с классическими непериодическими — tanh , sigmoid и ReLU . Читать далее