Что такое функция активации искусственного нейрона. Искусственный (математический) нейрон

Искусственный нейрон

Схема искусственного нейрона
1.Нейроны, выходные сигналы которых поступают на вход данному
2.Сумматор входных сигналов
3.Вычислитель передаточной функции
4.Нейроны, на входы которых подаётся выходной сигнал данного
5. - веса входных сигналов

Иску́сственный нейро́н (Математический нейрон Маккалока - Питтса , Формальный нейрон ) - узел искусственной нейронной сети , являющийся упрощённой моделью естественного нейрона . Математически, искусственный нейрон обычно представляют как некоторую нелинейную функцию от единственного аргумента - линейной комбинации всех входных сигналов. Данную функцию называют функцией активации или функцией срабатывания , передаточной функцией . Полученный результат посылается на единственный выход. Такие искусственные нейроны объединяют в сети - соединяют выходы одних нейронов с входами других. Искусственные нейроны и сети являются основными элементами идеального нейрокомпьютера .

Биологический прототип

Биологический нейрон состоит из тела диаметром от 3 до 100 мкм, содержащего ядро (с большим количеством ядерных пор) и другие органеллы (в том числе сильно развитый шероховатый ЭПР с активными рибосомами , аппарат Гольджи), и отростков. Выделяют два вида отростков. Аксон - обычно длинный отросток, приспособленный для проведения возбуждения от тела нейрона. Дендриты - как правило, короткие и сильно разветвлённые отростки, служащие главным местом образования влияющих на нейрон возбуждающих и тормозных синапсов (разные нейроны имеют различное соотношение длины аксона и дендритов). Нейрон может иметь несколько дендритов и обычно только один аксон. Один нейрон может иметь связи с 20-ю тысячами других нейронов. Кора головного мозга человека содержит 10-20 миллиардов нейронов.

История развития

При этом возможен сдвиг функции по обеим осям (как изображено на рисунке).

Недостатками шаговой и полулинейной активационных функций относительно линейной можно назвать то, что они не являются дифференцируемыми на всей числовой оси, а значит не могут быть использованы при обучении по некоторым алгоритмам.

Пороговая функция активации

Пороговая передаточная функция

Гиперболический тангенс

Здесь - расстояние между центром и вектором входных сигналов . Скалярный параметр определяет скорость спадания функции при удалении вектора от центра и называется шириной окна , параметр определяет сдвиг активационной функции по оси абсцисс. Сети с нейронами, использующими такие функции, называются RBF-сетями. В качестве расстояния между векторами могут быть использованы различные метрики , обычно используется евклидово расстояние:

Здесь - j-я компонента вектора, поданного на вход нейрона, а - j-я компонента вектора, определяющего положение центра передаточной функции. Соответственно, сети с такими нейронами называются вероятностными и регрессионными .

В реальных сетях активационная функция этих нейронов может отражать распределение вероятности какой-либо случайной величины , либо обозначать какие-либо эвристические зависимости между величинами.

Другие функции передачи

Перечисленные выше функции составляют лишь часть от множества передаточных функций, используемых на данный момент. В число других передаточных функций входят такие как :

Стохастический нейрон

Выше описана модель детерминистического искусственного нейрона, то есть состояние на выходе нейрона однозначно определено результатом работы сумматора входных сигналов. Рассматривают также стохастические нейроны, где переключение нейрона происходит с вероятностью, зависящей от индуцированного локального поля, то есть передаточная функция определена как

где распределение вероятности обычно имеет вид сигмоида

a нормировочная константа вводится для условия нормализации распределения вероятности . Таким образом, нейрон активируется с вероятностью P(u). Параметр T - аналог температуры (но не температуры нейрона!) и определяет беспорядок в нейронной сети. Если Т устремить к 0, стохастический нейрон перейдет в обычный нейрон с передаточной функцией Хевисайда (пороговой функцией).

Моделирование формальных логических функций

Нейрон с пороговой передаточной функцией может моделировать различные логические функции. Изображения иллюстрируют, каким образом можно, задав веса входных сигналов и порог чувствительности, заставить нейрон выполнять конъюнкцию (логическое «И») и дизъюнкцию (логическое «ИЛИ») над входными сигналами, а также логическое отрицание входного сигнала . Этих трех операций достаточно, чтобы смоделировать абсолютно любую логическую функцию любого числа аргументов.

Примечания

Литература

Терехов В.А., Ефимов Д.В., Тюкин И.Ю. Нейросетевые системы управления. - 1-е. - Высшая школа, 2002. - С. 184. - ISBN 5-06-004094-1
Круглов В. В., Борисов В. В.

Искусственный нейрон

Биологический прототип

История развития

При этом возможен сдвиг функции по обеим осям (как изображено на рисунке).

Пороговая функция активации

Пороговая передаточная функция

Гиперболический тангенс

Другие функции передачи

Стохастический нейрон

где распределение вероятности обычно имеет вид сигмоида

Моделирование формальных логических функций

Примечания

Литература

Терехов В.А., Ефимов Д.В., Тюкин И.Ю. Нейросетевые системы управления. - 1-е. - Высшая школа, 2002. - С. 184. - ISBN 5-06-004094-1
Круглов В. В., Борисов В. В.

Нейрон представляет собой единицу обработки информации в нейронной сети. На рисунке ниже приведена модель нейрона, лежащего в основе искусственных нейронных сетей.

В этой модели нейрона можно выделить три основных элемента:

Модель нейрон имитирует в первом приближении свойства биологического нейрона. На вход искусственного нейрона поступает некоторое множество сигналов, каждый из которых является выходом другого нейрона. Каждый вход умножается на соответствующий вес, пропорциональный синаптической силе, и все произведения суммируются, определяя уровень активации нейрона.

Хотя сетевые парадигмы весьма разнообразны, в основе почти всех их лежит эта модель нейрона. Здесь множество входных сигналов, обозначенных поступает на искусственный нейрон. Эти входные сигналы, в совокупности обозначаемые вектором , соответствуют сигналам, приходящим в синапсы биологического нейрона. Каждый сигнал умножается на соответствующий вес и поступает на суммирующий блок, обозначенный . Каждый вес соответствует «силе» одной биологической синаптической связи. Множество весов в совокупности обозначается вектором . Суммирующий блок, соответствующий телу биологического элемента, складывает взвешенные входы алгебраически, создавая выход . Далее поступает на вход функции активации, определяя окончательный сигнал возбуждения или торможения нейрона на выходе. Этот сигнал поступает на синапсы следующих нейронов и т. д.

Рассмотренная простая модель нейрона игнорирует многие свойства своего биологического двойника. Например, она не принимает во внимание задержки во времени, которые воздействуют на динамику системы. Входные сигналы сразу же порождают выходной сигнал. И, что более важно, данная модель нейрона не учитывает воздействий функции частотной модуляции или синхронизирующей функции биологического нейрона, которые ряд исследователей считают решающими.

Несмотря на эти ограничения, сети, построенные на основе этой модели нейрона, обнаруживают свойства, сильно напоминающие биологическую систему. Только время и исследования смогут ответить на вопрос, являются ли подобные совпадения случайными или следствием того, что именно в этой модели нейрона верно схвачены важнейшие черты биологического прототипа.

Иску́сственный нейро́н (математический нейрон Маккалока - Питтса , формальный нейрон Л. Г. Комарцова, А. В. Максимов «Нейрокомпьютеры», МГТУ им. Н. Э. Баумана, 2004 г., ISBN 5-7038-2554-7 ) - узел искусственной нейронной сети , являющийся упрощённой моделью естественного нейрона . Математически, искусственный нейрон обычно представляют как некоторую нелинейную функцию от единственного аргумента - линейной комбинации всех входных сигналов. Данную функцию называют функцией активации По аналогии с нейронами активации или функцией срабатывания , передаточной функцией . Полученный результат посылается на единственный выход. Такие искусственные нейроны объединяют в сети - соединяют выходы одних нейронов с входами других. Искусственные нейроны и сети являются основными элементами идеального нейрокомпьютера .Миркес Е. М. , Нейрокомпьютер. Проект стандарта. - Новосибирск: Наука, 1999. - 337 с. ISBN 5-02-031409-9

Биологический прототип

y=\exp(-\frac{(S-R)^2}{2\sigma^ 2})

Здесь $S = ||\mathbf{X}-\mathbf{C}||$ - расстояние между центром $\mathbf{C}$ и вектором входных сигналов $\mathbf{X}$ . Скалярный параметр $\sigma$ определяет скорость спадания функции при удалении вектора от центра и называется шириной окна , параметр $R$ определяет сдвиг активационной функции по оси абсцисс. Сети с нейронами, использующими такие функции, называются RBF-сетями . В качестве расстояния между векторами могут быть использованы различные метрикиВ. В. Круглов, В. В. Борисов - Искусственные нейронные сети. Теория и практика - с.349, обычно используется евклидово расстояние:

$S = \sqrt{ \sum_{j=1}^{N} { (x_j-c_j)^2 } }$ .

Здесь $x_j$ - $j$ -я компонента вектора, поданного на вход нейрона, а $c_j$ - $j$ -я компонента вектора, определяющего положение центра передаточной функции. Соответственно, сети с такими нейронами называются вероятностными и регрессионными В. В. Круглов, В. В. Борисов - Искусственные нейронные сети. Теория и практика - с.348.

См. также: {{#if: Сеть радиально-базисных функций | [[Сеть радиально-базисных функций{{#if: | Шаблон:! {{{l1}}} }}]] }} {{#if: Сеть радиально-базисных функций || Ошибка: . }}{{#if: | …Ошибка: . }}{{#if: | {{#if: Сеть радиально-базисных функций | {{#if: || . }} }} }}

Другие функции передачи

Перечисленные выше функции составляют лишь часть от множества передаточных функций, используемых на данный момент. В число других передаточных функций входят такие какText:

Экспонента $f(x) = \exp (-Ax)$ ;
Модульная: $f(x) = \left| x \right|$ ;

Стохастический нейрон

$f(u) = \begin{cases}1 & \text{с вероятностью} P(u) \\0 & \text{с вероятностью} 1-P(u)\end{cases}$ ,

где распределение вероятности $P(u)$ обычно имеет вид сигмоида:

$\sigma(u) = \frac {A(T)}{1+\exp (-u/T)}$ ,

a нормировочная константа $A(T)$ вводится для условия нормализации распределения вероятности $\int^1_0 \sigma(u) du = 1$ . Таким образом, нейрон активируется с вероятностью $P(u)$ . Параметр $T$ - аналог температуры (но не температуры нейрона) и определяет беспорядок в нейронной сети. Если $T$ устремить к 0, стохастический нейрон перейдет в обычный нейрон с передаточной функцией Хевисайда (пороговой функцией).

Моделирование формальных логических функций

Нейрон с пороговой передаточной функцией может моделировать различные логические функции. Изображения иллюстрируют, каким образом можно, задав веса входных сигналов и порог чувствительности, заставить нейрон выполнять конъюнкцию (логическое «И») и дизъюнкцию (логическое «ИЛИ») над входными сигналами, а также логическое отрицание входного сигнала. Этих трех операций достаточно, чтобы смоделировать абсолютно любую логическую функцию любого числа аргументов.

См. также

Примечания

Неизвестный тег расширения «references»

Литература

{{#if:Терехов В.А., Ефимов Д.В., Тюкин И.Ю.|{{#ifeq:{{#invoke:String|sub|Терехов В.А., Ефимов Д.В., Тюкин И.Ю.|-1}}| |Терехов В.А., Ефимов Д.В., Тюкин И.Ю.|{{#ifeq:{{#invoke:String|sub|Терехов В.А., Ефимов Д.В., Тюкин И.Ю.|-6|-2}}| |Терехов В.А., Ефимов Д.В., Тюкин И.Ю.|{{#ifeq:{{#invoke:String|sub|Терехов В.А., Ефимов Д.В., Тюкин И.Ю.|-6|-2}}|/span|Шаблон:±. |Шаблон:±. }}}}}} }}{{#if: |{{#if: |[{{{ссылка часть}}} {{{часть}}}]| {{{часть}}}}} // }}{{#if:|[[:s:{{{викитека}}}|Нейросетевые системы управления]]|{{#if: |Нейросетевые системы управления |{{#if:|[ Нейросетевые системы управления]|Нейросетевые системы управления}}}}}}{{#if:| = }}{{#if:| / {{{ответственный}}}.|{{#if:||.}}}}{{#if:Нейросетевые системы управления|{{#if:| {{#if:| = {{{оригинал2}}} }}{{#if:| / {{{ответственный2}}}.|{{#if:||.}}}}}}}}{{#if:1-е| - 1-е.}}{{#switch:{{#if:|м}}{{#if:Высшая школа |и}}{{#if:2002|г}}

}}{{#if:| - {{{том как есть}}}.}}{{#if:|{{#if: | [{{{ссылка том}}} - Т. {{{том}}}.]| - Т. {{{том}}}.}}}}{{#if:| - Vol. {{{volume}}}.}}{{#if:| - Bd. {{{band}}}.}}{{#if:| - {{{страницы как есть}}}.}}{{#if:184| - С. {{#if:| (стб. {{{столбцы}}}).|184.}}}}{{#if:| - {{{страниц как есть}}}.}}{{#if:| - {{{страниц}}} с.}}{{#if:| - P. {{#if:|[{{{pages}}}] (col. {{{columns}}}).|{{{pages}}}.}}}}{{#if:| - S. {{#if:|[{{{seite}}}] (Kol. {{{kolonnen}}}).|{{{seite}}}.}}}}{{#if:| - p.}}{{#if:| - S.}}{{#if:| - ({{{серия}}}).}}{{#if:| - {{{тираж}}} экз. }}{{#if:5-06-004094-1| - ISBN 5-06-004094-1 DOI :{{{doi}}} {{#ifeq:Шаблон:Str left |10.|| [Ошибка: Неверный DOI! ] {{#if:||}}}}}}

{{#if:Круглов В. В., Борисов В. В.|{{#ifeq:{{#invoke:String|sub|Круглов В. В., Борисов В. В.|-1}}| |Круглов В. В., Борисов В. В.|{{#ifeq:{{#invoke:String|sub|Круглов В. В., Борисов В. В.|-6|-2}}| |Круглов В. В., Борисов В. В.|{{#ifeq:{{#invoke:String|sub|Круглов В. В., Борисов В. В.|-6|-2}}|/span|Шаблон:±. |Шаблон:±. }}}}}} }}{{#if: |{{#if: |[{{{ссылка часть}}} {{{часть}}}]| {{{часть}}}}} // }}{{#if:|[[:s:{{{викитека}}}|Искусственные нейронные сети. Теория и практика]]|{{#if: |Искусственные нейронные сети. Теория и практика |{{#if:|[ Искусственные нейронные сети. Теория и практика]|Искусственные нейронные сети. Теория и практика}}}}}}{{#if:| = }}{{#if:| / {{{ответственный}}}.|{{#if:||.}}}}{{#if:Искусственные нейронные сети. Теория и практика|{{#if:| {{#if:| = {{{оригинал2}}} }}{{#if:| / {{{ответственный2}}}.|{{#if:||.}}}}}}}}{{#if:1-е| - 1-е.}}{{#switch:{{#if:М.|м}}{{#if:Горячая линия - Телеком|и}}{{#if:2001|г}}

|миг= - Шаблон:Указание места в библиоссылке : Горячая линия - Телеком, 2001. |ми= - Шаблон:Указание места в библиоссылке : Горячая линия - Телеком. |мг= - Шаблон:Указание места в библиоссылке , 2001. |иг= - Горячая линия - Телеком, 2001. |м= - Шаблон:Указание места в библиоссылке |и= - Горячая линия - Телеком. |г= - 2001.

}}{{#if:| - {{{том как есть}}}.}}{{#if:|{{#if: | [{{{ссылка том}}} - Т. {{{том}}}.]| - Т. {{{том}}}.}}}}{{#if:| - Vol. {{{volume}}}.}}{{#if:| - Bd. {{{band}}}.}}{{#if:| - {{{страницы как есть}}}.}}{{#if:382| - С. {{#if:| (стб. {{{столбцы}}}).|382.}}}}{{#if:| - {{{страниц как есть}}}.}}{{#if:| - {{{страниц}}} с.}}{{#if:| - P. {{#if:|[{{{pages}}}] (col. {{{columns}}}).|{{{pages}}}.}}}}{{#if:| - S. {{#if:|[{{{seite}}}] (Kol. {{{kolonnen}}}).|{{{seite}}}.}}}}{{#if:| - p.}}{{#if:| - S.}}{{#if:| - ({{{серия}}}).}}{{#if:| - {{{тираж}}} экз. }}{{#if:5-93517-031-0| - ISBN 5-93517-031-0 .}}{{#if:| - ISBN {{{isbn2}}}.}}{{#if:| - ISBN {{{isbn3}}}.}}{{#if:| - ISBN {{{isbn4}}}.}}{{#if:| - ISBN {{{isbn5}}}.}}{{#if:| - DOI :{{{doi}}} {{#ifeq:Шаблон:Str left |10.|| [Ошибка: Неверный DOI! ] {{#if:||}}}}}}

{{#if:Каллан Р.|{{#ifeq:{{#invoke:String|sub|Каллан Р.|-1}}| |Каллан Р.|{{#ifeq:{{#invoke:String|sub|Каллан Р.|-6|-2}}| |Каллан Р.|{{#ifeq:{{#invoke:String|sub|Каллан Р.|-6|-2}}|/span|Шаблон:±. |Шаблон:±. }}}}}} }}{{#if: |{{#if: |[{{{ссылка часть}}} {{{часть}}}]| {{{часть}}}}} // }}{{#if:|[[:s:{{{викитека}}}|Основные концепции нейронных сетей]]|{{#if: |Основные концепции нейронных сетей |{{#if:|[ Основные концепции нейронных сетей]|Основные концепции нейронных сетей}}}}}}{{#if:The Essence of Neural Networks First Edition| = The Essence of Neural Networks First Edition }}{{#if:| / {{{ответственный}}}.|{{#if:||.}}}}{{#if:Основные концепции нейронных сетей|{{#if:| {{#if:| = {{{оригинал2}}} }}{{#if:| / {{{ответственный2}}}.|{{#if:||.}}}}}}}}{{#if:1-е| - 1-е.}}{{#switch:{{#if:|м}}{{#if:«Вильямс» |и}}{{#if:2001|г}}

}}{{#if:| - {{{том как есть}}}.}}{{#if:|{{#if: | [{{{ссылка том}}} - Т. {{{том}}}.]| - Т. {{{том}}}.}}}}{{#if:| - Vol. {{{volume}}}.}}{{#if:| - Bd. {{{band}}}.}}{{#if:| - {{{страницы как есть}}}.}}{{#if:288| - С. {{#if:| (стб. {{{столбцы}}}).|288.}}}}{{#if:| - {{{страниц как есть}}}.}}{{#if:| - {{{страниц}}} с.}}{{#if:| - P. {{#if:|[{{{pages}}}] (col. {{{columns}}}).|{{{pages}}}.}}}}{{#if:| - S. {{#if:|[{{{seite}}}] (Kol. {{{kolonnen}}}).|{{{seite}}}.}}}}{{#if:| - p.}}{{#if:| - S.}}{{#if:| - ({{{серия}}}).}}{{#if:| - {{{тираж}}} экз. }}{{#if:5-8459-0210-X| - ISBN 5-8459-0210-X .}}{{#if:| - ISBN {{{isbn2}}}.}}{{#if:| - ISBN {{{isbn3}}}.}}{{#if:| - ISBN {{{isbn4}}}.}}{{#if:| - ISBN {{{isbn5}}}.}}{{#if:| - DOI :{{{doi}}} {{#ifeq:Шаблон:Str left |10.|| [Ошибка: Неверный DOI! ] {{#if:||}}}}}}

{{#if:Ясницкий Л. Н.|{{#ifeq:{{#invoke:String|sub|Ясницкий Л. Н.|-1}}| |Ясницкий Л. Н.|{{#ifeq:{{#invoke:String|sub|Ясницкий Л. Н.|-6|-2}}| |Ясницкий Л. Н.|{{#ifeq:{{#invoke:String|sub|Ясницкий Л. Н.|-6|-2}}|/span|Шаблон:±. |Шаблон:±. }}}}}} }}{{#if: |{{#if: |[{{{ссылка часть}}} {{{часть}}}]| {{{часть}}}}} // }}{{#if:|[[:s:{{{викитека}}}|Введение в искусственный интеллект]]|{{#if: |Введение в искусственный интеллект |{{#if:|[ Введение в искусственный интеллект]|Введение в искусственный интеллект}}}}}}{{#if:| = }}{{#if:| / {{{ответственный}}}.|{{#if:||.}}}}{{#if:Введение в искусственный интеллект|{{#if:| {{#if:| = {{{оригинал2}}} }}{{#if:| / {{{ответственный2}}}.|{{#if:||.}}}}}}}}{{#if:1-е| - 1-е.}}{{#switch:{{#if:|м}}{{#if:Издательский центр «Академия»|и}}{{#if:2005|г}}

|миг= - Шаблон:Указание места в библиоссылке : Издательский центр «Академия», 2005. |ми= - Шаблон:Указание места в библиоссылке : Издательский центр «Академия». |мг= - Шаблон:Указание места в библиоссылке , 2005. |иг= - Издательский центр «Академия», 2005. |м= - Шаблон:Указание места в библиоссылке |и= - Издательский центр «Академия». |г= - 2005.

}}{{#if:| - {{{том как есть}}}.}}{{#if:|{{#if: | [{{{ссылка том}}} - Т. {{{том}}}.]| - Т. {{{том}}}.}}}}{{#if:| - Vol. {{{volume}}}.}}{{#if:| - Bd. {{{band}}}.}}{{#if:| - {{{страницы как есть}}}.}}{{#if:176| - С. {{#if:| (стб. {{{столбцы}}}).|176.}}}}{{#if:| - {{{страниц как есть}}}.}}{{#if:| - {{{страниц}}} с.}}{{#if:| - P. {{#if:|[{{{pages}}}] (col. {{{columns}}}).|{{{pages}}}.}}}}{{#if:| - S. {{#if:|[{{{seite}}}] (Kol. {{{kolonnen}}}).|{{{seite}}}.}}}}{{#if:| - p.}}{{#if:| - S.}}{{#if:| - ({{{серия}}}).}}{{#if:| - {{{тираж}}} экз. }}{{#if:5-7695-1958-4| - ISBN 5-7695-1958-4 .}}{{#if:| - ISBN {{{isbn2}}}.}}{{#if:| - ISBN {{{isbn3}}}.}}{{#if:| - ISBN {{{isbn4}}}.}}{{#if:| - ISBN {{{isbn5}}}.}}{{#if:| - DOI :{{{doi}}} {{#ifeq:Шаблон:Str left |10.|| [Ошибка: Неверный DOI! ] {{#if:||}}}}}}

{{#if:Комарцова Л. Г., Максимов А. В.|{{#ifeq:{{#invoke:String|sub|Комарцова Л. Г., Максимов А. В.|-1}}| |Комарцова Л. Г., Максимов А. В.|{{#ifeq:{{#invoke:String|sub|Комарцова Л. Г., Максимов А. В.|-6|-2}}| |Комарцова Л. Г., Максимов А. В.|{{#ifeq:{{#invoke:String|sub|Комарцова Л. Г., Максимов А. В.|-6|-2}}|/span|Шаблон:±. |Шаблон:±. }}}}}} }}{{#if: |{{#if: |[{{{ссылка часть}}} {{{часть}}}]| {{{часть}}}}} // }}{{#if:|[[:s:{{{викитека}}}|Нейрокомпьютеры]]|{{#if: |Нейрокомпьютеры |{{#if:http://www.books.ru/shop/search/advanced?as%5Bisbn%5D=5703819083&as%5Bsub%5D=%E8%F1%EA%E0%F2%FC%7C Нейрокомпьютеры |Нейрокомпьютеры}}}}}}{{#if:| = }}{{#if:| / {{{ответственный}}}.|{{#if:||.}}}}{{#if:Нейрокомпьютеры|{{#if:| {{#if:| = {{{оригинал2}}} }}{{#if:| / {{{ответственный2}}}.|{{#if:||.}}}}}}}}{{#if:1-е| - 1-е.}}{{#switch:{{#if:|м}}{{#if:Изд-во МГТУ им. Н.Э. Баумана|и}}{{#if:2002|г}}

|миг= - Шаблон:Указание места в библиоссылке : Изд-во МГТУ им. Н.Э. Баумана, 2002. |ми= - Шаблон:Указание места в библиоссылке : Изд-во МГТУ им. Н.Э. Баумана. |мг= -

Искусственный нейрон

Структура искусственного нейрона

Искусственный нейрон является структурной единицей искусственной нейронной сети и представляет собой аналог биологического нейрона.

С математической точки зрения искусственный нейрон — это сумматор всех входящих сигналов, применяющий к полученной взвешенной сумме некоторую простую, в общем случае, нелинейную функцию, непрерывную на всей области определения. Обычно, данная функция монотонно возрастает. Полученный результат посылается на единственный выход.

Искусственные нейроны (в дальнейшем нейроны) объединяются между собой определенным образом, образуя искусственную нейронную сеть. Каждый нейрон характеризуется своим текущим состоянием по аналогии с нервными клетками головного мозга, которые могут быть возбуждены или заторможены. Он обладает группой синапсов – однонаправленных входных связей, соединенных с выходами других нейронов, а также имеет аксон – выходную связь данного нейрона, с которой сигнал поступает на синапсы следующих нейронов.

Каждый синапс характеризуется величиной синаптической связи или ее весом w i , который является эквивалентом электрической проводимости биологических нейронов.

Текущее состояние нейрона определяется, как взвешенная сумма его входов:

(1) ,

где w 0 — коэффициент смещения нейрона (вес единичного входа)

Выход нейрона есть функция его состояния:

y = f(s)

Нелинейная функция f называется активационной и может иметь различный вид, как показано на рисунке ниже. Одной из наиболее распространенных является нелинейная функция с насыщением, так называемая логистическая функция или сигмоид (т.е. функция S -образного вида):

(2) ,

При уменьшении α сигмоид становится более пологим, в пределе при α=0 вырождаясь в горизонтальную линию на уровне 0.5, при увеличении α сигмоид приближается по внешнему виду к функции единичного скачка с порогом T в точке x =0. Из выражения для сигмоида очевидно, что выходное значение нейрона лежит в диапазоне . Следует отметить, что сигмоидная функция дифференцируема на всей оси абсцисс, что используется в некоторых . Кроме того, она обладает свойством усиливать слабые сигналы лучше, чем большие, и предотвращает насыщение от больших сигналов, так как они соответствуют областям аргументов, где сигмоид имеет пологий наклон.

а) функция единичного скачка; б) линейный порог (гистерезис);
в) сигмоид — гиперболический тангенс; г) сигмоид — формула