Функции активации формального нейрона, их смысл и основные виды

1, Жесткая ступенька

Используется в классическом формальном нейроне. Функция вычисляется двумя-тремя машинными инструкциями, поэтому нейроны с такой нелинейностью требуют малых вычислительных затрат. Однако эта функция чрезмерно упрощена и не позволяет моделировать схемы с непрерывными сигналами. Отсутствие первой производной затрудняет применение градиентных методов обучения. Такие сети чаще формируются, т.е. их параметры рассчитываются по формулам, а не подстраиваются итеративно.

2. Логистическая функция (сигмоида, функция Ферми)

Применяется часто для многослойных прецептронов и др сетей с непрерывными сигналами. Ф-ия гладкая, непрерывная. Непрерывность первой производной позволяет использовать градиентные методы обучения.

3. Гиперболический тангенс

Также применяется для сетей с непрерывными сигналами. Ф-ия симметричная относительно точки (0,0), это преимущество по сравнению с сигмоидой. Производная непрерывна и выражается через саму функцию.

4. Пологая ступенька

Рассчитывается легко, но имеет разрывную производную, что усложняет алгоритм обучения.

5. Экспонента  применяется в спец. случаях.

6. SOFTMAX функция применяется в задачах, где необходимы выходы вероятности.

34. Сравнение ветвей компьютерной эволюции.

2 ветви: Фон- Неймановская архитектура и вычисления без четкого алгоритма

Сравнение:

Фон- неймановская архитектура -  предполагает обычную систему - железо, софт, вычисления по определенному алгоритму.

Вычисления без четкого алгоритма - нейросети, алгоритм обработки данных определяется самимим данными, т.н. обучающей выборкой.

Фон- неймановская архитектура. Алгоритм с самого начала был основой программирования для компьютеров фон-Неймановской архитектуры. Однако уже с середины 60-х годов постоянно велись разработки альтернативных способов организации вычислительного процесса, в основном связанные с исследованиями в области искусственного интеллекта и параллельного программирования для многопроцессорных систем. Преодоление порога в решении этой проблемы обеспечили аппарат Н-моделей и последние работы в области программирования в ограничениях, поскольку они строятся на реализации управления по данным, обеспечивающим естественную и максимальную децентрализацию, асинхронность и параллельность процесса вычислений. В качестве следующего шага этой революции возможен переход к управлению на основе событий, значительно повышающему уровень ассоциативного механизма управления по данным.

Вычисления без четкого алгоритма. Исчисление предикатов, раздел математической логики — совокупность логико-математических исчислений, формализующих те разделы современной логики, в которых отображаются и изучаются (в связи с рассмотрением субъектно-предикатной структуры предложений) правила оперирования с кванторами.

Логика предикатов, раздел математической логики, изучающий логические законы, общие для любой области объектов исследования (содержащей хоть один объект) с заданными на этих объектах предикатами (т. е. свойствами и отношениями). В результате формализации Логика предикатов принимает вид различных исчислений. Простейшими логическими исчислениями являются исчисления высказываний. В более сложных исчислениях предикатов описываются логические законы, связывающие объекты исследования с отношениями между этими объектами.

Архитектуры нейронных сетей

Способ структурирования нейронов в сети (организация взаимосвязи) тесно связан с алгоритмом обучения нейронной сети.