Второе поколение логических машин

Стэнли Джевонс (1835-1882) в русскоязычной литературе известен как выдающийся экономист, но он был еще и одаренным математиком. Ему повезло с преподавателем, которым оказался Август де Морган, друживший с Чарльзом Бэббиджем. В свое время Джевонс прочитал «Процесс мышления» Сми, ознакомился с работой Чарльза Стэнхоупа, а книга «Законы мышления» подвигла его вступить в переписку с Джоном Булем. В 1874 году он выпустил собственную книгу «Принципы науки». Как математика, Джевонса в наибольшей степени интересовали теория вероятностей и логика.

Все это стимулировало Джевонса к созданию собственной логической машины, которую назвали логическим пианино (рис.14.11) из-за внешнего сходства с этим музыкальным инструментом. Машина, построенная знакомым Джевонса, часовым мастером, представляла собой конструкцию высотой около метра. Ее клавиатура использовалась для ввода аргументов, а с помощью пластинок на лицевой части задавалась таблица истинности. В силу понятных ограничений она не могла использоваться для решения сложных задач, да и не предназначалась для таких целей — это было всего лишь учебное пособие.

 

Рис. 11.10. Логическое пианино Стэнли Джевонса.

 

Показательно, что одним из тех, кто изучал логику с помощью машины Джевонса, был Джон Венн (1834-1923). Готфрид Лейбниц и Леонард Эйлер использовали диаграммы для иллюстрации логических задач, но лишь Венн их систематизировал. В 1880 году он опубликовал статью, в которой диаграммы описывались точно в таком же виде, в каком они сегодня используются в началах теории множеств.

Конструктивным развитием машины Джевонса были устройства, построенные в США профессором Принстонского университета Алленом Макгвардом и Бенжаменом Бураком. А последней логической машиной стало электромеханическое детище Уильяма Буркхарда и Теодора Калина, созданное по мотивам работ Шеннона.

Ни одна из логических машин не использовалась для практических целей. В основном они оставались учебными пособиями, позволявшими продемонстрировать возможность механизации логических операций. Признано, что первым доказательно установил изоморфизм между коммутируемыми цепями и логическими функциями Клод Шеннон. Сначала он описал это в дипломной работе в Массачусетском технологическом институте, а затем в статье, опубликованной в 1938 году. В России на возможность физической интерпретации логических функций первым указал петербургский профессор П.С. Эренфест (1910 год), а развил подобные взгляды В.И. Шестаков в статье «О физической интерпретации булевых функций», напечатанной в 1941 году.

После изобретения компьютеров.

 

С этого момента исследования в области моделирования процесса мышления (конец 40-х годов) разделились практически на два независимых подхода: нейрокибернетический логический.

 

Нейрокибернетический подход.

„Если бы работа мозга была доступна для нашего понимания,

 мы были бы слишком глупы, чтобы понять.“

Лайелл Уотсон

 

Этот подход основан на построении самоорганизующихся систем, состоящих из множества элементов, функционально подобных нейронам головного мозга.

На идею создания подобных систем натолкнули два простых вопроса:

- Каким местом человек думает?

- Как он это этим местом делает?

Возникла наивная гипотеза, что за нас думают нейроны. Причем «думать», с точки зрения нейрона - это возбуждаться! Если вас что-то или кто-то возбуждает, это означает, что вас заставляют думать?! А перевозбудиться - это значит сильно задуматься?!

Основную идею этого подхода можно сформулировать следующим образом:

Единственный объект, способный мыслить, - это мозг. Поэтому любое «мыслящее» устройство должно каким-то образом воспроизводить его структуру.

Таким образом, нейрокибернетика ориентирована на программно-аппаратное моделирование структур, подобных структуре мозга. Физиологами давно установлено, что основой человеческого мозга является большое количество (до 10¹¹) связанных между собой и взаимодействующих нервных клеток - нейронов.

Пионером в исследованиях нервной системы и работы нейронов головного мозга

Был испанский учёный Сантьяго Рамон-и-Кахаль. Он открыл принцип динамической поляризации нейрона. Им установлено, что возбуждения в нейроне всегда передаются от дендрита нервной клетки к телу и дендритам другой нервной клетки, затем к аксону этой нервной клетки, нервные клетки соединены в цепи, передающие возбуждения от одной клетки к другой.

 

 

11.11. Сантья́го Рамо́н-и-Каха́ль (1852—1934) — испанский врач и гистолог, один из основоположников современной нейробиологии. Лауреат Нобелевской премии по физиологии и медицине за 1906 год

 

Поэтому усилия нейрокибернетики были сосредоточены на создании элементов, аналогичных нейронам, и их объединении в функционирующие системы. Эти системы принято называть нейронными сетями.

Пионерами в области создания нейросетей были Мак-Каллоком, Питтс и Розенблатт.

В 1943 году была разработана компьютерная модель нейронной сети на основе математических алгоритмов и теории деятельности головного мозга. Уоррен Мак-Калок и Уолтер Питтс выдвинули предположение, что нейроны можно упрощённо рассматривать как устройства, оперирующие двоичными числами, и назвали эту модель «пороговой логикой».

 

Рис.11.12. Изобретатели искусственных нейронных сетей

 

 

Рис. 11.13 Фрэнк Розенблатт (1928—1971), создатель первого в мире нейрокомпьютера, который он назвал персептроном.

 

В 1958 г. Фрэнк Розенблатт продемонстрировал компьютерную модель электронного устройства, названную им персептроном (англ. perceptron), а в 1960 г. - первую действующую машину «Марк-1», моделирующую совместную работу человеческого глаза и мозга.

 

 

Рис. 11.14. Фрэнк Розенблатт с датчиком изображения персептрона Mark-1

 

Машина могла распознавать некоторые из букв, написанные на карточках, подносимых к датчикам изображения («глазам» машины). Она умела различать буквы алфавита, но была чувствительна к их написанию. Например, буквы А, А и А для этого устройства были тремя разными знаками. Постепенно в 70-80 годах количество работ по этому направлению искусственного интеллекта стало снижаться. Слишком неутешительны были первые результаты. Авторы объясняли неудачи малой памятью и низким быстродействием существующих в то время компьютеров.

Исследования в области ИНС пережили три периода активизации.

Первый пик в 40-х годах обусловлен пионерской работой Мак-Каллоха и Питтса.

Второй возник в 60-х благодаря персептрону Розенблатта. В 1958 г. Фрэнк Розенблатт продемонстрировал компьютерную модель электронного устройства, названную им персептроном, а в 1960 г. - первую действующую машину «Марк-1», моделирующую совместную работу человеческого глаза и мозга. Машина могла распознавать некоторые из букв, написанные на карточках, подносимых к кинокамерам («глазам» машины). Она умела различать буквы алфавита, но была чувствительна к их написанию.

Значительный вклад в развитие нейросетевых технологий внёс канадский психолог Д. Хебб. Хебб одним из первых приступил к разработке теории взаимосвязи головного мозга и мыслительных процессов. В 1949 году Хебб разработал фундаментальные постулаты, на основе которых впоследствии строились все алгоритмы обучения персептронных сетей.

Его также называют одним из создателей теории искусственных нейронных сетей, так как он предложил первый работающий алгоритм обучения искусственных нейронных сетей.

 

Рис. 11.15 Дональд Олдинг Хебб (1904 —1985) — канадский физиолог и нейропсихолог. Известен работами, приведшими к пониманию значения нейронов для процесса обучения.

 

Однако, два выдающихся специалиста в области искусственного интеллекта М Минский и С. Пейперт в своей работе «Персептроны» (1969 г.) указали на ограниченные возможности простейшего персептрона. Результаты этой работы надолго погасили энтузиазм большинства исследователей в области ИНС. Возникшее в исследованиях по нейронным сетям затишье продлилось почти 15 лет. (В последствии, М. Минский высказывал сожаление о публикации этой работы, в связи с тем, что он не предвидел путей совершенствования нейросетей в будущем.). М. Минскому принадлежит высказывание: «Искусственный разум может быть выращен очень похожим на развитие человеческого мозга образом. Но в любом случае, вряд ли будет возможно установить подробности этого процесса; а если это всё же произойдёт, то эти детали будут в миллионы раз сложнее для человеческого понимания.»

 

 

Рис. 11.16. Марвин Ли Минский (1927 – 2016). Один из пионеров ИИ. Лауреат премии Тьюринга.

 

С начала 80-х годов ИНС вновь привлекли интерес исследователей, что связано с с изобретением эффективного алгоритма обучения нейросетей, алгоритма обратного распространения. впервые предложенного Полом Дж. Вербосом, и А. И. Галушкиным (1976 г.), и переоткрытым в и усовершенствованным в 1986 году Дэвидом И. Румельхартом, Дж. Е. Хинтоном и Рональдом Дж. Вильямсом и, независимо и одновременно, С. И. Барцевым и В. А. Охониным и появлением многослойных и рекурсивных сетей.

В нулевых и десятых годах двадцать первого века нейросети переживают т.н. третью нейросетевую революцию. Она связана с появлением новой технологии построения и обучения нейросетей: свёрточные сети глубокого обучения. Это весьма масштабные сети, использующие для своего построения целый ряд как старых подходов, так и новые (такие, как, например, процедуры свёртки). Обучение и работа таких сетей требует значительных вычислительных мощностей, но результаты их применения позволяют говорить о прорыве

в области нейросетевого интеллекта

 

Рис. 11.17.  Ян Лекун (родился в 1960 году0 — французский учёный в области информатики. Создатель технологии построения свёрточных нейронных сетей. Лауреат премии Тьюринга.

 

 

Рис. 11.18. Йошуа Бенжио (родился в 1964 году) — канадский учёный, наиболее известный своими работами по искусственным нейронным сетям и глубокому обучению. Бенжио, совместно с Джеффри Хинтоном и Яном Лекуном считаются «крестными отцами» искусственного интеллекта. Лауреат премии Тьюринга

 

Рис. 11.18. Джеффри Хи́нтон (англ. Geoffrey Everest Hinton; род. 6 декабря 1947) — британский учёный-информатик, наиболее известный работами в области глубинных нейронных сетей. Лауреат премии Тьюринга.

 

В 2014 – 2019 годах достигнут удивительный прогресс в результатах использования нейронных сетей глубокого обучения. Приведём результаты использования нейросетей, созданных группой DeepMind (Google): программа распознавания речи по губам превзошла специалиста – человека; сеть обучили игре на пианино; нейросеть научилась сочинять музыку, похожую на музыку великих композиторов; сеть научили продолжать незаконченные произведения писателей; сеть научили распознавать лица людей в толпе с точностью 99%; сеть научили синтезировать изображение по его описанию; сеть научили искать новые лекарства, например, для борьбы с раком (в результате сеть нашла 69 молекул, которые используются, либо планируются к использованию для борьбы с раком); сеть научили распознавать данные УЗИ и МРТ; сеть AlphaGo обыграла чемпиона мира по самой сложной из существующих игр, игре GO; автомобилям, управляемым нейросетью разрешили ездить по всем штатам США.

В 2020 г., обученная учеными из DeepMind нейронная сеть выдала прогноз о структуре белка короновируса COVID-19.

 

Логический подход.