Компьютерная Графика и Мультимедиа Сетевой журнал

 Первое знакомство

 Сейчас трудно вспомнить, но кажется впервые слова нейронная сеть я услышал от одного из знакомых аспирантов. Я не помню что именно он мне о них рассказал, но я хорошо помню мысль осевшую в памяти после разговора - нейронные сети, это такие "программы" которые могут обучаться. Я не слишком чётко представлял ни как, ни чему, ни зачем собственно эти сети умеют обучаться, но сама идея меня сильно впечатлила. Первое же что пришло в голову - можно сделать программу обучающуюся играть в крестики нолики. Собственно, это был мой первый "проект" которому так и не суждено было осуществиться. С интернетом в те времена было не просто, но я таки смог достать распечатки лекций Сергея Терехова "по теории и приложениям нейронных сетей" [1]. Вчитываясь в лекции я искал в них ответ на вопрос "как и чему может обучиться машина?".  Лекции, надо отдать дань автору, были написаны простым и понятным языком и проглотил я их содержание за несколько вечеров. Первое, что отложилось у меня в голове, это то, что нейронные сети являются некоторыми моделями алгоритма, способными с помощью некоторой методики обучения (то же алгоритма) "учиться" выполнению некоторой задачи. Задача, чтобы её решению можно было обучать нейронную сеть, должна представляется переводом одного вектора чисел в другой. Фактически, на том уровне понимания, мне казалось что нейронная сеть может позволить решить задачу отображения одних векторов чисел в другие, если настоящий, точный алгоритм неизвестен, но можно составить некоторый набор правильных примеров работы - пар вход-выход, обучающую выборку. Если и не всё, то уж точно большую часть в нашем мире можно так или иначе представить в виде чисел (долгожданный цифровой век наверное наступил уже тогда). Поэтому возможности нейронных сетей мне казались безграничными. Мне казалось, что скоро машины смогут обучаться решать любые задачи! Достаточно описать всё в виде преобразования векторов чисел и дело в шляпе. Не нужно часами сидеть и придумывать сложнейший точный алгоритм, которого может ещё и не существует - бери нейронную сеть побольше и задача решена.

 Первое плавание

 Где-то через пол года я начал выполнять учебно-исследовательские задачки на кафедре, куда хотел распределиться. Я взял себе задачу где требовалось распознать звучит ли в некотором небольшом сегменте звукового файла музыка или речь. То что я бы сейчас назвал задачей составления вектора признаков было уже решено до меня коллегой аспирантом и мне всего лишь требовалось запрограммировать какую-нибудь нейронную сеть. Задачку я кое-как решил, за что был награждён 5+ за курс, но в моём понимании нейронных сетей произошло серьёзное изменение. Теперь я понял, что главным свойством нейронных сетей является возможность обобщить информацию из ограниченной обучающей выборки на общую, вообще говоря, бесконечную совокупность всех возможных данных. В тот момент начали приходить неожиданные ранее вопросы: "а чем же это отличается от простой интерполяции/аппроксимации?", "как адекватно померить насколько хорошо нейронная сеть обобщает?", "как именно происходит это обобщение и отчего зависит то насколько качественно оно производиться?". Как ни странно, готовых ответов в доступной форме именно в литературе про сами нейронные сети я найти не мог. В итоге, я составил большой обзор изученных мной различных видов нейронных сетей, который вы можете найти изложенным в двух статьях в нашем журнале [2][3]. Период великих надежд прошёл, сменился на период замешательства, который сменился разочарованием. Из всей литературы стало ясно одно - всю магию нейронных сетей можно изложить на одной странице математического текста с парой теорем понятных второкурснику. Нейронная сеть - это просто модель для аппроксимации функции по замерам с помощью сигмоид (функций особого вида). Обучение (тот самый знаменитый алгоритм обратного распространения back propagation) - всего лишь метод минимизации ошибки системы на тренировочной выборке. Никакой магии обучения или её объяснения. Фактически, тот факт что нейронная сеть как-то разумно работает вне обучающей выборки не объяснялся никоим образом.

Магия обучения

 Но неужели, думал я, вся тайна обучения машин на этом и кончается? Мне хотелось увидеть строгую науку, дающую ответы на мои вопросы про возможность обучения алгоритмов, или, говоря вернее, машин. То, что нам читали на лекциях искусственному интеллекту ничуть не пролило света на эти вопросы. Курс был смесью классической кибернетики и простейшей теории игр (автоматы, грамматики, деревья решений). В то время на кафедре я в основном занимался задачами обработки изображений и поэтому перестал уделять этой теме много внимания, хотя и не потерял интерес к ней. Поворотным был момент, когда передо мной встала конкретная прикладная задача обнаружения некоторых предопределённых объектов на изображениях. Когда кто-либо говорил про практическое применение нейронных сетей то всегда приводил в пример именно распознавание объектов на изображениях. Собрав солидную подборку литературы я обнаружил, что самым передовым является подход основанный отнюдь не на нейронных сетях, а на доселе мне неведомом методе усиления слабых классификаторов [4]. Начав разбираться в нём я обнаружил что существует целая наука (совершенно не привязанная к нейронным сетям и даже не придающая им особого значения) занимающаяся обучением и, как ни странно, так и называющейся:  Machine Learning - машинное обучение. 

Взрослая наука Machine Learning

 Как выяснилось, ответы есть. И теории есть. И наука ого-го как не стоит в этом плане на месте.  Математический аппарат в этой области широк - в основном теория вероятностей и математическая статистика. Уже успели сформироваться целые научные школы и классические направления. Кстати, один из отцов основателей - Владимир Вапник, русский учёный в советские времена уехавший в Англию. Его основное достижение - получение теоретической оценки обобщающей способности (вероятности ошибки на всей совокупности данных) через ошибку на тренировочной выборке и сложности классификатора (размерности Вапника-Червоненкиса). Основные конференции области - ICML, COLT и NIPS (единственная, в которой в название есть слово neural). Кстати, на последнем ICML 2006 была представлена статья, где экспериментально было проведено сравнение методов обучения с учителем (supervised learning), и нейронные сети даже не попали в тройку лидеров. Вот так то. После достаточно подробного изучения данный области мой понимание феномена нейронные сети стало до безобразия простым и даже в чем-то скучным. Этого всего лишь ещё один метод, притом не самый удачный, и не более того. Да, это даже не теория и не взгляд на проблему. Когда я читал материалы к зарубежным курсам по машинному обучению, то заметил что в большинстве случаев нейронные сети фигурируют там в качестве примера примитивных методов на которых очень удобно демонстрировать различные проблемы обучения (нейронные сети "больны" почти всеми возможными болезнями обучающихся систем).

Кто виноват?

 Но почему же, спрашиваю я себя, почему большая часть российских людей занимающихся распознаванием образов знают только о нейронных сетях и о большем и слышать не хотят? Попробуем докопаться до правды. Любая научная или научно-инженерная область это не просто набор определений и теорем, а главным образом сообщество людей, занимающихся этой областью. Это культура, в прямом смысле этого слова. Что же такое нейросетевая культура в России? Мой мнение - это что-то вроде секты. Она заманивает магическим названием, околдовывает тайнами, завораживает обещаниями, а потом каким-то непонятным образом связывает по рукам и ногам. Все люди, которые активно увлекались нейронными сетями и с которыми мне довелось общаться очень агрессивно реагируют на все заявления о том, что наука уже ушла вперёд и им нужно расширить свой кругозор. На форумах на вопрос, почему никто не пробует работать современными методами,  основанными на математической статистике, можно вообще получить "сногсшибательный ответ" вроде: "Математическая статистика (мат. статистика) разработана главным образом для анализа одной переменной". Нейросетевая культура замкнулась в себе и не хочет смотреть вокруг, видимо опасаясь своей несостоятельности. К тому же, отсутствие каких-либо приличных ресурсов по машинному обучению на Русском языке в интернете только усугубляет ситуацию. 

Что делать?

 Чтобы такая ситуация изменилась, должна либо измениться текущая культура, либо появиться новая. Нужно сообщество людей открытых к новым идеям и готовым догонять и перегонять мировой уровень. Обязательно нужны образовательные и научно популярные интернет ресурсы, которые будут популяризировать современный подход к распознаванию образов и машинному обучению. Нужны журналы, конференции, форумы и прочее, прочее, прочее. Но главное нужны люди. Будем надеяться, что рано или поздно эта новая культура всё-таки появиться. И надеюсь что эта заметка внесёт своё лепту, пусть хоть и малую, в процесс её формирования.

Ссылки

1. С. Терехов. Лекции по теории и приложениям нейронных сетей // (http://alife.narod.ru/lectures/index.html)
2. Вежневец A. П. Популярные нейросетевые архитектуры // Электронный журнал «Графика и Мультимедиа». 2003. (http://cgm.graphicon.ru/metodyi/populyarnyie_neyrosetevyie_arhitekturyi.html)
3. Вежневец А.П. Нестандартные нейросетевые архитектуры // Электронный журнал «Графика и Мультимедиа» 2003.  (http://cgm.graphicon.ru/metodyi/nestandartnyie_neyrosetevyie_arhitekturyi.html)
4. Вежневец А.П. Вежневец В.П. Boosting - Усиление простых классификаторов // Электронный журнал «Графика и Мультимедиа» 2006  (http://cgm.graphicon.ru/content/view/112/66/)