Предыдущий пост Поделиться Следующий пост
Deep Learning: история и современность
lex_kravetski
Анатолий Левенчук. Интеллект-стек, Ч. I. Deep Learning: история и современность



Анатолий Левенчук, эксперт в сфере Deep Learning, президент консалтинговой компании «ТехИнвестЛаб.ру», директор по исследованиям Русского отделения международного совета по системной инженерии (INCOSE), член исполкома Русского отделения SEMAT. В первой части Анатолий делает обзор исторического развития и современного состояния области Deep Learning.

Организатор: Щепотка Соли — https://vk.com/granumsalis
Съемка: XX2 Век — http://22century.ru/

  • 1
Охуенная лекция! Снято - шикарно, а смонтировано - просто атас!

Edited at 2015-10-20 13:52 (UTC)

Отлично сделано, красиво рассказывает, но иногда намеренно (чтобы было интересно?) или ненамеренно привирает.

Например, про пример с шахаматами. Насколько я знаю эту историю, там все совсем не так и куда скромнее.

Другой момент, который меня покоробил, это про количество данных для обучения. Оно очень сильно зависит от задачи (размерности), поэтому утверждения о "вам надо в 1000 раз больше данных, чем у вас есть" -- это чистой воды демагогия. Особенно нелепо звучало после примера с локатором, где вроде бы априорных данных нет вообще, но их нетрудно сгенерировать.

Интересно, для какой аудитории это рассказывалось?

> Например, про пример с шахаматами.

С шахматами, да, у него был пример из агентства «ОБС».

> Другой момент, который меня покоробил, это про количество данных для обучения. Оно очень сильно зависит от задачи (размерности), поэтому утверждения о "вам надо в 1000 раз больше данных, чем у вас есть" -- это чистой воды демагогия.

Я во время своей научной деятельности как раз занимался нейронными сетями. Это было лет пятнадцать назад, компьютеры были слабыми и всё такое. В общем, тогда для аппроксимации и прогнозов действительно обходились весьма небольшим количеством данных — от сотен точек до нескольких тысяч (ну а больше тогдашние компьютеры бы и не потянули — и так на обучение персептрона уходило по паре суток). И для тех задач вполне хватало. При этом из исходных данных часть извлекалась для последующей проверки качества обучения и ещё часть — для тестирования во время обучения, чтобы не допустить переобучения.

Однако для распознавания речи и прочих трюков действительно надо очень до фига данных. Не обязательно прям вот сотни миллиардов, но миллионы — как минимум.

Edited at 2015-10-20 16:08 (UTC)

> Однако для распознавания речи и прочих трюков действительно надо очень до фига данных. Не обязательно прям вот сотни миллиардов, но миллионы — как минимум.

Мне кажется, что тут любые цифры без контекста -- это цифры с потолка. Из общих соображений понятно, что чем больше размерность задачи (для нейронной сети -- количество входных нейронов) и чем больше уровень надежности, который хочется получить от классификатора или аппроксиматора, тем большая обучающая выборка необходима. Для некоторых классов задач (если функция активации нейрона "простая") можно объем выборки даже точно оценить -- в конце концов это чисто математическая задача нелинейной аппроксимации. Такое сказать и объяснить -- пара минут. Наверняка, лектор это понимает, но вместо этого пытается слушателей поразить цифрами.

Поэтому у меня возник вопрос -- а что за аудитория. Вроде студенты, а где?

> Поэтому у меня возник вопрос -- а что за аудитория. Вроде студенты, а где?

Аудитория — просто интересующиеся наукой. Это не в вузе прочитано.

Лекс напрасно назвал обзорщика экспертом, впрочем, судя по его фразе о кроссвалидации, он не в курсе. Данных для нейросетей берут столько, сколько могут собрать, "нейросетям нужно много данных" просто означает, что они стали показывать хорошее качество в последнее время благодаря RBM + GPU + корпорации бобра с большими винтами. Размеры нужных выборок зависят не столько от размерности входа, сколько от сложности разделяющей гиперповерхности, которая определяет число слоев нейросетки. Больше слоев — нужно больше данных. В вещах типа зрения слоев нужно очень много, причем нужно правильно подобрать, где сворачивать, где обучаться, где вставлять ботлнеки. Соответственно и данных нужно много. Восторг лектора о нейросетях чрезмерен, они просто позволяют за счет миллиардов транзисторов и самплов сэкономить на feature engineering для задач, которые сам человек решает нейронами.

RE: Ответ на комментарий к записи "Deep Learning: история и сов

> Лекс напрасно назвал обзорщика экспертом, впрочем, судя по его фразе о кроссвалидации, он не в курсе.

Лекс написал только имя и фамилию докладчика, если что.

прочитал текст до "Анатолий Левенчук, эксперт в сфере Deep Learning..." - и смиялси, смиялси, смиялси!..

Впрочем, потом одумался, понял, что "якие ... - такие и эксперты" ведь.

Оказывается, у него есть и ЖЖ, гораздо более интересный, чем эта лекция -- в первую очередь из-за ссылок на интересные статьи:

http://ailev.livejournal.com

  • 1
?

Log in

No account? Create an account