Принстонский старшекурсник создает Google Deep Dream-Inspired Deepjazz A.I. Music Maker

Джи-Сунг Ким проводил ранние утренние часы первых выходных апреля, занимаясь кофеином и кодированием на своем компьютере, когда он разработал Deepjazz, генератор глубокого обучения музыке. У 20-летнего второкурсника по компьютерным наукам из Принстона было всего 36 часов для завершения глубокого джаза во время его первого хакатона, HackPrinceton, который проходил 1-3 апреля в университете. После окончания марафона кодирования он создал сайт для DeepJazz и разместил исходный код на GitHub.

Но к большому удивлению Ким, программа началась. Deepjazz неуклонно развивается на Python и GitHub - достигнув уровня седьмой верхней программы в GitHub в целом. Он даже был размещен на первой странице HackerNews и до сих пор вызывает оживленную дискуссию.

«Я никогда не ожидал, что мой первый сторонний проект будет таким взрывным с точки зрения популярности», - говорит Ким. Inverse. «Это было довольно безумно и весело».

deepjazz - Поколение джаза, основанное на глубоком обучении, с использованием Keras & Theano! http://t.co/G5wscglzO7 #python

- Python Trending (@pythontrending) 11 апреля 2016 г.

Между едой, сном и завершением других курсовых работ Ким рассуждал, что ему потребовалось около 12 часов, чтобы разработать исходный код для DeepJazz. Тем не менее, он пришел к идее создания музыкального генератора искусственного интеллекта задолго до HackPrinceton. Во время летней стажировки в Чикагском университете он натолкнулся на Google Dream - фотогенератор, который интерпретирует шаблоны на изображении и преобразует их в другие известные ему объекты. В результате получаются изумительные образы, которые выглядят так, будто они вышли из дикой мечты

«Идея использования глубокого обучения для интерпретации искусства была мне очень интересна», - говорит Ким. «Такая среда Deep Dream, которую Google представила и опубликовала, была действительно захватывающей, потому что вы создаете новые произведения искусства из существующих произведений искусства».

Deepjazz использует машинное обучение для создания джазовой музыки - «А.И. создан для создания джаза », как говорится в профиле SoundCloud. Ким, которая не посещала уроки теории музыки, но играла на кларнете в течение семи лет, выбрала джазовую музыку из-за ее нетрадиционных мелодий. А.И. Музыка системы «может иметь некоторые необычные результаты, поэтому я думаю, что джаз особенно хорошо подходил для идеи создания музыки на лету», - говорит он.

Он перепрофилировал существующий музыкальный генератор, оптимизированный для джазовой музыки, который его друг Эван Чоу разработал под названием JazzML, используя код для получения соответствующих данных, но преобразовав его в двоичную матрицу, совместимую с двумя библиотеками глубокого обучения Keras и Theano.

По словам Кима, сама структура DeepJazz представляет собой двухслойный LSTM, который представляет собой разновидность архитектуры искусственной нейронной сети. После того, как он изучает начальную исходную последовательность начальных музыкальных нот (Ким использовал части «И тогда я знал» Пэта Метени), он назначает вероятности нотам и генерирует следующую ноту на основе этих вероятностей. Например, если вы зададите программе шкалу A, B, C, существует высокая вероятность того, что следующая нота, которую создаст Deepjazz, будет D, объясняет Ким.

Исторически критики говорили, что генераторы музыки с искусственным интеллектом страдают от создания песен, которые кажутся слишком роботизированными и стерильными - не хватает цвета, слышимого в музыке, составленной людьми. Джеффри Билмес, бывший студент Массачусетского технологического института, который написал диссертацию на компьютерах, которые воспроизводят музыкальные ритмы в 1993 году, рассказал обратный в ноябре:

«Когда вы учитесь играть музыку и учитесь играть джаз, есть полезная интуитивно понятная идея музыки, которая делает ее человеком», - сказал Билмес. «Люди - интуитивные существа, и люди часто не могут описать, как они могут делать человеческие вещи». В то время я чувствовал, что, возможно, я нарушал священную клятву в определении этих вещей для компьютерных программ ».

Когда Ким проводил исследования для джазового джаза, он сталкивался со многими системами, которые генерировали музыку, которая звучала как робот.

«Музыка и искусство - это вещи, которые мы считаем глубоко человеческими», - говорит Ким. «Чтобы сделать его более человечным и более реалистичным, классифицировать его довольно сложно». Ким предлагает, чтобы генераторы могли создавать песни, которые звучат более человечно, запрограммировав их звучание менее похожим на оригинальный трек.

Другие разработчики связались с Кимом и заинтересованы в расширении джазового джаза, чтобы больше людей могло взаимодействовать с ним. Ким может видеть, что Deepjazz однажды превращается в партнера по импровизации, который может искусственно создать откат назад для музыканта, от которого риффится. Даже в будущем он может видеть приложения, которые создают новую музыку, похожую на ваши любимые треки, или могут предложить новые аккорды и прогрессии для музыкантов.

Ким признает, что он все еще далек от того, чтобы быть экспертом в области глубокого обучения, но его опыт в развитии глубокого джаза и обучения на стажировках и в Принстоне дал ему ценную информацию в этой области.

«А.И. больше не научно-фантастическая мечта. Это что-то очень реальное и что оно приближается очень быстрыми темпами », - говорит Ким. «Надеюсь, что то, что этот студент колледжа, который еще даже не был старшеклассником, смог сделать что-то в рамках хакатона, воодушевляет других студентов, которые изо всех сил пытаются проникнуть в информатику».