Лицом к музыке: как «проводник глаза» помогает паралитикам справиться с этим

Андреас Рефсгаард, дизайнер взаимодействия и креативный программист, живущий в Амстердаме, разработал музыкальный интерфейс, который позволяет людям с физическими недостатками создавать музыку. Eye Conductor использует программное обеспечение для отслеживания движения глаз и веб-камеру компьютера для преобразования движений лица в различные компоненты музыкальной композиции. Пользователи могут научиться играть в игру своим лицом, а это значит, что парализованные люди - люди, которые больше не могут играть на инструментах - могут иметь второй шанс издавать красивые (или просто громкие) звуки. Правильный взгляд буквально находит отклик в изобретении Рефсгаарда. Правильное выражение выражается вслух.

Рефсгард говорил с обратный о мотивации его проекта, о борьбе, с которой он столкнулся на этом пути, и о том, что он узнал, что он дал людям, которые потеряли способность создавать музыку еще один шанс.

Какое у тебя музыкальное образование?

Я бы не назвал себя музыкантом, потому что я играю только для удовольствия, но я играю на гитаре и басу. Ableton - это музыкальная программа, цифровая рабочая станция, которая похожа на программное обеспечение для записи, такое как Logic, Protools или Garage Band. Я взял курс на это, и я не был настолько хорош в создании музыки с ним, но я был очарован возможностями, которые я видел. Затем мы начали сотрудничать и делали еще несколько хитрых вещей типа установки, где он создавал звуки, а я подключал датчики, например камеру глубины, чтобы, когда люди проходили мимо, они контролировали какой-то аспект проекта.

Итак, вы дизайнер взаимодействия и креативный кодер. Не могли бы вы объяснить, что означают эти названия?

Все, что я делаю, является интерактивным. Так что, если бы я сделал какую-то мебель, то у нее была бы какая-то функциональность, которая заставила бы ее реагировать на что-то. Я тоже креативный кодер. По сравнению со многими другими людьми - например, я учился в Копенгагене в Копенгагенском институте дизайна взаимодействия, где люди происходят из разных слоев общества - я немного больше склонен к программированию. Я также называю себя «креативным кодером», потому что я не являюсь надлежащим кодером. Я не очень хорош в этом, но я могу делать некоторые вещи очень быстро, и я могу соединить вещи, и у меня хорошо получается выдвигать новые идеи.

Что побудило вас помогать людям с физическими недостатками создавать музыку?

После школы в течение двух или трех месяцев я был смотрителем для человека с мышечной дистрофией. Пребывание с ним все время заставляло меня осознать некоторые вещи, с которыми я не мог ему помочь. Один из них выражал себя творчески. Не то чтобы я думал: «Хорошо, вот проблема, которую мне нужно решить», потому что в то время я был молод и не имел никаких профессиональных навыков. Но это застряло у меня.

Как насчет технического вдохновения?

Проект под названием Eyewriter, который я видел около года назад, представляет собой программу рисования, которая была разработана для парня, который был художником граффити, но затем был парализован. Некоторые из его друзей были программистами и сделали для него инструмент с отслеживанием глаз, который позволил ему рисовать. А потом, так как я играл с датчиками и прочим в музыкальном программном обеспечении, я установил связь. Я сделал это как мой последний проект в школе.

Как музыка оказалась тем творческим полем, которое вы хотели исследовать?

Я думаю, возможно, потому что я сам наслаждаюсь музыкой и с точки зрения времени, которое у меня было для проекта. Просто стало ясно, что я хотел работать с музыкой. Тогда я был очень вдохновлен Eyewriter с точки зрения создания графики.

Музыка кажется отличным выбором, потому что она универсальна. Я не могу думать ни о ком, кто не любит музыку.

Вначале я действительно хотел проверить, насколько важна музыка для группы, для которой я проектировал. Первые шаги были просто наблюдать, как люди с различными физическими недостатками взаимодействуют с музыкой. В одном доме, который я посетил, были музыкальные четверги. Некоторые могут немного указывать или немного играть на клавиатуре, а некоторые вообще ничего не могут делать, но дело в том, что они появляются на музыкальных четвергах.

Сколько времени прошло между наблюдением и изготовлением устройства?

Часто в процессе проектирования это могут быть две разные вещи, но мне не нравится такой подход. Мне нравится строить с самого начала, а потом, когда я разговариваю о том, что я построил. А потом я изменяю или уточняю это.

Каково было видеть людей, использующих его впервые?

Это было довольно мило, да. Поскольку некоторые люди не могут говорить, связь может быть сложной. Но потом, когда они использовали мой Eye Conductor, мы действительно соединились. Они смотрели на меня и улыбались или действовали по-настоящему счастливыми, или когда я просто показывал это, они были действительно сосредоточены. Это был прекрасный пример того, как музыка может помочь людям взаимодействовать и выражать эмоции.

Не вдаваясь в технические аспекты, с какой самой большой проблемой вы столкнулись во время разработки Eye Conductor?

Чтобы система работала, вы должны сидеть в той же позе, в которой мы сидим прямо сейчас перед нашими ноутбуками, потому что изображение, которое вы видите обо мне прямо сейчас, прямо и хорошо для отслеживания моего лица и глаз. Но если вы находитесь с кем-то в инвалидной коляске, который не контролирует, например, свое положение или спину или шею, то иногда они сидят больше в стороны, и система не может отслеживать их движения лица. И иногда мне было бы немного неудобно пытаться сказать: «Хорошо, чтобы это работало, нужно сидеть прямо». А потом, когда они не вербальны, как мы можем это передать?

Если бы чья-то голова была наклонена таким образом, теоретически вы могли бы держать ноутбук так, чтобы уловить его лицевые жесты?

Да уж. Так что я действительно не стал заниматься этой проблемой, но у многих людей есть компьютеры, установленные на их инвалидных колясках, и компьютер стоит на столбе, а затем на этом столбе есть крепежное устройство, и они наклоняют его в нужном направлении, чтобы указывать на лицо человека. Нет правильной или неправильной позиции, просто нужно, чтобы датчики - веб-камера и устройство отслеживания движений глаз - были прямо перед головой. Это было немного сложно. Это была скорее аппаратная вещь, потому что в противном случае мне пришлось бы пытаться построить структуру, и это было бы грязно. Я не очень хорош в этом.

Вы сделали все это самостоятельно или столкнулись с техническими проблемами, которые только другие люди знали, как решить?

Я сделал это сам, но в области звукового дизайна мне помог тот профессор, о котором я тебе говорил. В основном, просто звук, дизайн. У меня также был советник, который дал мне несколько советов по языку программирования под названием Макс, в котором он был действительно хорош. Он просто помог мне освоиться с некоторыми деталями программирования. Конечно, многое из этого было новым, но основы этого я уже знал из предыдущего опыта. Я сделал Eye Conductor за восемь недель, и люди сказали: «О, это безумие, как ты можешь сделать это за восемь недель?» Но я сделал еще кое-что, что также продвинулось в работе с сенсорами и музыкальным программным обеспечением, и это заняло больше времени, потому что Я не знал, как это сделать. Теперь, когда я знаю, что это не так сложно, хотя этот проект был более сложным. Для меня также важно отметить, что это полностью работающий прототип, но это не продукт. Поэтому люди не могут пойти и купить его и установить на мой компьютер.

Я собирался спросить вас, есть ли у вас планы продать его?

Я на самом деле не хочу продавать это, я хочу отдать это. Я хочу сделать это с открытым исходным кодом, но сейчас я ничего не могу обещать. У меня пока нет никакого финансирования, и у меня есть работа и другие дела. Я получил сообщение от парня из Мичигана, который, например, был продюсером, а потом получил ALS. Я должен сделать это так или иначе доступным для всех этих людей. Для меня очень важно в какой-то момент, и я не могу обещать, когда, но, надеюсь, довольно скоро, упаковать его таким образом, чтобы люди могли либо загрузить все это как одну вещь, и он мог бы работать на большинстве компьютеров, либо действительно попробовать в браузере. Идея сделать это браузерной вещью потребовала бы, чтобы у людей был только компьютер с онлайн-доступом, а затем была бы любая замена мыши, которую они могли бы иметь на своем компьютере. Если я сделаю его открытым исходным кодом, я смогу предоставить базовую демонстрацию, а затем люди смогут добавлять свои собственные повороты, чтобы сделать их своими.

Приятно слышать, что вы делаете это, потому что вы хотите помогать людям, а не потому, что вы хотите разбогатеть или что-то в этом роде.

Инструменты, на которых я его собрал - по крайней мере, работающий прототип - с открытым исходным кодом. Зачем мне тогда брать кредит? Например, система слежения за лицом, которую я использую для своего прототипа, которая позволяет людям создавать звук, поднимая брови или открывая рот, - это штука под названием FaceOSC, созданная парнем по имени Кайл Макдональд, и это система с открытым исходным кодом. Я не думаю, что я бы так далеко продвинулся без этого программного обеспечения.