Экипировка клоуна или маскировка для боевых действий на детской площадке – такие сравнения приходят в голову, когда видишь эти перчатки. Рисунок яркий и вызывающе абстрактный. Трудно поверить, что он имеет непосредственное отношение к передовому компьютерному интерфейсу. Между тем именно эти геометрические пятна позволяют человеку говорить с машиной на новом языке.

Кроме того, только кажется, что раскраска хаотична. На деле она представляет собой результат долгого подбора наилучших форм и даёт массу преимуществ "Системе распознавания жестов в реальном времени с цветными перчатками" (Real-Time Hand-Tracking with a Color Glove).

Создали её Роберт Ванг (Robert Y. Wang) и Йован Попович (Jovan Popović) из лаборатории компьютерных наук и искусственного интеллекта Массачусетского технологического института. Прелесть разработки в том, что сами перчатки (не считая цвета) — самые обычные, из эластичного синтетического материала. Снимает руки человека банальная веб-камера, и весь секрет — в хитроумной программе распознавания. А уж что дальше делать с этой информацией, зависит только от фантазии пользователя.

Виртуальные кубики на столе подчиняются руке оператора (фото Robert Y. Wang, Jovan Popović/MIT).

Тут необходимо небольшое отступление. В попытках по-новому организовать общение компьютера и человека инженеры обычно конструируют аксессуары, напичканные датчиками (вспомним электронные перчатки для глухонемых и перчатки — сенсоры эмоций).

Видели мы и перчатки для игры на виртуальной гитаре, в которых не было ничего особенного, кроме яркой окраски (тоже для облегчения распознавания камерой). Только вот информации машина о таких перчатках получала немного — взаимное положение рук да их смещение в пространстве.

Между тем идея сделать перчатки для компьютерного интерфейса без всякой электроники была настолько привлекательной, что не раз всплывала в разных проектах, один из которых послужил прообразом фантастической системы из фильма "Особое мнение" (Minority Report). Но и его нельзя было назвать идеальным — маркеры на пальцах позволяли камерам захватывать движение именно пальцев, а не кисти в целом.

Ванг и Попович полагают, что их перчатка пригодится и в системах дополненной реальности, и в играх, и в проектировании серьёзных вещей, и в кинематографе (фото MIT).

Последнее ограничение и преодолели Ванг с Поповичем. Ориентируясь на цветные узоры, камера теперь может оцифровывать любой жест руки, аппарат различает каждый палец и видит форму ладони, легко опознаёт положение руки ладонью вниз и вверх. А ведь для систем машинного зрения зачастую это проблема: растопыренные пальцы выглядят похоже в обоих случаях.

И всё же — почему именно такой рисунок? Пара десятков разнокалиберных пятен десяти цветов на каждой руке легко выделяется программой из окружающего фона, что позволяет системе не сбиваться при любом освещении и угле обзора. Опознанное расположение всех пятен машина переводит в упрощённую компьютерную модель — цветной рисунок 40 х 40 пикселей.

Далее компьютеру нужно понять — что же он видит. Для этого авторы придумали новый алгоритм быстрого поиска наиболее точных визуальных совпадений в базе данных, а она содержит 100 тысяч шаблонов положения пальцев и кисти. Так что на распознавание любого движения компьютеру нужны доли секунды — запаздывание практически не ощущается.

Этапы распознавания образа включают очистку входного изображение от шума, идентификацию перчатки и вырезание её из фона, составление карты пятен и упрощение её для сравнения с обширной библиотекой базовых образов (иллюстрации Robert Y. Wang, Jovan Popović/MIT).

Различный размер руки у разных пользователей тоже не поставит комплекс в тупик. Эластичные перчатки хорошо садятся практически на любую кисть, а перед началом применения системы необходима небольшая калибровка, которую можно выполнить за несколько секунд.

Кстати, о калибровке. Дебютировала система Color Glove ещё в августе прошлого года на выставке-конференции SIGGRAPH 2009, прошедшей в Новом Орлеане (к ней был подготовлен и пояснительный PDF-документ). Но тогда она была ещё довольно сырая: та же настройка под разную руку занимала много времени и да и в целом комплекс работал с ошибками. Теперь же изобретателям удалось устранить недочёты, повысить скорость работы программы и её гибкость.

Виртуальная рука в компьютере при помощи дополнительной программы может служить средством управления чем угодно. Хотите – займитесь анимацией виртуального персонажа, "ходя" по столу пальцами, словно играющий ребёнок. Хотите – передвигайте виртуальной рукой кубики в виртуальном мире – стройте дом или "покрутите в руках" модель кролика (иллюстрации Robert Y. Wang, Jovan Popović/MIT).

Специалисты из США полагают, что массовое распространение их системы откроет путь к дешёвым наборам "жестовых интерфейсов". Собственно набор — перчатки да оригинальный софт, остальное у пользователей уже должно быть.

Также Роберт и Йован считают, что абстракционистский цветной узор можно распространить на всё тело человека. В таком случае система может быть использована для захвата полного набора движений пользователя. Дёшево и сердито. А что при этом клиент будет похож на клоуна – так это весёлый побочный эффект.