Технологии виртуальной реальности

gordon0030@yandex.ru

Архив выпусков | Участники

↓№ 239↑

03.04.2003 Хронометраж

49:33

Стенограмма эфира

Что такое виртуальная реальность в научном смысле (конечно, речь не идет о компьютерных играх и не о кино)? Возможно ли создание человеко-машинного интерфейса, в котором будут использоваться все или почти все системы взаимодействия с внешним миром? Об использовании имитационного моделирования как инструмента для управления сложными космическими системами — математики Александр Томилин и Валерий Афанасьев.

Участники:

Афанасьев Валерий Олегович — кандидат физико-математических наук (Центр управления полетами, г. Королёв)

Томилин Александр Николаевич — доктор физико-математических наук, профессор (ИСП РАН)

Материалы к программе:

Из статьи: Алешин В. И., Афанасьев В. О., Макаров-Землянский Н.В., Томилин А. Н., Чумаков В. А. Некоторые аспекты применения имитационных моделей с интерфейсом «виртуальная реальность»

Введение. Имитационное моделирование появилось во второй половине 50-х годов, как инструмент исследования сложных систем и процессов, не поддающихся формальному описанию в обычном понимании этого термина. Возникновение и развитие имитационного моделирования как научной дисциплины тесно связано с развитием и ростом мощности вычислительной техники. Достигнув определенного уровня производительности (по некоторым оценкам он составляет около 10⁵–10⁶ операций в секунду) компьютер оказался пригодным не только для вычислений (попросту, как арифмометр), но и для активного исследования сложных процессов и систем. Сегодня уже классическими стали многие примеры применения имитационных моделей, которые в свое время были сенсацией: принятие решений о действиях экипажа корабля «Апполон-13» после взрыва кислородного бака на перелетной траектории к Луне, модель «Ядерной Зимы» и многие другие.

Если попытаться определить для имитационного моделирования свойственный ему круг проблем, то в их числе окажутся проблемы, связанные в широком смысле с изучением и предсказанием поведения модели сложной системы, когда эксперимент над этой системой невозможен или нежелателен в реальных условиях ее существования. В целом ряде случаев имитационная модель является единственной альтернативой получения информации о поведении объекта и его характеристиках.

За время своего существования имитационное моделирование проникло во многие отрасли науки, среди которых уже традиционно на первом месте выделяются экономика, экология и военные области (в некоторых моделях они тесно переплетаются). Перечисленные дисциплины можно объединить по некоторым признакам объектов их исследований, которые характеризуются как большие системы. В последние годы имитация проникает в области разработки и применения сложных технических систем (в первую очередь, космических) что связано с радикальным усложнением самих этих систем, стоящих перед ними задач, а также высокой ценой риска при неправильных действиях экипажа, оператора и т. д. Среди характерных примеров можно привести работу по стыковке и сборке крупногабаритных разветвленных элементов орбитальных станций, дистанционное управление планетными автоматами в условиях большой длительности распространения радиосигнала (до 40 минут для Марса) и многие другие, когда принятие решений требует предварительного «проигрывания» нескольких вариантов развития событий и их последствий при различных стратегиях управления.

В отличие от больших систем, которые чаще ориентированы на прогнозирование и принятие решений, рассчитанные на длительные интервалы, и основанные на интегральных оценках (суммарные потери, среднее или интервальные значения вероятностей отказа или успеха, коэффициент готовности и т. п.), моделирование технических систем требуют несколько иного подхода. Модель поведения технической системы — это, как правило, модель ситуации, описание и исследование которой строится на основе оперативной информации, поступившей в определенный момент времени, и требующей принятия единственного альтернативного решения в течение заданного (достаточно короткого) интервала времени. Здесь критерием принятия решения могут быть вероятностные, стоимостные и другие аналогичные оценки, но решающую роль играет быстрое развитие ситуации со сменой критериев (хотя общим критерием может оставаться, например, стоимость оборудования космической станции) и обратная связь по меняющимся параметрам, характеризующим ситуацию.

Различие в подходе к моделированию больших и технических систем накладывает отпечаток и на характер интерпретации выходной информации при моделировании. Если рассматривать предельные случаи, то вероятностная имитационная модель большой системы может использоваться для получения одного единственного числа, характеризующего, например, уровень средней рентабельности к определенному году. В то же время модель детерминированной, но разветвленной технической конструкции с распределенной массой, которая используется для принятия решения о траектории ее перемещения, может потребовать интерпретации громадного массива трехмерных координат и углов ориентации для множества элементов этой конструкции.

В начале 80-х годов произошло событие, которое, как и появление мощных компьютеров, в свое время сыгравшее определяющую роль в зарождении имитационного моделирования, сегодня играет важную роль в направлении его дальнейшего развития, — это появление интерфейса «Виртуальная Реальность». Предпосылками его долгое время были работы в области тренажерной техники для обучения пилотов, водителей и т. д., где соответствующие технические устройства использовались для создания образов динамической внешней среды оператора (в частности, коналоги). С появлением виртуальной реальности в тренажерных системах произошла практически полная замена материальных элементов внешней среды на их виртуальные фантомы. Однако, важнее другое. В системе виртуальной реальности достигается полный контакт оператора с моделируемой средой, благодаря обратной связи, которая может охватывать практически все системы взаимодействия человека с «обычным» внешним миром. Значение этой возможности трудно переоценить в применении к имитационному моделированию как раз технических систем, управляемых человеком, который одновременно становится одним из звеньев этой системы (как принято говорить, «человеко-машинной» системы).

Виртуальная реальность: на пути к абсолютному интерфейсу человека и модели. Имитационные модели сложных технических систем требуют исключительно мощных вычислительных средств и являются одной из основных сфер применения суперкомпьютеров. Это вызвано сложностью самих моделей, а также высокой степенью детализации моделируемых процессов и подсистем (глубиной моделирования). До того момента, когда такие модели создавались в расчете на их использование для научной и проектной деятельности с соответствующей формой представления результатов, для анализа и интерпретации этих результатов моделирования допускались затраты длительного времени и имела место практически разомкнутая схема взаимодействия исследователя и модели.

Положение, однако, кардинально изменяется, когда оператор управляет ходом имитации, взаимодействуя с моделью в режиме реального времени, или сам является звеном этой модели (например, в случае проведения отработки системы с использованием моделей, или в случае использования моделей в тренажерах).

В этих условиях потребовались поиcки интерфейса, позволяющего оператору воспринимать большие объемы информации в очень короткое время и успевать воздействовать на ход имитации.

В силу исторически сложившихся причин взаимодействия человека и компьютера (имитационной модели), как правило, носит знаковый (языковый) характер. В тренажерах (обычных), напротив, — взаимодействие модели и оператора имело, в основном, сенсорный характер. Парадоксально, но виртуальная реальность — в некотором смысле является откатом на более примитивный уровень коммуникации — вторая сигнальная система (язык — одна из гордостей цивилизации) уступает место рецепторному контакту. Этот парадокс еще предстоит понять, но по-видимому, человеком делается неосознанная попытка устранить как раз «языковый барьер» между собой и компьютером (моделью) и в экстремальных ситуациях взять именно на себя интерпретацию (пока что более эффективную, адекватную, оперативную и т. п.) событий виртуальной среды, для чего необходимо приблизить взаимодействие человека с компьютером к обычному взаимодействию человека с внешним миром. Во всяком случае все последние годы ведутся интенсивные поиски в области, так называемого, «некомандного» интерфейса, и это привело к созданию того, что сегодня носит название «виртуальная реальность».

Теоретически, виртуальная реальность — это абсолютный интерфейс человека и компьютера; в нем используются все или почти все системы взаимодействия с внешним миром: зрительные, слуховые, тактильные, гравитационные и т. д. Интенсивность потока информации через этот интерфейс приближается к интенсивности потока информации через наши органы чувств (а он превосходит любые ожидаемые границы). Поэтому уже в настоящее время скорость передачи данных только через видео-канал систем виртуальной реальности преодолевает рубеж 1 Гб/сек. И, хотя зрительный канал человека является коммуникационным каналом с наибольшей пропускной способностью, мы стоим, скорее всего, только в начале пути развития человеко-машинного интерфейса нового поколения, характер и темпы развития которого сложно предугадать.

Динамически настраиваемые модели. Следует отметить, что в рамках пары «человек — компьютер», связанных прямой и обратной связью, трудно выйти за пределы применения, по существу являющегося игровым. Здесь взаимодействие осуществляется между человеком и фантомом — моделью, обладающей чертами реального мира, но никоим образом с ним не связанной.

Чтобы сделать следующий шаг, необходимо, чтобы модель отражала некоторую конкретную физическую реальность (среду) и была динамически настраиваемой на изменение состояний (параметров) этой среды. Данные о состоянии физической системы, получаемые с помощью различных датчиков, систем локации, оптического наблюдения и т. п., могут быть переданы и введены в компьютер с помощью телекоммуникационной системы. С помощью нее же и некоторых исполнительных органов может осуществляться обратное воздействие на физическую систему, например, управление объектами, функционирующими в ней, и процессами, в ней протекающими.

Приведенное выше применение есть не что иное, как телеуправление, однако использование интерфейса типа «виртуальная реальность» существенно отличает это телеуправление от такового в обычном понимании. Даже использование для телеуправления такого мощного канала как телевизионный, уступает по возможности управлению с использованием того же канала, но с применением интерфейса «виртуальная реальность».

В первом случае оператор видит то же, что видит удаленная телекамера, местоположение которой строго фиксировано (некоторая свобода перемещения камеры принципиально ничего не меняет — камера физически «привязана» к определенной точке пространства или объекту).

Во втором случае поступающая TV-информация может использоваться для динамической настройки модели среды и функционирующего в ней объекта (виртуальной камеры), а использование виртуальной реальности позволяет оператору видеть среду и объект с любой выбираемой им точки зрения, изменять ракурсы, или осуществлять «гипервидение» (наблюдение под несколькими произвольными ракурсами одновременно). Исследования в этом направлении проводятся некоторыми из авторов в рамках проекта «Гипервизор».

Если мы обладаем достаточно большой априорной информацией о среде и объектах в ней, что имеет место в технических системах, то можно вообще отказаться от передачи телевизионной информации, а передавать ограниченное количество параметров (вектор состояния) и тем не менее получать на выходе стереоскопические изображения системы в различных ракурсах.

Появление и развитие виртуальной реальности самым тесным образом связано с развитием возможностей компьютерной технологии. Благодаря качественному скачку производительности ЭВМ за последние 10–15 лет стало возможно в реальном времени вводить, обрабатывать и выводить данные громадных объемов. Совсем недавно (конец 70-х) обычной была следующая цитата: «...10⁸ бит в секунду... — обработка информации, поступающей с такой скоростью, едва ли осуществима любой вообразимой ЭВМ».

Вместе с тем, мы за исключением, может быть, небольшого числа задач, более или менее абстрактных и изолированных от реальности (таких, например, как шахматная игра), похоже, подошли к рубежу, за которым наращивание мощности вычислений становится бессмысленным, если эта мощность не подкрепляется соответствующей ей мощностью интерфейса взаимодействия модели с человеком-оператором. Причем этот интерфейс уже играет не вспомогательную роль, что прежде имело место в имитационном моделировании, а становится органической частью самой модели.

Освоение виртуальной реальности как интерфейса взаимодействия человека со средой имитационной модели, которая в данном случае может рассматриваться как некоторая «виртуальная среда обитания» является, по-видимому, одним из наиболее продуктивных путей развития этой новой технологии, как и самого ее прародителя — имитационного моделирования.

Заметим, однако, что термин «виртуальная реальность» сегодня чаще всего употребляется в связи с индустрией развлечений (игры) и искусством (игровой и анимационный кинематограф). Причем, если сопоставление игры с моделированием просто банально, то к киноискусству виртуальную реальность можно отнести с очень большой натяжкой (кроме специальных случаев), и там речь идет, скорее, о компьютерной графике совместно с анимацией. Настоящее становление и развитие виртуальной реальности происходит в областях, связанных именно с имитационным моделированием, о чем свидетельствуют многочисленные публикации, в которых охвачены не только «классические» дисциплины моделирования (в первую очередь, военные), но и появившиеся сравнительно недавно (например, имитация работы марсохода, подготовка операций спецподразделений по борьбе с терроризмом и т. п.). Число работ по виртуальной реальности, опубликованных только в США за 1992–1994 годы составило, по-видимому, не менее тысячи и продолжает расти, затрагивая все более широкий круг проблем.

Разумеется, аспекты применения моделей с интерфейсом «виртуальная реальность», рассмотренные в данной статье, далеко не исчерпывают всех возможных приложений. Виртуальная реальность, видимо, также неисчерпаема, как и реальность физическая.

Из статьи: В. О. Афанасьев, А. Г. Бровкин, А. Н. Корниевский, В. П. Подобедов, В. С. Семченко, А. Н. Томилин. Исследование и разработка системы интерактивного наблюдения индуцированой виртуальной среды (системы виртуального присутствия).

За последнее десятилетие произошло существенное усложнение конструкции орбитальных станций и задач, которые должны быть решены в ходе их создания и функционирования в условиях космического пространства. Поскольку даже самые современные ракеты-носители не позволяют выйти за жесткие рамки ограничений по массе и габаритам полезной нагрузки, единственной альтернативой при создании больших орбитальных комплексов сегодня и в обозримом будущем является поэтапное выведение отдельных блоков с последующей их сборкой в единую систему уже на околоземной орбите.

Процесс создания большого орбитального комплекса из автономно выводимых на орбиту элементов очень сложен. Он требует четкости, слаженности и предельно высокой точности действий экипажей, наземных служб и технических средств. Цена риска из-за неправильных действий и ошибок при проведении маневров, операций по стыковке, монтажных работ в открытом космосе чрезвычайно высока. Многолетний опыт развертывания, эксплуатации и управления Российским орбитальным комплексом «Мир» показывает, что, начиная с определенного этапа, когда уровень сложности комплекса подходит к некоторой критической отметке, для обеспечения управления становится необходимым привлечение новых подходов и информационных технологий, таких как имитационное моделирование и виртуальная реальность.

Использование имитационного моделирования как инструмента для принятия решений и управления сложными космическими системами имеет два тесно связанных аспекта. С одной стороны, имитационное моделирование — это возможность оперативно исследовать поведение системы и протекающие в ней процессы, не прибегая к реальным экспериментам на реальных объектах. С другой стороны, достоверность представления о состоянии исследуемой системы и адекватность прогнозирования развития событий целиком определяется достоверностью, оперативностью и полнотой информации, поступающей на вход модели. Сложившаяся в Центре управления полетами за годы создания и эксплуатации космических систем информационная инфраструктура (десятки и сотни тысяч каналов приема в реальном времени телеметрических и траекторных данных) позволяет удачно сочетать два этих аспекта при создании и включении системы имитационного моделирования в контур управления и принятия решений.

Вместе с тем необходимо заметить, что возможности приема и обработки больших потоков информации теряют смысл, если они не обеспечены средствами интерпретации этой информации в форму, которая позволяла бы оперативно принимать необходимые решения.

На сегодняшний день самым эффективным способом интерпретации больших потоков данных является использование интерфейсных средств, подключаемых непосредственно к сенсорной системе человека-оператора, — систем виртуальной реальности (ВР). Причем наибольшее развитие и распространение получили системы ВР, предназначенные для зрительного канала — стереоскопические дисплеи (носимые и стационарные), снабженные подсистемой слежения с обратной связью (чаще всего инфракрасной) по положению головы и ориетации зрительных осей оператора. Видео-системы ВР, подменяя зрительное восприятие окружающего реального пространства восприятием синтезируемой компьютером трехмерной виртуальной среды, позволяют на качественно более высоком уровне решать проблемы интерпретации и отображения больших объемов и потоков данных. Кроме этого, применительно к задачам управления большими орбитальными комплексами, методология ВР предоставляет принципиально новые возможности, которые выводят системы ВР за рамки «просто» систем отображения (быть может более сложных, нежели обычные дисплеи). Наиболее важная из этих возможностей — так называемое погружение оператора в виртуальную среду и взаимодействие с объектами виртуальной среды. Самым простым (с точки зрения реализации) видом такого взаимодействия является зрительное взаимодействие, но уже оно одно существенно отличает систему ВР от системы телевизионного наблюдения, поскольку в системе ВР принципиально отсутствует привязка наблюдателя к определенной точке и зрительному ракурсу — положение, ориентация и движение наблюдателя в виртуальной среде может быть любым.

Эта возможность приобретает большое практическое значение, если виртуальная среда и образующие ее объекты являются не целиком абстрактными и оторванными от действительности, а отражают некоторую реальную среду, реальные объекты и развитие реальных событий, или, иначе говоря, виртуальная среда порождена (индуцирована) некоторой реальной средой. Такой подход предоставляет качественно новые возможности для наблюдения, принципиально недоступные при использовании традиционных телевизионных систем.

Перечисленные выше обстоятельства и факторы послужили в начале 90-х годов отправной точкой для исследования и разработки в ЦУП-М концепции и системы интерактивного наблюдения индуцированной виртуальной среды, которая послужила бы фундаментальной основой для создания новых подходов и методов управления сложными космическими аппаратами, в частности, орбитальными станциями нового поколения, развертывание и эксплуатация которых (теперь уже в 21 веке) будет связана с решением принципиально новых сложнейших задач.

Из статьи: В. О. Афанасьев, В. И. Алешин, В. Н. Почукаев, А. Н. Томилин. Технологии «искусственный интеллект» и «виртуальная реальность» в системах автономной навигации:

Математическое обеспечение существующих систем автономной нави-гации, как правило, строится на основе моделей движения объектов, в которых сами объекты описываются как материальные точки. Размеры и форма управляемых объектов не учитываются, если достаточно велики расстояния между объектами и величины их перемещений за характерное время. Однако, если управляемые объекты находятся друг от друга на расстояниях, соизмеримых с их габаритами, размеры и форма объектов могут оказаться решающими.

Современные и перспективные долговременные орбитальные станции, такие как «Мир» и МКС имеют сложную пространственную конфигурацию, для которой характерно расположение крупногабаритных протяженных фрагментов вдоль нескольких пространственных осей. Такие конструкции можно назвать сильно разветвленными, сравнивая их с космическими аппаратами, которые в этом контексте можно считать «компактными». Движение и управление движением вблизи центра масс сильно разветвленных КА сопряжено с большим риском и высокой ценой риска столкновений фрагментов конструкций КА. Во избежание таких столкновений фактически требуется одновременное слежение за взаимным расположением и параметрами движения большого числа точек, относимых к конструкциям КА.

Виртуальное 3D-пространство, в котором производится оценка состояния управляемой системы (взаимного положения объектов управления), в данном случае можно трактовать как носитель обратной связи. Таким образом, традиционные винеровские понятие и модель обратной связи расширяются, и просматриваются новые подходы к решению задач управления.

Например, несколько необычным способом может быть поставлена и решена задача прицеливания (при стыковке, посадке и т. п.). В обычной постановке задачи для минимизации координатной невязки между исполнительным органом и мишенью необходимо непосредственное наблюдение мишени (обратная связь осуществляется внутри того же пространства, где производятся наблюдения). Если по каким-то причинам условия наблюдения не позволяют определить координаты (проекции координат) мишени, задача прицеливания, сопровождения цели и т. д. может стать невыполнимой. В предлагаемой постановке без ущерба для выполнения основной задачи мишень может быть вообще вне поля видимости (скрыта фрагментами конструкции, препятствиями и т. п.), так как наблюдение ведется не за мишенью непосредственно, а за опорными точками (они могут находиться на большом удалении от мишени). Далее в виртуальном пространстве могут быть с высокой точностью восстановлены координаты мишени (по функционалу связи с опорными точками) и, соответственно, минимизирована неувязка между координатами мишени и исполнительного органа.

В заключение коснемся некоторых аспектов реализации предложенной концепции системы. В первую очередь следует отметить, что еще 10 лет назад описанная постановка задачи управления не имела бы под собой реальной технической базы. На первую половину 2000-го года корпорация Intel анонсировала серийный выпуск микропроцессора Pentium-III со средней производительностью 6 Гфлопс (6 миллиардов операций с плавающей точкой в секунду). Напомним, что в середине 90-х нижней границей производительности супер-ЭВМ была величина 1 Гфлопс (Pentium III — «обычный» микропроцессор). Похожая ситуация и с объемами оперативной памяти — с начала 1999 года серийно выпускаются системные платы, рассчитаные на установку «в железе» до 1 Гбайта оперативной памяти. Бортовая вычислительная система, построенная на основе компонент с указанными параметрами, способна в реальном времени эффективно справиться с решением описанных выше задач.

Следует также упомянуть интересную задачу, возложенную на экипаж МТКК «Endeavour» в феврале 2000 года, — сканирование рельефа земной поверхности радиоинтерферометром с длиной базы около 60 метров (на длинах волн 5,6 и 3,1 см). Сканированию была подвергнута полоса земного шара между 60 градусом северной и 55 градусом южной широты, а суммарный объем полученных данных составил около 10 Терабайт. Полученное в данной экспедиции разрешение пока что не очень высоко (около 30 метров по высоте и 15–20 метров вдоль поверхности). Важно, что высокоточная 3D-модель всей земной поверхности, которая будет получена NASA в недалекой перспективе, затем может быть использована для решения любых задач, требующих детального знания рельефа в любом заданом районе земного шара.

Библиография

Алешин В. И., Афанасьев В. О., Галис Р. М., Баяковский Ю. М., Томилин А. Н. Виртуальная реальность. Проблемы освоения новой информационной технологии//Программные продукты и системы. 1994. № 4

Афанасьев В. О., Мартыненко М. В., Почукаев В. Н., Томилин А. Н. Системы навигации для объектов сложной пространственной структуры на базе виртуальных моделей трехмерной среды/2-я Международная НТК «Космонавтика, радиоэлектроника, геоинформатика». Рязань, 1998

Афанасьев В. О., Алешин В. И., Почукаев В. Н., Томилин А. Н. Технологии «Искусственный интеллект» и «Виртуальная реальность» в системах автономной навигации//Космонавтика и ракетостроение. 2000. № 18

Афанасьев В. О., Бровкин А. Г., Корниевский А. Н., Подобедов В. П., Семченко В. С., Томилин А. Н. Исследования и разработка системы интерактивного наблюдения индуцированной виртуальной среды (системы виртуального присутствия)//Космонавтика и ракетостроение. 2001. № 20

Вайвил Д., Цао Ен, Тротмен А. Поверхность Цао Ена: новый подход к геометрическим моделям произвольных форм//Программирование. № 4. 1992

Гильберт Д., Кон-Фоссен С. Наглядная геометрия. М., 1981

Глезер В. Д. Механизмы опознания зрительных образов. М.; Л., 1968

Кравков С. В. Глаз и его работа. М.; Л., 1950

Моделирование сложных систем и виртуальная реальность//Вопросы кибернетики/Под ред. Ю. М. Баяковского и А. Н. Томилина. 1995. № 181

Марр Д. Зрение. Информационный подход к изучению представления и обработки зрительных образов. М., 1987

Олегов В. Костюм виртуанавта//Наука и жизнь. 1999. № 2

Томилин А. Н., Афанасьев В. О. Виртуальная реальность//Наука и жизнь. 1999. № 2

Ухтомский А. А. Собрание сочинений. Л., 1954. Т.4

Фоли Дж., Вэн Дем А. Основы интерактивной машинной графики. М., 1985

DOD Trains Soldiers with Virtual Battlefield//Goverment Computer News. 1993. Aug. 30

Virtual Environment in the US Military//Computer. 1993. Feb.

Тема № 239

Эфир 03.04.2003

Хронометраж 49:33

www.ntv.ru

Сайт управляется системой uCoz