Tecnologías multimedia e interacción/Realidad aumentada

La realidad aumentada permite disfrutar de las ventajas del mundo virtual sin perder la conexión con el mundo real. La realidad virtual se basa en sustituir tu entorno físico completo por uno virtual. En cambio, la realidad aumentada enriquece tu visión del mundo real mediante imágenes generadas por ordenador. Su principal limitación es que requiere un gran número de sensores que permitan recolectar información sobre tu entorno para incorporarla en los gráficos generados y generar una experiencia realista. Es una tecnología que lleva investigándose mucho tiempo y con gran perspectiva de futuro. Aunque siempre ha habido una importante limitación tecnológica, están surgiendo cada vez más vías para su desarrollo.

Presentación

Pueden encontrar la presentación realizada en clase con múltiples recursos audiovisuales en el siguiente enlace de Google Drive.

Predecesores

Desde mediados del siglo XX, se han inventado diferentes métodos para aproximar un entorno de realidad aumentada. En general se ha usado un conjunto de dispositivos analógicos, y algunos digitales (aunque muy rudimentarios). Los principales que encontramos son los siguientes:

Códigos QR (1952): Este sistema de identificación se patentó originalmente en 1952. Sin embargo no fue hasta la década de los 80 cuando comenzó a tener una utilidad real como método de identificación que podía ser fácilmente reconocido por un ordenador. En los últimos tiempos, los códigos QR han sido de gran utilidad en las experiencias de realidad aumentada para servir de localizador espacial en una imagen y poder proyectar imágenes virtuales sobre los mismos.
Sensorama de Morton Heilig (1962): Este sistema usaba un conjunto de dispositivos para reproducir una experiencia sensorial en la que se incorporaba imagen, sonido, vibración y olfato.
Head Mounted Display de Ivan Sutherland (1968): Este dispositivo se trataba de un casco primitivo de realidad virtual que proyectaba diferentes imágenes sobre dos lentes situadas junto a los ojos para tratar de crear una experiencia inmersiva.
Videoplace de Myron Krueger (1975): Se trata del primer sistema que permite la interacción con objetos virtuales. Cabe destacar que no usaba ningún tipo de computador para el procesamiento, ya que confiaba en la proyección de imagen sobre una pared y la detección de las interacciones de las personas, estas se interponían en la proyección para generar una silueta y poder detectar el contraste mediante un sistema de lentes.
Cascos diseñados para pilotos por Holmgren Douglas (1992): En el contexto de la industria aeroespacial se invirtió gran cantidad de dinero para poder ayudar a los pilotos con una interfaz visual que les proporcionase información sobre el vuelo y el estado del avión (altura, dirección, velocidad, etc.).

Ventajas

La principal ventaja de la realidad aumentada es que evita un gran número de problemas relacionados con la inmersión en entornos virtuales durante tiempo prolongado, también conocido como simulator sickness. Otra de las ventajas que provee la realidad aumentada es la mayor perspectiva económica y comercial que ofrece, especialmente en los campos de la publicidad, el diseño de productos y la moda. Un gran número de empresas de diferentes perfiles han comenzado a invertir enormemente en este campo. Por ejemplo, Ikea lanzó una aplicación móvil que permitía probar cómo quedaría cualquier producto de su catálogo con tan solo colocar la revista en el lugar en el que deseemos colocarlo y enfocar nuestra cámara a su código QR (dentro de la aplicación que han lanzado a Google Play).

Otro claro ejemplo de la gran perspectiva de futuro que tiene la realidad aumentada es la apuesta que ha hecho Microsoft por la misma con sus HoloLens, de las que hablaremos más detalladamente a continuación. Aunque no es el único gigante tecnológico que tiene intención de explotar la realidad aumentada, Tim Cook, el CEO de Apple realizó las siguientes declaraciones en una entrevista reciente: La realidad aumentada (RA) abarca más que la realidad virtual (VR), porque nos da la posibilidad de estar presentes y de comunicarnos, pero también de disfrutar de proyecciones virtuales".

Tipos

Los principales tipos de realidad aumentada que podemos encontrar en el mercado son los siguientes:

Gafas de realidad aumentada: Escanean tu alrededor usando diferentes sensores y permiten proyectar imágenes en un panel translúcido que además permite ver los alrededores. Podemos distinguir entre las autónomas o untethered y las alimentadas por un dispositivo, que requieren un ordenador u otro tipo de procesador de gráficos para poder funcionar.
Proyección en pantallas: Se basa en el uso de un dispositivo móvil y su cámara para recoger información del mundo real y mostrar elementos virtuales en la pantalla. Un claro ejemplo de este tipo de RA se trata de Pokemon GO, el videojuego para smartphones creado por la compañía Niantic que ha tenido un gran impacto en el último año y ha provocado que se aumente el interés de la población por este tipo de tecnologías. Una de las principales ventajas que ha aportado este videojuego sobre otros que no incluyen realidad aumentada es que ha permitido que una gran cantidad de jugadores disfruten de una experiencia de juego y, al mismo tiempo, mantener un contacto continuo con el entorno y el medio ambiente.
Proyección en el entorno: En este caso se usa el propio entorno como medio de proyección y una serie de sensores que permiten mapear las acciones que realizan los jugadores/usuarios y modificar las proyecciones dinámicamente. Un buen ejemplo de este tipo de RA es este juego interactivo de escalada.

Dispositivos de Realidad Aumentada

A continuación trataré de exponer diferentes dispositivos que hay actualmente que intentan crear experiencias de realidad aumentada a través de diferentes técnicas:

Project Tango (2014)

Es un proyecto de Google que trata de distribuir una versión de Android especializada en ofrecer experiencias de Realidad Aumentada de calidad. Sin embargo, requiere un soporte hardware específico para soportarlo. Entre los dispositivos que lo soportan se puede destacar el Lenovo Phab Pro 2 (499 €), sus principales características son las siguientes:

Pantalla 6,4”.
Cámara 16 Mp.
Cámara Ojo de pez con sensor de profundidad.
Sensor infrarrojo.

El principal problema de este proyecto es que no tiene una base de usuarios suficiente y la variedad de aplicaciones y su calidad resulta escasa. En parte debido a que existen pocos dispositivos con tanta cantidad de sensores y que soporten esta versión de Android.

Google Glasses (2014)

Este se trata de uno de los productos que ha causado mayor revuelo recientemente. Ya que aportaba una apariencia futurista que no se parecía a nada de lo que había anteriormente y que, además, aportaba características técnicas tan sorprendentes como las siguientes:

Comandos por voz.
Eye-tracking.
Panel táctil.
Capaz de tomar vídeo desde tu punto de vista, analizarlo y traducir textos.
Permiten incorporar en tu campo de visión indicaciones de Google Maps.

El principal motivo de que este producto no tuviera éxito fue que tenía un precio elevado (1500$) y que requería de una invitación al programa de desarrolladores de Google para poder adquirirlo. Otros aspectos negativos es que se requería de un dispositivo móvil potente para que funcionasen con todas sus opciones y que las aplicaciones desarrolladas son diseñadas más para un uso empresarial que para el amplio público.

Microsoft Hololens (2016)

Se trata del dispositivo de realidad aumentada que lanzó Microsoft en 2016 para encabezar su apuesta por esta nueva tecnología. Ellos autodenominan estas gafas como de realidad mixta, delante de nuestros ojos tenemos una porción rectangular donde se superponen elementos virtuales sobre lo que vemos delante de nuestros ojos. Las principales características de este dispositivo son las siguientes:

Precio(developer edition): 3000$.
Dispositivo autónomo (untethered).
Sistema de audio estéreo en 3D (mejora sustancial de la sensación de inmersión).
Interacción mediante voz, gestos, detección de mirada y dos botones físicos(brillo y volumen).
Desarrollo con Unity.
Gran apuesta por el SW libre con una gran cantidad de proyectos y ejemplos públicos en GitHub.
Tiene una buena comunidad, con una gran presencia en foros.

Para más información, se pueden consultar estos dos videos: Un spotlight del producto desarrollado por Microsoft, y una review de un desarrollador que muestra diferentes programas que hay actualmente para el dispositivo.

Microsoft busca expandir su línea de productos de Realidad Mixta y actualmente se encuentra desarrollando un nuevo casco en conjunto con Acer. Tiene un precio estimado de 299$ y ofrece características muy interesantes para mejorar la experiencia de inmersión:

Resolución de 1440x1440 px en cada ojo.
Tasa de refresco de 90Hz.
Compatible con PC y Xbox (alimentado via HDMI).

Problemas de privacidad

Uno de los grandes problemas que se deriva de un uso extendido de la realidad aumentada en la sociedad es la invasión de la privacidad de las personas de nuestro alrededor, ya que hay que tener en cuenta factores como los siguientes:

La empresa desarrolladora es capaz de acceder a todo lo que ve y escucha una persona. Con la facilidad que tienen las grandes empresas para ceder nuestros datos a los gobiernos es un gran problema.
En caso de que los dispositivos de realidad aumentada o los que les alimentan tengan vulnerabilidades, un atacante malicioso podría controlar todo lo que vemos y hacemos. Esto supone un riesgo que muchas personas directamente no quieren correr.
Al ser capaces de tomar vídeo en cualquier momento pueden violar la privacidad de otras personas, ya que es ilegal grabar a otros sin su consentimiento explícito. Para solventar este aspecto, algunos fabricantes han comenzado a incluir avisos visuales que indican cuando el dispositivo está capturando vídeo, de forma similar a la luz roja que muestran las videocámaras cuando graban.
El gran avance de los algoritmos de reconocimiento facial supone otro problema importante. Se podría usar la captura de vídeo de las gafas para obtener información de cualquier persona en tiempo real escaneando sus redes sociales.

Métodos de interacción

A lo largo de la historia, la mayor parte de experiencias de usuario se han diseñado para realizarse en una pantalla plana de 2 dimensiones. Se necesita mucha i+D. Una de las asignaturas pendientes en el mundo de la realidad virtual/aumentada es la de mejorar los métodos de interacción. Algunos tipos de interacción que pueden ser de mayor utilidad son los siguientes:

N-dimensionales: Navegar a través de categorías con diferentes niveles de detalle(browsing). Es una técnica afín a una representación virtual de la realidad, se podría navegar en un entorno tridimensional seleccionando contenidos y que arrastrarlos desencadene ciertas acciones.
Etiquetas: Búsquedas por palabras clave (searching).
Reconocimiento de voz: Introducción de comandos o acciones específicas del sistema que puedan ser ejecutados de forma efectiva con la voz.
Gestos: Incluir gestos naturales como drag & drop, señalar, ampliar, descartar... Muchos de ellos ya se han introducido en el mundo de los smartphone o están siendo investigados.
Seguimiento de la vista: Sería perfecto incluir en unas gafas de realidad aumentada una forma de interacción directa con nuestra mirada.

Interacción en 3D

Uno de los primeros sistemas de interacción en 3D diseñados para funcionar con un entorno virtual fue el de la película de Minority Report. Aunque fuera un sistema que no llegó a implementarse físicamente en ese momento, el director de la película buscó ayuda en un grupo de investigación en sistemas de interacción del MIT y les dio libertad total para diseñar la UI de la película. Los creadores de la película afirmaron que se trató de una investigación con una gran repercusión en grupos de investigación dedicados a las técnicas de interacción y UI/UX. Más adelante (en 2010), el mismo grupo de investigación presentó el sistema de interacción que había evolucionado a partir de todo lo desarrollado anteriormente. En este video se puede ver el impresionante sistema de interacción en 3D que recogía el movimiento de las manos del presentado y realizaba diferentes acciones en el entorno virtual mostrado en la pantalla frente al público.

The Eye of Horus

Es un proyecto desarrollado por una asociación de tecnología creativa de Zaragoza en un Hackathon de 48 horas, ganó el 1er premio del Space Apps Challenge convocado por la NASA. El dispositivo nos permite interactuar con nuestro entorno con la única ayuda de nuestra mirada. Pueden encontrar un video que muestra el comportamiento del dispositivo en este enlace. Para reconocer nuestra mirada el dispositivo utiliza una luz infrarroja que ilumina el ojo, de esta manera el dispositivo es capaz de seguir la pupila y detectar todos sus movimientos. Cuando nos fijamos en un punto más pequeño como un interruptor, la pupila se queda quieta y el algoritmo sabe que queremos enviar una orden.

Perspectivas de futuro

El producto que tiene un mayor potencial para incorporar un sistema de proyección que permita generar una experiencia de realidad aumentada son las lentes de contacto. Aunque no hay nada comercial actualmente, existen varios proyectos y patentes que están trabando en ello.

Por una parte, un grupo de investigadores de la Universidad de Princeton presentó el diseño de unas lentillas construidas mediante una impresora 3D que utiliza hasta 5 capas apiladas de diferentes materiales. Usaron un polímero transparente y un diodo led en miniatura basado en la tecnología quantum dot.

Por otro lado, Samsung registró en 2016 una patente que especifica el diseño de unas lentes de contacto que incorporan un pequeño array de LEDs.

Referencias

Algunas referencias interesantes usadas para la investigación del tema:

Participantes activos

Adrián García García