Formatos y procesamiento de multimedia interactivo

Este recurso de aprendizaje es una lección creada originalmente como material didáctico del proyecto de aprendizaje Tecnologías multimedia e interacción.

Introducción

Conforme va creciendo y ampliándose la nueva forma de interactuar con los archivos multimedia, surgen también nuevas formas de procesar estos archivos y con él, sus formatos. Razón por la cual existen muchos formatos de procesamiento multimedia interactivo. Sin embargo, en esta sección hablaremos de los más importantes o los más usados o conocidos hasta el momento.

HTML5 + JavaScript

HTML5 permite incrustar vídeo y audio de forma sencilla y sin plug-in y controlar la reproducción de los dichos medios. HTML5 ha querido hacer la vida un poco más sencilla a los programadores con etiquetas como audio o vídeo, y aunque están muy bien, normalmente queremos que tengan más opciones, y para eso como casi siempre acudimos a javaScript. La utilización es realmente muy sencilla, básicamente es buscar el id de la etiqueta audio o video crear el objeto con javaScript y crear métodos para acceder a sus propiedades.

MULTIMEDIA EN HTML5
Audio y vídeo en HTML5
- Etiquetas de audio y vídeo, propiedades.
- Múltiples sources
- Múltiples tracks

Control de medios con javascript:
- HTMLMediaElement
- Eventos

Como siempre lo mejor un ejemplo de cómo funciona. A continuación se cita un programa de ejemplo en el que se utiliza Html5 y JavaScript juntos:

Html5 y JavaScript (juntos)
<html> <head> <script type="text/javascript"> function inicio(){ var elemento = document.getElementById ('mediaElementID'); elemento.seekable.start(); //devuelve la hora de inicio en segundos } function play(){ var elemento = document.getElementById(‘ mediaElementID'); elemento.setAttribute('src', 'loading.ogg'); elemento.play(); //inicia la reproducción } function Pause(){ var elemento = document.getElementById(‘ elementId'); elemento.pause(); //para la reproducción } function final(){ var elemento = document.getElementById(‘ elementId'); return elemento.seekable.end(); //devuelve la hora del final en segundos } function Volumen(var){ var elemento = document.getElementById('elementId'); elemento.volume(var);//inserta los segundos 0.0 a 1.0 return elemento.volume(); //devuelve los segundos 0.0 a 1.0 } function Tiempo(var){ var elemento = document.getElementById('elementId'); elemento.currentTime = var; // nos lleva al segundo indicado por var } function TiempoFuncionando(){ var elemento = document.getElementById('elementId'); return elemento.played.end(); // nos devuelve el tiempo que a estado en reproducción en segundos } </script> </head> <body> <bottom onClick="play()"> //resto.... <audio id="elementId"> </audio> </body> </html>

DVD

El sistema de archivos del DVD es UDF (Universal Disk Format) y Joliet. Su principal uso es la grabación o regrabación de discos. Internamente, el DVD graba los archivos en formatos muy complejos, cuando exploramos la estructura de archivos del DVD, podemos encontrar los siguientes formatos:
.VOB (Video Objetcs): Contiene los datos de video, tamaño máx < 1Gb. VTS_X_0.VOB --> es menú. Están codificados normalmente siguiendo el estándar MPEG-2. MPEG (grupo de expertos en imágenes en movimiento - usado para codificar audio y vídeo para señales de transmisión).
.IFO (Información): contiene información de la estructura del disco, secuencia de capítulos, subtítulos, etc.
.BUP (BackUP): son copias de seguridad de los archivos IFO. Como sus originales, no están encriptados.

Formato Archivo .VOB	Explicación del formato
Scanning for stream id's, press control-c to quit... Found 0xBF = Private 2 [@LBA 0] Found VOB-ID: 01/CELL-ID: 01 [@LBA 0] Encountered encrypted sector, attempting key recovery [@LBA 1] Deduced key: 0xC00374C61C (2/2 vkey(s)) Found 0xE0 = Video 0 [PTS 0:00:00.290 @LBA 1] Width = 720 Height = 480 Aspect-ratio = [3] 16:9 display Frame-rate = [4] 29.97 (30000/1001) fps Found 0xBD = Private 1, sub 0x80 [PTS 0:00:00.224 @LBA 99] Found 0xBD = Private 1, sub 0x81 [PTS 0:00:00.224 @LBA 100] Found 0xBD = Private 1, sub 0x82 [PTS 0:00:00.224 @LBA 101] Found 0xBD = Private 1, sub 0x83 [PTS 0:00:00.224 @LBA 102] Found 0xBE = Padding [@LBA 117] Found 0xBD = Private 1, sub 0x20 [PTS 0:00:00.724 @LBA 169] Found 0xBD = Private 1, sub 0x21 [PTS 0:00:00.724 @LBA 170] Found VOB-ID: 02/CELL-ID: 01 [@LBA 378]	Normalmente se tiene solo una cadena de vídeo y siempre es la ID 0xE0. PTS es el Program Time Stamp y establece cuando cierta cadena empieza en relación al inicio del VOB (sirve para sincronizar las cadenas). Como podemos ver la resolución es de 720x480 así que es un DVD NTSC. El frame-rate de 29.97. El DAR (Relación de aspecto) de la cadena es 16:9. Hay cuatro cadenas de sonido: 0x80 - 0x83. Son cadenas AC3. Todas las cadenas AC3 estan en la cadena 0xBD, subcadenas 0x8x. El DTS normalmente está en cadenas del id 0xBD 0x88 o 0xBD 0x89. Las cadenas PCM en 0xBD, hay IDs de cadenas 0xAx, desde 0xA0 hasta más de 0xA9. Finalmente el sonido MP2 se localiza en las cadenas 0xCx

CSS3 (Cascading Style Sheets Level 3)

Las CSS son el estándar para definir el aspecto de un documento HTML o XML, nos ofrecen la posibilidad de definir las reglas y estilos de representación en diferentes dispositivos, ya sean pantallas de equipos de escritorio, portátiles, móviles, impresoras u otros dispositivos capaces de mostrar contenidos web.
La versión CSS3 aporta nuevas utilidades para definir y controlar de manera eficiente la representación o el aspecto de nuestras páginas web, esta versión nos ofrece una gran variedad de opciones muy importantes para las necesidades del diseño web actual. Desde opciones de sombreado y redondeado, hasta funciones avanzadas de movimiento y transformación para contenidos multimedia.

Una hoja de estilo se compone de una lista de reglas. Cada regla o conjunto de reglas consiste en uno o más selectores y un bloque de declaración (o «bloque de estilo») con los estilos a aplicar para los elementos del documento que cumplan con el selector que les precede. Cada bloque de estilos se define entre llaves, y está formado por una o varias declaraciones de estilo con el formato propiedad:valor;

En el CSS, los selectores marcarán qué elementos se verán afectados por cada bloque de estilo que les siga, y pueden afectar a uno o varios elementos a la vez, en función de su tipo, nombre (name), ID, clase (class), posición dentro del Document Object Model, etcétera.

Bases de Datos Multimedia

Los Sistemas de Bases de Datos Multimedia se caracterizan por almacenar, además de texto y otros datos discretos, información de Audio y Vídeo, permitiendo su manipulación y recuperación. Para proporcionar esta funcionalidad, requieren una tecnología propia de almacenamiento y un sistema de ficheros

LOS OBJETOS MULTIMEDIA
Los objetos multimedia, tales como imágenes, videos, etc , son completamente diferentes desde el punto de vista del soporte de la base de datos y además son muy distintos de los tradicionales. Las principales diferencias entre ambas son: – Tamaño – Requerimientos en tiempo real , p.ej (retardos, sincronismo, etc) Otra cuestión a tener muy en cuenta en estos objetos es su complejidad.

Sistemas de Gestión de Bases de Datos Multimedia (SGBDM)
Aparecen debido al creciente interés por la creación de aplicaciones multimedia. Una de las características más importantes de los SGBDM es que deben ser extensibles, encontramos 2 tipos de extensibilidad: – Extensibilidad Lógica Ej, clases en C. – Extensibilidad Física

Las técnicas que se utilizan para realizar los SGBDM son variados:
– Extensión multimedia de un SGBD Relacional – Bases de datos orientadas a objetos para multimedia – Utilización de sistemas híbridos

ALMACENAMIENTO
Este es uno de los principales problemas para el desarrollo de BD y Sistemas multimedia
• La solución pasa por básicamente por el uso de dos recursos:
– Los sistemas ópticos de almacenamiento masivo
– La aplicación de modelos de almacenamiento distribuido
• Por otro lado, la aplicación de nuevos sistemas de compresión normalizados, JPEG para imagen fija y MPEG para imagen en movimiento, permiten una transmisión y almacenamiento más eficaces.
El almacenamiento requiere dos tipos de extensibilidad:
– Extensibilidad en métodos de acceso: Las múltiples interpretaciones y aplicaciones de los diferentes tipos impide la creación de un estándar sobre indexación y mecanismos de búsqueda para objetos multimedia
– Extensibilidad en mecanismos de almacenamiento: Métodos para un eficiente agrupamiento de datos y esquemas para el almacenamiento de datos multimedia.

Los datos multimedia pueden almacenarse en las bases de datos como:
– Datos crudos: Una imagen sin comprimir formada por un conjunto de pixels individuales.
– Datos registrados: Incluyen información sobre tamaño, tipo de codificación, etc.
– Datos descriptivos: Permiten buscar mediante descripción del objeto

Recuperación de objetos multimedia
A diferencia de las bases de datos convencionales, los objetos multimedia están representados por una colección de características • Para la recuperación de los objetos multimedia, vamos a tener en cuenta,la recuperación basada en el tiempo y en el contenido – Sincronización y presentación: La recuperación y presentación de objetos multimedia desde un SGBDM tiene que aportar algunas características específicas surgidas desde las dependencias del tiempo de los tipos de medio – Lenguajes de consulta, recuperaciones basadas en el contenido e indexaciones: recuperaciones rápidas de objetos usando sus características de contenido. Lo más interesante es la recuperación de información multimedia basadas en el contenido:
– La recuperación de imágenes consiste, en seleccionar las imágenes relacionadas con una consulta del usuario desde una gran colección de imágenes. – Las recuperaciones de vídeo implican análisis de contenido, extracción de características, modelo de contenido, indexación y consulta.

Smart TV

Con Internet ya estamos disfrutando de una comunicación interactiva sin precedentes, en la que todo el mundo se puede convertir en consumidor y productor de información a la vez. Por tanto la televisión no puede quedarse al margen de toda esta nueva tecnología, y ha de evolucionar hacia un modelo más interactivo siguiendo las demandas de la nueva sociedad de la información, un modelo que en el futuro, pueda permitir la integración de todas estas nuevas tecnologías en la denominada superautopista de la información. Analizando las características de una Smart TV podemos mencionar las siguientes opciones:
Poder ver la televisión tradicional y cualquier dispositivo conectado: Para ello disponemos de intuitivas y funcionales interfaces que nos permiten seleccionar ir de un sitio a otro.
Conexión a internet para usar buscadores o navegar directamente: aquí se nos disparan las posibilidades ya que podemos acceder a la televisión a la carta que nos ofrecen las webs de las distintas cadenas de TV y pasamos a tener un número infinito de canales para ver.
Conexión directa con redes sociales: para comentar y compartir lo que estamos viendo en el mismo momento en que los estamos viendo.
Capacidad de instalar y usar aplicaciones de todo tipo: Las Apps aparecen en la pantalla de inicio y recomendaciones de contenido multimedia personalizadas, aquí podemos englobar desde aplicaciones para ver la información meteorológica hasta el mismo Skype.
Control por voz y gestos: la búsqueda por voz te permite encontrar rápidamente el contenido que quieras, aunque esto solo nos lo encontramos en los modelos más avanzados.
Google Cast: enviar aplicaciones de entretenimiento favoritas desde el dispositivo móvil u ordenador al televisor.

e-adventure

Proyecto de investigación que aspira a facilitar la integración de juegos educativos y simulaciones basadas en juegos en procesos educativos en general y Entornos Virtuales de Aprendizaje (VLE) en particular.
Está siendo desarrollado bajo los auspicios del grupo e-UCM en la Universidad Complutense de Madrid.

Escrito en Java, Opensource.
Puede ser desplegado como una aplicación independiente, o como un applet para la educación online.
Interfaces personalizables
Elección del estilo de interacción: menús de aventura tradicionales o menús contextuales.
Notación XML para la descripción de las aventuras.
Soporte para escenarios de aprendizaje adaptativos en tiempo real.
Juegos empaquetados con metadatos estándares (IEEE Learning Object Metadata, LOM-ES)
Integración con LMS a través de la implementación de diversos estándares educativos ([SCORM 1.2 y 2004^[1]] e IMS Content Packaging), exportación especial para la integración con WebCT 4.0 y soporte para IMS Learning Design.

Conclusión

Es necesario conocer la estructura(formatos) de la forma como interactuan los diversos componentes multimedia (texto, imagen,sonido, video, animaciones) para poderlos manejar e identificar sus clasificaciones.
Existen múltiples formatos de procesamiento multimedia interactivo, en esta sección se ha visto los mas importantes o los mas usados en la actualidad.

Multimedia Interactivo realmente es el medio más novedoso y efectivo de comunicación y no se debe ver tan sólo como una tecnología. Tampoco como aplicaciones tradicionales a las que se han agregado elementos audiovisuales sin una guía clara. La manera de visualizar el Multimedia Interativo es entenderlo como un medio de comunicación absolutamente interdisciplinario donde la interacción entre usuario y medio es lo más importante.

Cuestionarios de auto-evaluación

Referencias

Participantes activos

Ignacio Melendrez

↑ https://www.ispring.es/blog/que-es-scorm

[1] ttps://www.ispring.es/blog/que-es-scorm

[1]

	.BCKP; .ISO; .DVD.
	.VOB; .IFO, .BUP .
	Ninguna de las anteriores.

	imagen y sonido
	Datos crudos, datos registrados y datos descriptivos.
	Audio e Imagen Interactivo

	Universidad Autónoma de Madrid.
	Universidad de Barcelona.
	Universidad Complutense de Madrid

	Verdadero.
	Falso.
	Es imposible.