Comunicación multimodal
De Wikipedia, la enciclopedia libre
Podemos definir la comunicación multimodal como aquella comunicación en la que intervienen modos humanos, como por ejemplo: la voz o el habla, los gestos, los ojos, los movimientos, etc. El objetivo de la comunicación multimodal es hacer más natural la interacción hombre máquina.
En la actualidad, la comunicación multimodal es un campo en el cual se está investigando y se ha convertido en una nueva frontera para las comunicaciones. La dificultad reside en cómo interpretar todos estos datos e información de manera que una interfaz electrónica lo pueda interpretar y nos permita interactuar con ella mediante esta comunicación.
Respecto a los elementos citados anteriormente que influyen en ésta comunicación podemos decir que: apenas una pequeña parte de estos instrumentos comunicativos se ha estudiado a fondo, mientras que la lingüística hace 2000 años atrás que se estudia. La lingüística ha estudiado las reglas que gobiernan el comportamiento verbal, pero casi no se han investigado el resto de las modalidades.
Por todo esto podemos decir que la interactividad y la comunicación multimodal es una apuesta de futuro que ya se está desarrollando en el presente.
[editar] Lenguajes de funcionamiento
Los lenguajes utilizados como estándar para descifrar los diferentes modos de comunicación son:
- VoiceXML es un lenguaje de etiquetado que permite crear diálogos con los que se puede interactuar escuchando comandos hablados, controlables a través de entradas de voz. VoiceXML se encarga de convertir habla en texto y para ello utiliza, entre otros mecanismos; SRGS (Gramática de Reconocimiento del Habla).
- SRGS tiene como función principal, permitir que una aplicación de voz indique a un reconocedor, qué es lo que tiene que escuchar, es decir, palabras, modelos en los que estas palabras surgen, lenguaje hablado de cada palabra, etc.
- SSML, lenguaje de marcado de Síntesis del Habla, basado en XML, forma parte del proceso de salida de información y funciona como componente de conversión ayudando a generar habla sintética. Este lenguaje tiene como principal objetivo ofrecer a los autores de contenido sintetizable un camino estándar para controlar aspectos del habla como pueden ser la pronunciación, volumen, tono y velocidad, mejorando así la calidad del contenido sintetizado.
- EMMA es un lenguaje utilizado para el intercambio de datos en sistemas de administración de interacción multimodal. Es una especie de lenguaje común utilizado en la comunicación entre componentes de un sistema multimodal, cuyo objetivo es integrar la entrada de datos procedente de los usuarios desde diferentes recursos, y darle forma para ser procesada en una representación única que será a su vez procesada por componentes avanzados de procesamiento de información.
[editar] Ejemplificación
Un usuario señala un lugar en un mapa y dice: ¿cómo se llama este sitio? El sistema de interacción multimodal responde diciendo La Plaza de Europa, Gijón, Principado de Asturias, España, mostrando en el mapa el texto siguiente La Plaza de Europa, Gijón, Asturias, España. Ahora veamos las acciones llevadas a cabo por los componentes que intervienen en dicha acción:
- Usuario: Señala un lugar en el mapa y dice,¿Cómo se llama este sitio?
- Componente de reconocimiento del habla: Reconoce las palabras ¿Cómo se llama este sitio?
- Componente de reconocimiento del ratón: Reconoce las coordenadas x-y que el usuario ha señalado en el mapa.
- Componente de interpretación del habla: Convierte las palabras ¿Cómo se llama este sitio? en una notación interna.
- Componente de interpretación de indicación: Convierte las coordenadas x-y del lugar indicado por el usuario en una notación interna.
- Componente de integración: Integra la notación interna de las palabras ¿Cómo se llama este sitio?, con la notación interna de las coordenadas x-y.
- Componente del administrador de la interacción: Almacena la notación interna en el objeto de la sesión. Convierte la petición en una petición de una base de datos, envía la petición a un sistema de administración de peticiones, la cual devolverá el valor La Plaza de Europa, Gijón, Asturias, España. Añade la respuesta a la notación interna en el objeto de sesión. El administrador de la interacción convierte la respuesta en una notación interna y envía la respuesta al componente de generación.
- Componente de generación: Accede al componente de entorno para determinar que los modelos de voz gráficos están disponibles. Decide presentar el resultado como dos modelos complementarios, voz y gráficos. El componente de generación envía una notación interna representando La Plaza de Europa, Gijón, Asturias, España al componente de estilo de voz, y envía una notación interna al componente de estilo de gráficos, mostrando la ubicación de La Plaza de Europa.
- Componente de estilo de voz: Convierte en SSML la notación interna que representa La Plaza de Europa, Gijón, Asturias, España.
- Componente de estilo de gráficos: Convierte la notación interna que representa la ubicación en un mapa de La Plaza de Europa, Gijón, Asturias, España en una notación HTML.
- Componente de conversión de voz: Convierte la notación SSML en voz acústica para que el usuario pueda oírla.
- Componente de estilo de gráficos: Convierte la notación HTML en gráficos visuales para que el usuario pueda verlos.
