UchileFAU.cl
Seminario de Diseño Gráfico — Hamuy — Investigaciones » Blog Archive » Evaluación de la Eficiencia y efectividad del juego Dendros.
 

Evaluación de la Eficiencia y efectividad del juego Dendros.

La Efectividad de un videoJuego: Evaluación de la Eficiencia y efectividad del juego Dendros.

 

Francisco Salgado Jara / Carrera Diseño/ Mención Gráfico / francisco.salgado.j@ug.uchile.cl

Keywords

Jugabilidad, Usabilidad, Eficiencia, Efectividad, Experiencia de Usuario, Dendros

Abastract

El presente proyecto consiste en un servicio de evaluación de la eficiencia y efectividad (en términos de jugabilidad) de la aplicación de Dendros, un juego de video inspirado en un comic del mismo nombre y que fue creado por el Biomedical Neurocience Institute (BNI) de la universidad de Chile para motivar a niños y niñas a interesarse por la ciencias. Dicha investigación consistió en el monitoreo de la grabación de pantalla del videojuego, jugado por una muestra de 30 estudiantes de quinto a primero medio, pertenecientes al Liceo Alto Jahuel de la comuna de Buin. Los datos fueron obtenidos de manera cuantitativa, calculando variables como la eficiencia y la efectividad. La primera subdividida en aprendizaje e inmersión y la segunda en precisión y completitud. Estos conceptos son las variables medidas por esta investigación, que tiene un carácter de inicial, por lo que no contempló otros factores de la jugabilidad como lo son la flexibilidad, la seguridad y la satisfacción.

 

1 Introducción

1.1 .1 Presentación del problema y su importancia

La necesidad de llevar a cabo esta investigación surgió de una reunión entre el BNI y un grupo de estudiantes del ramo de Seminario de Diseño gráfico I (al cual pertenezco), en la cual los integrantes del BNI nos informaron de que no se había realizado una prueba sobre el funcionamiento de su aplicación. En consecuencia, era necesaria una evaluación Alpha con profesionales especializados en el tema de los videojuegos, para luego efectuar una evaluación Betha con los usuarios finales. Aquella evaluación no podía abarcar todos los aspectos de la jugabilidad de manera inmediata, por lo que se efectuó un análisis de las variables básicas que pudieran ser prioridad, llegando a dos conceptos centrales “el tiempo de aprendizaje de la aplicación” y “el enganche de la misma”. Para responder al funcionamiento de la aplicación en relación a aquellos conceptos, se observó la metodología de González (2010), concluyendo que era relevante medir la eficiencia (concepto dividido en el “Aprendizaje y la inmersión” ) la efectividad (separada en la “precisión y en la Completitud).

1.1.2 Pregunta de investigación

¿Cómo funcionará la eficiencia y efectividad de la aplicación en términos de jugabilidad?

1.2.3 Objetivo General

  • Evaluar la eficiencia y eficacia (en el marco de la jugabilidad) de la aplicación de Dendros aplicando instrumentos de medición a niños y niñas de 11 años de edad.

1.2.4 Objetivos específicos

  • Adaptar instrumentos de medición de la eficiencia y la eficacia del videojuego de Dendros.
  • Medir la eficiencia y efectividad de la aplicación Dendros.
  • Analizar las mediciones de eficiencia y eficacia hechos a la muestra.

1.3 Marco Teórico

1.3.1 El Juego Dendros

Es una aplicación que está inspirada en el clásico juego de Packman, donde Reimi deberá viajar por el cerebro de su abuelo Ernesto para ayudar a que recupere su memoria. El viaje lo realiza con la ayuda de Kai, una amiga que sabe mucho de biología y quien le explica términos básicos de neurociencia. Durante su estadía por el laberinto Reimi deberá escapar de Boris quien recorre también el sistema nervioso para imposibilitar la misión. El juego lo podemos categorizar como individual teniendo un ritmo externo, ya que el jugador reacciona a un conjunto de condiciones que cambian constantemente,

1.3.2 El adolescente y los juegos.

Como base teórica, se consultó a Del Villar (2003) quién realizó un estudio a 1176 niños de Santiago de Chile en 1999, quienes tenían entre 7 y 13 años. En aquellos años se concluyó que existía una preferencia por parte de los infantes por la televisión y video juegos en comparación con otras actividades de tipo cultural o de deporte. En consecuencia Dendros está siguiendo esta tendencia en los intereses de los niños.

1.3.3 El Concepto de Juego.

También, es importante explicar que se comprenderá el juego desde su concepción general hasta la más específica con respecto a los videojuegos. Según Huizuinga (1938) el juego es un fenómeno cultural y esencial en el desarrollo de la cultura. En particular, el autor se refiere a que el juego tiene las siguientes características: Tiene validez social, es libre, tiene reglas, tiene un tiempo, un espacio determinado y Crea Orden.

Por otra parte Caillois (1958) divide el juego en 4 tipos entre los que encontramos: El Mimicry que significa simulacro o imitación, un comportamiento natural en los niños al momento de aprender, por ejemplo el niño juega a ser carpintero, la niña juega a ser peluquera, de esta forma, mediante la simulación, practica actividades que tal vez pueda realizar en la vida real; El Agón o competencia, es un tipo de juego donde se compite con otros, un ejemplo de este tipo de juegos son los deportes; También tenemos Aléa o casualidad, característicos son los juegos aleatorios como la lotería; Por último, se encuentra el Iminix o vértigo, el cual corresponde a la sensación de agonía, fuera de sí, los juegos presentes en un parque de diversiones calzan perfectamente a esta categoría.

Tanto Huizinga como Caillois son fundamentales para comprender cualquier tema que tenga que ver con el juego, no obstante la investigación se basará en la jugabilidad de los video juegos. La jugabilidad la podremos comprender de la siguiente forma:

1.3.4 El concepto de Jugabilidad

“Definimos la Jugabilidad como el conjunto de propiedades que describen la experiencia del jugador ante un sistema de juego determinado, cuyo principal objetivo es divertir y entretener “de forma satisfactoria y creíble” ya sea solo o en compañía.”(González, 2010, p.229)

González (2008) también nos muestra un mapa conceptual y tabla (material adjunto) fundamentales para evaluar la calidad de la jugabilidad, los cuales se basan en la satisfacción del usuario: Diversión, Atractividad, Placer, Motivación, Emoción, Socialización; la flexibilidad: Accesibilidad, Personalización; la eficiencia: Aprendizaje, Inmersión; efectividad : Precisión, completitud; Seguridad: Daño Físico, Daño de Software.

1.3.5 Efectividad y Eficiencia

En el caso de esta investigación nos enfocaremos en la efectividad y eficiencia utilizando la siguientes definiciones:

“Efectividad: la definimos como el grado en el que usuarios específicos (jugadores) pueden lograr las metas propuestas con precision y completitud en un contexto de uso concreto, el que aporta el videojuego”. (González, 2010, p.307)

“Eficiencia: es el grado con el que usuarios específicos (jugadores) pueden lograr las metas propuestas invirtiendo una cantidad apropiada de recursos en relación a la efectividad lograda en un contexto de uso concreto, el que aporta el videojuego. Este factor esta determinado por la facilidad de aprendizaje y la inmersion”. (González, 2010, p.307)

1.3.6 Experiencia de Usuario

Por otra parte, en cuanto a la experiencia de usuario, se la comprenderá según la definición de Nielsen Norman Group: “sensación, sentimiento, respuesta emocional, valoración y satisfacción del usuario respecto a un producto, resultado del proceso de interacción con el producto y de la interacción con su proveedor” (NNG, 2003). Por lo tanto estamos hablando de un concepto que engloba a la jugabilidad y la usabilidad.

Además, emplearemos las recomendaciones de Trader (2013) quién dice que hay que basarse en una hipótesis con tres conceptos centrales para tener un buen estudio de la experiencia de usuario: el problema, el Usuario y la solución. Esta triada es la columna vertebral de todo producto UX. En otras palabras se define el grupo objetivo, se describe el problema que se observó y estableció la solución. Dicha hipótesis debe irse respondiendo y reformulando a medida que se investiga sobre los resultados del producto.

Sumado a esto, también debemos distinguir UX y usabilidad.“la usabilidad es un atributo de calidad de un producto que se refiere sencillamente a su facilidad de uso” (Hassan, 2015, p. 11) en cambio, La UX es un concepto más general que engloba a la usabilidad.

2 Materiales y Métodos

2.1 Abordaje metodológico

La metodología de esta investigación es cuantitativa, buscando mediar las variables de eficiencia y efectividad. Entre los instrumentos de medición se encuentran una ficha para registrar los datos personales de la muestra y la grabación de la pantalla del jugador mientras manipula la aplicación, esto para medir, por ejemplo, las siguientes cuestiones: el comportamiento del usuario mientras juega, el tiempo que juega, cuantas veces intenta pasar las etapas, etc.

2.2 Técnicas: Instrumentos y procedimientos

2.2.1 Ficha

Se pidió a los usuarios llenar una ficha para obtener datos estadísticos como sexo, cantidad de horas de juego, aparatos tecnológicos y juegos preferidos. Dicha ficha fue confeccionada para cruzar información y responder a las siguientes preguntas: ¿Cuán eficiente es un jugador experto frente a un jugador nuevo? Y ¿cómo es la experiencia comparando a niños y a niñas?. No obstante, los datos recopilados no fueron relevantes y no se tomarán en cuenta en el análisis de los datos, siendo usados sólo como referencia.

2.2.2 Grabación de pantalla

En cuanto al instrumento medular de la investigación se ocupó la captura de video de pantalla, el cual se empleará en el momento en que los niños estén manejando la aplicación de Dendros. Se pondrá

énfasis en la efectividad de la meta, completitud de la meta y frecuencia de intentos. En el momento de evaluación se le pidió al niño o niña emplear el juego todo el tiempo que quiera (máximo 15 minutos) el niño pudo retirarse cuando quisiese y pudo jugar cuantas veces quiso. No hubo control en ese sentido. La evaluación se hizo en 3 grupos de 10 niños cada uno en el laboratorio de computación del colegio.

2.3 Objetos de estudio, sujetos de estudio

La investigación se llevó a cabo en el Liceo Alto Jahuel, de dependencia municipal y se trabajó con niños y niñas de quinto básico a primero medio de entre 10 y 15 años de edad, siendo un total de casi 30 alumnos.

3 Resultados

3.1 Datos recopilados

En cuanto a la grabación de pantalla, la primera etapa se ha analizado individualmente, ya que es la puerta de entrada del juego, donde podemos darnos cuenta de su correcto funcionamiento y mecánica, en otras palabras de su curva de aprendizaje.

El 43, 3 % de los jugadores no cometió ningún error, comprendiendo la mecánica del juego jugadores cometió 2 errores, el 3,33% de los jugadores cometió 3 errores.

Es importante aclarar que se entiende por error 3 acciones: quedarse quieto, correr hacia Boris y arrinconarse sin moverse.

En cuanto a la completitud del juego solo un 33,33% logró superar la primera etapa, 5 estudiantes lograron finalizarla al primer intento y la media aritmética de intentos se encuentra en un 2,067, a razón de esto se considera que resultó difícil para los jugadores, teniendo en cuenta que la primera etapa de un juego normalmente no es de una baja dificultad.

El inicio del juego fue de 0:52 segundos (media aritmética) desde que se abría la aplicación hasta que se comenzaba a jugar, tiempo que es prudente. La principal dificultad surgió en que los estudiantes no comprendían el “presiona enter” intentando realizar un click en la pantalla, en este caso hubo que instruirlos en como se iniciaba el juego. En consecuencia, es esencial permitir iniciar el juego clickeando en la pantalla.

inmediatamente.

El 46,67% de los jugadores cometió 1 error al inicio del juego.

El 6,67 % de los

A continuación se analizarán los datos comparando el resto de las etapas:

En lo que corresponde a las acciones incorrectas, existe un marcado número de estas en la primera etapa, cantidad que va disminuyendo a medida que el jugador avanza por las siguientes etapas. En la primera no comete acciones incorrectas el: 43,3% (en base a 30 jugadores), segunda etapa 76,19% ( en base a 21 jugadores), tercera etapa 82,35% ( en base a 17 jugadores), etapa cuatro 92,31 (en base a 13 jugadores), quinta etapa 94,4 % (en base a 18 jugadores).

Comparando la finalización de etapas: La primera etapa es cumplida por 10 de 30 jugadores, segunda etapa 11 de 21 jugadores, tercera etapa 11 de 17 jugadores, cuarta etapa 6 de 13 jugadores, quinta etapa 13 de 18 jugadores.

Si observamos estas cifras en porcentajes, se advierte que logran terminar la etapa I :33,33%, la etapa II :52,38%, la etapa III: 64,7%, la etapa IV: 46,15, la etapa V: 72,2%. Estos datos son interesantes ya que señalan un visible aumento en el porcentaje de jugadores que logran superar las etapas a excepción de la cuarta donde baja a un 46,15%, No obstante, llama la atención que el máximo de completitud se encuentre en la quinta etapa con un 72,2%, a la que muchos jugadores llegaron rápidamente al saltares otras etapas.

Por otra parte, en promedio los jugadores intentaron jugar 6,17 veces el juego completo. Siendo el promedio por etapa de 1.83 intentos, la etapa que obtuvo más intentos promedio es la número IV seguida por la número I. Solamente un jugador fue capaz de terminar el juego completando todas las etapas y sin tener ninguna acción incorrecta, por lo que es considerado un dato poco relevante para las conclusiones generales.

4.1 Síntesis y validación de Resultados

4.1.1 Encuesta

En primer lugar, de los 30 estudiantes 28 respondieron la encuesta, por este motivo y por que los resultados no son significativos es que no se cruzará la encuesta con los datos obtenidos de la grabación de pantalla. Sin embargo, es importante destacar un dato que nos entrega la muestra, que se refiere al tipo de aparato tecnológico que utilizan normalmente los jugadores, donde el celular obtiene un 46,4 %, siendo tal vez este medio el más razonable para hacer llegar la aplicación Dendros a los futuros jugadores.

4.1.2 Tabla de Registro

En promedio de la duración de juego por etapas es de 2:43 minutos, siendo la etapa que mantiene un mayor tiempo de juego promedio la primera con 3:01 minutos. A su vez, en promedio los jugadores estuvieron 7:51 minutos jugando la aplicación. Tiempo que se considera bajo, ya que a los primero 8 jugadores se les permitió estar hasta 20 minutos, y a los otros 22 un total de 10 minutos máximo. Recordando que a los estudiantes se les precisó que podían retirarse en el instante en que lo decidieran o perdieran el interés en jugar. Por este motivo se concluye que la aplicación en términos de “inmersión” no enganchó a los estudiantes.

Reuniendo toda la información podemos concluir que al ser en promedio un 1,5 etapas las completas por los estudiantes y un 6,17 el total de intentos en el juego, su nivel de dificultad es alto. No obstante a medida que el jugador avanza por las etapas del juego comete menos “acciones incorrectas”, comprendiendo el funcionamiento básico del juego.

Además, se observa que la aplicación no presenta grandes diferencias en la dificultad por etapa esto se infiere al advertir que el 72,2% de quienes jugaron la quinta etapa la culminaron, siendo que esta debería ser de una elevada dificultad, comparándola con las otras 4 etapas. Podríamos concluir, por lo tanto, que la aplicación es de una alta dificultad pero de un rápido aprendizaje.

Dados los siguientes resultados concluimos que la mecánica del juego es comprensible

es moderado, y el total de acciones incorrectas es bajo, lo que demuestra un buen aprendizaje mediante el descubrimiento de la mecánica del juego. A pesar de aquello, es recomendable realizar modificaciones en la mecánica que permitan una adecuada nivelación de la dificultad. Se propone programar la aplicación con distintos niveles de experticia: fácil, moderado, y difícil, para que el jugador de acuerdo a su experticia pueda escoger el nivel de dificultad para jugar. En síntesis estamos frente a una aplicación con una buena curva de aprendizaje en cuanto a mecánica del juego pero con una elevada dificultad para el principiante.

4.2 Evaluación de cumplimiento de objetivos

El objetivo General se cumplió al obtener como producto este informe que puede ser un apoyo fundamental para las correcciones que el BNI realice en su aplicación. Sabiendo principalmente que en términos de eficiencia y efectividad, el juego tiene una buena mecánica pero una elevada dificultad.

inmediatamente por la mayoría de los jugadores.

En cuanto a su efectividad, el tiempo total de inicio

En cuanto a los objetivos específicos, se logró Adaptar el instrumento de medición de la eficiencia y la eficacia basados en la matriz de Gonzalez, midiendo dichos conceptos mediante la observación del uso de la aplicación Dendros.

Además, se ha ejecutado un análisis de dichas mediciones que puede orientar a los creadores de la aplicación para mejorar los niveles de dificultad.

4.3 Proyecciones

Es importante aclarar que esta investigación recopiló datos estadísticos para medir el nivel de eficiencia y efectividad, no tomando en cuenta otros componentes de la calidad de la jugabilidad como lo son la seguridad, flexibilidad y satisfacción. Los cuales se podrían investigar posteriormente para tener un conocimiento completo del funcionamiento del juego Dendros términos de jugabilidad.

5. Listado Bibliográfico

  •   Caillois, R. (1958). Teoría de los juegos. Barcelona, España: Seix Barral.
  •   González, J. (2010). Jugabilidad. (tesis doctoral). Departamento de Lenguajes y SistemasInformáticos. Universidad de Granada.
  •   Hassan, Y. (2015). Experiencia de usuario. Kindle Edition.
  •   Huizinga, J. (1972). Homo Ludens. Madrid: Alianza.
  •   Muñoz, R. D. V. (2003). Análisis semiótico comparativo video animaciónamericana/japonesa. Revista de Comunicación y Medios, 14, 149-164.
  •   Treder, M. (2013). UX Design for Startups: UXPin.
  •   www.bni.cl/aceca.php C. 01-04-2015
  •   www.loligo.cl/dendros/home/ C 01-04-2015
  •   Experiencia de usuario www.wikipedia.org C. 06.04.2015
  •   Tapia J (2015) http://seminariografica.uchilefau.cl/?p=5675 C.11.05.2015

6 Anexo

Cantidad de estudiantes/ cantidad de etapas superadas

graph

graph (1)

 

graph (2)

 

graph (10)

Share

Leave a Reply

You must be logged in to post a comment.

  • Información

  • Categorías

  • Etiquetas

  • Comentarios recientes

  •  

    Seminario de Diseño Gráfico — Hamuy — Investigaciones is proudly powered by WordPress
    Entries (RSS) and Comments (RSS).