Get your own Free Home Page
This page hosted by
Get your own Free Home Page
Volver a primera parte
Volver a segunda parte
Volver a tercera parte
4. Cuestionarios
Otra etapa en el ejercicio Delphi es el diseíio, elaboración y envío de los cuestionarios que contienen las preguntas y la información, en relación al tema de investigación.
La confección de las preguntas y formas de seleccionar y representar la información son aspectos determinantes, entre otros, de los resultados del ejercicio, razón por la cual requieren de un estudio y discusión más detallados.
a) Preguntas: Las preguntas de un ejercicio Delphi, no son las típicas preguntas de una encuesta común y corriente. Aunque igual que ellas, deben ser cuidadosamente elaboradas y cumplir ciertos requisitos como:
Claridad de conceptos: Muchas de las preguntas de un ejercicio Delphi se plantean en forma de afirmaciones. Un diseño cuidadoso de las preguntas formulada, exige precisión y claridad de los conceptos vertidos en cada afirmación.
La cantidad de conceptos que deben ser definidos dependerá de las características y composición del panel. Así por ejemplo, si todos los panelistas son expertos, no es necesario definir los conceptos técnicos.
Cuando se contempla la inclusión de panelistas interesados o afectados junto con un expertos, es preciso aclarar el significado de los términos técnicos.
Extensión y presentación: Dado que las afirmaciones reflejan actividades culturales, el conocimiento y los sesgos de quienes los formulan, están sujetos a diferentes interpretaciones de parte de los panelistas.
Una afirmación demasiada concisa conduce a una excesiva variedad de interpretaciones, y una demasida larga, requiere asimilar demasiados elementos de una sola vez. Por lo tanto, es necesario encontrar una extensión adecuada que conduzca al más amplio acuerdo deL interpretaciones. El mayor consenso se obtiene en aquellas afirmaciones de mediana longitud.
También se ha encontrado una relación entre largo de las afirmaciones y la familiaridad de los panelistas con el tema.
No se puede hacer recomenclgciones acerca del largo de las afirmaciones que sean independientes del tema en estudio y de "las características" de los panelistas.
También se debe evitar un cuestionarlo demasiado extenso, pues puede desestiniular el interés de los panelistas. Pero hay que tener presente que en'un cuestionario demasiado corto puede obstaculizar los rbgros del ejercicio, en términos de la informaci6n.que se requiere.
Para mantener el interés de los panelistas se debe presentar los cuestionados en forma atractiva y amena.
Una forma de lograr ello es, reduciendo al máximo el número de hojas, de tal modo, que el panelista no se desanime al ver el cuestionario demasiado voluminoso.
La información que se incluye en cada pregunta debe ser la justa y necesaria. Dicha información se puede presentar en series, histogramas u otras expresiones gráficas.
Tipos de Preguntas: Existen distintos tipos de preguntas que pueden ser formuladas a los panefistas, con el objeto de extraer la información útil a los objetivos planteados por el estudio.
Dado que un panelista no siempre domina todos los aspectos de un tema, las preguntas que se formulen en un ejercicio Delphi, deben incluir el grado de certeza de la respuesta. En general, para las preguntas de votación, ranking, gráficas y de probabilidades se le pide al panelista que indique el grado de certeza de su estimación, para lo cual se utiliza una escala ordinal, por ejemplo: 0 a 10 en que 10 es el nivel de máxima certeza.
En las preguntas de construcción de un rango se solicita dicha construcción con un 50% de confianza. Este porcentaje de certeza se debe a que, dado que existe una relación entre amplitud del rango en que se ubica el valor de una variable y el grado o nivel de certeza con que se estima este valor, nos interesa compatibilizar ambos aspectos.
i) Preguntas abiertas: Son aquellas que permiten a los miembros del panel aportar ideas nuevas.
Estas preguntas generalmente son del tipo:
Este tipo de preguntas tiene la ventaja de que evita la repetición de información, pues muchas veces existen variables eventos o factores que son obvios, o por lo menos fácilmente identificabas y que surgeri cuando se hace un estudio detallado del tema.
ii Preguntas de Ranking: Consisten en entregar una serie de características en forma desordenada, factores y/o eventos relacionados con el tema en estudio, solicitando a los panelistas ordenarlos a los acuerdos de un determinado criterio.
iii Preguntas de votación: Se presentan dos o más altemafivas a consideración de los panelistas, los cuales deben votar por una de ellas. Esta votación se realiza de acuerdo a algún criterio, el cual es señalado en el cuestionario y que puede ser factibilidad, deseabilida,,probabilidad de ocurrencia, etc.
iv Preguntas de control: Estas preguntas se incluyen para efectuar un chequeo a la coherencia de las respuestas de los panefistas. Consiste en hacer dos veces la misma pregunta planteada de forma distinta o en forma indirecta.
v Preguntas de fechas: Son aquellas que sirven para investigar las fechas de ocurrencia más probables de un evento.
Se puede plantear de dos formas, una es entregar las fechas de ocurrencia del evento y preguntar la probabilidad de que tal evento ocurra en cada una de las fechas indicadas. La otra es pedir con un cierto nivel de confianza, que el panelista señale las fechas más probables de ocurrencia de uno a más eventos.
vi Preguntas de probabilidades: Consiste en solicitar a los panelistas una estimación de la probabilidad de ocurrencia de un evento con algún nivel de certeza.
b) Consideraciones Generales
Test de Colaboradores: Una vez que el grupo monitor ha confeccionado el cuestionario, antes de enviarlo a los panelistas, lo entrega a los colaboradores (que han sido previamente elegidos) para su revisión.
Esta revisión debe ser lo más crítica posible y estar orientada a analizar la calidad de la información. claridad de los conceptos y supuestos que hay detrás de cada pregunta, claridad en la exposición de las preguntas, longitud de las preguntas, longitud del cuestionario y tiempo que se necesita para contestarlo.
Eventos y Tendencias: Es importante la diferencia que existe entre un evento y una tendencia.
En general nos interesa saber la probabilidad de ocurrencia de un evento, y la forma en que tal evento afectará las variables en estudio. En cuanto a las tendencias, si se producirá un quiebre, si este será bnisco o leve.
5. Evaluación del Cuestionarlo 1
La evaluación de los cuestionarios, que generalmente son 2 o más, se realiza por etapas y existen dos formas de hacerlo:
a) Evaluación manual, se usa cuando la cantidad de información y datos a procesar no son excesivamente voluminosos, ni complicadas en su procesamiento.
b) Cuando el volumen de datos, y o complejidad del proceso, es tal que se hace dificil su procesamiento en forma manual, se requiere el uso de computadores evitándose así la lentitud en la evaluación y la probabilidad de cometer errores.
Veremos a continuación la forma de evaluar el primer cuestionario en forma manual.
Metodología para una Evaluación Manual.
i Resumen de la información: se debe reunir la información en forma resumida y clara. Cada respuesta deberá ser ponderada de acuerdo al nivel de confianza particular de cada respuesta y grado de expertisidad por tema.
ii Identhlcación de sesgos: Dado que los panelistas pueden estar afectos a ciertos sesgos, la información así resumida y ponderada como se ha señalado más arriba, presenta aún ciertas deficiencias. Para eliminar tales deficiencias es preciso identificar y corregir tales sesgos.
iii Corrección de sesgos: Sesgo optimista cuando un evento es positivo, las proyecciones de la fecha de ocurrencia en forma más cercana.
El método usado para corregir este sesgo, es tomar la media logarítmico de las estimaciones. Esta aproximación se basa en que los Individuos tienen una percepción del tiempo que se puede traducir en una forma logarítmica. Por ejemplo, se percibe como más corto un lapso de tiempo de diez años hacia el pasado, que hacia el futuro.
El sesgo pesimista-optimista de las proyecciones hechas por los panelistas también debe ser corregido. Aquellas proyecciones que tienen más de 10 años en el futuro, acercado en el tiempo. Desgraciadamente no existe una formula para corregir este sesgo, sin embargo es posible adelantar ciertos criterios. La cantidad de aiios que es preciso mover la proyección hacia atrás o hacia adelante dependerá del tipo de panelistas Individuales y colectivamente considerados. Existen panelistas consistentemente pesimista por lo que a sus estimaciones se les debe aplicar una corrección más drástica.
Identificación de consensos: Ponderadas las respuestas y corregidos los sesgos, se procede a identificar los puntos donde se ha logrado consenso y aquellos puntos donde existen discrepancias.
Definición de consenso: Es preciso definir claramente que se entiende por consenso para cada uno de los tipos de preguntas.
No existe una única forma de medir consenso. Las mencionadas a continuación son las adoptadas para los estudios Delphi que se encuentran en el anexo.
Se entenderá por consenso en las preguntas con dos alternativas cuando una de ellas acumula al menos el 70% de los votos ponderados por nivel de confianza y grado de expertisidad.
Para las preguntas con más de dos alternativas se entenderá por consenso, cuando una de las' alternativas acumula al menos el 50% del total de las alternativas ponderadas por nivel de confianza y grado de expertisidad.
Cuando se trata de preguntas de construcción de rangos con una confianza dada por el grupo monitor (50% de confianza) se entenderá que se ha logrado consenso para cada cota que se puede estimar, cuando los valores ponderados por el grado de experdsidad arrojan un valor medio, cuyo coeficiente de variabilidad no exceda el 25%.
Para las preguntas de "ranking", se define consenso cuando al menos el 50% del total de votos ponderados por grado de expertisidad y nivel de confianza coinciden en asignarle un determinado lugar a las vadables planteadas.
Para las preguntas de gráficos se enderá por consenso cuando el coeficie"nte de variabilidad de la curva envolvente media ponderada por nivel de confianza y grado de experfisidad no exceda el 25%.
En aquellas respuestas que no se ha logrado consenso (pardcularmente si se trata de un Delphi para proyecciones) se deberá investigar las razones de las discrepancias en el segundo cuestionario.
Las medidas señaladas más arriba tienen la limitación que no sacan buen partido a toda la información contenida en la distribución. Por ejemplo una distribucipon puede tener una forma achatada, con lo cual se concluye que no se ha logrado consenso respecto de la variable, no por esto, el resultando deja de tener interés para el Delphi. Es particularmente útil en un ejercicio Delphi tomar en cuenta aquellas distribuciones que reflejan discrepancias.
Una medida que toma en cuenta estas variables es la estabilidad de la curva de distribución de los votos de los panefistas a través de sucesivas vueltas. Debido a que de estamos interesados en la opinión grupa] más que en la opinión de los individuos en particular, este método es preferiible a uno que mida los cambios de opinión de cada individuo entre una vuelta y otra. (Sheibe et al, 1975)
Para comparar la distribución de opiniones entre vueltas, se restan los histogramas, columna por columna entre la primera y segunda vuela y entre la segunda y tercera vuelta. Y luego he obtiene los valores absolutos. Estos valores se suman para formar las unidades totales de cambio. Sin embargo, debido a que los cambios de opinión se reflejan en los histogranias por dos unidades de cambio, cada respuesta -debe ser tratada dividiendo el total de cambios por dos unidades de cambio. Finalmente el porcentaje de cambios netos se obtiene dividiendo el total de cambios por el número de participantes.
Uno de los problemas de este método es definir lo que se considera como cambio. Se necesita una medida de confianza que distinga entre los cambios normales y aquellos que representan cambio de opinión.
Para obtener una medida de confianza se midió la propensión de los individuos a alterar las estimulaciones como función de la lejanía de sus respuestas con respecto a la moda de la distribución. Para ello,, se calculó la proporción de panelistas que para cada distancia de la moda (medida por una escala) se movió hacia la moda.
Los resultados mostraron una gran tendencia a aumentar los movimientos hacia la moda en la medida que estaban más distantes de dicho punto. También mostraron que se puede esperar un porcentaje de cambio entre los panelistas que se encontraban justo en la moda.
Se define entonces un porcentaje base de movimientos oscliatorios que siempre es posible esperar. En este estudio se definió como el 15%. Cualquier cambio marginal menor que el 15% se considera como estabilidad. Cualquier pregunta cuya respuesta presente cambios superior al 15% debe ser considerada como inestable.
Las ventajas de éste método es que permite el uso de mayor Información que está contenida en la distribución, y que es un método relativamente fácil de calcular. Apunta a los objetivos del Delphi, en el sentido que considera tanto los acuerdos como los desacuerdos.
Identificación de fallas en el cuestionario: Como el método está en constante perfeccionamiento, la descripci6nn de los detalles de la técnica no han sido agotados en la literatura. Esto se ve acentuado por la exclusividad del diseño de un ejercicio Delphi, para un determinado tema.
Por estas razones es posible cometer errores en el cuestionario, los cuales deberán ser identificados en esta etapa para ser corregidos en vueltas posteriores.
Elaboración del feedback Los resultados de la evaluación del cuestionado número uno constituyen feedback para el cuestionado número dos.
Dichos resultados det«n presentarse en cuadros estadísticos, en la formas de medias, frecuencias, medianas, histogmmas de distribución, etc.
El feedback debe ser lo más libre posible y representar la opinión de todos los panelistas, incluyendo a la minoría.
6. Evaluación del Cuestionario 2
En este segundo cuestionario se investigan las discrepancias identificadas en la evaluación del primer cuestionario. Se somete a la consideración de los panellstas aquellas ideas que son de interés al tema y que fueron planteadas por algún panelista en especial.
La información contenida en el segundo cuestionario está constituida fundamentalmente por el feedback que, como se ha señalado, representa en forma resumida los resultados obtenidos en la primera vuelta.
En general la técnica para elaborar este cuestionario es la misma descrita para el primero. Es preciso, señalar que en esta vuelta nmchas de las preguntas solicitarán justificación de respuestas, para investigar las razones de las discrepancias surgidas en la primera vuelta.
Nuevamente la forma de evaluar el segundo cuestionario es básicamente la misma utilizada en la evaluación del primer cuestionario.
Sin embargo, en esta etapa es necesario además evaluar el impacto del feedback sobre las opiniones de los panelistas. El tipo y cantidad de feedback usado en un ejercicio Delphi puede ser una variable muy importante en sus resultados.
El efecto del feedback sobre las respuestas. de los papelistas se evalúa, midiendo el grado y velocidad que se tiende al consenso en las sucesivas vueltas.
Un estudio realizado por Dalkey, Brown y Cochmne Intentó demostrar que el feedback afecta los juicios de los panelistas.
El experimento consistió en entregar a los panelistas un feedback falso y demostraron que al menos en la segunda vuelta el feedback tuvo efecto, ya que un gran número de panelistas cambio su posici6n.con respecto a la verdadera media. Sin embargo, en la tercera vuelta los panefistas volvie ron a ubicarse en la media verdadera.
BIBLIOGRAFIA
ADELSON. M., (1985), Bringing the Future Down to Earth, Futuras Research Quarterly, Vol. 1, nº 1, pp. 63-73.
ARROW, K., (1951), Social Choice and Individual Values, John Wiley, New York.
CORNISH, E., (1979), The Study of thé Future: An Agenda for Research, World Future Society, Washington D.C.
GODET, H., (1979), The Crisis in Fomcasting and the Emergence of the "Prospective" Aproach: with case studies in Energy and Air Transport, Pergamon Press, New York.
HELMER, O., RESCHER, N., (1972), Sobre la Epistemiología de las Ciencias Inexactas, Futuro Presente, n° 8.pp. 115-135.
LABBE, C., (1 983), Elementos Básicos sobre Prospectiva y su Aporte al proceso Decisional, Instituto de Ciencia Política, Universidad de Chile.
LINSTONE, A., and TUROFF, M., ed.,(1975), The Deiphl Method: Technique and Aplications. Massachusetts.
MARTINEZ, C., SOTO, E., WINTER, J., (1982). Manual Delphi, Tesis para optar al titulo de Ingeniero Comercial. Departamento de Economía, Facultad de Ciencias Económicas y Administrativas de la Universidad de Chile.
MARTINO, J., (1970), The Optmism/Pessimism Consistency of Delphi Panelist, Technological Forecasting and Social Change. Vol. 2. nº 2. pp. 221-224.
MELNICK, S., (1983), Investigación del Futuro: Teoría y Práctica, Serie de Investigación, Departamento de Economía, Facultad de Ciencias Económicas y Administrativas de la Universidad de Chile.
SAHAL, D. and YEE, K., (1975), Delphi: An lrwestigation from a bayesian viewpoint, Technological Forecasting and Social Change, Vol. 7. nº 2. pp. 165-178.
SCHEIBE, M., SKUTSCH, M., SCHOFER, J., (1975). Experiment in Delphi Methodology, en: The DelpN Method: Techniques and Applicadons. Massachussets.
TOFFLER, A.. (1970). El shock del Futuro, Plaza & Janes, Barcelona.
Volver a primera parte
Volver a segunda parte
Volver a tercera parte
Volver a documentos de Prospectiva
Volver a documento principal
