Para mí siempre la investigación siempre ha sido algo que me ha causado gran interés, pero que ha sido especialmente difícil (quizá por eso me interesa tanto). Después de intentar varias veces y de aprender algunas cosas llegué a escuchar a un investigador que era estudiante de medicina mencionar que el primer paso para aprender a hacer investigación es aprender metodología de investigación, saber diseñar estudios de investigación. Es así que, por recomendaciones, llegué al libro “Designing Clinical Research” (Hulley 2013). Este es un libro de diseño de investigación clínica, orientada al área médica.
Mi intención con este libro es poder comprender cómo es que se realiza un estudio científico, desde la concepción de la idea hasta la ejecución y poder ser capaz de tener un buen punto de partida en el aprendizaje de este tema, así como poderme orientar a qué acciones tomar para mejorar mi capacidad de realizar investigación.
La forma en la que realizaré esta reseña/resumen del libro es extrayendo de forma sistemática tres cosas de cada capítulo:
- Idea central: una idea general del capítulo que explique brevemente de qué se trata.
- Ideas importantes: ideas que rescato del capítulo que, en lo personal, considero que son importantes para el desarrollo y explicación del tema.
- Cosas que aprendí: ideas que no se encuentran dentro de las ideas importantes del capítulo, pero que aún así considero que me enseñaron algo importante y me gustaría destacar.
Nota: esta es la primera vez que realizo una reseña de un libro y por ahora el enfoque fue algo más personal, especialmente la parte de “Cosas que aprendí”. Hay un video en mi canal de YouTube con un comentario sobre el libro y sus partes: https://youtu.be/PippPLykgjE. Este video podría ser lo que buscan si es que quieren algo más conciso y solamente introductorio al libro.
- Sección 1: ingredientes básicos
- Sección 2: diseños de estudios
- Capítulo 7: estudios transversales y de cohortes
- Capítulo 8: estudios de casos y controles
- Capítulo 9: mejorando inferencia causal en estudios observacionales
- Capítulo 10: ensayo clínico aleatorizado
- Capítulo 11: diseños alternativos de ensayos clínicos y consideraciones de implementación de ensayos clínicos
- Capítulo 12: estudios de pruebas médicas
- Capítulo 13: investigación usando datos ya existentes
- Sección 3: implementación
- Comentario general del libro
Sección 1: ingredientes básicos
Capítulo 1: comenzando
Idea central
La investigación clínica puede explicarse en dos componentes: anatomía (cómo está estructurada) y fisiología (cómo funciona). La anatomía comprende los elementos tangibles que forman el plan de estudio, la fisiología es cómo los hallazgos son usados para generar inferencias. Un reto en la investigación es controlar posibles errores, como errores sistemáticos y errores aleatorios.
Ideas importantes
- El protocolo o plan de estudio contiene la estructura de la investigación, debe realizarse desde el comienzo y está formado por:
- Pregunta de investigación
- Antecedentes y significancia
- Diseño: tiempo y diseño epidemiológico
- Sujetos de estudio: criterios de selección y diseño de obtención de muestra
- Variables: predictoras, confusoras, de resultado (outcome)
- Consideraciones estadísticas: hipótesis, tamaño de muestra, enfoque analítico
Cosas que aprendí
- El protocolo es súper útil, es el plan a seguir y nos sirve para poder recibir feedback de otras personas y, de esta forma, mejorar nuestro estudio y evitar errores de antemano.
- Existe una secuencie típica de cómo se estudia un tema de investigación que generalmente es: estudios descriptivos → estudios analíticos → ensayo clínico. No se comienza con ensayos clínicos porque son más caros y difíciles, así que nos sirven al final para tener respuestas definitivas a preguntas más específicas.
- Es útil resumir el estudio en una sola oración, por ejemplo: “Este es un estudio transversal de hábitos dietéticos en personas de 50 a 69 años con historia de enfermedad coronaria, seguido por un estudio de cohortes prospectivo sobre si el consumo de pescado está asociado con menor riesgo de subsecuentes eventos coronarios”.
- Aprendí esta frase (parafraseando): “Los buenos científicos se distinguen no tanto por tener las mejores ideas de investigación, sino por su destreza para desechar aquellas ideas que no funcionan y pasar a otras mejores”.
Capítulo 2: pregunta de investigación
Idea central
Todo estudio debe comenzar con una pregunta de investigación enfocada en aquello que el investigador quiere conocer. El objetivo es encontrar una pregunta que pueda ser desarrollada en un buen plan de estudio / protocolo.
Ideas importantes
- Dominar la literatura es clave, realizar una revisión sistemática puede ser de gran utilidad, así como participar en reuniones y construir relaciones con expertos en el tema.
- Hay que estar atentos a nuevas ideas y técnicas para crear una pregunta de investigación, podemos usar algunas estrategias:
- Asistir a conferencias y conversar con otros científicos.
- Tener una actitud escéptica y dudar de creencias predominantes y establecidas.
- Nuevas tecnologías suelen abrir la puerta a nuevas preguntas y perspectivas a problemas clínicos antiguos.
- Tener un mentor es sumamente valioso, escoger un buen mentor en primer lugar es quizá la decisión más importante que un nuevo investigador toma.
- Las características de una buena pregunta de investigación son (“FINER”):
- Factible: número de sujetos de estudio, capacidades técnicas, tiempo y dinero, alcance, financiabilidad.
- Interesante: conocer la respuesta intriga al investigador o colegas.
- Nuevo / original: nuevos hallazgos; confirma, refuta o extiende hallazgos anteriores; brinda innovaciones a conceptos de salud y enfermedad, práctica médica o metodologías de investigación.
- Ético: un estudio que un comité de ética aprobaría.
- Relevante: probablemente tenga un impacto significativo en el conocimiento científico, práctica clínica o políticas de salud; puede influenciar dirección de investigación futura
- Hay dos enfoques complementarios a los problemas al desarrollar la pregunta de investigación:
- Tener buen consejo: discutir la pregunta en equipo y consultar a expertos, como investigadores experimentados en el tema.
- Permitir que el plan de estudio surja conforme se avanza con el protocolo.
- Translational research (investigación traslacional) se refiere a estudios que trasladan hallazgos del laboratorio o investigación clínica al mundo real: estudios en laboratorio → estudios clínicos (investigación T1) y estudios clínicos → prácticas de salud en la comunidad (investigación T2).
Cosas que aprendí
- Un truco para generar preguntas de investigación es tener en mente un problema no resuelto de forma clara y permitir a la mente pensar en libremente sobre eso.
- Tener un mentor es realmente algo importante y se puede tener más de un mentor de diferentes disciplinas.
- La originalidad de es importante, pero la pregunta de investigación no necesariamente tiene que ser completamente original, puede valer la pena preguntarse si investigación pasada puede replicarse o si hallazgos en una población se aplican en otra.
Capítulo 3: sujetos de estudio
Idea central
La investigación clínica esta basada, en gran medida, en el uso de una muestra para representar a una población objetivo. Las ventajas de usar una muestra es la eficiencia, en tiempo y esfuerzo; la desventaja es que puede introducir algunos errores (sistemáticos y aleatorios).
Ideas importantes
- Para definir la muestra que se utilizará se comienza especificando las características clínicas y demográficas de la población objetivo que podrá servir para responder bien la pregunta de investigación. Luego se usan criterios geográficos y temporales para tener una muestra que sea representativa y práctica.
- Para los criterios de inclusión sé específico: especificar poblaciones relevantes para responder la pregunta de investigación y eficientes para el estudio. Para los criterios de exclusión sé parsimonioso / ahorrativo: especificar subgrupos de la población que no son adecuados para el estudio.
- Los objetivos de reclutar a los participantes del estudio son dos:
- Reclutar una muestra que represente la población objetivo de forma adecuada evitando errores sistemáticos (sesgos).
- Reclutar el número suficiente de participantes para minimizar el error aleatorio.
- Quedarse cortos en el número de participantes en el reclutamiento es uno de los problemas más comunes en la investigación clínica, tener esto en mente.
Cosas que aprendí
- Una regla general que mantiene las cosas simples y preserva el número de sujetos de estudios potenciales es tener la menor cantidad de criterios de exclusión posibles.
- En investigación clínica una muestra aleatoria a partir de toda la población objetivo casi nunca es posible. Muestreo por conveniencia, preferentemente con un diseño consecutivo, es práctico y usualmente apropiado.
- Hay muchas opciones para reclutar participantes, por ejemplo: personas conocidas de los investigadores, lugares públicos, e-mails, anuncios en internet, referencias de colegas, revisiones retrospectivas, examinar listas de pacientes.
Capítulo 4: mediciones
Idea central
Las variables pueden venir de diferentes formas (ej. numéricas vs. categóricas) su jerarquía, de acuerdo a la información que brindan, es la siguiente: continuas > discretas numéricas > ordinales > nominales y dicotómicas. Al medir estas variables es importante reducir el error de medición, haciendo que las mediciones sean precisas (libres de error aleatorio), exactas / accurate (libres de error sistemático) y válidas (características cualitativa similar a la exactitud / accuracy).
Ideas importantes
- Como regla general, preferir variables continuas. De forma similar, son preferibles las variables categóricas con múltiples categorías a aquellas con pocas.
- Estrategias para reducir el error aleatorio (↑ precision):
- Estandarizar los métodos de medición usando un manual de operaciones.
- Entrenar y certificar los observadores.
- Refinar los instrumentos.
- Automatizar los instrumentos.
- Repetir las mediciones.
- Estrategias para reducir el error sistemático / sesgos (↑ accuracy):
- Estandarizar los métodos de medición.
- Entrenar y certificar los observadores.
- Refinar los instrumentos.
- Automatizar los instrumentos.
- Hacer mediciones discretas (que los sujetos de estudio no detecten).
- Calibrar los instrumentos.
- Blinding (estudio ciego).
Cosas que aprendí
- Los protocolos de estudio deben incluir instrucciones específicas (manual de operaciones) para realizar las mediciones, incluso para estudios pequeños.
- La precisión de la medición puede determinarse, para variables continuas, mediante el coeficiente de variación (coefficient of variation) y, para variables categóricas, mediante percent agreement, interclass correlation coefficient y la estadística kappa.
- La exactitud (accuracy) puede determinarse, para variables continuas, como la diferencia promedio entre la medición en investigación y el gold standard en los sujetos de estudio; para variables dicotómicas, mediante sensibilidad y especificidad; y, para variables categóricas con más de dos categorías, el porcentaje de acierto en cada una.
- Cuando se diseña un estudio suele haber la tendencia a seguir agregando ítems que no son centrales a la pregunta de investigación, pero que podrían ser de interés. Recoger demasiada información es un error común que puede cansar a los sujetos, sobrecargar al equipo haciendo las mediciones y complicar el manejo de datos y análisis.
Capítulo 5: tamaño de muestra
Idea central
El objetivo de determinar el tamaño de muestra es tener un número adecuado de participantes para nuestro diseño de estudio. Los cálculos del tamaño de muestra no son tan exactos como pareciera, pero son útiles para tener una estimación del número de participantes y debe realizarse temprano en el diseño del estudio. Es importante definir las hipótesis del estudio que se usarán en el análisis estadístico posterior para poder realizar los cálculos del tamaño de muestra.
Ideas importantes
- El proceso comienza reafirmando la pregunta de investigación como una hipótesis que resume los elementos principales del estudio (sample, predictor and outcome variables).
- Cuando se estudia más de una hipótesis aumenta la probabilidad de alcanzar significancia estadística en alguna solo por chance, es necesario considerar y ajustar cómo determinamos significancia estadística cuando estamos en estas situaciones.
- Una buena regla, especialmente para ensayos clínicos, es establecer tantas hipótesis como tengan sentido, pero especificar solo una como la hipótesis primaria, la cual pueda ser probada estadísticamente sin necesidad de argumentar por qué no se ajustó por probar múltiples hipótesis.
- Muchos estadísticos y epidemiólogos están dejando de lado las pruebas de hipótesis, con énfasis en los valores de P, para pasar a usar intervalos de confianza para reportar enteramente los resultados.
Cosas que aprendí
- Los revisores de manuscritos y subvenciones esperan “two-sided” hipótesis y son críticos cuando se usan “one-sided” hipótesis.
- Tomar la decisión de hacer de la hipótesis “one-sided” nunca debe realizarse solamente para reducir el tamaño de muestra.
- Cambiar de decisión y pasar de una hipótesis “two-sided” a una “one-sided” para alcanzar significancia estadística no es correcto y hay otras alternativas, como usar intervalos de confianza e interpretar lo ocurrido.
- Una alternativa para escoger el tamaño del efecto (effect size) es escoger el tamaño de efecto más pequeño que sería clínicamente significativo. A veces esto se puede hacer al revés, determinar el tamaño del efecto que se detectaría con el estudio dados los sujetos de estudio disponibles.
- Estudios pueden tener diferentes tamaños de efecto porque miden diferentes variables predictoras y de resultado (outcome), en estos casos el tamaño de muestra se determina usando el tamaño de efecto deseado para la hipótesis más importante. Si hay varias hipótesis de importancia similar, usar el tamaño de muestra más grande.
- Los valores de α y β pueden cambiarse de acuerdo al criterio. Valores menores de α pueden usarse cuando es importante evitar errores tipo I (falsos positivos) y valores menores de β, y un menor tamaño de efecto, cuando es importante evitar errores de tipo II (falsos negativos).
- La variabilidad también importa, más variabilidad hace que se requiera un tamaño de muestra más grande.
- La corrección de Bonferroni es usualmente demasiado rigurosa, una mejor alternativa es usar la probabilidad previa (prior probability) de que la hipótesis es correcta, esto es un enfoque “Bayesiano”.
- A veces surgen hipótesis después de iniciar el estudio, en estos casos el problema no es tanto que se agregó después, sino si hay un probabilidad previa razonable basada en evidencia de otras fuentes de que la hipótesis es verdadera.
Capítulo 6: tamaño de muestra (aplicaciones y ejemplos)
Idea central
Este capítulo incluye técnicas (como recetas) para usar los principios para estimar el tamaño de muestra en un proyecto de investigación presentados en el capítulo anterior.
Ideas importantes
- Es importante estimar el tamaño de muestra tempranamente en el diseño del estudio, incluso si no se tienen valores exactos, esperar al último minuto puede hacer que todo el estudio tenga que ser rediseñado.
- Estrategia para estimar el tamaño de muestra en estudios analíticos o experimentales:
- Establece la hipótesis nula y la hipótesis alternativa.
- Selecciona la prueba estadística, de acuerdo a la variable predictora y de resultado (outcome) para las hipótesis.
- Escoge un tamaño de efecto, effect size, razonable (y variabilidad, si es necesario).
- Establece α y β.
- Usa el método apropiado para estimar el tamaño de muestra.
- Si anticipamos que parte de los participantes abandonará el estudio, se debe incrementar el tamaño de muestra de acuerdo a ello.
- Cuando se compara supervivencia (u otra información “time-to-event“) no se está evaluando tiempo (variable continua), sino una proporción de sujetos (variable dicotómica).
- Para estudios descriptivos, incluyendo a estudios diagnósticos, se puede obtener el tamaño de muestra teniendo en cuenta el nivel y la amplitud deseada del intervalo de confianza. Se pueden usar tablas o fórmulas (disponibles en el libro).
- Cuando se tiene un tamaño de muestra fijo se puede hacer el cálculo del tamaño de efecto (effect size).
- Una regla general es que un estudio debería tener un poder de 80% o más.
- Existen estrategias para minimizar tamaño de muestra y aumentar el poder que pueden ser usadas en algunas situaciones:
- Usar variables continuas.
- Usar medidas emparejadas (paired measurements).
- Usar variables más precisas.
- Usar grupos de tamaños desiguales.
- Usar un resultado más común/frecuente.
- Existen estrategias para estimar el tamaño de muestra cuando hay información insuficiente para su cálculo:
- Buscar hallazgos previos similares al tema o pregunta de investigación, hallazgos antiguos o mediocres son útiles.
- Contactar otros investigadores al respecto.
- Estudio piloto o obtener datos de un análisis secundario.
- La desviación estándar para variables con distribución normal puede estimarse como 1/4 de la diferencia entre los límites superior e inferior de un rango de valores que ocurren comúnmente, ignorando valores extremos.
- Dicotomizar la variable cuando el promedio y la desviación estándar están en duda y luego usar el chi-squared test.
- Examinar elección de un tamaño de efecto que es clínicamente significativo con personas con experiencia en esa área.
- Si todo falla, se puede hacer una estimación razonable (educated guess) sobre los valores probables de los ingredientes faltantes.
- Errores comunes por evitar:
- Estimar el tamaño de muestra tarde en el diseño del estudio.
- Interpretar variables dicotómicas como continuas cuando son expresadas como porcentaje o tasa.
- Usar el tamaño de muestra como el número de personas por reclutar (considerar abandonos e información faltante).
- Olvidar que los cálculos del tamaño de muestra son diferentes cuando los grupos tienen diferente número de sujetos.
- Para el t test, usar la desviación estándar de una variable que no es el resultado (outcome variable). Por ejemplo, si el resultado es el cambio en una variable continua, usar la desviación estándar de la variable en sí es un error, se debería usar la desviación estándar de ese cambio.
- No darse cuenta de que hay datos agrupados (clustered data) y realizar el cálculo del tamaño de muestra normalmente.
- No tener una hipótesis que cumple con los criterios: simple, específica y declarada de antemano.
Cosas que aprendí
- En la práctica, las variables ordinales suelen poder ser usadas como variables continuas, especialmente si el número de categorías es relativamente grande (6 o más) y si promediar los valores de esa variable tiene sentido. En otras situaciones la mejor estrategia es dicotomizar la variable categórica.
- En un análisis de supervivencia (survival analysis), cuando se espera un resultado en la mayoría de sujetos de estudio, una estrategia para maximizar el tamaño de muestra total es estimarlo a partir de las proporciones de sujetos en cada grupo que se espera que tengan un resultado en un punto del seguimiento en el que alrededor de la mitad los resultados han ocurrido.
- Determinar el tamaño de muestra para muestras agrupadas (clustered samples) requiere ciertas consideraciones. El tamaño de muestra es un número entre el número de grupos y el número de sujetos de estudio que depende de la similitud de los sujetos en los grupos.
- Cuando se usa “matching” se puede usar técnicas normales, salvo algunas situaciones, como cuando la exposición o el resultado están fuertemente correlacionados con la variable coincidente (matching variable).
- Es usualmente más fácil estimar el tamaño de muestra para métodos complejos usando un método más simple, como chi-squared test y t test. Los hallazgos son similares a los que se obtendrían usando técnicas más sofisticadas para estos métodos más complejos.
- El cálculo de tamaño de muestra para equivalence trials y non-inferiority trials requieren de ciertas consideraciones especiales.
Sección 2: diseños de estudios
Capítulo 7: estudios transversales y de cohortes
Idea central
Este capítulo habla del diseño de estudios transversales y de cohortes. Estos estudios tienen grandes diferencias y aspectos positivos y negativos, son de utilidad en diferentes situaciones.
Ideas importantes
- Los estudios transversales son adecuados para medir prevalencia, mientras que los estudios de cohortes son adecuados para medir incidencia.
- Estrategias para minimizar pérdidas durante el seguimiento (estudios prospectivos):
- Durante el reclutamiento:
- Excluir aquellos que probablemente se pierdan.
- Obtener información para permitir seguimiento futuro
- Durante el seguimiento:
- Contacto periódico con sujetos para recoger información, dar resultados y dar apoyo.
- Tener otras formas de comunicarse o saber de los participantes en los que se pierda la comunicación.
- Todo el tiempo:
- Tratar a los sujetos de estudio con aprecio, gentileza y respeto, ayudando a que comprendan la pregunta de investigación para que puedan unirse compartiendo el objetivo de hacer que el estudio salga bien.
- Durante el reclutamiento:
Cosas que aprendí
- El equivalente del riesgo relativo para estudios transversales es la prevalencia relativa del resultado (expuestos comparados con no expuestos).
- Estudios transversales en serie no son lo mismo que un estudio de cohortes, la diferencia está en que una nueva muestra es obtenida cada vez. Puede servir para cambios en la población, pero no tanto para cambios en los individuos.
- Los estudios de cohortes no requieren grupos de expuestos y no expuestos (multiple-cohort studies), un solo grupo, cohorte, con predictores puede ser seguido y medir los resultados que ocurran.
- Para estudios prospectivos, el contacto periódico con los sujetos una o dos veces al año ayuda a mantenerse en contacto y puede mejorar el tiempo de respuesta y exactitud de los resultados de interés.
- Las tasas de incidencia son base de métodos modernos de análisis para calcular multivariate hazard ratios usando Cox proportional hazard models.
Capítulo 8: estudios de casos y controles
Idea central
Los estudios de casos y controles son relativamente poco costosos y únicamente eficientes para el estudio de enfermedades raras. Este diseño de estudio tiene diversas variaciones.
Ideas importantes
- Los estudios de casos y controles pueden examinar muchas variables predictoras pero solo un resultado. Lo opuesto ocurre en estudios de cohortes y estudios transversales (y ensayos clínicos).
- La desventaja más importante de los estudios de casos y controles es su susceptibilidad a sesgos. Estos vienen de dos fuentes:
- Obtención de muestras de casos y controles de forma separada. El grupo de casos puede no ser representativo de todos los casos de la enfermedad.
- Mediciones retrospectivas de variables predictoras.
- Algunas estrategias para controlar sesgos producidos por el muestreo:
- Controles basados en clínicas u hospitales.
- Muestras de casos y controles basados en la población.
- Usar dos o más grupos de control.
- Matching
- Dos estrategias específicas para reducir sesgo en la medición de la exposición en estudios de casos y controles son:
- Usar datos registrados antes de que el resultado haya ocurrido.
- Blinding (cuatro tipos son posibles).
- Un nested case-control design consiste en un estudio de casos y controles anidado dentro de una cohorte definida. Esta cohorte puede formar parte de un estudio de cohortes o no.
- Un incidence-density nested case-control study puede ser de utilidad cuando la variable de seguimiento es variable o está incompleta, o la exposición de interés varía con el tiempo.
- Un nested case-cohort design es similar al nested case-control design, pero, en lugar de seleccionar controles que no desarrollaron el resultado de interés, se selecciona una muestra aleatoria de todos los miembros de la cohorte, sin importar el resultado. Tiene la ventaja de una sola muestra aleatoria brinda controles para varios estudios de casos y controles para diferentes resultados; además, esta muestra aleatoria de la cohorte brinda información de la prevalencia en esa cohorte.
- Un case-crossover design es una variante útil para estudiar efectos a corto plazo de exposiciones intermitentes. A diferencia de los estudios de casos y controles tradicionales, estos estudios cada caso sirve como su propio control.
Cosas que aprendí
- En realidad, la mayoría de enfermedades son relativamente poco comunes, por lo que los estudios de cohortes y transversales son relativamente caros.
- Los odds ratios se aproximan al riesgo relativo si el riesgo de la enfermedad en expuestos y no expuestos es relativamente bajo, esto es alrededor del 10% o menos.
- Los estudios de casos y controles pueden servir para generar hipótesis sobre causas de nuevos brotes de enfermedades, al poder evaluar un gran número de variables predictoras.
- Llamar a números de teléfono generados aleatoriamente puede ser de gran utilidad, pero hay que tener algunas consideraciones.
- Los nested case-control y case-cohort designs han sido usados con menos frecuencia de lo que deberían. Se debe considerar preservar información (ej. muestras biológicas, imágenes, registros) en estudios prospectivos grandes para ser reanalizados por estos diseños.
Capítulo 9: mejorando inferencia causal en estudios observacionales
Idea central
La mayoría de estudios observacionales están diseñados para poder comprender relación de causalidad; sin embargo, no toda asociación que encontramos en estos estudio tiene esta relación de causa-efecto. En realidad hay cuatro otras explicaciones generales de asociación entre las variables predictoras y de resultado: chance, bias, effect-cause y confounding. Llegar a la conclusión de que la relación causa-efecto es verdadera requiere dmostrar que estas otras posibles asociaciones son poco improbables.
Ideas importantes
- Estrategias para minimizar posibles asociaciones aleatorias (chance):
- Fase de diseño: incrementar tamaño de muestra y otras estrategia para aumentar la precisión.
- Fase de análisis: calcular valores de P e intervalos de confianza. Interpretarlos en el contexto de evidencia previa.
- Estrategias para minimizar sesgos (bias):
- Fase de diseño
- Considerar las posibles diferencias entre la pregunta de investigación y el plan de estudio:
- ¿Las muestras representan las poblaciones de interés?
- ¿Las mediciones de las variables predictoras representan los predictores de interés?
- ¿Las mediciones de las variables de resultado (outcome) representan los resultados de interés?
- Registrar información adicional que permita evaluar la magnitud de posibles sesgos.
- No usar variables afectadas por el predictor de interés como criterios de inclusión o variables usadas para matching.
- Considerar las posibles diferencias entre la pregunta de investigación y el plan de estudio:
- Fase de análisis
- Examinar consistencia con otros estudios (especialmente aquellos que usaron diferentes diseños)
- Analizar información adicional para ver si sesgos potenciales ocurrieron realmente.
- No controlar variables afectadas por nuestra variable predictora.
- Fase de diseño
- Estrategias para minimizar asociación efecto-causa (effect-cause):
- Fase de diseño
- Realizar estudios longitudinales para descubrir cuál fue primero.
- Obtener datos de la secuencia histórica de las variables.
- Realizar un ensayo clínico (solución definitiva y final).
- Fase de análisis
- Considerar plausibilidad biológica.
- Comparar la fuerza de asociación inmediatamente después de la exposición al predictor y después de un tiempo.
- Considerar hallazgos de otros estudios con diseños diferentes.
- Fase de diseño
- Estrategias para minimizar confounding:
- Fase de diseño
- Especificación: especificar un valor de la variable confusora (confounding) y excluir a todas las personas con un valor diferente.
- Matching: seleccionar sujetos de estudio que tengan mismos valores de las variables confusoras.
- Diseños de estudio “oportunistas”: aprovechar oportunidades inusuales del estudio para controlar confounding (ej. case-crossover, natural experiment, Mendelian randomization).
- Fase de análisis
- Estratificación: segregar los sujetos de estudio en subgrupos de acuerdo al nivel del potencial confusor.
- Ajuste estadístico: técnicas estadísticas para modelar la naturaleza de las asociaciones entre variables para aislar los efectos de las variables predictoras y confusoras.
- Propensity scores: en lugar de ajustar a todos los factores que predicen el resultado, crear un modelo para predecir recepción de tratamiento. Luego puede asignarse esta probabilidad predicha de tratamiento (“propensity score“) a cada sujeto, lo que puede ser usado como la única variable confusora en un análisis estratificado o multivariable. Alternativamente, puede emparejarse a sujetos de acuerdo al propensity score.
- Fase de diseño
- Overmatching ocurre cuando la variable usada para el matching está asociada con el predictor, pero resulta no ser confounding. Esto reduce el poder del estudio al tener más concordancia entre los grupos.
- Modificación de efecto ocurre cuando la asociación entre un predictor y el resultado es modificada por un tercer factor.
- Conditioning on a shared effect es un sesgo que puede ser entendido con el siguiente ejemplo: estudio en personas que han perdido 5 kilos el año pasado, se encuentra que aquellos que han hecho dieta tiene un menor riesgo de sufrir cáncer que aquellos que no. Se soluciona con una asociación inversa (entre hacer dieta y cáncer restringiendo/conditioning la atención al efecto compartido/shared effect de pérdida de peso que es causada por ambos).
- Un enfoque alternativo es buscar características de las asociaciones que brinden evidencia de causalidad:
- Resultados consistentes en estudios de diferentes diseños.
- Gran fuerza de asociación.
- Relación dosis-respuesta.
- Plausibilidad biológica (pero sin sobreestimarla).
Cosas que aprendí
- En caso no se puedan controlar algunos sesgos y de todas formas se decida realizar la investigación se podría considerar diseñar el estudio para obtener información adicional que permita evaluar la severidad de estos sesgos.
- Generalmente es mejor evitar controlar por factores que actúan como mediadores que se encuentran en la vía causal entre las variables predictoras y las de resultado. Por ejemplo, si el consumo de café es causa de uso de cigarro y este es causa de infarto, entonces no es necesario controlar el consumo de cigarro, esta variable no es confusora (confounding), sino un mediador.
- Matching puede ser usado como forma de muestreo por conveniencia, por ejemplo, se le podría pedir a los casos que busquen a sus controles, de la misma edad. Sin embargo, esto también trae consigo el riesgo de overmatching.
- Una estrategia para mejorar la inferencia causal en estudios observacionales es el uso de variables instrumentales. Estas variables están asociadas con los predictores de interés, per no están asociadas independientemente con el resultado. Por ejemplo, un estudio que examina si la supervivencia de cáncer de riñón depende de qué tan lejos la persona viva a un urólogo que realiza nefrectomías parciales vs. uno que solo realiza nefrectomías totales usa la variable instrumental de esa distancia al urólogo.
- Modificación de efecto (effect modification) clínicamente significativa es poco común y para concluir que está presente es necesario tener en cuenta varias cosas (significancia estadística, plausibilidad biológica).
- Como una precaución de seguridad es una buena idea comenzar siempre con análisis de estratificación y luego buscar comprender qué está pasando si análisis más complejos nos dan resultados sustancialmente diferentes.
- Los propensity scores (explicados anteriormente) son especialmente útiles para estudios observacionales de eficacia de tratamiento para controlar confounding por indicación, este problema que ocurre cuando pacientes a quienes se prescribe tratamiento están a un riesgo diferente de aquellos que no reciben el tratamiento.
- Ajustar confounding puede hacer que aparezcan asociaciones, no solo que desaparezcan. Por ejemplo, un factor protector puede no parecer serlo, o incluso parecer dañino, cuando este está asociado a un factor de riesgo.
- En muchas situaciones las estrategias para controlar confounding en la fase de análisis (stratification, adjustment, propensity scores) son tan buenas como las usadas en la fase de diseño y tienen la ventaja de ser reversibles.
Capítulo 10: ensayo clínico aleatorizado
Idea central
El diseño del clásico ensayo clínico aleatorizado cegado (randomized blinded trial) incluye:
- Escoger las condiciones de intervención y control.
- Definir resultados y efectos adversos.
- Seleccionar participantes.
- Medición de variables base (baseline) y de resultado.
- Evaluar posibilidades para aleatorización y blinding.
Ideas importantes
- Escoger la intervención es el primer paso crítico en el diseño de un ensayo clínico. Se deben considerar numerosos factores para la intervención (ej. dosis, duración, frecuencia, combinaciones, blinding)
- La mejor comparación entre los grupos de intervención y control se da cuando no hay co-intervenciones (ej. la intervención de yoga puede ir acompañada de co-intervenciones como incremento de ejercicio o cambios en la dieta), aunque a veces no se puede evitar, por lo que se debe usar otras formas de controlar esto.
- Los ensayos clínicos usualmente incluyen múltiples resultados; sin embargo, uno de estos debe ser designado como el primario/principal que refleja la pregunta central de investigación. Esto permite el cálculo de tamaño de muestra y establece la prioridad de los esfuerzos.
- Hay que tener cuidado con los resultados compuestos (composite outcomes), formados por diferentes eventos o mediciones (ej. evento coronario).
- Sobre efectos adversos, en fases tempranas los investigadores usan preguntas amplias y abiertas sobre todos los tipos de efectos adversos potenciales. En fases tardías se usan estrategias para minimizar la carga mientras se conserva una evaluación adecuada de estos efectos.
- Los eventos adversos severos tienen una definición clara y deben ser reportados a las entidades correspondientes.
- Hay cinco razones principales para excluir personas de un ensayo clínico:
- Tratamiento puede ser dañino: riesgo inaceptable del tratamiento activo o de ser asignado al grupo control.
- Tratamiento activo tiene pocas probabilidades de ser efectivo.
- Adherencia a la intervención improbable.
- Completar el seguimiento es improbable.
- Problemas prácticos con participar en el protocolo.
- Ensayos clínicos con muy pocos participantes para detectar efectos importantes es un desperdicio, puede producir resultados engañosos y no es ético. Así que estimar el tamaño de muestra es uno de las cosas más importantes en el diseño de un ensayo clínico.
- Se debe tener un tamaño de muestra generoso y contar con el dinero suficiente, porque reclutar participantes para estos estudios es más difícil.
- La aleatorización es sumamente importante y se pueden considerar algunas técnicas especiales:
- Bocked randomization: aleatorización en bloques de tamaño predeterminado para asegurar que el número de participantes está distribuido equitativamente en los grupos de estudio.
- Stratified blocked randomization: asegura que un predictor importante se encuentra mejor distribuido entre los grupos de estudio que de forma aleatoria. Esto puede lograrse realizando la aleatorización separadamente mediante estratos/subgrupos.
- Adaptive randomization: usa una “moneda sesgada” para asignar los grupos. Las probabilidades para determinar el grupo del participante dependen de algún valor/peso.
- Randomization of matched pairs: consiste en seleccionar pares de participantes quienes son emparejados de acuerdo a características importantes como edad y sexo, luego asignar aleatoriamente un miembro de cada par a cada grupo de estudio. Usado para equilibrar variables confusoras.
- Algunas situaciones en las que tener grupos de distintos tamaños (unequal allocation) puede resultar conveniente:
- Incrementar la razón de tratamiento activo y de control puede hacer el estudio más atractivo para los potenciales participantes.
- Disminuir la razón de tratamiento activo y de control puede hacer el ensayo clínico más económicamente accesible cuando la intervención es muy cara.
- Incrementar la proporción asignada al grupo control usado para múltiples grupos de tratamientos activos incrementa el poder de cada comparación.
- Blinding es tan importante como la aleatorización. Es importante “cegar” (blinding) lo más posible (sujetos de estudio, staff que los contacta, personas haciendo mediciones, aquellos que evalúan resultados).
Cosas que aprendí
- Se pueden usar marcadores intermediarios (mediciones que están relacionadas a un resultado clínico). Pero es importante que estos sean buenos (carga viral de VIH es un buen marcador, densidad ósea es uno malo).
- MedDRA y SNOMED son diccionarios comúnmente usados de términos agrupados de diferentes maneras (ej. síntomas, diagnósticos, sistemas) que son muy útiles para reportar efectos adversos.
- Tener criterios de inclusión para incluir a personas con mayor riesgo es una estrategia para disminuir el número necesario de participantes. Por ejemplo, incluir a personas que ya presenten una enfermedad y evaluar la recurrencia puede reducir drásticamente el tamaño de muestra.
- El uso de muestreo probabilístico de la población general es poco usado en ensayos clínicos aleatorizados y los resultados en comparación al muestreo por conveniencia son similares. Ocasionalmente sí es importante considerar esto (ej. presencia de modificación de efecto o interacción).
- Para facilitar contactar a los participantes es importante registrar los nombre, teléfonos, direcciones y coreos electrónicos de dos o tres amigos o familiares para no perder el seguimiento. También se pueden registrar algunos números que permitan determinar el estado vital.
- La aleatorización en estos estudios minimiza el problema de confounding, así que no es necesario realizar muchas mediciones en el estudio, solo aquellas que sean importantes para la integridad del estudio.
- Usualmente la mejor decisión es asignar números iguales a cada grupo de estudio, ya que esto maximiza el poder a un determinado tamaño de muestra, pero hay algunos casos en los que grupos desiguales (unequal allocation) puede resultar útil (ver más arriba).
- Una buena idea es evaluar blinding al terminar el estudio preguntando a los participantes e investigadores que adivinen el tratamiento asignado. Si una proporción más grande de la esperada acierta, la discusión de los resultados debería incluir los sesgos potenciales que podrían ser causados por este partial unblinding.
Capítulo 11: diseños alternativos de ensayos clínicos y consideraciones de implementación de ensayos clínicos
Idea central
Existen alternativas al diseño clásico de ensayo clínico aleatorizado. Estos diseños alternativos requieren ciertas consideraciones para su implementación.
Este capítulo también contiene información sobre la implementación de ensayos clínicos en general.
Ideas importantes
- Diseños aleatorizados alternativos:
- Diseño factorial: busca contestar dos o más preguntas de investigación diferentes en un mismo estudio.
- Cluster randomization: consiste en asignar grupos, en lugar de individuos, a intervenciones (ej. equipos de fútbol).
- Active control trials (ej. equivalence y non-inferiority trials): el grupo control recibe un tratamiento activo que se compara a otro (aka comparative effectiveness trials).
- Diseños adaptativos: cuando se cambia el diseño del estudio en base a análisis intermedios de los resultados (ej. cambiar asignación de grupos, tamaño de muestra, duración).
- Diseños no aleatorizados alternativos:
- Nonrandomized between-group designs: diseño similar al ensayo clínico clásico, pero con otra forma de aleatorización (ej. pseudoaleatorización).
- Within-group designs: diseños que no incluyen un grupo control separado. Por ejemplo, time series design consiste en mediciones hechas antes y después de la intervención para cada participante. Cada uno es su propio control.
- Crossover design: mitad de participantes son asignados aleatoriamente a comenzar con el periodo de control y luego cambiar al tratamiento activo; la otra mitad comienza con el tratamiento activo y luego cambial control.
- El problema de confounding en ensayos clínicos no aleatorizados puede ser severo y puede no eliminarse incluso después de realizar ajustes estadísticos.
- El diseño y conducción de estudios para aprobación regulatoria de intervenciones nuevas es el mismo que para otros estudios, pero algunos requerimientos deben ser considerados.
- Las etapas de prueba de nuevas intervenciones se categorizan en:
- Preclínica: estudios en cultivos celulares, tejidos y animales.
- Fase I: estudios unblinded, no controlados en pocos voluntarios para examinar seguridad.
- Fase II: estudios aleatorizados pequeños o time series para probar tolerabilidad y diferentes intensidades y dosis de la intervención en biomarcadores o resultados clínicos.
- Fase III: estudios aleatorizados blinded relativamente grandes para probar conclusivamente el efecto de la terapia y los efectos adversos.
- Fase IV: ensayos clínicos grandes o estudios observacionales conducidos después de la aprobación por la FDA para evaluar la tasa de efectos adversos severos poco comunes y evaluar usos terapéuticos adicionales.
- Los estudios piloto tiene muchas utilidades, como evaluar factibilidad, tiempo, costo, probar instrumentos, manejo de datos, mediciones, determinar la intervención óptima, estimar tamaño de muestra.
- Estrategias para maximizar seguimiento y adherencia:
- Escoger participantes que probablemente tengan adherencia a la intervención y al protocolo.
- Hacer la intervención simple.
- Hacer las visitas para el estudio convenientes y agradables.
- Hacer las mediciones no dolorosas, útiles e interesantes.
- Animar a los pacientes a continuar en el estudio.
- Encontrar participantes a los que se perdió el seguimiento.
- Es importante tener una manera de medir la adherencia a la intervención (ej. conteo de pastillas, mediciones de metabolitos en orina).
- Determinar que un resultado ha ocurrido requiere de varias consideraciones como definir claramente los resultados.
- Se debe monitorear los ensayos clínicos para detenerlos en las siguientes situaciones:
- Daño: intervención resulta ser inesperadamente dañina. Detener si el daño está presente claramente y supera a los beneficios.
- Beneficio: intervención resulta ser más efectiva de lo estimado previamente. Detener si beneficio claro ya ha sido probado.
- Futilidad: hay una muy baja probabilidad de llegar a responder la pregunta de investigación.
- Otro posible motivo es cuando la pregunta de investigación ya ha sido contestada de forma definitiva por otro ensayo clínico (importante que sea de forma definitiva).
- La mayoría de ensayos clínicos deben incluir un plan de monitorización durante el estudio (interim monitoring plan) para asegurarse que no es necesario detener el estudio por algún motivo. La decisión de detener un ensayo clínico es compleja y delicada. Algunos elementos de este plan son:
- Elementos a monitorizar.
- Personas encargadas de monitorizar.
- Métodos de monitoreo.
- Cambios en el protocolo que pueden resultar del monitoreo.
- Generalmente se realizan dos tipos de análisis, intention-to-treat y per-protocol, de acuerdo a si se incluyen o no aquellos participantes que no tuvieron adherencia con la intervención.
- Los análisis de subgrupos son usados principalmente para descubrir modificación de efecto o interacción. Esto puede ser muy valioso, pero hay que tener cuidado con estos análisis porque pueden ser usados de forma inadecuada y llevar a conclusiones erróneas.
Cosas que aprendí
- Los métodos estadísticos para los equivalence y non-inferiority trials son diferentes de los demás. El objetivo sería aceptar la hipótesis nula (no diferencia), pero esto requeriría un tamaño de muestra infinito. La solución práctica es diseñar un plan de análisis y tamaño de muestra usando intervalos de confianza (ej. creando un margen de no inferioridad).
- Hay una idea errónea de que los estudios no aleatorizados son más éticos porque permiten a los participantes o doctores escoger la intervención; sin embargo, los estudios solo son éticos cuando tienen una probabilidad razonable de producir una respuesta correcta a la pregunta de investigación. Los estudios aleatorizados son mejores en cuanto a esto.
- La FDA publica guías generales y específicas para la aprobación de intervenciones nuevas, estas son regularmente actualizadas. Lo mismo suele ocurrir con otras agencias reguladoras.
- Los estudios piloto deben ser planeados de forma tan cuidadosa como el estudio principal, con métodos y objetivos claros. Además, debe tener un protocolo completo aprobado por una institución y toda una planificación similar a cualquier otro estudio de investigación.
- Para estudios piloto realizados primariamente para probar factibilidad generalmente no es necesario tener un grupo control.
- Usualmente las personas que terminan formando parte del grupo control son más saludables que la población general, es necesario considerar esto en el cálculo de tamaño de muestra y buscar datos que nos permitan saber la frecuencia de resultado en el grupo control (ej. examinando a este grupo en estudios anteriores).
- Incluso si los participantes incumplen el protocolo o discontinúan la intervención, deben ser seguidos para que los resultados puedan ser usados en el análisis (intention-to-treat analyses).
- Es importante incluir a los participantes en el estudio, que se sientan parte de un equipo que tiene un mismo objetivo, incluso es adecuado crear una especie de comunidad, mantener el contacto y tener actividades juntos.
- Una estrategia para lidiar con una pobre adherencia es tener una o dos visitas de tamizaje antes de la aleatorización para detectar y excluir a aquellos que no tendrán adherencia con el estudio.
- Otra estrategia es tener un periodo de experimentación (run-in period) en el que todos los participantes son observados y se analiza su adherencia. Solo aquellos que pasan la prueba (ej. consumo de más del 80% de pastillas) son aleatorizados.
- En ensayos clínicos grandes o aquellos en los que hay mayor riesgo de efectos adversos importantes se suele tener un comité encargado de realizar la monitorización durante el estudio, el Data and Safety Monitoring Board (DSMB).
- Si los resultados de los análisis de acuerdo a intention-to-treat y per-protocol difieren, los resultados de intention-to-treat generalmente predominan para estimaciones de la eficacia, porque preservan el valor de la aleatorización y solo pueden sesgar el efecto estimado en dirección conservadora (favoreciendo la hipótesis nula); sin embargo, para estimaciones de daño, análisis per-protocol brindan las estimaciones más conservadoras.
Capítulo 12: estudios de pruebas médicas
Idea central
Estudios de pruebas médicas, como aquellas usadas para tamizaje de algún factor de riesgo, diagnóstico, o estimar pronóstico, tienen un diseño similar a los estudios observacionales; sin embargo, hay algunas diferencias importantes. Una diferencia importante es que la causalidad suele ser irrelevante, mientras que parámetros descriptivos como la sensibilidad, especificidad, likelihood ratios son centrales.
Ideas importantes
- Se deben realizar una serie de preguntas que determinan la utilidad de una prueba médica, y para evaluar cada una de estas preguntas se utiliza distintos diseños y resultados.
- ¿Qué tan reproducible es la prueba?
- Posibles diseños: estudios de variabilidad intra-observador, inter-observador e inter-laboratorio.
- Estadísticas para los resultados: proportion agreement, kappa, coeficiente de variación, promedio, distribución de diferencias.
- ¿Qué tan precisa es la prueba?
- Posibles diseños: diseños transversales, casos y controles o de cohorte comparando los resultados con un gold standard.
- Estadísticas para los resultados: sensibilidad, especificidad, valor predictivo y negativo, receiver operating characteristic (ROC) curves, likelihood ratios.
- ¿Con qué frecuencia los resultados afectan decisiones clínicas?
- Posibles diseños: estudios de rendimiento diagnóstico, estudios de toma de decisiones clínicas antes y después de la prueba.
- Estadísticas para los resultados: proportion abnormal, proporción con resultados discrepantes, proporción de pruebas que llevan a cambios en decisiones clínicas, costo por resultado anormal o por cambio de decisión.
- ¿Cuáles son los costos, riesgos y aceptabilidad de la prueba?
- Posibles diseños: estudios prospectivos o retrospectivos.
- Estadísticas para los resultados: costos promedio, proporciones de efectos adversos, proporciones de personas dispuestas a recibir la prueba.
- ¿Usar la prueba mejora los resultados clínicos o efectos adversos?
- Posibles diseños: ensayos clínicos aleatorizados, estudios de cohortes o de casos y controles en los que la variable predictora es recibir la prueba y los resultados incluyen morbilidad, mortalidad o costos relacionados a la enfermedad o tratamiento.
- Estadísticas para los resultados: risk ratios, odds ratios, hazard ratios, numbers needed to treat, tasas y razones de resultados deseables y no deseables.
- ¿Qué tan reproducible es la prueba?
- La forma en la que se obtiene la muestra tiene un efecto muy importante en la validez de los resultados. Spectrum bias ocurre cuando el espectro de enfermedad o no enfermedad (o de resultados) en la muestra difiere de los pacientes en quienes se quiere generalizar los hallazgos.
- Considerar fuentes de variación, generalizabilidad y esquema de muestreo. Usar blinding es de gran utilidad.
- Incorporation bias ocurre cuando la prueba siendo estudiada está incorporada en el gold standard, como signos, síntomas o pruebas de laboratorio.
- Para decidir los resultados positivos de una prueba que brinda resultados continuos se debe evitar overfitting utilizando conocimientos clínicos o biológicos de otros estudios, o dividir el resultado en intervalos y calcular luego likelihood ratios para cada intervalo.
- Para pruebas nuevas o biomarcadores que tienen la intención de predecir eventos futuros es importante cuantificar qué agregan a los modelos de predicción actuales. Net reclassification improvement (NRI) es un valor que permite cuantificar esto.
- Los estudios para crear reglas de predicción clínica tienen el objetivo de mejorar las decisiones clínicas usando métodos matemáticos. Estos métodos deben ser validados con un pacientes diferentes que los usados para crearlos, una razón de esto es para evitar overfitting.
- Algunos errores comunes en el diseño o análisis de estudios para pruebas diagnósticas:
- Tamaño de muestra inadecuado: cuando el resultado es raro un número grande de participantes suele ser necesario.
- Exclusión inapropiada: cuando se calculan proporciones es inapropiado excluir sujetos del numerador sin excluir sujetos del denominador.
- Dejar de lado los resultados borderline o los que no pueden ser interpretados: en lugar de ignorar estos problemas se debe incluirlos en el proceso de interpretación de los resultados.
- Sesgo de verificación: aplicación selectiva de un solo gold standard. Puede ser evitado mediante el uso de criterios estrictos para la aplicación del gold standard que no incluyan la prueba o el hallazgo que está siendo estudiado.
- Sesgo de verificación diferencial: diferentes gold standards para positivos y negativos. Puede ser evitado mediante el uso del mismo gold standard a todos los sujetos de estudio.
Cosas que aprendí
- Al realizar estudios para pruebas médicas se puede ir mejorando progresivamente la muestra para que sea más representativa de la población en la que se usará la prueba. Por ejemplo, una prueba estudiada en pacientes con cáncer pancreático sintomático y controles sanos podría ser estudiada posteriormente en otra muestra con pacientes con dolor abdominal no explicado o pérdida de peso.
- El diseño tandem testing puede ser usado para comparar dos pruebas presumiblemente imperfectas. El gold standard se aplica selectivamente a aquellos con resultados positivos en algunas de las pruebas y a una muestra aleatoria de pacientes con resultados negativos.
- Los estudios para pruebas pronósticas requieren diseños de cohortes.
- A veces es posible que una aplicación uniforme del gold standard no sea ética o factible y se debe recurrir a soluciones ingeniosas, por ejemplo, usar el diagnóstico de cáncer de mama en un periodo de un año en lugar de realizar biopsias confirmatorias durante el estudio. Sin embargo, esto puede crear algunos sesgos.
- Las curvas ROC pueden brindar información sobre el desempeño de una prueba. El área bajo la curva tiene un rango de 0.5 para una prueba inútil a 1 para una prueba con precisión perfecta.
- Likelihood ratio es útil para saber el desempeño de una prueba. Un valor más alto es mejor para confirmar (ruling in) una enfermedad; mientras que un valor más bajo es mejor para descartar (ruling out) una enfermedad.
- Los resultados de pruebas pronósticas cortas pueden evaluarse como pruebas diagnósticas (ej. sensibilidad, especificidad, valores predictivos); por otro lado, cuando los sujetos de estudio son seguidos por tiempos diferentes, una técnica de análisis de supervivencia (survival-analysis) es preferible.
- Para crear las reglas de predicción clínica se pueden usar modelos estadísticos multivariados, como regresión logística o de Cox, y también técnicas alternativas como recursive partitioning o classification and regression tree (CART) analysis. Pudiendo crear scores o árboles de decisión, respectivamente.
- Considerar que efectos adversos también pueden ocurrir por resultados falsos positivos y por la prueba en sí (ej. colonoscopías). Registrar esto puede ser de gran valor.
- Para medir el efecto de las pruebas es mejor tener como resultado a la morbilidad o mortalidad en lugar del diagnóstico o etapa de la enfermedad. Por ejemplo, demostrar que hombres que son tamizaos para cáncer de próstata tienen una mayor proporción de cánceres diagnosticados en etapa temprana no brinda tanta información sobre el efecto, ya que muchos de estos cánceres no causan problemas de no ser detectados.
Capítulo 13: investigación usando datos ya existentes
Idea central
Los estudios que usan datos ya existentes puede ser una alternativa conveniente para contestar algunas preguntas de investigación. Existen tres enfoques principales para hacer estudios con datos ya existentes: análisis de datos secundarios, estudios auxiliares (ancillary studies) y revisiones sistemáticas.
Ideas importantes
- Los tres enfoques principales son:
- Análisis de datos secundarios: uso de información existente para investigar preguntas de investigación diferentes a las principales que se usaron para obtener los datos.
- Estudios auxiliares (ancillary studies): agregan una o más mediciones al estudio, usualmente en un subgrupo de los participantes, para contestar una pregunta de investigación diferente.
- Revisiones sistemáticas: combinan los resultados de múltiples estudios previos de una pregunta de investigación. Usualmente incluyen el cálculo de una estimación que resume el efecto.
- Existen ventajas y desventajas de estos estudios:
- Ventajas: velocidad y costos.
- Desventajas: población, variables, calidad, mediciones predeterminadas que pueden ser inadecuadas. El investigador tiene poco o ningún control de la información.
- Hay diferentes formas de acceder a los datos par análisis secundarios. Acceso a estos datos es generalmente controlado por el investigador principal o algún comité, aunque también existen estudios que hacen sus datos públicos o registros de datos (ej. tumor registries, death certificate registries, NHANES).
- Los análisis de datos secundarios permiten distinguir eficacia (efficacy) y efectividad (effectiveness). Los ensayos clínicos aleatorizados buscan determinar la eficacia; sin embargo, el “mundo real” es diferente que los estudios y la efectividad en la práctica real puede ser distinta y estudiada mediante el análisis de datos secundarios.
- Los análisis de datos secundarios permiten describir cómo terapias están siendo usadas en la práctica clínica (ej. tasas de utilización).
- Contar con la ayuda de un colega senior puede ser sumamente valioso para encontrar las bases de datos apropiadas. Un investigador experimentado tiene definidas áreas de interés y conoce las bases de datos importantes e incluso los investigadores que las controlan.
- Elementos de una buena revisión sistemática:
- Pregunta de investigación clara: criterios FINER (capítulo 2).
- Identificación exhaustiva y no sesgada de estudios completados: usar estrategia establecida y buscar en fuentes no limitadas a MEDLINE.
- Definición clara de criterios de inclusión y exclusión.
- Periodo durante el cual fueron publicados los estudios.
- Diseño de estudio.
- Población de estudio.
- Intervención o factor de riesgo.
- Grupos de control aceptables.
- Otros requerimientos del diseño de estudio (ej. blinding).
- Resultados aceptables.
- Máxima pérdida de seguimiento aceptable.
- Mínima duración de seguimiento aceptable.
- Abstracción uniforme y libre de sesgos de las características y hallazgos de cada estudio: realizada generalmente de forma independiente por dos o más personas extrayendo ciertos elementos:
- Criterios de elegibilidad
- Características de diseño
- Características y número de participantes en cada grupo de estudio
- Intervención o factores de riesgo
- Resultado principal, resultados secundarios y resultados en subgrupos preestablecidos
- Elementos para permitir evaluación de la calidad de estudios incluidos (ej. aleatorización, blinding)
- Presentación clara y uniforme de los datos de estudios individuales: usar tablas, mostrar hallazgos analíticos de estudios individuales, summary estimates e intervalos de confianza.
- Cálculo de un weighted summary estimate del efecto e intervalo de confianza basado en los hallazgos de todos los estudios elegibles, de ser apropiado.
- Evaluación de la heterogeneidad de los hallazgos de estudios individuales: no es apropiado combinar los hallazgos si los resultados de estudios individuales difieren ampliamente (ej. población, intervención, resultado).
- Evaluación del potencial sesgo de publicación.
- Estudios no publicados pueden ser identificados y los resultados incluidos en el summary estimate. Estos pueden encontrarse mediante preguntas a investigadores, revisión de abstracts, presentaciones, tesis. Sin embargo, datos no publicados no son usualmente incluidos en los metaanálisis.
- Alternativamente, la extensión de este sesgo puede ser estimada sabiendo que los estudios no publicados tienen a ser más pequeños y a no encontrar asociación entre el factor de riesgo o intervención y el resultado. Si no hay sesgo de publicación, no debería haber asociación entre el tamaño del estudio y los hallazgos, el grado de esta asociación es usualmente medido usando Kendall’s Tau y puede verse en el funnel plot.
- Análisis de subgrupos y sensibilidad.
- Los resultados de una revisión sistemática son confiables en la medida que los estudios individuales usados para realizarla sean de buena calidad, de lo contrario sus summary estimates pueden dar la falsa impresión de ser confiables.
Cosas que aprendí
- Cuando datos individuales no están disponibles se pueden usar datos agregados en algunos casos, esto quiere decir datos de grupos de personas. A esto se conoce como estudios ecológicos. Estos estudios son usados más apropiadamente para probar la plausibilidad de una hipótesis nueva o generar nuevas hipótesis, los resultados interesantes pueden luego ser estudiados en otros estudios con datos individuales.
- Es esencial dominar cualquier ansiedad al contactar desconocidos para pedir ayuda, la mayoría de personas son sorprendentemente cooperativos, ya sea para dar datos ellos mismos o sugerir otros lugares donde pedir.
- Suele ser más efectivo trabajar con un investigador interesado en el estudio que haya formado parte del estudio del cual se obtuvieron los datos originalmente.
- Oportunidades para estudios auxiliares (ancillary studies) deberían ser perseguidas activamente, especialmente por investigadores nuevos que tienen tiempo y recursos limitados. Un buen lugar para comenzar es identificar estudios con preguntas de investigación que incluyan la variable predictora o de resultado de interés.
- Ensayos clínicos específicos pueden ser identificados mediante listas de estudios financiados por el gobierno (http://clinicaltrials.gov o http://report.nih.gov).
- Los aspectos estadísticos de una revisión sistemática son llamados metaanálisis.
- Revisiones sistemáticas son también una gran oportunidad para un investigador nuevo. A pesar de que requiere mucho tiempo y esfuerzo, generalmente no requiere muchos recursos. Completar una buena revisión sistemática requiere gran conocimiento del tema y su publicación establece al investigador como “experto” en esa pregunta de investigación. Además, sus contribuciones pueden ser importantes y sus hallazgos son particularmente útiles para el desarrollo de guías de práctica clínica.
- Una buena fuente de información de los métodos para conducir revisiones sistemáticas de alta calidad puede encontrarse en el Cochrane Handbook for Systematic Reviews.
- Diferentes formas de calcular el summary estimate e intervalo de confianza en una revisión sistemática pueden dar resultados diferentes.
Sección 3: implementación
Capítulo 14: conflictos éticos
Idea central
Grandes errores se han cometido en la historia producto de no seguir ciertos principios éticos. Hoy en día, producto de este aprendizaje se cuenta con regulaciones que guían la investigación. Los comités de ética (institutional review board) y los consentimientos informados son parte sumamente importante de cualquier trabajo de investigación. Además, es importante considerar otros detalles como la autoría, conflictos de interés y algunos otros posibles problemas.
Ideas importantes
- Los principios éticos incluyen respeto a las personas (autonomía), beneficencia, justicia.
- Existen organismos reguladores que se encargan de revisar que se cumplan los principios éticos durante el estudio. Para esto se usan algunas definiciones importantes como investigación, sujetos humanos, información privada.
- Información privada comprende:
- Información que una persona esperaría razonablemente que no sea observada o registrada.
- Información que ha sido brindada para propósitos específicos y que “el individuo puede razonablemente esperar que no se haga pública”.
- Cuando se evalúa la aprobación de una investigación el comité de ética (institutional review board) debe determinar que:
- Riesgos a los participantes son minimizados.
- Riesgos son razonables en relación a los beneficios anticipados y la importancia del conocimiento que se espera obtener.
- Selección de los participantes es equitativa.
- Consentimiento informado será obtenido de participantes o sus representantes legales autorizados.
- Confidencialidad es mantenida adecuadamente.
- Investigación que está exenta de las regulaciones federales (no requiere revisión de un comité de ética ni consentimientos informados); aún así muchas revistas científicas piden una declaración de que se aprobó el protocolo o declarar que la revisión no era necesaria:
- Encuestas, entrevistas u observaciones de comportamiento público, salvo:
- Participantes puedan ser identificados y
- La divulgación de las respuestas de los participantes podría ponerlos en riesgo de responsabilidad legal o dañar su reputación, situación financiera o empleabilidad.
- Estudios de registros, información o muestras existentes, siempre y cuando la información sea:
- Públicamente disponible o
- Registrada por el investigador de tal manera que los participantes no puedan ser identificados.
- Investigación de prácticas normales de educación.
- Encuestas, entrevistas u observaciones de comportamiento público, salvo:
- Investigación que puede seguir un proceso de revisión acelerada (por un solo revisor, en lugar de un comité):
- Algunos procedimientos de investigación de riesgo mínimo, como:
- Colección de muestras a través de punción venosa, saliva, esputo, hisopados de piel o mucosas.
- Colección de muestras por procedimientos no invasivos utilizados de forma rutinaria en la práctica clínica (electrocardiogramas, ultrasonido). Las radiografías emiten radiación, así que requieren una revisión completa.
- Investigación de datos, registros o muestras que han sido colectados o que serán colectados para propósitos clínicos.
- Investigación que usa encuestas o entrevistas que no está exenta de revisión por un comité de ética.
- Cambios menores en protocolos de investigación previamente aprobados.
- Renovación de aprobación para estudios que han sido completados, excepto por el análisis de datos o seguimiento a largo plazo.
- Algunos procedimientos de investigación de riesgo mínimo, como:
- Las regulaciones federales exigen a los investigadores a discutir varios tópicos con los potenciales participantes, como:
- La naturaleza del proyecto de investigación: mencionar que es una investigación, el propósito y quienes son reclutados como participantes.
- Procedimientos del estudio: qué se preguntará, cuánto tiempo y frecuencia se requiere, descripción de procedimiento, explicar blinding o aleatorización (de estar presentes).
- Los riesgos y posibles beneficios, así como alternativas de participar en el estudio: describir riesgos (médicos, psicosociales y económicos), informar de alternativas a la participación.
- El consentimiento informado generalmente debe estar impreso por escrito. De forma alternativa, una versión corta puede ser usada que indica que los elementos fueron presentados de forma oral, si esta versión corta es usada debe haber un testigo de la presentación oral quien debe firmar también ese consentimiento corto con el participante.
- Es indispensable que los participantes comprendan la información de los consentimientos informados. Se pueden emplear algunas estrategias para incrementar la comprensión de los participantes (tener un educador, simplificar, usar un formato de preguntas y respuestas, comprobar comprensión).
- El consentimiento informado debe ser voluntario y se debe minimizar influencia indebida, como pagos excesivos o usar estudiantes como participantes.
- Investigación que puede recibir una exención (waiver) de consentimiento informado:
- La investigación expone a los participantes a no más que un riesgo mínimo y
- La exención o alteración no afectará de forma adversa los derechos y bienestar de los participantes y
- La investigación podría ser llevada a cabo de forma práctica sin la exención y
- Cuando sea apropiado, los sujetos recibirán información adicional pertinente después de la participación. Esto permite alguna investigación que comprende engaño (ej. cuando mencionar el propósito afecta la validez del estudio).
- Se debe tomar las medidas necesarias para preservar la confidencialidad de los participantes, además, cuando se trabaja con información de salud protegida se debe hacer firmar una autorización (HIPAA) adicionalmente al consentimiento informado. Esta autorización no es requerida si los datos no son identificables y en algunas otras situaciones.
- Algunos participantes pueden estar en mayor riesgo de ser usados de formas éticamente inapropiadas. Existen diferentes tipos de vulnerabilidad:
- Deterioros cognitivos o comunicativos
- Diferencias de poder (ej. prisioneros, estudiantes)
- Desventajas sociales y económicas
- Los estudios en niños que tienen más riesgos que los mínimos son permisibles solo:
- Si ofrece la posibilidad de beneficio directo al niño o
- Si el incremento sobre el riesgo mínimo es menor y la investigación probablemente brinde “conocimientos generalizables de importancia vital sobre la enfermedad o condición del niño”.
- Investigación en gestantes, fetos y embriones que no ofrecen la posibilidad de beneficio directo al feto solo es permitido si “el propósito de la investigación es el desarrollo de conocimientos biomédicos importantes que no pueden ser obtenidos por ningún otro medio”.
- La Federal Office for Research Integrity define research misconduct como fabricación, falsificación y plagio. Esta debe ser intencional.
- Fabricación: inventar resultados y registrarlos o reportarlos.
- Falsificación: manipulación de materiales, equipo o procedimiento o cambiar o omitir datos o resultados de tal manera que el estudio tergiversa los hallazgos reales.
- Plagio: apropiación de ideas, resultados o palabras de otras personas sin darles el crédito apropiado.
- Para merecer autoría, investigadores deben realizar contribuciones sustanciales en:
- Concepción de estudio y diseño, o análisis de datos e interpretación y
- Redacción o revisión del artículo y
- Dar aprobación final del manuscrito.
- Todos los conflictos de interés (financieros y roles dobles de doctores-investigadores) deben ser revelados y deben ser controlados o evitados usando diferentes estrategias:
- Reducir probabilidad de sesgos.
- Separar roles conflictivos.
- Control de análisis y publicaciones.
- Revelar conflictos de interés.
- Manejar conflictos de interés.
- Prohibir algunas situaciones.
- Cuando muestras biológicas son obtenidas, consentimientos deben permitir a los participantes aceptar o rechazar algunas categorías de investigación futura con esas muestras:
- Investigación futura aprobada por una institutional review board y panel de revisión científica o
- Solo para investigación en condiciones específicas o
- Solo en la investigación actual.
Cosas que aprendí
- El término “participantes” es preferido a “sujetos”, ya que enfatiza que las personas estudiadas son participantes activos de la investigación.
- La información es identificable si “La identidad del sujeto es o puede ser fácilmente comprobada por el investigador”. Entonces, los datos son no identificables si la clave que conecta los datos a los participantes es destruida antes de que la investigación comienza o si los investigadores no tienen acceso a la clave.
- Los comités de ética y las regulaciones federales muchas veces no cuentan con los recursos para revisar que la investigación realmente está llevándose a cabo de acuerdo a los protocolos aprobados, por este motivo el elemento esencial para asegurar que la investigación es éticamente aceptable es el juicio y carácter del investigador.
- Los participantes suelen tener una “therapeutic misconception” que la intervención en la investigación está diseñada para brindarles un beneficio personal. Los investigadores deben dejar claro que no se conoce si es que la intervención en el estudio es más efectiva que la terapia estándar y que existen riesgos a la intervención.
- Los comités de ética (institutional review board) usualmente tienen plantillas de consentimientos informados para que usen los investigadores. Estos comités pueden requerir más información que las regulaciones federales.
- Lo que está legalmente permitido no siempre es éticamente aceptable. Por ejemplo, existe oposición pública al uso de muestras de screening neonatal sin consentimiento informado para estudios de investigación.
- Hay algunas situaciones en las que se puede o debe romper la confidencialidad (ej. abuso infantil, amenazas de violencia). Si esto se anticipa se debe especificar en el protocolo cómo responder y los participantes deben ser informados.
- Guest authorship: autoría a pesar de hacer solo contribuciones triviales; ghost authorship: no autoría a pesar de hacer contribuciones sustanciales.
- Las cuestiones de la autoría (autores y orden) deben ser decididas al comienzo del proyecto. Cambios deben ser negociados si hay decisiones sobre cambios de responsabilidades.
- Para evitar influencia económica inapropiada causada por pagos altos a los participantes se ha sugerido que los participantes sean compensados solo por gastos reales y tiempo a una tasa horaria de trabajo no especializado (unskilled labor).
Capítulo 15: cuestionarios, entrevistas y encuestas
Idea central
Cuestionarios, entrevistas y encuestas son formas comunes de recolectar información, la validez de sus resultados depende de la calidad de estos instrumentos. Es importante tener en cuenta los componentes y los procedimientos para desarrollar estos instrumentos.
Ideas importantes
- Preguntas abiertas son usadas en fases exploratorias del diseño de las preguntas y en base a esto se pueden crear preguntas cerradas. Estas últimas suelen ser más convenientes, pero tienen ciertas desventajas también.
- Es importante agregar explicaciones e instrucciones en los cuestionarios o entrevistas.
- Cada palabra de una pregunta influencia la validez y reproducibilidad de las respuestas. Las preguntas deben tener:
- Claridad: preguntas claras, específicas, concretas.
- Simplicidad: palabras simples, evitar términos técnicos.
- Neutralidad: evitar palabras “cargadas” estereotipos que sugieran una respuesta deseada.
- Es importante evitar errores comunes como:
- Double-barreled questions: cada pregunta debe tener un solo concepto. De lo contrario es mejor separarla en más de una pregunta.
- Suposiciones ocultas: evitar suposiciones que no se aplican a todas los participantes del estudio.
- La pregunta y las opciones de respuesta no coinciden de forma adecuada.
- Pasos para armar los instrumentos para un estudio:
- Hacer una lista de variables.
- Preferir mediciones/instrumentos existentes.
- Crear un nuevo instrumento si es necesario.
- Pretest
- Validar
- Los cuestionarios y las entrevistas pueden ser evaluados para saber su validez (accuracy) y su reproducibilidad (precision) de la misma manera que otros tipos de mediciones (capítulo 4).
- Avances en instrumentos de medición están creando alternativas a los cuestionarios y entrevistas para medir muchas condiciones comunes y exposiciones (ej. acelerómetros, mediciones en sangre).
Cosas que aprendí
- Cuando una pregunta permite más de una alternativa como respuesta usar “Marcar todas las que aplican” no es ideal. Es mejor separar cada elemento en diferentes respuestas. (ej. responder “sí” o “no” a cada uno).
- Visual analog scale (VAS) es una opción en la que el participante puede marcar su respuesta en una línea con dos extremos de forma continua (link de ejemplo).
- Es mejor comenzar con preguntas emocionalmente neutrales y poner las preguntas altamente sensibles al final.
- Es mejor tener más páginas ordenadas que tener menos páginas pero desordenadas o repletas.
- Una opción para preguntar por la frecuencia de un comportamiento que puede fluctuar con el tiempo es preguntar por el segmento de tiempo que más corto que representa la característica en todo el periodo de interés (ej. patrones de sueño suelen variar de día a día y preguntas de hábitos de sueño durante la última semana pueden representar los patrones de sueño durante un año; la frecuencia de sexo sin protección requeriría un periodo más grande).
- Usar diarios puede ser más útil para registrar eventos, comportamientos o síntomas que ocurren episódicamente (ej. caídas) o que varían cada día (ej. sangrado vaginal). Sin embargo, esto tiene ciertos inconvenientes.
- Escalas de Likert son comúnmente usadas para cuantificar actitudes, comportamientos y áreas relacionadas a calidad de vida. Estas brindan una lista de afirmaciones y piden seleccionar la respuesta en un rango de estar de acuerdo o en desacuerdo.
- La consistencia interna de una escala puede ser probada estadísticamente usando medidas como Cronbach’s alpha que evalúa la consistencia general de una escala.
- Para buscar y usar instrumentos ya existentes podemos realizar el proceso de: seleccionar variables → obtener preguntas o instrumentos para medir cada variable → escoger los mejores instrumentos.
- Es mejor resistir la tentación de incluir preguntas adicionales o mediciones “por si acaso” produzcan datos interesantes. Preguntas no esenciales incrementan el esfuerzo y la complejidad. Una máxima para decidir qué ítems incluir es: “Ante la duda, no lo incluyas” (“When in doubt, leave it out“).
- Hay alternativas a las entrevistas clásicas como las entrevistas telefónicas asistidas por computador o las respuestas de voz interactivas.
- Algunas opciones de encuestas online usadas por investigadores son REDCap, SurveyMonkey, Zoomerang, Qualtrics, QuesGen.
Capítulo 16: manejo de datos
Idea central
La información registrada en nuestros estudios terminará generalmente en una base de datos. El manejo de datos comprende definir las tablas de datos, desarrollar el sistema de ingreso de datos y consultar los datos para monitoreo y análisis.
Ideas importantes
- Las bases de datos están compuestas por filas que corresponden a registros individuales (ej. sujetos, eventos, transacciones) y las columnas corresponden a campos (atributos de los registros).
- Es importante incluir diccionarios de datos que hagan explícitas las definiciones de las columnas. Estos diccionarios se conocen como metadata.
- Existe gran cantidad de software usado para el manejo de datos en la investigación (ver lista de programas en el libro) que nos permiten poder realizar los distintos procesos.
- El primer paso para evitar errores en los datos es probar el sistema de colección y manejo de datos como parte de las pruebas previas al estudio. Todo el sistema debe ser probado usando datos ficticios.
- Cualquier campo de las base de datos que contenga identificadores personales debe ser eliminado antes de compartir los datos. Si la base de datos usa múltiples tablas, estos identificadores personales pueden mantenerse en una tabla separada.
- La base de datos debe ser respaldada regularmente y almacenada fuera del sitio. Al final del estudio todos los datos y el análisis debe ser archivado para uso futuro.
Cosas que aprendí
- En grandes ensayos clínicos los especialistas que se encargan de todo el proceso de manejo de datos son llamados clinical data managers.
- Usar un único identificador para los registros (filas) que no tenga ningún significado externo simplifica el proceso de desvincular los datos de identificadores personales.
- Normalization es estructura la base de datos con múltiples tablas relacionadas, en lugar de intentar acomodar los datos en una sola tabla muy amplia y compleja. Es convertir uno o pocas tablas “short-fat” a muchas “tall-skinny“.
- Los diccionarios de datos (o metadata) son tablas también que tienen como filas a los campos y como columnas al nombre del campo, tipo de datos y descripción del campo.
- Varias organizaciones han lanzado iniciativas de desarrollar elementos de datos comunes en áreas de investigación específicas con la intención de estandarizar estructuras de registros de datos y los formatos de los mismos.
- En ensayos clínicos los formularios electrónicos son llamados electronic case report forms (eCRFs).
Capítulo 17: implementando el estudio y control de calidad
Idea central
Un estudio bien diseñado puede fallar en la implementación. Una implementación exitosa comienza con montar los recursos (espacio, staff, dinero) para la puesta en marcha del estudio. La siguiente tarea es finalizar el protocolo a través de una pre-prueba de los planes de reclutamiento, medición e intervención. Luego el estudio se lleva a cabo de forma sistemática ara el control de calidad de procedimientos clínicos y laboratoriales y de manejo de datos, siguiendo los principios de buena práctica clínica.
Ideas importantes
- La mayoría de estudios requieren algún espacio físico para realizar visitas y hacer mediciones. Es importante negociar por un espacio adecuado y cómodo tempranamente en la planificación del estudio (ej. accesible, tener estacionamiento).
- Todos los equipos de investigación deben realizar actividades similares y completar roles similares (sin importar el tamaño), usualmente una persona realiza varias de estas actividades.
- Principal investigator: responsable del diseño, financiación, dotación de personal, conducta y calidad del estudio, así como de reportar hallazgos.
- Project director / clinic coordinator: brinda el manejo día a día de todas las actividades de investigación.
- Recruiter: garantiza que el número deseado de participantes elegibles sea registrado.
- Research assistant / clinic staff: lleva a cabo los procedimientos de visita y realiza las mediciones.
- Quality control coordinator: se asegura que todo el staff siga los procedimientos operativos estándar y supervisa el control de calidad.
- Data manager: diseña, prueba e implementa el sistema de ingreso, edición y manejo de datos.
- Programmer/analyst: produce reportes que describen el reclutamiento, adherencia y calidad de los datos; conduce análisis de datos.
- Statistician: colabora en el diseño de estudio, estima tamaño de muestra y poder, diseña el plan de análisis y las guías de monitoreo de datos y seguridad, interpreta los hallazgos.
- Administrative assistant: brinda apoyo administrativo, organiza reuniones, etc.
- Financial manager: prepara el presupuesto y se encarga de manejar los gastos.
- Human resources manager: asiste en preparar descripciones de trabajos, contratar, evaluar al personal.
- Después de decidir el número de miembros del equipo y la distribución de responsabilidades se debe trabajar con el administrador del departamento para encontrar candidatos calificados y con experiencia.
- La calidad del estudio en equipos de más de un participante comienza con la integridad y liderazgo del investigador principal.
- Desde la fase de planificación el investigador principal debe liderar reuniones regulares con todos los miembros del equipo de investigación, estos deben tener la agenda de antemano, con reportes del progreso de distintos miembros. Estas reuniones brindan la oportunidad de descubrir y resolver problemas y para incluir a todos en el proceso.
- El periodo de actividad del estudio antes de que el primer participante sea registrado se refiere como study start-up y requiere un gran esfuerzo. Esto incluye completar el presupuesto, crear y firmar los contratos, definir posiciones del staff, contratar y entrenar al staff, obtener aprobación del comité de ética, escribir manual de operaciones, desarrollar y probar los formularios y cuestionarios, desarrollar y probar la base de datos, planificar el reclutamiento de participantes.
- El protocolo de estudio generalmente se expande para crear el manual de operaciones, que incluye: protocolo, información sobre organización del estudio y políticas, y una versión detallada de la sección de métodos del estudio de protocolo.
- Los pretests y estudios piloto son muy importantes para evaluar la factibilidad, eficiencia y costo de los métodos de estudio; la reproducibilidad y exactitud de los resultados; probables tasas de reclutamiento; y (a veces) tasas de resultados y tamaños de efecto (effect sizes).
- Cambios importantes en el protocolo cuando la colección de datos ya inició son un problema serio, pero es posible. Para realizarse se requiere la aprobación del comité de ética y otros organismos correspondientes, revisión de documentos, entre otras cosas.
- El closeout (periodo en el que los participantes completan su última visita) de estudios clínicos requiere de cierta planificación cuidadosa.
- Agradecer participantes por el tiempo y esfuerzo e informar que su participación ha sido crítica para el éxito del estudio (esto es lo mínimo).
- Participantes (y sus doctores) deben ser informados de los resultados de pruebas laboratoriales relevantes u otras mediciones que fueron realizadas en el estudio.
- En ensayos clínicos ciegos/blinded los participantes deben ser informados de su estado de tratamiento.
- Una copia del manuscrito principal basado en los resultados del estudio y un comunicado de prensa otra descripción de los hallazgos escritos en lenguaje laico deben ser enviadas a los participantes (y sus doctores), con un teléfono para que los participantes hagan preguntas.
- Después de que todos los participantes hayan completado el estudio deberían ser invitados a una recepción en la que el investigador principal les agrade, discute los resultados del estudio y contesta preguntas.
- Aspectos de la conducta de investigación clínica que están cubiertas por las buenas prácticas clínicas:
- El diseño está apoyado por datos preclínicos, animales y otros de forma apropiada.
- El estudio es conducido de acuerdo a los principios éticos de investigación.
- Un protocolo escrito es seguido cuidadosamente.
- Investigadores y aquellos brindando cuidado clínico están entrenados y calificados.
- Todos los procedimientos clínicos y laboratoriales cumplen estándares de calidad.
- Los datos son confiables y precisos.
- Registros completos y precisos son almacenados.
- Métodos estadísticos son pre-especificados y cuidadosamente seguidos.
- Los resultados son reportados de forma clara y transparente.
- El control de calidad comienza durante la fase de planificación y continúa a lo largo del estudio y debe controlar los distintos procesos realizados.
- En procedimientos clínicos:
- Manual de operaciones
- Calibración, entrenamiento y certificación
- Revisión del desempeño
- Reportes periódicos
- Procedimientos especiales para intervenciones con medicamentos
- En procedimientos laboratoriales:
- Atención al etiquetar
- Blinding
- Blinding duplicates, standard pools y consensus measures
- Contratos con laboratorios comerciales
- En el manejo de datos:
- Datos faltantes
- Datos incorrectos e imprecisos
- Datos fraudulentos
- En procedimientos clínicos:
- En estudios multicéntricos se debe tener un subcomité responsable del control de calidad, desarrollar los procedimientos de estandarización y los sistemas para entrenamiento, certificación y revisión del desempeño del staff del estudio.
- Un error común en la investigación es la tendencia de colectar mucha más información de la que analizarán o publicarán. Se debe evitar esto, parsimonia es la regla general.
Cosas que aprendí
- Muchos centros médicos académicos tienen centros de investigación clínica que están equipados y cuentan con personal con experiencia en investigación.
- El investigador principal no necesita supervisar cada medición hecha por otros miembros del equipo, pero si es capaz de transmitir que está pendiente de las actividades del estudio y que se preocupa por por la protección de los participantes y la calidad de los datos, los demás responderán de la misma manera.
- Es importante reunirse con cada miembro del equipo de cuando en cuando, brindando aprecio y discutiendo problemas y soluciones.
- La mayoría de universidades y centros médicos orientados a la investigación brindan recursos institucionales para realizar investigación clínica, estos incluyen recursos humanos y servicios de manejo financiero, servicios de consulta, entre otros.
- La mayoría de universidades y centros médicos tienen staff con experiencia en financiación para asistir en el desarrollo de presupuestos, es una buena idea conocer bien a esta persona y poder trabajar con ella.
- Tener un pequeño surplus al final del estudio puede ser una buena idea, ya que sponsors usualmente aprueban extensiones sin costo que permiten el uso de esos fondos sobrantes después del término formal del periodo de estudio para completar o extender el trabajo descrito en el alcance del premio.
- Una sugerencia es gastar el 10% del costo eventual del estudio en asegurarse que las estrategias de reclutamiento funcionarán, las mediciones serán apropiada y el tamaño de muestra es realístico. Esto puede hacerse mediante pretests y estudios piloto.
- Es una buena idea realizar un ensayo general, el investigador principal podría servir como un participantes simulado para experimentar el estudio y el equipo de investigación desde ese punto de vista.
- Sin importar cuán cuidadosamente se haya diseñado un estudio y se hayan ensayado los procedimientos, los problemas inevitablemente aparecen cuando comienza el estudio. Una regla general es hacer la menor cantidad de cambios como sea posible.
- Incluir a otros miembros del equipo como revisores del control de calidad es útil para construir la moral y el trabajo en equipo, asegurar el cumplimiento de lo acordado y hacer que todos los miembros tengan un sentido de propiedad del proceso de control de calidad.
- Una buena práctica cuando se transfiere suero de un tubo a otro es etiquetar el nuevo tubo de antemano y sostener los tubos juntos, leyendo uno en voz alta mientras se revisa el otro.
- Cuando se usa blinding en el staff de laboratorio se deben tener procedimientos claros para reportar los resultados algún miembro del staff que esté calificado a revisar los resultados y decidir si el participantes debería ser notificado y qué acción tomar.
- Un procedimiento estandarizado debe ser usado para cambiar datos originales o cualquier forma de datos. Este procedimiento debe consistir en indicar el cambio, la fecha y quién lo realizó sin borrar la información original. Esto brinda evidencia que justifica los cambios en la información y previene el fraude.
Capítulo 18: estudios comunitarios e internacionales
Idea central
Investigación comunitaria (community research) es definida como aquella que tiene lugar fuera del usual centro médico y que está diseñada para cumplir las necesidades de las comunidades donde se realiza. Investigación internacional, especialmente en países pobres, puede tener retos similares. Ambos tipos de investigación requieren de colaboración entre investigadores locales y colegas de un centro de investigación establecido. Estas colaboraciones pueden ser desafiantes por diferentes razones (distancia, cultura, política, financiación).
Ideas importantes
- Comenzar a investigar sin la ayuda de algún colega más experimentado es como aprender solo a nadar. Si es la única opción, entonces algunas reglas pueden hacer este proceso más sencillo:
- Comenzar simple: pequeño estudio piloto descriptivo es una mejor idea que un gran ensayo clínico aleatorizado.
- Pensar en las ventajas comparativas locales: qué preguntas pueden contestarse mejor en el ambiente local que en cualquier otro lugar.
- Network: un nuevo investigador debería conseguir cualquier tipo de contacto que se pueda con científicos de otros lugares que estén trabajando en preguntas de investigación similares.
- Una buena manera de comenzar a investigar en la comunidad usualmente es en colaboración con investigadores más experimentados de otros lados. Existen dos modelos principales para esta colaboración:
- Top-down model: estudios se originan en un centro académico e incluyen investigadores comunitarios en el reclutamiento de pacientes y la conducción del estudio.
- Bottom-up model: investigad ores establecidos brindan guía y asistencia técnica a investigadores locales y comunidades desarrollando sus propias agendas de investigación.
- Investigación internacional tiene desafíos adicionales como la comunicación e idioma, diferencias culturales, financiación, estructuras de poder desiguales, y prácticas financiera y administrativas.
- Además, la investigación internacional tiene sus propios dilemas éticos, como tratamientos inasequibles, el uso de placebos en poblaciones vulnerables, y la forma de lidiar con colaboradores.
- Un objetivo explícito que toda colaboración internacional debería tener es incrementar las capacidades locales de investigación.
Cosas que aprendí
- “10/90 gap” se refiere al hecho de que el 90% de la carga global de enfermedades recibe solamente el 10% de inversión global en investigación.
- La mayoría de agencias de fondos para investigación están más interesadas en patrocinar proyectos de investigación específicos que en dar recursos para construir capacidades de investigación local y colaboraciones.
- Para comenzar un nuevo programa de investigación la opción ideal es una forma de sociedad a largo plazo con la institución de investigación establecida. Memoranda of Understanding (MOUs) puede ser firmada para tener evidencia escrita de la comunicación y acuerdos que se brinden por potenciales financiadores.
- Estudios en países pobres que son dirigidos o financiados en otros lugares requieren aprobación de comités de ética de ambos países.
- Una estrategia par analizar si es que una investigación internacional (en un país de bajos o medianos ingresos) tiene un conflicto ético fundamental es preguntarse por qué esta investigación no se realiza en un país rico. El objetivo verdadero debería ser obtener información para ayudar a las personas de aquel país, en lugar de conveniencia o para evitar obstáculos de hacer el estudio en un país rico.
Capítulo 19: propuesta de financiación de la investigación
Idea central
El protocolo es necesario incluso si es que no se busca financiación, una propuesta (proposal) es un documento escrito con el propósito de obtener fondos de granting agencies. El formato es similar en diferentes organizaciones (ej. NIH).
Ideas importantes
- Preparar la propuesta generalmente requiere varios meses de organización, redacción y revisiones. Los siguientes pasos pueden ayudar a tener un buen punto de partida:
- Decidir donde se enviará la propuesta.
- Organizar un equipo y designa un líder.
- Seguir las guías de la agencia de financiación (funding agency).
- Establecer un calendario y reunirse periódicamente.
- Encontrar modelos de propuestas.
- Trabajar usando un esquema (outline); presentado más abajo.
- Revisar repetidamente.
- Elementos principales de una propuesta (modelo NIH):
- El comienzo:
- Título
- Resumen del proyecto o abstract
- Partes administrativas
- Presupuesto y justificación del presupuesto
- Biosketches (currículos) de investigadores
- Instalaciones y recursos
- Objetivos específicos
- Estrategia de investigación
- Significancia
- Innovación
- Enfoque (anteriormente “métodos”): tiene varias partes.
- Componentes finales:
- Sujetos humanos (participantes)
- Referencias
- Apéndices y acuerdos colaborativos (consultores, cartas de poyo, instituciones colaborativas)
- El comienzo:
- Una buena propuesta debe tener: claridad científica de la estrategia de investigación y claridad de la presentación.
- Existen cuatro categorías de financiación para investigación médica:
- Gobierno (ej. NIH): más grandes proveedores de apoyo, sistema complejo, lenta pero amplias opciones de financiación.
- Fundaciones, sociedades profesionales y donantes individuales: más rápida pero más restringida a ciertas áreas de interés.
- Corporaciones: gran fuente de apoyo, mayor importancia a científicos destacados.
- Recursos intramurales (ej. universidad del investigador): financiación favorable, rápida, excelente primer paso para estudios piloto e investigadores nuevos.
Cosas que aprendí
- Excelente consejo en escribir la aplicación, preparar presupuestos y enviar las propuestas está disponible en la página web del NIH.
- En la página del NIH se puede encontrar información sobre financiación, es un buen lugar para comenzar, se pueden explorar otras instituciones en diferentes áreas de interés.
- El NIH incentiva investigadores nuevos a postular para subsidios (grants) como investigadores principales, tiene oportunidades especiales para ellos y suele dar preferencia a financiar sus propuestas (link). Pero estos investigadores “nuevos” tienen más probabilidades de ser financiados si tienen experiencia (pero no como investigadores principales). También es mejor contar con coinvestigadores con experiencia o usar un mecanismo de múltiples investigadores principales (link).
- Es una buena idea discutir el plan con algún individuo de la agencia de financiación que pueda aclarar algunas cosas e incluso ayudar a diseñar las propuestas.
- El presupuesto no debe dejarse hasta el último minuto, muchos elementos requieren tiempo. Universidades generalmente emplean administradores cuyo trabajo es ayudar a investigadores a preparar presupuestos y otras partes de la propuesta.
- Salarios generalmente comprometen la mayor parte del costo total de un proyecto de investigación clínica típico.
- Agencias generalmente aprueban peticiones razonables de cambios en el presupuesto siempre y cuando el investigador no pida aumentos en los fondos totales.
- Aunque no es una sección requerida, puede ser útil incluir una discusión de limitaciones de la investigación propuesta y enfoques alternativos. Indicar desafíos importantes y soluciones potenciales pueden transformar posibles críticas en fortalezas. Sin embargo, no se debe sobre-enfatizar estos problemas, el objetivo es simplemente mostrar que el investigador ha anticipado todos los problemas potenciales importantes y tiene noción de cómo lidiar con ellos.
- Los revisores primarios y secundarios son los únicos miembros del comité que reciben los apéndices, así que todo lo importante debe encontrarse en la propuesta principal.
- Es importante considerar los diversos puntos de vista y experiencia de los revisores, incluyendo suficiente detalle para convencer a un revisor experto y a la vez atrayendo al mayor número de revisores que no son familiares al área de investigación.
- Una ronda final de revisión por científicos que no formaron parte en el desarrollo de la propuesta puede ser de gran ayuda y ser una experiencia grata.
- Realizar propuestas al NIH requiere ciertas consideraciones especiales y entendimiento del proceso (el libro incluye detalles sobre esto).
- The Foundation Center mantiene un directorio en el que se pueden buscar fundaciones y encontrar información de contacto, así como consejo sobre cómo escribir propuestas efectivas a fundaciones.
Comentario general del libro
En realidad el libro superó mis expectativas, creo que me abrió el panorama completamente y me permitió poder tener un entendimiento general de cómo funciona la investigación en el área médica. Muchas de las dudas que tenía fueron solucionadas con la lectura del libro y en varios puntos me sentí identificado con algunas de las dificultades típicas que el libro mencionaba.
Considero que el libro es bastante claro y conciso, a pesar de que no es del todo corto. El contenido es entendible y relativamente simple para alguien que recién comienza; además, el libro también permite de cierto modo escapar de lo simple si uno quiere y consultar las referencias al final de los capítulos para continuar explorando los temas a más profundidad. Por otro lado, los ejemplos y aplicaciones prácticas (como en los apéndices) le dan cierta utilidad más práctica a los contenidos y permiten poder conectar la teoría con la práctica. Esto hace que durante la lectura de todo el libro haya sentido que realmente estaba narrando cosas concretas, reales.
Lo único que por momentos se sintió un tanto lejano es que el libro es realizado desde la perspectiva de investigación en Estados Unidos y, como peruano, esto no encaja del todo con la realidad del país, hasta donde tengo conocimiento. En algunas ocasiones simplemente pensaba “ojalá hubieran las mismas oportunidades aquí”, pero creo que el penúltimo capítulo (sobre estudios comunitarios e internacionales) abordó esta realidad y brindo cierta información valiosa que coincide con mi forma de pensar: hay que jugar con las fichas que tenemos y así como tenemos desventajas injustas, también tenemos ventajas injustas que hay que saber aprovechar.
En conclusión, el libro fue muy valioso para mí y coincido con la persona que mencionó que saber de metodología de investigación es el primer paso para aprender a hacer investigación. Saber sobre estos temas hace un tiempo hubiera sido de gran ayuda y espero que esta información pueda servirme en el futuro y pueda impactar positivamente en mí y las personas que me rodean.
En este video de mi canal de YouTube puede encontrarse un comentario sobre este libro y sus partes: