Cómo leer un “paper” en psicofarmacología: herramientas para la lectura crítica

Por: Flavio Guzmán
Médico Psiquiatra
JTP de las Cátedras de Farmacología y Psicofarmacología
Facultad de Ciencias de la Salud
Universidad de Mendoza

Introducción

La psicofarmacología clínica y la neurofarmacología son campos de constante evolución, que exigen a los profesionales cultivar hábitos que promuevan la educación continua más allá del período de formación en una residencia médica.

Una de las herramientas de utilidad para la formación continua es la habilidad de aplicar el pensamiento crítico a la lectura de artículos científicos. Esta disciplina, conocida como “critical appraisal” en inglés, ha tenido un notable desarrollo en los últimos 15 años, llegando a ocupar módulos enteros de posgrado en centros académicos.

El presente trabajo intenta proveer una descripción general de algunos de los conceptos más importantes de esta práctica. Al no pretender ser exhaustivo en todas las vertientes, se hará foco en aspectos puntuales relativos a la interpretación de ensayos clínicos aleatorizados.

Adicionalmente, se comentan brevemente consideraciones a tener en cuenta en relación a la detección de sesgo comercial influido por la industria farmacéutica (autores “fantasma” y publicaciones “descartables”).

Material y Métodos

Se realizó una búsqueda utilizando los términos “critical appraisal”, “critical appraisal psychiatry” en las bases de datos de PubMed y el buscador Google Scholar.

Se consultó las bases de la Universidad de Nottingham y el NHS del Reino Unido en busca de documentos con “checklist” para valoración crítica.

También se utilizó el buscador de PLoS (Public Library of Science) y PLoS Clinical Trials, con los términos “medical ghostwriting” y “CME marketing”.

El contexto actual: la medicina basada en la evidencia

Basándose en ramas de la salud pública como la epidemiología y la bioestadística; la medicina basada en la evidencia busca simplificar el proceso de acceder, valorar y aplicar la evidencia en investigación [16]. Los componentes de la medicina basada en la evidencia pueden dividirse en cinco pasos:

1. Traducción de la incertidumbre a una pregunta clínica plausible de respuesta.
2. Obtención sistemática de la mejor evidencia disponible.
3. Valoración crítica de la evidencia en búsqueda de validez, relevancia clínica y aplicabilidad.
4. Aplicación de los resultados en la práctica.
5. Evaluación del desempeño.

Existe una “jerarquía” que ordena a los diferentes tipos de estudio en relación a su peso en términos de evidencia [16]. En el mayor nivel se encuentran los estudios de investigación secundaria (meta-análisis y revisiones sistemáticas), en ellos se han integrado críticamente los datos obtenidos de los estudios primarios.

Es importante destacar que existe una corriente de académicos e investigadores que han tomado una postura escéptica hacia la medicina basada en la evidencia, puntualmente hacia la psiquiatría basada en la evidencia (PBE).

Berrios [1] en particular ha sido contundente en su crítica, argumentando que existe poca “evidencia” disponible para demostrar que el funcionamiento de la PBE tiene ventajas estadísticamente significativas sobre el sistema basado en la experiencia médica, la autoridad y el efecto placebo generado en el seno de la relación médico-paciente.

Primera aproximación a un artículo

¿Por qué se realiza el estudio y qué hipótesis se investigó?

• Esto debería ser claramente especificado en la sección de métodos, si es que no fue explicitado en la introducción.

• ¿Qué tipo de estudio se realizó?
  • Aquí es importante responder si es un estudio primario o secundario. Los estudios primarios reportan hallazgos originales, mientras que los secundarios (o integrativos) intentar sintetizar y realizar conclusiones derivadas de los estudios primarios.
• ¿Es el diseño adecuado a la hipótesis postulada?
  • En lo que respecta al estudio de la eficacia de un tratamiento farmacológico, el diseño de estudio preferido es el ensayo clínico controlado y aleatorizado.

   

Analizando un ensayo clínico controlado aleatorizado

En un ensayo clínico aleatorizado los participantes del estudio son asignados al azar por un proceso equivalente al arrojar una moneda al aire. Se distribuyen en un grupo de intervención (por ejemplo, tratamiento farmacológico) y en otro grupo (por ejemplo, placebo).

Este tipo de diseño es el más adecuado para evaluar intervenciones farmacológicas, pero no está exento de imperfecciones. En la figura 2 se evalúan las ventajas y desventajas de un ensayo clínico aleatorizado [6] .

Cuando evaluamos un ensayo clínico controlado aleatorizado es una buena práctica orientativa dividir nuestra tarea en 3 partes.
A. Evaluar la validez interna del ensayo.
B. Analizar los resultados desde un punto de vista estadístico.
C. Determinar la relevancia de los hallazgos en nuestra práctica clínica cotidiana.

Evaluando la validez interna de un ensayo clínico

Se entiende por validez interna una estimación del grado en que se puede realizar una conclusión acerca de una relación causal (causa – efecto).

Es importante que la intervención y el grupo control sean similares en todos los aspectos, salvo por el tratamiento que reciben. De otra manera no se puede asegurar que alguna diferencia en los resultados finales no sea atribuible a diferencias prexistentes. Por ejemplo, si uno de los grupos tiene una edad promedio diferente o alguna constitución particular, esto podría explicar por qué un grupo tuvo mejores resultados que otro [6].

¿Que es la aleatorización? (randomization)

Luego de la creación de dos grupos en la población a estudiar que sean similares, se decide completamente por azar a qué grupo pertenecerá cada paciente. Debe existir la probabilidad que cualquiera de los sujetos pueda ser asignado a cualquiera de los grupos.

Si los investigadores pueden saber a qué grupo será asignado un determinado paciente, esto podría tener un efecto en su decisión de incluirlo o no. Esto indica la importancia que el proceso de asignación no sea conocido por los investigadores (sesgo de selección).

En otras ocasiones, puede darse que incluso tras el proceso de aleatorización los grupos no sean iguales, por eso también es importante comparar que las características de “baseline” de cada grupo hayan sido similares.
Es también importante monitorear la tasa de abandono (drop-out), o retiradas (withdrawal) del estudio, así como también el número de pacientes en los que no se pudo completar un seguimiento, para asegurar que la composición de los grupos no haya cambiado.

Adicionalmente, los pacientes deberían ser estudiados en el grupo al que fueron asignados, inclusive si no recibieron el tratamiento al que fueron asignados (análisis de intento a tratar).

Principales fuentes de sesgo en ensayos clínicos aleatorizados

El atractivo principal del ensayo clínico controlado aleatorizado deriva de su potencial de reducir el sesgo de selección.
La asignación al azar de los participantes a diferentes grupos aumenta el potencial de un estudio de ser libre de sesgo de asignación, pero no tiene efecto en otros sesgos importantes.

Inclusive un método de aleatorización de asignación de participantes no protege por completo de un sesgo de selección. Éste puede ocurrir tanto en la forma en que los individuos son incluidos o rechazados de un estudio, y en la forma en la que las intervenciones son asignadas a los individuos una vez que han aceptado participar.

Los resultados de un ensayo clínico aleatorizado pueden tener aplicabilidad limitada como resultado de: los criterios de exclusión, el sesgo de inclusión (selección de sujetos de un grupo que no es representativo de una población con la patología a estudiar) y análisis de resultados puramente “objetivos” que pueden terminar excluyendo aspectos cualitativos importantes de la intervención. 

En la figura 3 se ejemplifican sesgos posibles a lo largo de un ensayo clínico aleatorizado.

Figura 3. Modificado de: Greenhalgh T. Assessing the methodological quality of published papers. BMJ. 1997;315(7103):305-8.

Validez: Algunas preguntas útiles

A continuación se enumeran preguntas prácticas a tener en cuenta durante la lectura de un ECR.

• ¿Fue el grupo de pacientes caramente definido?
  • Población estudiada: edad, género, contexto, país
  • Comorbilidad
  • “Outcomes” medidos
• ¿Se realizó un seguimiento de todos los pacientes que ingresaron al estudio?
• ¿Fueron enmascarados tanto pacientes como evaluadores en relación al tratamiento que estaban recibiendo?

Analizando los resultados

Valor p

El valor p es la probabilidad que un determinado resultado haya sido producto del azar. La práctica científica estándar, usualmente considera un valor p menor de 1 en 20 (expresado como p ˂0.05 y equivalente a una posibilidad de 1 en 20) como “estadísticamente significativo” y un valor de p menor a 1 en 100 (p ˂ 0.01) como “altamente estadísticamente significativo”.

El NNT

Uno de los métodos utilizados para describir la efectividad de un fármaco es calcular cuántos pacientes es necesario tratar para obtener el efecto deseado (prevenir un evento negativo). Este valor es conocido como el número necesario a tratar o NNT.

¿Cómo se calcula el NNT?

Para lograr calcular el NNT es necesario obtener los siguientes datos:

• Tasa de eventos control (Controls Event Rate: CER): es la proporción de pacientes en el grupo control que padece un evento negativo.
• Tasa de eventos experimental (Experimental Event Rate: EER): es la proporción de pacientes en el grupo experimental que padecen un evento negativo.

Con estos datos en mano, es posible calcular la reducción de riesgo absoluto (Absolute Risk Reduction o AAR):

ARR = CER- EER

Finalmente, una vez que conocemos la reducción del riesgo absoluto (ARR), podemos calcular el NNT.

El número necesario a tratar (NNT) es la inversa de la reducción de riesgo absoluta. Se calcula dividiendo 1 por la reducción absoluta de riesgo. Como la reducción de riesgo absoluta se expresa como un porcentaje, es necesario multiplicarlo por 100.

NNT = 1/ ARR x 100

Un ejemplo de cálculo de NNT

Una población de 200 pacientes fue dividida en un grupo experimental y uno control con 100 pacientes en cada uno. El grupo experimental recibió haloperidol para la prevención de brotes psicóticos. 10 pacientes en el grupo experimental sufrieron un brote psicótico durante el período del estudio. 35 pacientes en el grupo control sufrieron un brote durante el período del estudio.

35 pacientes sufrieron el evento, de una población total de 100.
Esto significa que: CER=35%

Tasa de eventos experimental (Experimental Event Rate: EER)

10 pacientes sufrieron el evento, de una población total de 100.
Esto significa que: EER=10%

Cálculo de la reducción de riesgo absoluto (Absolute Risk Reduction o AAR)

ARR = CER- EER
ARR = 35- 10
ARR = 25%

Cálculo del NNT

NNT = 1/ ARR x 100
NNT = 1/ 25 x 100
NNT = 4

En este ejemplo, es necesario tratar 4 pacientes con haloperidol para lograr la prevención de un brote psicótico en 1 de ellos.

Implicancias y valor del NNT

En una situación hipotética ideal, un tratamiento óptimo tendría un NNT de 1. Esto significa que todos los sujetos se beneficiarían del efecto terapéutico del fármaco.

Lamentablemente, esta situación es muy poco frecuente, pero de esto se desprende que mientras más bajo sea el NNT, más se aproxima al ideal.

No existen reglas prestablecidas en relación a un valor de NNT aceptable, pero es necesario considerar este valor en un contexto que incluya la valoración de:

•  La severidad de la patología o trastorno en estudio
•  El perfil de efectos adversos del fármaco
•  El costo económico
•  Las preferencias del paciente

Relevancia

El último paso es determinar si el estudio que consideramos válido y estadísticamente significativo resulta relevante para nuestra práctica clínica.
Para ello es importante distinguir las diferencias que puedan existir entre los pacientes del ensayo clínico y la población que tratamos.

Algunas diferencias a tener en cuenta incluyen:

• Sexo
•  Edad
• Comorbilidades médicas y psiquiátricas
•  Polifarmacia

Otra variable a tener en cuenta es si el tratamiento propuesto por los autores es factible en nuestro contexto (principalmente debido a las condiciones de monitoreo y control que se llevan a cabo durante un ensayo clínico).

Las preferencias del paciente son otro factor importante que debería guiar nuestro juicio acerca de la aplicabilidad del estudio clínico.

La evaluación económica debe ser algo también presente en la mente del prescriptor. El optar por un medicamento notoriamente más costoso sobre otro más económico y con igual efectividad y perfil de efectos adversos tiene un claro impacto en el uso de recursos económicos.

Consideraciones en cuanto al sesgo comercial

El sesgo comercial merece un capítulo aparte ya que en muchas ocasiones no ocurre accidentalmente.

El rol de la industria farmacéutica en la educación médica ha ganado protagonismo en los últimos años, principalmente por utilizar la literatura médica como vehículo de mensajes de marketing.

Es una realidad que es necesaria la colaboración entre investigadores independientes y la industria para el desarrollo de nuevos tratamientos. El problema, según algunos críticos es cuando el marketing es disfrazado de ciencia en publicaciones respetadas.

Es importante que los prescriptores estemos al tanto de algunas prácticas, ya que algunas tienen un alto grado de sofisticación.

Redactores fantasmas y autores que prestan credibilidad

“¿Cuál es el objetivo de las publicaciones? El propósito de los datos es apoyar, directa o indirectamente, el marketing de nuestro producto”

Sismondo S. Ghost Management: How Much of the Medical Literature Is Shaped Behind the Scenes by the Pharmaceutical Industry? PLoS medicine 2007;4:e286.

La “redacción fantasma” ocurre cuando alguien que ha hecho contribuciones significativas o ha escrito un manuscrito no es incluido como autor del mismo. Frecuentemente implica compañías farmacéuticas ( o empresas tercerizadas de comunicación médica) produciendo artículos en los que se promueven los beneficios y se minimizan los riesgos de un determinado producto.

La práctica consiste en convocar a académicos y/ o líderes de opinión en una determinada temática como “autores invitados”, para otorgar a la publicación falsa credibilidad e independencia.

Un ejemplo en el ámbito de la psiquiatría es el del Dr. Charles Nemeroff y su publicación “ Recognition and Treatment of Psychiatric Disorders: A Psychopharmacology Handbook for Primary Care”. De acuerdo a documentación publicada en el New York Times, GSK le pagó Nemeroff más de 100.000 dólares por figurar como autor en el texto que tenía como fin aumentar las prescripciones de paroxetina por médicos de atención primaria.

Publicaciones “descartables”

Los journals “descartables” son definidos como aquellos que no contienen investigación original, son entregados de manera gratuita y tienen una alta relación publicidad/texto.

Encuestas sugieren que este tipo de publicaciones son más leídas que las revistas con referato.

El inconveniente con estas publicaciones es que al ser financiadas principalmente por los patrocinadores y no por sus suscriptores, las prioridades serán las necesidades publicitarias y no las educativo-científicas de los lectores.

Conclusiones

Mientras que medicina basada en la evidencia es considerada por algunos una simple “moda”, sus defensores más acérrimos la ven como una guía que les permite medir todo el conocimiento en una jerarquía de 6 escalones, prácticamente desacreditando el valor de aquello que se encuentra en los peldaños inferiores.

La psicofarmacología clínica tiene dos facetas: la de ciencia (qué prescribir) y la de arte (cómo prescribir) . Es desde la segunda faceta donde se pone en valor el conocimiento guiado por la práctica clínica y por la propia autoevaluación de nuestra práctica cotidiana.

En mi opinión, es necesaria una integración entre las dos fuentes de conocimiento: por un lado el directo o empírico que obtenemos a través de la atención a nuestros pacientes y discusiones con colegas más experimentados y por el otro el de la literatura científica.

Idealmente deberíamos hacer un esfuerzo por evitar a toda costa disociar lo empírico de lo académico. La prescripción basada puramente en conocimientos desactualizados o transmitidos por “expertos” sin respaldo de la literatura puede ser tan perjudicial como la aplicación acrítica del último ensayo clínico o meta-análisis.

Bibliografía

1. Berrios, G. (2011). Hacia una nueva epistemología de la Psiquiatría. Buenos Aires: Editorial Polemos.
2. Bero, L. A., & Rennie, D. (1996). Influences on the quality of published drug studies. [Review]. Int J Technol Assess Health Care, 12(2), 209-237.
3. Chalmers, T. C., Celano, P., Sacks, H. S., & Smith, H., Jr. (1983). Bias in treatment assignment in controlled clinical trials. [Clinical Trial Randomized Controlled Trial Research Support, U.S. Gov’t, P.H.S.]. N Engl J Med, 309(22), 1358-1361. doi: 10.1056/NEJM198312013092204
4. Finkelstein, D. (1985). Oh, the times! Tabloids and other non-peer-reviewed publications. [Editorial]. Arch Ophthalmol, 103(11), 1641-1642.
5. Fugh-Berman, A. J. (2010). The Haunting of Medical Journals: How Ghostwriting Sold “HRT”. PLoS Med, 7(9), e1000335. doi: 10.1371/journal.pmed.1000335
6. Greenhalgh, T. (1997). Assessing the methodological quality of published papers. [Review]. BMJ, 315(7103), 305-308.
7. Greenhalgh, T. (1997). How to read a paper : getting your bearings (deciding what the paper is about). BMJ, 315(7102), 243-246. doi: 10.1136/bmj.315.7102.243
8. Greenhalgh, T. (1997). How to read a paper: Papers that report drug trials. BMJ, 315(7106), 480-483. doi: 10.1136/bmj.315.7106.480
9. Guyatt, G. H., Sackett, D. L., & Cook, D. J. (1993). Users’ guides to the medical literature. II. How to use an article about therapy or prevention. A. Are the results of the study valid? Evidence-Based Medicine Working Group. JAMA, 270(21), 2598-2601.
10. Guyatt, G. H., Sackett, D. L., Sinclair, J. C., Hayward, R., Cook, D. J., & Cook, R. J. (1995). Users’ guides to the medical literature. IX. A method for grading health care recommendations. Evidence-Based Medicine Working Group. JAMA, 274(22), 1800-1804.
11. Jadad, A. R., & Rennie, D. (1998). The randomized controlled trial gets a middle-aged checkup. [Comment Editorial]. JAMA, 279(4), 319-320.
12. Jaeschke, R., Guyatt, G., Shannon, H., Walter, S., Cook, D., & Heddle, N. (1995). Basic statistics for clinicians: 3. Assessing the effects of treatment: measures of association. [Research Support, Non-U.S. Gov’t]. CMAJ, 152(3), 351-357.
13. Juni, P., Altman, D. G., & Egger, M. (2001). Systematic reviews in health care: Assessing the quality of controlled clinical trials. [Research Support, Non-U.S. Gov’t Review]. BMJ, 323(7303), 42-46.
14. Louie, A., Roberts, L. W., & Coverdale, J. (2005). Imparting the knowledge, science, and art of psychopharmacology: thoughts on educational research questions. [CommentEditorial]. Acad Psychiatry, 29(2), 113-115. doi: 10.1176/appi.ap.29.2.113
15. Relman, A. S. (2001). SEparating continuing medical education from pharmaceutical marketing. JAMA: The Journal of the American Medical Association, 285(15), 2009-2012. doi: 10.1001/jama.285.15.2009
16. Sackett, D. L., Rosenberg, W. M. C., Gray, J. A. M., Haynes, R. B., & Richardson, W. S. (1996). Evidence based medicine: what it is and what it isn’t. BMJ, 312(7023), 71-72. doi: 10.1136/bmj.312.7023.71
17. Sismondo, S. (2007). Ghost Management: How Much of the Medical Literature Is Shaped Behind the Scenes by the Pharmaceutical Industry? PLoS Med, 4(9), e286. doi: 10.1371/journal.pmed.0040286
18. The, P. M. E. (2011). Ghostwriting Revisited: New Perspectives but Few Solutions in Sight. PLoS Med, 8(8), e1001084. doi: 10.1371/journal.pmed.1001084