Como proyecto de fin de semana estuve explorando modelos locales para extracción de información médica: todo en mi computadora, sin enviar nada fuera.

Probé un modelo pequeño tal cual, preguntándole en lenguaje natural, y los resultados no fueron muy buenos. Así que en vez de cambiar de modelo, se me ocurrió trabajar en un arnés alrededor: definiciones de cada hallazgo y de sus niveles de gravedad, un formulario fijo que el modelo debe rellenar, y un reintento si la respuesta no sirve.

Volví a medir. Mismo modelo, mismos documentos (sintéticos), misma clave de corrección.

La única diferencia era el arnés:

· SIN arnés: 1 de 3 hallazgos, y 2 que no estaban en el texto.

· CON arnés: 3 de 3, ninguno inventado.

· Y, contra la intuición, con arnés fue un 45% más rápido: con un formulario que rellenar el modelo se detiene;en libertad, sigue escribiendo.

Lo que más me llamó la atención fue cómo fallaba sin arnés. No estaba perdido: identificaba el área correcta del documento y erraba el nivel de gravedad. En documentación clínica el nivel es la respuesta, y equivocarlo cuesta doble: el hallazgo real queda sin registrar y aparece otro que nunca existió.

Mi lectura provisional: lo que faltaba no era formato, era criterio.

Eval: 2 documentos, 3 hallazgos, una ejecución por condición. Es una señal, no un estudio.

Toca repetirlo a mayor escala.