Cómo evitar alucinaciones cuando construís software médico

No se evitan pidiéndole al modelo que sea prudente. Se evitan sacándole de las manos las decisiones donde alucinar tiene consecuencia clínica.

Una alucinación en software médico casi nunca se ve. No es una cita inventada que detectás leyendo: es un umbral corrido, un denominador cambiado, una fórmula verosímil que devuelve un número verosímil. No la ves hasta la cama del paciente.

1. La lógica clínica no se genera: se instala.

Herramientas de línea de comandos determinísticas traen módulos escritos, testeados y versionados: anion gap, PaFi, balance hídrico, sepsis, ERC, cetoacidosis. Determinístico quiere decir que el mismo comando devuelve el mismo código, hoy y dentro de seis meses. No hay temperatura ni reinterpretación. Lo que instalás pasó sus tests antes de que tu pantalla existiera.

2. El LLM trabaja de compositor, no de autor.

Su tarea es conectar: el módulo de cálculo con el formulario, el resultado con la tabla, el error con el mensaje. Arma con piezas que validó otro. Es justo donde un modelo rinde bien y donde equivocarse no cuesta nada: si el cableado sale mal, lo ves apenas abrís la pantalla.

3. Cada cosa se verifica según cómo falla.

Lo que el modelo escribe falla a la vista. Lo que importa falla en silencio, y por eso llega revisado de antes.

El modelo compone, el CLI provee, la evidencia queda del lado que se puede auditar.

No es IA con criterio médico. Es IA sin permiso para tenerlo.