Efficient probabilistic model learning techniques for application to the verification of Large Language Models

Abstract

En esta tesis se propone un enfoque para la verificación formal de Grandes Modelos de Lenguaje (LLMs, por sus siglas en inglés) mediante la extracción de modelos probabilísticos, específicamente autómatas probabilísticos (PDFAs), que permitan representar de manera aproximada la distribución generada por el LLM. Se utiliza una estrategia de aprendizaje activo inspirada en el marco MAT (Minimally Adequate Teacher), garantizando propiedades de corrección probablemente aproximada (PAC). Posteriormente, el modelo extraído se traduce a estructuras de verificación (por ejemplo, cadenas de Markov de tiempo discreto) con el fin de emplear herramientas de model checking (e.g., PRISM) para verificar propiedades temporales en lógicas como PCTL. Así, se logra un flujo sistemático que integra la extracción de modelos desde un LLM bajo restricciones definidas por autómatas guía, la formalización de propiedades deseadas y la aplicación de técnicas de verificación exhaustiva. Se presentan resultados experimentales que evidencian la factibilidad del método y su aplicabilidad a escenarios concretos, junto con desafíos referentes a la complejidad de las consultas al LLM y a la necesidad de optimizaciones para el aprendizaje de autómatas.