Por qué cada construcción de Business Logistics pasa por una revisión OWASP LLM

La mayoría de las demos de IA son impresionantes e inentregables. La brecha entre ambas casi siempre es la seguridad. Antes de que cualquier sistema de Business Logistics toque a un cliente real, pasa por una revisión de seguridad construida sobre el OWASP LLM Top 10 — una lista de las formas en que las aplicaciones de modelos de lenguaje realmente se explotan.

Los riesgos que más importan

El más grande es la inyección de prompts (LLM01): texto no confiable que secuestra las instrucciones del modelo. Tratamos cada contenido provisto por el usuario como hostil por defecto — encerrándolo entre delimitadores, limitando la longitud de la conversación y nunca dejando que el texto libre del modelo decida algo que cueste dinero.

Ese último punto merece detenerse. En nuestro constructor de cotizaciones por chat, el modelo recopila el alcance — nunca emite un precio. Un motor determinista produce cada cifra en dólares. Al modelo se le puede convencer de decir casi cualquier cosa; al motor de precios no.

El resto de la lista

• Manejo inseguro de salidas — la salida del modelo se escapa antes de llegar a HTML o a un correo.
• Divulgación de información sensible — los datos personales se redactan de los registros; nada sale del entorno del cliente.
• Agencia excesiva — las herramientas se limitan al mínimo que un agente necesita, y las acciones de alto impacto quedan detrás de un control humano.

Nada de esto es exótico. Es simplemente la diferencia entre una demo y un sistema que puede respaldar con su nombre.

Por qué un control, no una guía

Una lista que debería seguir se vuelve una lista que a veces sigue. La nuestra es un control: una construcción no se entrega hasta que seguridad da el visto bueno. Eso es más lento. También es la razón por la que podemos entregarle las llaves a un cliente sin contener la respiración.