¿Cuánto cuesta un chatbot RAG sobre nuestros propios documentos?

La mayor parte del costo no es el modelo. Es el estado de sus datos: cuántos formatos, cuánto de ello son imágenes escaneadas, cuántos documentos se contradicen entre sí, y si alguien puede decir cuál versión es la vigente.

Qué incluye: Búsqueda en sus documentos, tickets o catálogo; Un conjunto de evaluación y una calidad de respuesta medida; Límites, un «no lo sé» honesto y el paso a una persona; Presupuesto de coste y de latencia, con telemetría por consulta.

Qué mueve el precio: Cuántos datos de origen hay y en qué estado, En cuántos idiomas responde, Si el modelo puede actuar o solo responder, Instalación en su propio entorno.

Construimos un conjunto de evaluación antes de construir la calidad de las respuestas, porque «ahora se siente mejor» no es una medición y no se puede defender ante nadie que no estuviera presente.