Quanto custa um chatbot RAG sobre os nossos próprios documentos?

A maior parte do custo não é o modelo. É o estado dos seus dados: quantos formatos, quanto disso são imagens digitalizadas, quantos documentos se contradizem, e se alguém consegue dizer qual versão é a vigente.

O que está incluído: Busca sobre seus documentos, chamados ou catálogo; Um conjunto de avaliação e uma qualidade de resposta medida; Limites, um “não sei” honesto e a passagem para uma pessoa; Um orçamento de custo e latência, com telemetria por requisição.

O que altera o preço: Quantos dados de origem existem, e em que estado eles estão, Em quantos idiomas ele responde, Se o modelo pode agir, ou só responder, Instalação no seu próprio ambiente.

Construímos um conjunto de avaliação antes de construir a qualidade das respostas, porque "agora parece melhor" não é uma medição e não pode ser defendido diante de quem não estava na sala.