Combien coûte un chatbot RAG sur nos propres documents ?

La plus grande partie du coût n'est pas le modèle. C'est l'état de vos données : combien de formats, quelle part est constituée d'images scannées, combien de documents se contredisent, et si quelqu'un peut dire quelle version est la version en vigueur.

Ce qui est inclus : Recherche dans vos documents, vos tickets ou votre catalogue; Un jeu d’évaluation et une qualité de réponse mesurée; Garde-fous, un « je ne sais pas » honnête et le passage à un humain; Un budget de coût et de latence, avec une télémétrie par requête.

Ce qui fait varier le prix : Le volume des données sources et leur état, Le nombre de langues de réponse, Si le modèle peut agir ou seulement répondre, Une installation dans votre propre environnement.

Nous construisons un jeu d'évaluation avant de construire la qualité des réponses, parce que « ça semble mieux maintenant » n'est pas une mesure et ne peut être défendu devant quelqu'un qui n'était pas dans la pièce.