Medimos la calidad del motor sobre un golden dataset versionado y reproducible, no con métricas de marketing. Así detectamos alucinaciones, contaminación cruzada y respuestas que deberían derivarse.
Exactitud de respuesta
99.6%
La respuesta afirma el valor exacto de la especificación consultada (casos con ground truth).
Pass rate
99.6%
Casos aprobados sobre el total del dataset.
Contaminación cruzada
0.0%
Se coló información de un producto parecido (0 % = ninguno).
| Métrica | Qué mide | Resultado |
|---|---|---|
| Pass rate | Casos aprobados sobre el total del dataset. | 99.6% |
| Model found | El modelo/SKU correcto aparece en respuesta o fuentes. | 98.8% |
| Answer accuracy | La respuesta afirma el valor exacto de la especificación consultada (solo casos con ground truth). | 99.6% |
| Contamination | Se coló información de un producto parecido. | 0.0% |
| Deferred | El sistema derivó cuando el dato no estaba en el corpus. | 1.2% |
Resultados correspondientes al golden dataset versión actual (256 casos). Última ejecución: 24/10/2026 01:56 UTC. No representan una garantía universal de rendimiento.
Sobre «deferred» 0%: el set sintético está ingerido por completo, por lo que casi todos los casos son respondibles; las consultas sobre productos ausentes del corpus se evalúan por separado para verificar que el sistema derive en lugar de inventar. Un 0% aquí no significa que no existan derivaciones, sino que el conjunto actual contiene pocas consultas no respondibles.
Tamaño de muestra: un dataset pequeño y honesto sirve para demostrar que existe un proceso de evaluación, no para afirmar una tasa de error real en producción. Ampliamos el corpus y publicamos resultados por tipo de consulta (catálogos, documentación, multisalto) a medida que crece.
Cada corrida del golden dataset sintético en orden cronológico, etiquetada como versión (v1 = primera, vN = última).
| Versión | Pass rate | Answer accuracy | Contamination | Deferred |
|---|---|---|---|---|
| v1 | 58.0% | 58.0% | 0.0% | 0.0% |
| v2 | 82.0% | 82.0% | 0.0% | 0.0% |
| v3 | 68.0% | 68.0% | 0.0% | 0.0% |
| v4 | 60.0% | 60.0% | 0.0% | 0.0% |
| v5 | 83.0% | 83.0% | 0.0% | 0.0% |
| v6 | 79.7% | 80.6% | 0.0% | 1.2% |
| v7 | 79.7% | 80.6% | 0.0% | 1.2% |
| v8 (actual) | 99.6% | 99.6% | 0.0% | 1.2% |
Benchmark separado del golden dataset de calidad del sistema. Acá se comparan dos arquitecturas sobre consultas relacionales (multi-hop, impacto, cumplimiento, agregación): el retrieval vectorial no puede resolverlas, el grafo sí. El baseline RAG usa embeddings Jina (top del ranking global MTEB) + Gemini: no es un RAG débil, es estado del arte.
GraphRAG
100.0%
Razonamiento sobre el grafo de conocimiento.
RAG sin guard
23.1%
Retrieval vectorial + LLM, sin guard de SKU.
RAG con guard SKU
25.6%
El guard ayuda a specs puntuales, no a relaciones.
Pass rate sobre 160 casos relacionales del golden dataset GraphRAG. El guard de SKU es precisión de specs, no razonamiento relacional.
Lee más en el guard de SKU y el motor interno.