Evaluación continua

Benchmarks y calidad de respuesta

Medimos la calidad del motor sobre un golden dataset versionado y reproducible, no con métricas de marketing. Así detectamos alucinaciones, contaminación cruzada y respuestas que deberían derivarse.

Exactitud de respuesta

99.6%

La respuesta afirma el valor exacto de la especificación consultada (casos con ground truth).

Pass rate

99.6%

Casos aprobados sobre el total del dataset.

Contaminación cruzada

0.0%

Se coló información de un producto parecido (0 % = ninguno).

Resultados del golden dataset

Métrica Qué mide Resultado
Pass rate Casos aprobados sobre el total del dataset. 99.6%
Model found El modelo/SKU correcto aparece en respuesta o fuentes. 98.8%
Answer accuracy La respuesta afirma el valor exacto de la especificación consultada (solo casos con ground truth). 99.6%
Contamination Se coló información de un producto parecido. 0.0%
Deferred El sistema derivó cuando el dato no estaba en el corpus. 1.2%

Resultados correspondientes al golden dataset versión actual (256 casos). Última ejecución: 24/10/2026 01:56 UTC. No representan una garantía universal de rendimiento.

Sobre «deferred» 0%: el set sintético está ingerido por completo, por lo que casi todos los casos son respondibles; las consultas sobre productos ausentes del corpus se evalúan por separado para verificar que el sistema derive en lugar de inventar. Un 0% aquí no significa que no existan derivaciones, sino que el conjunto actual contiene pocas consultas no respondibles.

Tamaño de muestra: un dataset pequeño y honesto sirve para demostrar que existe un proceso de evaluación, no para afirmar una tasa de error real en producción. Ampliamos el corpus y publicamos resultados por tipo de consulta (catálogos, documentación, multisalto) a medida que crece.

Historial de evolución

Cada corrida del golden dataset sintético en orden cronológico, etiquetada como versión (v1 = primera, vN = última).

Versión Pass rate Answer accuracy Contamination Deferred
v1 58.0% 58.0% 0.0% 0.0%
v2 82.0% 82.0% 0.0% 0.0%
v3 68.0% 68.0% 0.0% 0.0%
v4 60.0% 60.0% 0.0% 0.0%
v5 83.0% 83.0% 0.0% 0.0%
v6 79.7% 80.6% 0.0% 1.2%
v7 79.7% 80.6% 0.0% 1.2%
v8 (actual) 99.6% 99.6% 0.0% 1.2%
Comparación de arquitecturas

GraphRAG vs RAG

Benchmark separado del golden dataset de calidad del sistema. Acá se comparan dos arquitecturas sobre consultas relacionales (multi-hop, impacto, cumplimiento, agregación): el retrieval vectorial no puede resolverlas, el grafo sí. El baseline RAG usa embeddings Jina (top del ranking global MTEB) + Gemini: no es un RAG débil, es estado del arte.

GraphRAG

100.0%

Razonamiento sobre el grafo de conocimiento.

RAG sin guard

23.1%

Retrieval vectorial + LLM, sin guard de SKU.

RAG con guard SKU

25.6%

El guard ayuda a specs puntuales, no a relaciones.

Pass rate sobre 160 casos relacionales del golden dataset GraphRAG. El guard de SKU es precisión de specs, no razonamiento relacional.

Metodología

  • Golden dataset versionado: casos de regresión (consulta + modelo esperado + productos prohibidos).
  • Casos respondibles y no respondibles: separamos consultas con producto en corpus de consultas fuera de corpus; estas últimas deben derivar, no responder.
  • Evaluación determinista: un juez compara respuesta y fuentes recuperadas, sin depender del LLM.
  • Exactitud de respuesta: sobre los casos con ground truth, verificamos que la respuesta afirme el valor exacto de la especificación.
  • Comparación de modelos: el mismo dataset se corre contra el modelo actual y candidatos antes de migrar.
  • CI: los tests puros y la validación del dataset corren en cada push.

Lee más en el guard de SKU y el motor interno.