​

Resumen

Usa Experiments cuando quieras comparar prompts o agentes contra el mismo conjunto de entradas. Un experimento te permite:

• subir o seleccionar un conjunto de datos
• agregar candidatos de prompt del panel, prompts desplegados y agentes
• ejecutar cada fila del conjunto de datos contra cada candidato
• revisar salidas, uso, costo y fallos en un solo lugar

Los experimentos son útiles cuando quieres probar la calidad antes de publicar un cambio o comparar modelos, versiones de prompt, variantes desplegadas y configuraciones de agentes.

​

Qué encontrarás aquí

• Conjuntos de datos — Sube archivos CSV, mapea columnas y comprende el formato del conjunto de datos
• Agregar candidatos — Agrega prompts del panel, prompts desplegados y agentes
• Construir un experimento — Crea un experimento y prepáralo para una ejecución
• Ejecutar un experimento — Inicia, monitorea y cancela ejecuciones de experimentos
• Revisar resultados — Compara salidas, abre detalles de solicitudes e inspecciona fallos
• Análisis de ejecuciones — Compara el costo, tokens, latencia y tasa de éxito de las ejecuciones
• Evaluadores — Entiende el estado actual de los evaluadores y los tipos planeados

​

Cómo funcionan los experimentos

Un experimento combina un conjunto de datos con uno o más candidatos. Un conjunto de datos es un conjunto de filas. Cada fila contiene valores de entrada, una salida esperada opcional y metadatos opcionales. Un candidato es el prompt o agente que quieres probar. Fetch Hive captura una instantánea cuando agregas el candidato, por lo que las ediciones posteriores al origen no cambian ese candidato dentro del experimento. Una ejecución ejecuta el conjunto de datos contra los candidatos. Si tienes 100 filas en el conjunto de datos y tres candidatos, la ejecución tiene 300 celdas de resultado. Tu plan actual limita cuántas celdas de resultado puede crear una nueva ejecución. Los experimentos existentes y las ejecuciones pasadas siguen disponibles si tu plan cambia, pero las nuevas ejecuciones deben ajustarse a tu plan actual. Cada celda de resultado almacena la salida del candidato, el estado, la duración, el uso, el costo y los enlaces a los detalles de la solicitud cuando estén disponibles.

​

Alcance actual

Los experimentos actualmente ejecutan borradores de prompt del panel, versiones de prompt, versiones de prompts desplegados e instantáneas de agentes. Las instantáneas de agentes se ejecutan como llamadas aisladas de una sola respuesta. No escriben en el historial de chat del agente de origen, y cada fila del conjunto de datos empieza sin memoria de otras filas. Los candidatos de flujo de trabajo, la ejecución de evaluadores, las sobrescrituras locales de modelo del experimento y el código de evaluador personalizado son adiciones futuras planeadas. Los candidatos legacy no compatibles pueden seguir apareciendo en experimentos antiguos por historial; archívalos antes de iniciar una nueva ejecución. Consulta también: Prompts, Publicación y versionado e Historial de registros