Hi - I answer from the OpenSmartRoute documentation: routing, the API, plans and quotas, self-hosting. Ask away, or open a support ticket if you need a person.
Grounded in the docs - follow a source before acting on it.
evals - Skill - OpenSmartRoute
Skillv1.0.0
evals
1. Ubicación de tests: todos los tests deben residir en `tests/` (seguir `test-location.instructions.md`). 2. Evals para skills: - Guardar prompts iniciales en `evals/evals.json` con `skill_name` y `e
Ubicación de tests: todos los tests deben residir en tests/ (seguir test-location.instructions.md).
Evals para skills:
Guardar prompts iniciales en evals/evals.json con skill_name y evals array.
Para cada eval crear iteration-N/eval-X/ con with_skill/ y without_skill/ outputs.
Aserciones:
Priorizar aserciones objetivas; si son subjetivas, definir criterios de revisión humana.
Grading y benchmark:
Ejecutar grader subagent o script automatizado que produzca grading.json con text, passed, evidence.
Agregar benchmark.json con métricas de pass_rate, tiempo y tokens.
Registro de tiempos:
Guardar timing.json con total_tokens y duration_ms para cada run.
Reproducibilidad:
Documentar comandos para ejecutar los evals localmente y las dependencias necesarias.
Use it
Copy one of these into your project. Installing also returns the manifest and these snippets.
yaml
targets:
- https://api.opensmartroute.ai/api/v1/registry/rubenvr-commits-yfinance-agentic-workflow-evals-instructions/manifest # or paste the manifest below
Manifest
An Open Capability Manifest: the router reads it to know what this does, what it costs and when to pick it.
{
"ocm": "1",
"id": "rubenvr-commits-yfinance-agentic-workflow-evals-instructions",
"kind": "skill",
"name": "evals",
"description": "1. Ubicación de tests: todos los tests deben residir en `tests/` (seguir `test-location.instructions.md`). 2. Evals para skills: - Guardar prompts iniciales en `evals/evals.json` con `skill_name` y `evals` array. - Para cada eval crear `iteration-N/eval-X/` con `with_skill/` y `without_skill/` outputs. 3. Aserciones: - Priorizar aserciones objetivas; si son subjetivas, definir criterios de revisión humana. 4. Grading y benchmark: - Ejecutar grader subagent o script automatizado que produzca `grading.json` con `text`, `passed`, `evidence`. - Agregar `benchmark.json` con métricas de pass_rate, tiempo y tokens. 5. Registro de tiempos: - Guardar `timing.json` con `total_tokens` y `duration_ms` para cada run. 6. Reproducibilidad: - Documentar comandos para ejecutar los evals localmente y las dependencias necesarias.",
"publisher": "rubenvr-commits",
"version": "1.0.0",
"capabilities": {
"domains": [
"coding"
],
"tags": [
"skill-md",
"github-instructions"
],
"languages": [
"en"
]
},
"quality_prior": 0.6,
"examples": [
"1. Ubicación de tests: todos los tests deben residir en `tests/` (seguir `test-location.instructions.md`). 2. Evals para skills: - Guardar prompts iniciales en `evals/evals.json` con `skill_name` y `evals` array. - Para cada eval crear `iteration-N/eval-X/` con `with_skill/` y `without_skill/` outputs. 3. Aserciones: - Priorizar aserciones objetivas; si son subjetivas, definir criterios de revisión humana. 4. Grading y benchmark: - Ejecutar grader subagent o script automatizado que produzca `grading.json` con `text`, `passed`, `evidence`. - Agregar `benchmark.json` con métricas de pass_rate, tiempo y tokens. 5. Registro de tiempos: - Guardar `timing.json` con `total_tokens` y `duration_ms` para cada run. 6. Reproducibilidad: - Documentar comandos para ejecutar los evals localmente y las dependencias necesarias."
],
"primary": false,
"metadata": {
"source": {
"provider": "github-instructions",
"repository": "https://github.com/rubenvr-commits/yfinance-agentic-workflow",
"path": ".github/instructions/evals.instructions.md",
"ref": "968c9ba691001713d14a31ffcf9c634e2dff7d43",
"url": "https://github.com/rubenvr-commits/yfinance-agentic-workflow/blob/968c9ba691001713d14a31ffcf9c634e2dff7d43/.github/instructions/evals.instructions.md",
"key": "rubenvr-commits/yfinance-agentic-workflow/.github/instructions/evals.instructions.md"
},
"applies_to": "**"
},
"instructions": "# Reglas: Evals, tests y calidad para skills/agents\n\n1. Ubicación de tests: todos los tests deben residir en `tests/` (seguir `test-location.instructions.md`).\n2. Evals para skills:\n - Guardar prompts iniciales en `evals/evals.json` con `skill_name` y `evals` array.\n - Para cada eval crear `iteration-N/eval-X/` con `with_skill/` y `without_skill/` outputs.\n3. Aserciones:\n - Priorizar aserciones objetivas; si son subjetivas, definir criterios de revisión humana.\n4. Grading y benchmark:\n - Ejecutar grader subagent o script automatizado que produzca `grading.json` con `text`, `passed`, `e",
"cost": {
"context_tokens": 224
}
}
Fetch it by URL: GET /api/v1/registry/rubenvr-commits-yfinance-agentic-workflow-evals-instructions/manifest?version=1.0.0
Reviews
Star ratings from people who tried it. One review per account; edit yours any time.
No reviews yet. Install it, try it, and be the first to rate it.