Score (0.0 — 1.0)
Probabilidade calibrada para critérios onde gradações importam: severidade de padrão, qualidade de documentação, elegância de API, confiança na reescrita.
🆕 New skill: Pstack Skill! Lauren Tan's rigorous engineering orchestrator — 23 playbooks, 21 procedures, and 21 principles in a single skill for any agent.View skill →
🧠
TypeSafe Jev — Avaliações Calibradas para Agent Skills
Avaliações de probabilidade calibradas para critérios subjetivos em Agent Skills
O que é TypeSafe Jev?
Seção intitulada “O que é TypeSafe Jev?”TypeSafe Jev é um motor de julgamento que fornece avaliações de probabilidade calibradas para critérios subjetivos. Em vez de depender apenas de heurísticas determinísticas, Jev permite que skills façam julgamentos nuançados sobre qualidade, severidade e classificação.
Dois tipos de avaliação
Seção intitulada “Dois tipos de avaliação”Noul (Classificação)
Classificação categórica para decisões binárias ou de poucas classes: pass/fail, presente/ausente, structural/cosmetic, suspected/not_suspected.
Por que usar Jev em Skills?
Seção intitulada “Por que usar Jev em Skills?”| Sem Jev | Com Jev |
|---|---|
| Heurísticas binárias (regex, pattern matching) | Avaliações de probabilidade calibradas |
| “Padrão presente” ou “padrão ausente” | “Padrão presente com severidade 0.73” |
| Classificação fixa | Classificação com nível de confiança |
| Falsos positivos frequentes em edge cases | Julgamentos nuançados em edge cases |
Skills com Jev
Seção intitulada “Skills com Jev”Quatro skills do catálogo suportam integração opcional com TypeSafe Jev:
Humanizar
8 Score + 12 Noul — Severidade de padrões de IA, adequação de voz, confiança na reescrita, classificação de mudanças (structural/cosmetic/hybrid).
Human-AI
8 Score + 12 Noul — Mesma estrutura da Humanizar, calibrada para padrões de escrita em inglês e 7 presets de voz diferentes.
Slop Eval
8 Score + 16 Noul — Severidade de tells de design, qualidade por eixo (cor, tipografia, layout, motion), classificação de seções (CLEAN/SUSPICIOUS/INFLATED/CRITICAL).
Agent Plugin Eval
7 Score + 19 Noul — Coerência de UX, clareza de documentação, elegância de API, classificação de gates, detecção de secrets, checklist de qualidade.
Como Funciona
Seção intitulada “Como Funciona”Protocolo de Descoberta
Seção intitulada “Protocolo de Descoberta”Cada skill verifica a disponibilidade de Jev antes de usar:
from typesafe import jev_available
if jev_available(): from typesafe import Score, Noul # Usar Jev para critérios subjetivoselse: # Fallback para scoring heurísticoEstrutura das Questões
Seção intitulada “Estrutura das Questões”Cada skill inclui um arquivo jev_questions.json com as definições:
{ "version": "1.0", "skill": "humanizar", "questions": { "score": [ { "id": "pattern_severity", "question": "How severe is this AI writing pattern in the context?", "context_required": ["text_segment", "pattern_type", "surrounding_text"] } ], "noul": [ { "id": "change_type", "question": "What type of change is required to fix this pattern?", "labels": ["structural", "cosmetic", "hybrid"] } ] }}Fallback Gracioso
Seção intitulada “Fallback Gracioso”Quando Jev não está disponível, as skills usam métodos heurísticos internos:
| Skill | Fallback sem Jev |
|---|---|
| Humanizar / Human-AI | Scoring baseado em contagem e peso de padrões |
| Slop Eval | Classificação por densidade de tells |
| Agent Plugin Eval | Validação determinística + regex para secrets |
O fallback é funcional mas menos nuançado em edge cases.
Arquivos de Integração
Seção intitulada “Arquivos de Integração”Cada skill com suporte Jev inclui:
| Arquivo | Descrição |
|---|---|
scripts/jev_questions.json |
Definições de questões Score e Noul |
references/jev-integration.md |
Protocolo de integração e exemplos de código |
Seção no SKILL.md |
Documentação de quando e como usar Jev |
Preciso ter Jev instalado para usar as skills?
Seção intitulada “Preciso ter Jev instalado para usar as skills?”Não. Jev é opcional. Todas as skills funcionam sem ele usando métodos heurísticos de fallback.
Como instalo o TypeSafe Jev?
Seção intitulada “Como instalo o TypeSafe Jev?”Consulte a documentação oficial do TypeSafe para instruções de instalação e configuração.
Posso adicionar suporte Jev à minha própria skill?
Seção intitulada “Posso adicionar suporte Jev à minha própria skill?”Sim! Use o padrão de descoberta (jev_available()) e crie um jev_questions.json seguindo a estrutura documentada. Veja os arquivos jev-integration.md das skills existentes como referência.
Por que apenas 4 skills têm suporte Jev?
Seção intitulada “Por que apenas 4 skills têm suporte Jev?”Jev é útil para critérios subjetivos onde gradações importam. Skills com avaliações puramente determinísticas (validação de JSON, existência de arquivo, conformidade de schema) não se beneficiam de Jev.