O que ainda erra — com status.
Um registro vivo dos jeitos como uma pessoa sintética pode falhar quando interrogada como uma de verdade. Seis famílias de falha, dezoito armadilhas nomeadas, cada uma com sua evidência externa, o que fazemos a respeito e um status que só muda por medição — nunca por otimismo. Registro v1 datado de 2026-08-20; última mudança de status em 2026-09-02.
Como ler o status.
coberto a defesa está viva e a taxa é medida, ou a classe de incidente está fechada por mecanismo · parcial a defesa está viva mas a taxa ainda não foi medida, ou a causa-raiz está só mitigada · aberto medido ou evidenciado, ainda não mitigado. Onde a armadilha é "medição nossa" ou "incidente nosso", o número vive no registro de backtests ou nos registros do próprio motor — esta página não repete o que não está publicado.
Agradar o entrevistador.
Modelos de linguagem tendem a concordar com quem pergunta — mesmo quando a evidência não concorda. Como ultrapassamos: cláusula anti-aquiescência no núcleo da pessoa e taxa de concordância medida pela bateria adversarial — a defesa só conta quando a taxa é medida.
| Armadilha | Evidência externa | O que fazemos | Status |
|---|---|---|---|
| 1 · Aquiescência / bajulação | Sharma et al., ICLR 2024 (enraizada no treino por preferência); Kantar 2023 (painéis sintéticos sistematicamente mais positivos que 5.000 humanos) | Cláusula anti-aquiescência e licença de conhecimento vivas no prompt de diálogo. A cláusula sozinha não basta contra um viés treinado, então o que conta é a taxa: sondas de pressão reversa e de fato falso induzido na bateria. | parcial |
| 18 · Aceitar o sem-sentido | Contribuição nossa, motivada por demonstrações públicas de chatbots concordando com salada de palavras | Cláusula de sanidade no prompt de diálogo. Medido no modelo de produção, n=100: 38 de 100 falharam sem ela, 13 com ela — ver o registro. Cláusula reduz; não elimina. | coberto |
Preencher o vazio.
Onde uma pessoa real não saberia, o modelo pode inventar uma resposta plausível. Como ultrapassamos: licença de conhecimento por pessoa: o que ela plausivelmente sabe está declarado, "não sei" é resposta válida — e o que fica fora da licença é barrado.
| Armadilha | Evidência externa | O que fazemos | Status |
|---|---|---|---|
| 2 · Vácuo de conhecimento → confabulação por sugestão | Contribuição nossa | O próprio instrumento (pergunta, opções, resposta) é sempre injetado; o resumo de evidências do estudo viaja junto; a licença de conhecimento nomeia a fronteira. A taxa da sonda de vácuo é medida pela bateria. | coberto |
| 3 · Anacronismo de corte de treino | Underwood et al., 2025 (modelos importam pressupostos contemporâneos mesmo afinados em prosa de época) | Fatos posteriores ao corte só entram por injeção; a regra de horizonte temporal é publicada no prompt. Medido, n=100: aprovação decidível 6,7% → 87,0%, inconclusivos 127 → 2 — ver o registro. | coberto |
Achatamento populacional.
Colapso de variância e caricatura demográfica — a família mais difícil, e a que dizemos abertamente que prompt sozinho não resolve. Como ultrapassamos: fidelidade medida por subgrupo e dosagem de estilo contra caricatura; onde o prompt se esgotou por medição, o trabalho migra pra quem responde — modelo, ficha e genoma da população.
| Armadilha | Evidência externa | O que fazemos | Status |
|---|---|---|---|
| 4 · Extremidade / colapso de variância | Wu 2025 (colapso de variância em gêmeos digitais); Bisbee et al., Political Analysis 2024 (concordância na média esconde perda de variância intragrupo); Maier 2025 | Pós-calibração do lado da leitura (Platt, leave-one-block-out) está viva. Do lado da origem, a elicitação alternativa está implementada mas ainda não medida contra a régua. | parcial |
| 5 · Caricatura demográfica / achatamento de identidade | Wang et al., Nature Machine Intelligence (retrata mal e achata, pior para grupos minorizados); Xiao 2026 ("limite do camaleão": mais fidelidade individual pode significar populações mais estereotipadas) | Tabelas de erro por subgrupo em todo backtest; regra de dosagem de estilo corrigiu a repetição de aberturas. O gradiente de erro por geração, região e classe sobrevive a correções de prompt — então o trabalho de raiz é em quem responde: modelo, ficha e genoma da população. | aberto |
| 12 · Heterogeneidade de fidelidade por subgrupo | Ma et al., ACL 2025 (fidelidade desigual entre grupos); Choi 2026 (fidelidade estrutural, marginal e individual são eixos separados) | Tabelas por segmento publicadas em toda rodada, nunca só o agregado — o registro declara onde a régua está ok, em atenção, restrita ou insuficiente. | parcial |
| 13 · Não-resposta irreal | Medição nossa: a opção neutra quase nunca é escolhida por respondentes sintéticos onde os reais a escolhem | Uma instrução genérica anti-aquiescência foi testada e rejeitada — piora os fatos materiais. Pede um desenho dirigido. | aberto |
Deriva entre ficha e fala.
Os fatos materiais da pessoa vivem numa ficha; a fala não pode contradizê-la. Como ultrapassamos: a fala é conferida contra a ficha canônica, conversa a conversa — contradição vira alerta medido, nunca silêncio.
| Armadilha | Evidência externa | O que fazemos | Status |
|---|---|---|---|
| 6 · Fato material vs. disposição declarada | Medição nossa: fatos deriváveis da ficha caem perto da parcela real; fatos fora dela derivam longe | Enriquecer a ficha com eixos de vida material (posses, rotina) para que fatos sejam carregados, não adivinhados. | aberto |
| 16 · Deriva de consistência com a ficha | Amirova 2024 (entrevistas de silício estruturalmente uniformes — "confiante, otimista" — independentemente da persona) | Sonda da bateria re-elicita três dimensões da ficha no meio do diálogo e compara com a ficha, tolerância ±2. Medido primeiro; mitigado depois. | aberto |
Artefatos de instrumento.
Desejabilidade social, ordem das perguntas, ancoragem — as mesmas armadilhas que distorcem pesquisa com humanos. Como ultrapassamos: rotação da ordem de opções entre respondentes, testes às cegas contra pesquisa real e medição dos vieses no próprio instrumento.
| Armadilha | Evidência externa | O que fazemos | Status |
|---|---|---|---|
| 7 · Viés de desejabilidade social | Argyle 2023 (divergência em temas sensíveis); Chapala 2026 (reenquadrar em terceira pessoa foi a melhor de quatro estratégias) | Painel sensível da bateria registra a divergência entre primeira e terceira pessoa no mesmo construto. Mitigação candidata: elicitação em terceira pessoa nos itens sensíveis. | aberto |
| 9 · Efeitos de ordem / ancoragem | Huang 2026 (ancoragem em processamento raso; não eliminável por convenção) | Rotação por quadrado latino das escalas está viva nos instrumentos. Ancoragem em diálogo livre é medida pela bateria antes de ser mitigada. | parcial |
| 11 · Deriva de intervenção (pseudo-experimentos) | "Illusion of Intervention", arXiv 2026 (um tratamento pode deslocar atributos latentes da persona, então um A/B em sintéticos pode comparar populações latentes diferentes) | Desfechos de controle negativo são exigidos ao lado de todo efeito de tratamento em estudos comparativos. | parcial |
| 17 · Ambiguidade de referente da opção | Incidente nosso: um rótulo polar genérico lido de um jeito pela rubrica e do jeito oposto pelo usuário | Portão determinístico de vocabulário de rótulos; diálogo que nunca adivinha quando a amarração é ambígua; a amarração publicada verbatim nos dois prompts e declarada no resultado. | coberto |
O motor como sistema.
Contaminação entre contextos e efeito de provedor — falhas da maquinaria, não da persona. Como ultrapassamos: contaminação monitorada, vocabulário publicado no prompt com preservação marcada — nada descartado em silêncio — e efeito de provedor atribuído ao provedor.
| Armadilha | Evidência externa | O que fazemos | Status |
|---|---|---|---|
| 8 · Puxão cultural WEIRD | Tao et al., PNAS Nexus 2024 (modelos puxam para valores anglo-protestantes de autoexpressão) | Antídoto estrutural por desenho: população brasileira calibrada no Censo, prompts em português, instrumentos brasileiros. A calibração é a mitigação; a medição por subgrupo a mantém honesta. | parcial |
| 10 · Contaminação entre contextos | Incidente nosso: um estímulo de uma tela vazou para um diálogo em outra | Isolamento completo de snapshot entre contextos; o payload despachado fica durável para perícia. | coberto |
| 14 · Descarte silencioso de enum fechado | Incidentes nossos: um vocabulário exigido mas não publicado no prompt tornou perdas por turno invisíveis por meses | Vocabulário publicado verbatim no prompt; valores desconhecidos preservados com marcação em vez de descartados; uma guarda genérica reprova quando um novo ponto de chamada ao modelo entra sem classificação. | coberto |
| 15 · Efeitos de provedor / quantização | Medições nossas: o mesmo braço pode diferir entre provedores, enquanto os parâmetros de calibração ficam estáveis | Sensor de regressão sobre a banda dos parâmetros de calibração; o pino de provedor é escolhido por smoke test antes de qualquer troca. | coberto |
O que move um status.
Uma classe nova de armadilha observada em produção entra no registro no mesmo arco. Toda mudança de motor, provedor ou bloco de prompt roda a bateria antes de ir ao ar. O registro é revisitado a cada campanha de backtest — e um status é atualizado por medição, nunca por otimismo. Tetos que não são falhas — piso geográfico, safra e deriva, heterogeneidade acima do estrato — vivem na página de metodologia.
Receba cada backtest novo por e-mail.
Quando uma população ganha ou perde um selo, ou um resultado real novo é medido contra o motor, escrevemos uma vez. Sem cadência de newsletter — só entradas novas no registro.