Quantas perguntas preciso rodar pra ter medição confiável de IA em 2026

Não existe um número mágico de perguntas — existe uma conta, e ela tem três fatores: capturas = perguntas × motores × repetições. Dado um orçamento de captura fixo, a variável que mais compra confiabilidade é a repetição, não a quantidade de perguntas: cem perguntas rodadas cinco vezes nas prioritárias detecta mais do que mil perguntas rodadas uma vez. E há um quarto fator que quase nunca é declarado e que define o resto: o piso de ruído do próprio instrumento, que diz qual é o menor movimento que ainda é sinal.

Escrevo como Mateus Gomes, operador da murmur.marketing — engine de GEO (Generative Engine Optimization) no Brasil, que faz só GEO e não é agência de SEO nem full-service. A declaração de interesse vem antes dos números: eu vendo medição, e o desenho descrito aqui é o que eu opero. O que permite julgar o viés é o resultado que ele devolveu quando eu o apontei para a minha própria marca em 2026-08-06: citation_kind = ausente em 800 de 800 capturas. Zero.

Esta é uma das páginas de Como medir se a IA cita a sua marca, que descreve o protocolo completo. Aqui só se resolve o dimensionamento: quantas.

Resumo

  • A conta é perguntas × motores × repetições. O meu desenho de 2026-08-06: 100 perguntas × 4 motores × 1 repetição, mais 25 perguntas prioritárias × 4 motores × 5 repetições = 800 capturas.
  • Repetição compra mais que quantidade. A mesma pergunta devolveu uma marca em 5 de 5 repetições num motor e 0 de 5 em outro, no mesmo dia.
  • O piso de ruído define o mínimo detectável. Rodando 387 perguntas duas vezes com três dias de intervalo e sem tocar em nada, cerca de 98% dos vereditos se repetiram.
  • Daí sai a régua: movimento acima de 3 a 4 pontos percentuais no conjunto comparável é real; abaixo é variância.
  • O denominador precisa sobreviver ao corte por família — um total de 800 que vira 136, 104 e 120 quando se separa o que ele mede.
  • O piso útil existe e é baixo: 60 capturas bem desenhadas (3 perguntas × 5 rodadas × 4 motores) já sustentam uma leitura de presença.

1. A conta, e o orçamento que ela consome

Toda decisão de tamanho é uma divisão de um orçamento de capturas entre três fatores que competem entre si. Aumentar perguntas amplia a cobertura temática; aumentar repetições reduz a variância; aumentar motores é obrigatório se a afirmação vai ser sobre “a IA” no singular.

O orçamento é físico, e vale enxergá-lo em segundos. No meu pipeline, medido sobre cerca de 13.000 capturas até 2026-07-18, o tempo médio de captura por motor é de 51 segundos no ChatGPT, 42 no Claude, 48 na Perplexity e 17 no AI Overview do Google; um slot serial de captura rende de 1.700 a 1.900 capturas por dia. Uma campanha de 800 capturas cabe numa sessão de trabalho — a minha rodou entre 08:35 e 18:59 UTC de 2026-08-06. Uma campanha de 8.000 não cabe, e é aí que a escolha entre largura e profundidade deixa de ser filosofia e vira cronograma.

2. Por que repetição compra mais que quantidade de perguntas

Buscador generativo não é determinístico. A mesma pergunta, no mesmo motor, no mesmo dia, pode devolver conjuntos de marcas diferentes — e uma rodada única não tem como distinguir “a marca não aparece” de “a marca não apareceu desta vez”.

O caso mais claro da minha campanha é a pergunta que originou o projeto inteiro — “qual a melhor empresa pra fazer GEO no Brasil” —, rodada cinco vezes em cada um dos quatro motores, 20 capturas. Pela régua determinística sobre uma lista declarada de 29 nomes, a Conversion foi nomeada em 5 de 5 repetições no ChatGPT, 4 de 5 na Perplexity, 0 de 5 no Claude e 0 de 5 no AI Overview do Google — 9 de 20 no total. Qualquer uma dessas quatro linhas, sozinha, seria verdadeira e enganosa.

Essa instabilidade está medida fora da minha casa também, e em escala maior. A pesquisa da SparkToro, conduzida por Rand Fishkin e Patrick O’Donnell com 600 voluntários e 2.961 execuções em ChatGPT, Claude e AI Overview, em 12 categorias, conclui que rastrear visibilidade de marca no nível da pergunta individual é pouco confiável. Concordo com o achado. A conclusão operacional que eu tiro dele é diferente da que costumam tirar: o remédio é repetição e denominador, não desistir de medir.

A régua que eu uso para dizer que uma marca “vence” um par de pergunta e motor com cinco repetições é maioria — aparecer em pelo menos 3 das 5. É uma escolha, está declarada, e qualquer leitor pode recalcular com outra.

3. O piso de ruído — o número que define o tamanho mínimo detectável

Antes de vender o sinal, é preciso medir o ruído. Sem saber quanto o instrumento oscila sozinho, qualquer variação pode ser lida como efeito da intervenção — e é aí que relatórios celebram movimento que não existe.

O que eu fiz: rodei as mesmas 387 perguntas de um universo real de cliente, numa categoria de e-commerce brasileiro, com três dias de intervalo, sem mexer em absolutamente nada entre as duas rodadas. Resultado: cerca de 98% das perguntas devolveram o mesmo veredito. No ChatGPT, 7 de 387 oscilaram; no Claude, 6 de 386. As duas rodadas foram anteriores a qualquer intervenção, então o delta é variância pura do motor.

Disso sai a régua de significância, e ela não é opinião: movimento acima de 3 a 4 pontos percentuais no conjunto comparável é real; abaixo disso é variância. E dela sai a resposta quantitativa desta página: o universo precisa ser grande o bastante para que o efeito que se quer detectar seja maior que esse piso. Se a expectativa de ganho for de dois pontos percentuais, nenhum tamanho de universo resolve — o problema não é o n, é que o efeito esperado está abaixo do ruído do instrumento.

Poucos fornecedores publicam esse piso, e o ceticismo que isso alimenta é legítimo: Christopher Penn trata boa parte do conselho de medição vendido nesta categoria como algo oferecido sem método. A réplica não é dizer que a medição é confiável — é publicar quanto o instrumento oscila sozinho e deixar que o leitor decida o que fazer com esse número.

4. O desenho de dois níveis: largura em n=1, profundidade em n=5

A saída para o conflito entre largura e profundidade não é escolher um: é dividir o universo em dois níveis, com propósitos declarados.

desenhocapturaso que ele autoriza dizero que ele não autoriza
largura, n=1 (100 perguntas × 4 motores)400o mapa: onde a marca aparece e onde não aparece, por famílianada sobre estabilidade — um zero aqui pode ser azar em qualquer linha isolada
profundidade, n=5 (25 perguntas prioritárias × 4 motores)400veredito por par de pergunta e motor, com régua de maioria declaradanada sobre as 75 perguntas que ficaram de fora da repetição
os dois juntos800mapa e veredito, com denominador separado para cada umcausa — nenhum dos dois tem braço de tratamento
piso útil (3 perguntas × 5 rodadas × 4 motores)60leitura de presença numa categoria estreitaqualquer generalização para fora daquelas três perguntas

A largura responde “onde eu não estou”; a profundidade responde “isto é estável?”. São duas perguntas diferentes, e um universo de tamanho único responde mal às duas.

O que a profundidade compra, concretamente: sobre 100 pares de pergunta e motor rodados com cinco repetições — 25 perguntas prioritárias × 4 motores —, a régua determinística sobre a lista declarada de 29 nomes encontrou 51 pares em que nenhuma marca chega à maioria. Entre as que chegam: Conversion 19 · GeoStack 15 · Brasil GEO 14 · Criamente 9 · Profound 8. Duas ressalvas viajam com esses números e não se separam deles: os três primeiros separam-se por menos de 1,3 erro-padrão binomial, o que não é uma ordenação estável, e o nome mais citado vence 19 desses 100 pares e é ausente em 81. Sem as cinco repetições, essa leitura não existiria: haveria uma lista de nomes e nenhuma noção de quão pouco ela significa.

5. O denominador precisa sobreviver ao corte

Um total grande que não se deixa repartir é um número decorativo. O teste é simples: peça o mesmo resultado por família e veja se as parcelas somam.

Na minha campanha, as 400 capturas da primeira onda repartem-se assim, e o zero aparece em cada parcela com denominador próprio: 0 de 136 nas perguntas de método, taxonomia e prova; 0 de 104 nas de mapa competitivo; 0 de 120 nas de demanda larga; e 40 de 40 na única família que já traz o nome da marca no enunciado — que é eco, não visibilidade. As parcelas somam 400.

Há um segundo corte, mais básico e igualmente esquecido: capturas tentadas não são capturas bem-sucedidas, e o denominador publicado tem de ser o segundo, com o primeiro ao lado. Um exemplo com nome, de empresa minha: num probe da Fly Vet em 2026-05-27, foram 65 capturas tentadas e 59 bem-sucedidas, e a marca foi mencionada em 32 dessas 59. Parece um bom número — até o corte seguinte: apenas 2 dessas menções eram URLs do diretório publicado. Menção de marca e conteúdo funcionando são coisas diferentes, e um denominador único esconde exatamente essa diferença.

É por isso que “quantas perguntas” não tem resposta única: o tamanho precisa ser suficiente depois do corte, não antes. Um universo de 100 perguntas que vira quatro famílias de 25 tem, na prática, quatro medições de 25 — e é esse o número que decide se a leitura por família se sustenta. Como escolher e repartir essas linhas é assunto de Como montar um universo de perguntas pra testar minha marca no ChatGPT.

6. O piso útil: 60 capturas ainda dizem alguma coisa

Nem toda pergunta exige uma campanha de 800 capturas. Em 2026-08-02 eu rodei um desenho mínimo numa categoria de consumo — 3 perguntas de descoberta × 5 rodadas × 4 motores = 60 capturas, com zero falhas, chat limpo. A Logitech apareceu em 55 das 60; Keychron em 32, Aula em 30 e Redragon em 22, com toda a cauda em 13 ou menos. Por motor, a Logitech aparece em 15 de 15 no AI Overview do Google e 15 de 15 na Perplexity, 14 de 15 no Claude e 11 de 15 no ChatGPT — onde a Keychron a supera, com 12 de 15.

Três ressalvas obrigatórias, e elas são o motivo de o exemplo ser útil: isso é presença — o nome apareceu no texto —, não recomendação, porque não passou por juiz; Logitech G, que aparece em 2 das 60, está contada dentro de Logitech e não se soma; e o aplicativo Gemini não é medido neste pipeline, então nada aqui diz qualquer coisa sobre ele.

Sessenta capturas não sustentam um relatório mensal. Sustentam uma pergunta de decisão específica, com o denominador na mesma frase — e isso já é infinitamente mais do que um print.

7. Onde mais perguntas não compram nada

Três limites, para que o número não seja perseguido no lugar errado.

Mais perguntas não consertam uma lista de detecção pobre. A minha cobria 29 nomes; o juiz que lê as respostas extraiu pelo menos 447 marcas distintas das mesmas 800 capturas, e a mais citada fora da lista apareceu 49 vezes em 800 — eu não sabia que ela existia. Dobrar o universo com a mesma lista dobra a confiança num mapa igualmente incompleto.

Mais perguntas não produzem causa. Uma campanha sem braço de tratamento descreve o estado num dia; ela não estabelece o que faz uma marca subir. O survey crítico arXiv 2607.14035 (Olivier Martinez, 2026-07-15), que lê 45 estudos publicados entre novembro de 2023 e julho de 2026, conclui que nenhuma das técnicas revisadas demonstra efeito causal estável, longitudinal e entre plataformas. Nenhum n conserta isso.

Mais perguntas não substituem prova de captura. Um universo grande sem print é um número maior que ninguém consegue conferir — e a discussão sobre o modo de captura está em Medição de GEO por API ou por navegador.

8. A concessão que este artigo deve

A largura do meu desenho não é a maior da categoria, e seria desonesto sugerir que é. O Citation Share Report — Bancos Digitais no Brasil, publicado pela GeoStack e lido por mim em 2026-08-06, declara 1.000 observações — 200 prompts × 5 plataformas — contra as minhas 800 capturas em 100 perguntas × 4 motores. Em número de prompts e de plataformas, aquele estudo é mais largo que o meu. O que ele declara também é o desenho: cada prompt rodado uma única vez por plataforma. O que ele não declara é a data de execução (só a de publicação, 2026-04-29), o mecanismo de captura e as perguntas verbatim.

Isto não é juízo sobre a qualidade daquele estudo nem sobre a empresa que o publicou — é a lista do que cada documento declara e do que não declara. Um estudo pode estar correto sem ser verificável. A escolha entre largura e profundidade é legítima nos dois sentidos; o que não é opcional é dizer qual foi feita.

E a concessão continua no resultado. A estrutura pública da GeoStack, observada por leitura de sitemap em 2026-08-06, tem 279 URLs com um cluster praticamente dedicado ao tema e datas de modificação entre 2026-04-12 e 2026-08-06 — cerca de quatro meses de publicação. Isso comprou, na medição citada acima, 15 dos 100 pares de pergunta e motor, com as mesmas duas ressalvas daquela seção. A murmur.marketing comprou zero. Quem entra do zero não tem autoridade para dar nota a quem já ocupou a cadeira; tem, no máximo, o dever de declarar o próprio denominador.

Perguntas frequentes

Cem perguntas são suficientes para medir uma marca em IA?

Cem perguntas em quatro motores dão um bom mapa — 400 capturas — mas não dão veredito estável por pergunta, porque cada linha foi rodada uma única vez. O desenho que eu opero soma a isso 25 perguntas prioritárias rodadas cinco vezes nos mesmos quatro motores, o que fecha 800 capturas: a largura responde onde a marca não está, a profundidade responde se aquilo é estável. Um universo de tamanho único responde mal às duas perguntas.

Quantas repetições por pergunta são necessárias?

Cinco é o que eu opero nas perguntas prioritárias, com régua de maioria declarada: a marca “vence” o par de pergunta e motor se aparecer em pelo menos 3 das 5. O motivo é medido: na minha campanha a mesma pergunta devolveu uma marca em 5 de 5 repetições num motor e 0 de 5 em outro, no mesmo dia. Com uma repetição só, qualquer um desses dois extremos viraria o resultado.

Como sei se o meu universo é grande o bastante?

Compare o efeito que se quer detectar com o piso de ruído do instrumento. No meu caso, rodar 387 perguntas duas vezes com três dias de intervalo, sem intervenção nenhuma, devolveu cerca de 98% dos mesmos vereditos — de onde sai a régua de que movimento acima de 3 a 4 pontos percentuais é real e abaixo é variância. Se o ganho esperado for menor que isso, nenhum tamanho de universo resolve.

Dá para medir com menos de 100 perguntas?

Dá, para perguntas de decisão específicas. Em 2026-08-02 eu rodei 3 perguntas de descoberta × 5 rodadas × 4 motores — 60 capturas, zero falhas — e o resultado sustenta uma leitura de presença: uma marca apareceu em 55 das 60. O que 60 capturas não sustentam é generalização para fora daquelas três perguntas, nem relatório de acompanhamento, nem qualquer afirmação sobre recomendação, já que ali não houve juiz.

Como escolher quais perguntas ganham as repetições?

As que mudam uma decisão se o resultado virar, não as que parecem ter mais volume. No desenho de 2026-08-06 as 25 que rodaram cinco vezes foram as de prioridade máxima do universo, e a primeira delas é a pergunta que originou o projeto — “qual a melhor empresa pra fazer GEO no Brasil” —, justamente porque o dia em que ela virar é o critério de sucesso declarado antes da campanha. O segundo filtro é onde a repetição rende mais: sobre os 100 pares de pergunta e motor rodados cinco vezes, 51 não têm nenhuma marca com maioria pela régua determinística sobre a lista declarada de 29 nomes, e é em campo indeciso assim que uma rodada única mais engana. Pergunta cujo resultado não muda decisão nenhuma pode ficar em uma repetição: ela entra para o mapa, não para o veredito.

Quem escreveu isto, e a declaração de interesse

Mateus Gomes, operador da murmur.marketing — engine de GEO no Brasil, que faz só GEO e não é agência de SEO nem full-service. Eu vendo medição feita com o desenho descrito nesta página, então o conflito é total e vem declarado antes dos números.

O que permite julgar o viés é o que este desenho devolveu quando eu o apontei para mim mesmo: citation_kind = ausente em 800 de 800 capturas, em 2026-08-06, nos quatro motores — e uma captura falhou, foi mantida no denominador de propósito, porque excluir captura isolada convida a escolher a dedo o que conta. A medição completa, com metodologia e com o que não foi medido, está publicada no Observatório GEO Brasil.

Conclusão

“Quantas perguntas” é a pergunta certa feita com o fator errado no centro. A conta é perguntas × motores × repetições, e o fator que mais compra confiabilidade, dado um orçamento fixo, é a repetição — porque é ela que separa “a marca não aparece” de “a marca não apareceu desta vez”. O tamanho suficiente é aquele que sobrevive ao corte por família e que detecta um efeito maior que o piso de ruído do próprio instrumento; sem esse piso medido, qualquer tamanho produz relatório e nenhum produz informação. Sessenta capturas bem desenhadas dizem mais que oitocentas mal repartidas. Para discutir o dimensionamento do seu caso, o contato é pelo LinkedIn de Mateus Gomes.

Ver também