Presença em IA: o número vem com margem
Por Knewin AI · · 3 min de leitura
"A marca aparece em 67% das respostas das IAs." Dita assim, a frase parece um resultado firme. Com três respostas, ela quer dizer que duas citaram a marca, e a porcentagem real pode estar em qualquer ponto entre 10% e 100%. Quem leva o número sem a margem leva uma certeza que ele não tem.
Toda medição por amostra tem margem, e a presença em IA, que mede o que as IAs respondem sobre a marca, trabalha com poucas respostas por pergunta. O Knewin AI, um assistente de IA para comunicação que responde por chat, mostra a margem ao lado de cada porcentagem da sondagem, que pergunta a Gemini, Claude, GPT, Grok e à busca do Google sobre a marca e o setor numa data.
A contagem vem antes da porcentagem
A sondagem sempre traz a contagem: "citada em 2 das 3 respostas". A porcentagem vem com a margem de erro, em pontos percentuais: "66,7%, ±56,6 pp". A conta usa 95% de confiança, o padrão das pesquisas de opinião. Com três respostas, a margem é tão larga que a contagem segue sendo a leitura. Com seis, a mesma porcentagem tem margem de ±40,0 pp.
- citada em 2 das 3 respostas
- leia a contagem
A porcentagem quase não diz nada.
- citada em 4 das 6 respostas
- ainda larga para comparar marcas
Com 24 respostas, a margem seria a metade.
A margem cai devagar com mais respostas
Para cortar a margem pela metade, é preciso quatro vezes mais respostas. Ela existe porque as IAs não respondem igual duas vezes: perguntar de novo daria outro número para a mesma pergunta. Há dois jeitos de juntar mais respostas.
- Repetir as perguntas na mesma sondagem. Cada pergunta vai mais de uma vez a cada IA, e cada resposta a mais gasta do limite semanal do plano. Se você pedir, o Knewin AI estima esse gasto antes, sem perguntar nada às IAs.
- Somar medições de dias diferentes, com as mesmas perguntas e as mesmas IAs. As respostas viram uma base só, e a taxa e a margem são refeitas sobre a soma. Somar não paga sondagem nova, porque não pergunta nada às IAs de novo, e cada dia continua com o seu ponto na série. Somar dias com uma matéria grande no meio junta o antes e o depois dela.
Diferença dentro da margem é empate técnico
Quando duas marcas ficam a uma distância menor do que a margem, a resposta diz empate técnico, e nunca "1.ª". O empate técnico evita levar à diretoria uma liderança que a próxima sondagem pode desfazer.
Na série, que põe as medições de dias diferentes lado a lado, dois pontos que diferem menos do que a margem não mostram mudança.
Taxa ausente não é taxa zero
A taxa some em três casos: quando a sondagem ficou incompleta, quando ela pergunta sobre vários períodos e quando todas as perguntas nomeiam a marca. Com vários períodos, cada um traz a sua taxa, e uma taxa geral mediria a mistura deles. Nos três casos, a ausência é falta de medição. Na sondagem incompleta, a resposta diz quantas consultas foram feitas e quais ficaram de fora.
O que a margem não corrige
A margem mede o acaso das respostas. Ela não corrige a escolha das perguntas, e é por isso que a pergunta que nomeia a marca fica fora da taxa de menção, para não inflá-la.
Ela também não diz o que cada pessoa vê. O aplicativo de um assistente tem configuração própria, pode levar em conta o histórico de quem usa e mostra a quem abre o celular uma resposta, num dia. A sondagem pergunta a cada IA nas mesmas condições para todas as marcas, e é essa régua igual que permite comparar a sua marca com a do concorrente.
Onde acompanhar
Como ler cada número está na ajuda, em Os números da presença em IA, e como somar medições, em Curar a sondagem de IA. Por que a taxa de menção satura perto de 100% está em Presença em IA: a taxa de menção engana.