A IA atribui ao seu SaaS funcionalidades que não existem? Auditoria de funcionalidades e integrações

A auditoria verifica afirmações concretas sobre funcionalidades e integrações do seu SaaS. Comece pela documentação atual, plano, versão e data. Compare as respostas manualmente; uma menção da marca ou citação da documentação não comprova a precisão.

Divida cada resposta em afirmações individuais. «A integração lê dados e publica alterações automaticamente» contém duas afirmações. Distinga leitura de escrita, operações manuais de automáticas e criação de rascunhos de publicação.

A ausência de documentação significa não confirmado, não comprova que a funcionalidade inexiste. Uma afirmação incorreta exige prova contraditória ou confirmação do responsável pelo produto. Avalie omissões apenas segundo o âmbito definido do teste.

Registo de verificação manual

Conserve contagens por categoria. Se calcular precisão, indique o denominador e os casos não resolvidos separadamente. Não os conte automaticamente como corretos. A avaliação é manual e distinta das métricas de visibilidade da Semly.

Pré-requisitos: o que preparar antes de começar

A auditoria produz resultados úteis apenas se existir uma referência contra a qual medir. Antes de testar qualquer modelo, reúna os seguintes recursos:

• Lista canónica de funcionalidades, organizada por plano e por permissão de utilizador.
• Mapa de integrações reais, com estado (ativa, beta, descontinuada) e data da última verificação.
• Tabela de preços atual, incluindo limites de utilização, quotas e condições de upgrade.
• Acesso a três a cinco modelos: ChatGPT, Gemini, Claude, Grok e Google AI Mode.
• Folha de cálculo com colunas de prompt, modelo, resposta, fonte citada e veredicto.
• Histórico de alterações de produto dos últimos 18 meses, para identificar o que mudou dentro da janela de treino.

Defina também quem valida cada dado. Funcionalidades e limites pertencem ao produto; integrações e comportamento técnico pertencem à engenharia; posicionamento, preços públicos e narrativa pertencem ao marketing. Sem esta atribuição, a auditoria gera divergências internas em vez de correções.

Quando não aplicar. A auditoria não produz resultados estáveis em produtos sem catálogo definido, sem documentação pública ou em fase de pré-lançamento. Nesses casos, a referência muda mais depressa do que o ciclo de medição e o esforço deve concentrar-se primeiro em consolidar a fonte de verdade.

Passo 1 — Definir a fonte de verdade do produto

O primeiro passo é consolidar funcionalidades, integrações, limites e preços num único documento versionado, com data de validade explícita. Este documento é a régua da auditoria: tudo o que a IA afirmar será comparado contra ele.

Ponto de controlo. Qualquer divergência interna detetada nesta fase deve ser resolvida antes de testar a IA. Se a própria equipa não tem uma versão única da verdade, o modelo não tem como tê-la.

Passo 2 — Construir o conjunto de prompts de teste

O objetivo é provocar respostas comparáveis entre modelos. Organize os prompts em quatro famílias e produza entre 10 e 20 variações por família:

1. Funcionalidade direta. "Que funcionalidades de exportação tem o [produto]?"
2. Integração. "O [produto] integra com [ferramenta]?"
3. Limite de plano. "Quantos utilizadores posso ter no plano [nome] do [produto]?"
4. Comparação com concorrente. "Que diferenças existem entre [produto] e [alternativa] em termos de integrações?"

Varie a formulação e o idioma, e registe cada prompt com um número de versão. A regra essencial é a neutralidade: nunca induza a resposta. Um prompt como "Confirma que o [produto] integra com [ferramenta], certo?" contamina o resultado.

Ponto de controlo. Se a resposta muda apenas por reformular a pergunta, registe o caso como "sensibilidade a prompt". Este comportamento é um indicador de fragilidade da representação, não de erro factual.

Passo 3 — Executar e registar as respostas

Execute os prompts em ChatGPT, Gemini, Claude, Grok e Google AI Mode. Distinga sempre respostas geradas de memória de respostas com pesquisa web ativa: a primeira reflete o treino, a segunda reflete o que está indexado no momento. Guarde data, modelo, versão e captura de ecrã.

Ponto de controlo. Repita cada prompt duas a três vezes para medir a variabilidade do modelo. Uma resposta que oscila entre execuções não é uma base fiável para decisões de produto.

Erros mais comuns e como corrigi-los

Testar uma só vez. Sintoma: conclusões tiradas de uma única execução por prompt. Correção: repetir duas a três vezes e registar a variabilidade antes de decidir.

Usar prompts indutores. Sintoma: respostas que confirmam a hipótese do auditor. Correção: reformular para perguntas neutras e validar com uma segunda pessoa.

Confundir ausência de menção com erro. Sintoma: tratar a não-recomendação como informação incorreta. Correção: separar as métricas. Ausência de menção é um problema de visibilidade; afirmação errada é um problema de precisão.

Corrigir apenas no site. Sintoma: melhorias no site sem alteração nas respostas. Correção: atualizar diretórios, perfis de terceiros e fontes citadas, que alimentam o grounding do modelo.

Tratar o problema como pontual. Sintoma: auditoria única seguida de meses sem medição. Correção: instituir a cadência de monitorização definida no passo 6.

Sinais de alerta Preços desatualizados em respostas de comparação. Integrações fantasma confirmadas com confiança. Limites de plano errados em contextos de decisão de compra. Qualquer um destes sinais indica que a fonte de verdade do produto não está a chegar ao modelo.

A Semly permite consultar respostas de IA e fontes. Quem conhece o produto avalia funcionalidades e integrações.

Guias relacionados

• O WordPress não aceita um artigo pela REST API: diagnosticar erros 401, 403 e 404
• Publicação automática de artigos no WordPress com AI. Da ideia ao post pronto.