Todos os Artigos

Artigos

Cover Image

Como as más métricas estão a prejudicar o seu negócio e a experiência dos seus utilizadores
Junho 7, 2021

No outro dia, um dos nossos colegas partilhou que quando levou o seu carro à revisão, pediram-lhe para os avaliasse com 5 estrelas porque eram um estabelecimento “5 estrelas”. Esta acabou por ser uma das premissas para escrevermos este artigo. 

Vamos supor que os seus clientes realmente se deixam manipular por este tipo de insinuações e acabam por avaliar o seu serviço com 5*. Que tipo de feedback está mesmo a obter? É útil de alguma forma? Se não quer que os seus clientes dêem o seu feedback honesto, então não está mesmo interessado em saber se está a proporcionar uma óptima experiência ao cliente, ou se pode melhorá-la de alguma forma.

Para não falar que direccionar os clientes para a resposta que quer ouvir irá dar-lhes uma impressão bastante negativa do seu negócio. 

“O sistema de métricas falsas não cria uma melhor experiência de compra, cria um cliente ameaçado com pressão para dar um cinco.” 

Seth Godin em “Avoiding false metrics”

Se deseja uma classificação de 5 estrelas, trabalhe nesse sentido. Pergunte aos seus utilizadores as questões certas de forma a obter o seu feedback honesto. Se lhe disserem que não está muito bem em certos aspectos, trabalhe para fazer as coisas de forma diferente, a fim de melhorar a sua experiência com o seu serviço. 

As empresas estão a enganar-se a si próprias e a aborrecer os clientes como consequência. Fazem-no quando aplicam questionários tendenciosos apenas na esperança de confirmar o que querem ouvir. A verdade é que os questionários podem ser uma fonte de informação valiosa, mas apenas se forem usados correctamente. Questionários mal executados podem tornar-se uma falsa luz-guia e levar a métricas de vaidade que não irão fornecer informações accionáveis. 

Aplicar questionários ineficazes

Um empregado da caixa que dá ao cliente o recibo e lhe diz como pode obter um desconto numa futura compra se tirar um momento para ir online e preencher um questionário. Um email enviado logo depois de comprar algo num website de e-commerce a pedir o seu feedback. Janelas pop-up intrusivas enquanto as pessoas estão ainda a começar a navegar num website. Para não falar nos terminais com botões de smiles que pedem aos clientes que avaliem o serviço ao saírem de uma loja - O que significa mesmo uma carinha triste? O empregado piscou o olho inapropriadamente? Era caro? Estava sujo? Nunca saberá. 

Os questionários são uma ferramenta de investigação de utilizadores bastante flexível. Permitem às empresas reunir informação sobre os seus utilizadores, as suas atitudes e comportamentos. É um método bastante barato e rápido, são fáceis de criar numa das várias plataformas online disponíveis e de distribuir (pessoalmente, por telefone ou online). Contudo, um questionário só gerará dados de qualidade se conter questões relevantes, alinhadas com o objectivo da investigação. Infelizmente, a maior parte das vezes não é esse o caso. Muitas vezes as empresas falham na aplicação de questionários eficazes. 

Como consumidores já testemunhámos isso. Quem não se deparou com um questionário com perguntas confusas ou enganadoras? Quem não se aborreceu ao preencher um questionário que parecia nunca mais acabar? Há até um perfil no Twitter onde as pessoas partilham exemplos de más perguntas de questionários (algumas bastante hilariantes, temos de dizer). 

Analisar melhor alguns exemplos irá ajudar-nos a perceber como é que as empresas estão a errar. 

Colocar questões conducentes

Este tipo de questões levam as pessoas a responderem de uma maneira específica, devido à forma como são formuladas. Para identificar uma questão conducente basta procurar adjectivos subjectivos e palavras carregadas de contexto. 

Source: SoGoSurvey website

No exemplo acima, a informação incluída entre parêntesis está claramente a tentar convencer as pessoas a escolherem uma organização específica, evidenciando o seu “trabalho incrível com órfãos”. 

Se perguntar “O quão boa é a nossa trabalhadora equipa de apoio ao cliente?, está a insinuar que a equipa de apoio ao cliente é “boa” e “trabalhadora”. Para torná-la numa questão não-conducente teria de refraseá-la “Como descreveria a sua experiência com a equipa de apoio ao cliente?”

Uma boa pergunta não deve conter qualquer julgamento ou insinuações, mas antes ser objectiva e concreta.

Escalas incorrectas e más opções de resposta

As opções de resposta que oferece são tão importantes como as perguntas que coloca. Se as escalas são confusas ou desequilibradas, não poderá confiar nos resultados dos questionários. 

Source: Bad Survey Question

Vejamos este exemplo. Aparentemente é suposto respondermos às questões indicando um número entre 0 e 10. Mas o que significa o 0? E o 10? Isto torna bastante difícil dar uma resposta correcta. De certeza que não era isto que Rensis Likert estava a pensar quando criou a Escala de Likert. Neste sistema de classificação de 5 ou 7 pontos, os inquiridos devem escolher de entre uma variedade de respostas possíveis a uma pergunta ou afirmação especifica. Estas respostas são normalmente “Concordo totalmente”, “Concordo”, “Neutro”, “Discordo” e “Discordo totalmente”.

Neste exemplo, explicam o que o 0 e a 5 significam. Óptimo, certo? Bem, poderia ser se as respostas “Nem pensar” e “Podes crer!” fossem realmente adequadas à pergunta. “Extremamente difícil” para o 0 e “Extremamente fácil” para o 5 seriam opções melhores para avaliar a facilidade do processo de encomenda. 

Poderíamos ter também mencionado este como um exemplo de questão conducente. Quando perguntam “O quão fácil foi o processo de encomenda?” estão a sugerir que o serviço é fácil. Em vez disso deveriam perguntar “Como descreveria o processo de encomenda?” e fornecer uma variedade adequada de opções de resposta. 

Ao escrever opções de resposta, deverá primeiro considerar a melhor forma de colocar a questão e pensar depois nos tipos de resposta que irão permitir aos inquiridos dar o seu feedback sincero e correcto. 

Questionários dolorosamente longos

Um estudo do SurveyMonkey mostrou que quantas mais perguntas por questionário, maior a taxa de desistência dos inquiridos do início ao fim. Se uma pessoa começa a responder a um questionário, há um aumento acentuado da taxa de desistência com cada pergunta adicional até 15 perguntas. 

Para poupar tempo e dinheiro pode ser tentador adicionar mais áreas de exploração no mesmo questionário. Áreas por vezes completamente distintas umas das outras. O problema é que os torna excessivamente longos. Os questionários devem ser mantidos curtos de forma a optimizar a taxa de resposta. Devem começar com perguntas mais fáceis, deixando as mais difíceis para o final, pois são mais propensas a desmotivar os participantes e, eventualmente, fazê-los abandoná-lo. 

Sobrecarregar as perguntas 

Neste exemplo, a questão está a solicitar duas respostas diferentes ao mesmo tempo - “Já foi vacinado contra a COVID-19?” e “Tenciona ser vacinado quando foi elegível para recebê-la? A resposta à primeira pode ser “Não” e à segunda “Sim”, ou vice-versa.

Depois há as opções de resposta. “Sem certeza” não deveria ser uma opção para a primeira pergunta porque ou foi ou não foi vacinado (a não ser que estivesse sedado e não se lembre, o que não é muito provável 😅). 

Cada pergunta deve conter uma única ideia. Nas questões duplas, o inquirido pode acabar por não responder a nenhuma das perguntas ou focar-se apenas na questão que lhe chama mais à atenção, ignorando a outra. As respostas a estas questões não úteis para análise porque não revelam o verdadeiro ponto de vista do inquirido.

Levar os seus utilizadores à fadiga de questionários

A customer’s despair

Na última década, à medida que as empresas começaram a tomar uma abordagem mais centrada no utilizador, testemunhámos um aumento no número de questionários que enviam para obter feedback da sua audiência.

A todos já nos foi solicitado que déssemos a nossa opinião sobre um produto ou serviço, várias vezes, de formas diferentes. Mas quantas vezes ignorámos aquele email “Por favor, pode dar-nos a sua opinião”, fechámos a janela pop-up a perguntar-nos se podíamos avaliar o seu serviço ou dissemos que estávamos muito ocupados e não podíamos responder a um questionário por telefone? 

Os utilizadores ficam entediados, cansados ou desinteressados nos questionários das empresas devido ao número avassalador de pedidos de feedback que recebem quase todos os dias. Se decidirem não responder ao questionário, as taxas de resposta começam a descer e as empresas não obtêm a informação que procuram. 

É por isso que precisa de considerar a frequência com que envia questionários, ou arrisca perder tempo e dinheiro a realizar questionários que irão ser preenchidos descuidadamente ou pior, nunca respondidos. 

Quando muitas das decisões importantes são feitas com base em questionários, então temos claramente um problema. As más perguntas de questionários levam a maus dados e inviabilizam as decisões de negócios.

Os questionários são uma perda de tempo e dinheiro se os utilizadores não estiverem no centro do processo e se não são levados em conta aquando da escrita das perguntas do questionário. 

Desenvolver um questionário com questões imparciais, mantê-lo curto e simples, usar linguagem clara e uma estrutura apropriada irá ajudar a recolher informação valiosa dos utilizadores. Os questionários podem ser uma ferramenta útil para fornecer informações para o processo de design e para melhorar a experiência dos utilizadores com o seu produto ou serviço. 

Não está a medir o que interessa

Voltando à experiência com a revisão do carro que um colega partilhou. Aqueles empregados estavam claramente preocupados em conseguir uma avaliação de 5 estrelas. Poder dizer “90% dos nossos clientes dizem que oferecemos um serviço 5 estrelas” fá-lo sentir-se bem, mas não lhe diz nada sobre o seu negócio. Isso leva-nos ao próximo tópico - métricas de vaidade.

Exemplos de métricas de vaidade

Apresentar estes números numa reunião irá certamente fazê-lo a si e ao seu chefe sentirem-se contentes. Mas algum destes números nos ajuda a perceber se o nosso produto esta a funcionar para os nosso utilizadores?

Pode estar a ganhar 10 novos seguidores no Twitter diariamente, mas e se também estiver a perder uma média de 15 seguidores todos os dias? Se só olharmos para a métrica que nos faz sentir bem, simplesmente assumimos que tudo está a correr bem. Agora, se espreitarmos para trás da cortina, podemos chegar à conclusão que precisa de ser feito algum trabalho para retermos a nossa audiência. 

A sua app pode ter sido descarregada centenas de vezes, mas quantos utilizadores são de facto utilizadores activos, a interagir com a app? Os downloads são óptimos, mas tornam-se inúteis se as taxas de engajamento e de retenção baixam imediatamente.

Tráfego, visualizações de páginas, novos seguidores nas redes sociais, tempo despendido no website, número de downloads - estes são apenas alguns exemplos de métricas de vaidade. Não fornecem nenhum passo accionável para melhorar a sua estratégia de negócio. Não têm valor real para o negócio. 

“Se tem um dado sobre o qual não pode agir, é uma métrica de vaidade. Se tudo o faz é afagar o seu ego, não ajudará. Quer que os seus dados informem, orientem, melhorem o seu modelo de negócio, que o ajudem a decidir uma linha de acção.” 

Alistair Croll & Benjamin Yoskovitz em Lean Analytics

Transformar as métricas de vaidade em métricas accionáveis

Ao contrário das métricas de vaidade, as métricas accionáveis fornecem informações relevantes para ajudar a impulsionar mudanças no negócio. 

Digamos que teve 10.000 novos visitantes no seu website na semana passada. Parece óptimo, certo? Mas e se estes saem da sua página nos primeiros 5 segundos? Encontrar as razões pelas quais isto acontece pode ajudá-lo a fazer os ajustes necessários para resolver o problema. 

O que faz uma boa métrica?

Em Lean Analytics, Alistair Croll e Benjamin Yoskovitz dizem que uma boa métrica…

… é comparativa - comparar uma métrica com outros períodos de tempo, grupos de utilizadores ou concorrentes ajuda a perceber como estão a correr as coisas. Ex.: conversão aumentada em 10% desde a semana passada.

… é compreensível - as pessoas devem ser capazes de recordá-la e discuti-la para que uma mudança nos dados possa ser transformada numa mudança na cultura.

… é uma proporção ou uma taxa - se comparar uma métrica diária com a mesma métrica ao longo de um mês, verá se houve um aumento repentino ou se é uma tendência de longo prazo. Proporções são boas para fazer comparações e tornam mais fácil compreender a “saúde” de uma empresa. Como resultado, são mais fáceis para agir, ajudando a perceber se está a caminhar na direcção dos seus objectivos de negócio, ou na direcção oposta.

… muda o seu comportamento - o que irá fazer de diferente com base em mudanças na métrica? O que irá fazer se mais de metade dos inquiridos dizem que não irão pagar por uma certa funcionalidade? Não irá desenvolvê-la. Uma boa métrica deve estar alinhada com os seus objectivos de negócio, quer sejam manter utilizadores, adquirir novos clientes ou gerar mais vendas. 

Net Promoter Score - por que não deve confiar nesta métrica

De certeza que, como consumidor, já lhe foi colocada esta questão em algum momento:

Numa escala de 0 a 10, qual é a probabilidade de recomendar a [EMPRESA] a um amigo ou colega?

Esta questão foi primeiro introduzida em 2003 pelo consultor de marketing Fred Reichheld num artigo da Harvard Business Review, acreditando que esta única questão poderia avaliar a lealdade do cliente de uma organização e o crescimento do negócio. Desde então, o Net Promoter Score (NPS) tem sido usado por inúmeras empresas em todo o mundo. 

Dependendo de como respondem, os clientes são categorizados em três grupos - promotores (pontuações 9 e 10), passivos (pontuações 7 e 8) e detratores (pontuações 0 a 6). O NPS é então calculado subtraindo a percentagem de clientes que responderam com um 6 ou menos, da percentagem de clientes que responderam com um 9 ou 10. A pontuação é negativa quando uma empresa tem mais detratores do que promotores, e positiva quando se verifica o contrário. 

Contudo, esta não é uma métrica na qual deve confiar. Se um cliente pontuar com um 7, como irá saber as razões por detrás dela? Em que ponto da sua experiência ficaram insatisfeitos? E se não souber as razões, como irá saber o que pode fazer para melhorar a experiência? 

No artigo “Net Promoter Score Considered Harmful (and What UX Professionals Can Do About It)”, Jared Spool explica cuidadosamente as falhas desta métrica. Ele diz: 

"As melhores questões de investigação são sobre o comportamento passado, não o comportamento futuro. Perguntar ao participante de um estudo “Irá tentar levar um estilo de vida mais saudável?” ou “Vai parar de comer açúcar?” ou “Irá comprar este produto?” requere que prevejam o seu comportamento futuro. Estamos mais interessados no que fizeram do que no que irão fazer. Estamos interessados no comportamento real, não numa previsão de comportamento."

Por que deve medir a experiência do utilizador

Qualquer ferramenta de analítica irá facilmente informá-lo sobre as visualizações do seu website. Contudo, visualizações de páginas dizem-lhe pouco sobre a experiência que as pessoas estão a ter quando navegam no website. 

O tempo despendido no website é normalmente associado ao engajamento. As pessoas passarem mais tempo no seu site pode ser uma coisa boa, mas pode também ser uma coisa má se passam esse tempo a sentirem-se confusas ou frustradas porque não estão a encontrar o que procuram.

Num artigo para a UXMatters, Pamela Pavliscak escreveu “A maioria das métricas são orientadas para o marketing, não para a experiência.” As métricas de UX fornecem informações que permitem medir a usabilidade de um website ou app, revelando áreas que podem ser melhoradas. 

Melhorar o seu negócio com questionários eficazes e métricas mais significantes

“A menos que avaliemos o efeito que as nossas mudanças têm no nosso produto ou empresa, nunca poderemos saber realmente que o que estamos a fazer está a tornar as coisas melhores.”

Laura Klein em Build Better Products


Foto de freestocks no Unsplash

Maus questionários irão levar a feedback não confiável. Irá perder a oportunidade de compreender a experiência dos utilizadores e de melhorá-la. Ter uma ideia clara dos objectivos de investigação é o primeiro passo para um questionário eficaz. Em Just Enough Research, Erika Hall refere “precisa de garantir que coloca o número certo de questões, que são possíveis de responder e que já decidiu um caminho claro dos resultados do questionário à acção.”

Questionários ineficazes podem levar a métricas sem significado que não resolvem problemas. O mesmo acontece com outras inúmeras métricas fornecidas por ferramentas de analítica frequentemente monitorizadas pelas empresas. 

Identificar as métricas certas e avaliar os dados necessários fornecerá informações valiosas. As métricas significativas ajudam a perceber o que se está a passar com o seu produto, como os utilizadores estão a experienciá-lo e oferecem informações para melhorá-lo. 

Tanto questionários bem elaborados, como métricas significativas podem fornecer informações accionáveis e ajudá-lo a tomar decisões melhores e bem informadas, que irão melhorar a experiência dos utilizadores com o seu produto digital. 

Aprenda com os especialistas

Quer saber mais sobre como escrever melhores questionários e aplicar as métricas que mais importam para o seu negócio? Recomendamos uma leitura atenta destes autores:

Precisa de ajudar para melhorar o seu negócio?

Na Xperienz podemos ajudá-lo a recolher dados úteis dos seus utilizadores, aplicando questionários eficazes. Podemos também assisti-lo na definição e avaliação das métricas certas, que irão informar melhores decisões de design e de negócio. 

Fale Connosco

Artigos Relacionados