Segundo episódio do Escuta Ativa, um podcast produzido pela Mergo e apresentado por Edu Agni, falando sobre as diferenças entre as modalidades “moderada” e “automatizada” para a aplicação de pesquisa remota.
Depois de falar sobre porquê não devemos fazer pesquisa com UXers, ontem gravamos o segundo episódio do podcast Escuta Ativa, dessa vez fazendo um comparativo sobre as duas modalidades de pesquisa remota: moderada vs automatizada.
Você pode acompanhar o podcast através do SoundCloud, Deezer, Spotify, iTunes ou aqui no blog com transcrição. Então, boa audição / leitura para você. E caso tenha algum ponto de vista, dúvida, opinião ou sugestão para compartilhar com a gente, basta enviar através do Instagram da Mergo, que a gente vai incluíndo nos próximos episódios 😉
Para aprender e trabalhar com pesquisa em design, inscreva-se na Formação em UX Research da Mergo: mergo.com.br/formacao-ux-research
[Início da Transcrição]
[Vinheta de abertura] Você está no Escuta Ativa, o podcast com doses de UX para você escutar.
[Pausa na fala, com música de fundo]
Edu Agni: E chegamos ao episódio número dois do Escuta Ativa, que é o podcast da Mergo sobre UX, ou “experiência do usuário”. Aliás, a Mergo é uma escola especializada em cursos e workshops na área de UX, e se você quiser conhecer um pouquinho mais do nosso trabalho fica o convite pra você seguir a gente lá no Instagram, é só procurar por @mergoux, ou então nas outras redes, a gente também tá no Twitter, no Facebook, no Linkedin, e também tá aqui no Medium com o //ux.blog, então é só seguir a gente e acompanhar todos os conteúdos que a gente vêm compartilhando nesses últimos tempos.
Se você está acompanhando o Escuta Ativa já sabe que essa primeira temporada vai tratar de pesquisa remota — e se não sabia, está sabendo agora também — , e o que eu quero trazer pra vocês nesse segundo episódio é uma comparação entre os formatos de pesquisa moderada e automatizada, que são as duas possibilidades que a gente tem pra trabalhar na pesquisa remota. Porque assim, a verdade é que sempre existiram uma porção de métodos de pesquisa que já eram remotos por natureza, que são esses métodos automatizados, e outros métodos nasceram no presencial e foram adaptados posteriormente para o modelo remoto, no caso são os métodos moderados. Mas será que é tudo a mesma coisa? O que a gente consegue aprender com cada uma dessas modalidades? Quais são as diferenças de aplicação e de resultado em cada um desses formatos? Enfim, é sobre isso que eu quero falar com vocês nesse episódio do Escuta Ativa.
Eu sou o Edu Agni e vou comandar mais uma vez esse podcast de reflexões sobre pesquisa remota diretamente pros seus ouvidos. Vamos nessa?
[Pausa na fala, com música de fundo]
Se devido à força da situação você decidiu recentemente começar a fazer pesquisa remota, talvez você tenha pesquisado alguns métodos, algumas abordagens, e tenha percebido que tem algumas formas de pesquisa em que você tem que estar ao vivo, presente, conversando com o usuário, enquanto há alguns métodos em que você basicamente configura a pesquisa e ela fica acontecendo sozinha, sem a sua presença. Essa é a diferença das duas modalidades de pesquisa remota que nós temos: a moderada e a automatizada.
No episódio piloto desse podcast, eu comentei brevemente com vocês sobre a diferença entre pesquisa quantitativa e qualitativa. A quantitativa normalmente é feita à distância, com um grande número de participantes, de uma maneira automatizada, e o resultado vai me trazer tendências de comportamento de uma forma estatística. Já a pesquisa qualitativa é aquela que a gente faz com uma amostra menor de participantes, tendo contato direto com eles, conduzindo a conversa e onde a gente tem a possibilidade de aprofundar nos assuntos pesquisados, de entender a raiz dos problemas, de descobrir novos insights ou explorações. Então a pesquisa qualitativa é direta com o usuário, a pesquisa quantitativa é indireta. E a verdade é que quase a totalidade dos métodos quantitativos sempre foram remotos. Quando a gente pega alguns tipos de pesquisa como a survey — que eu comentei bastante no último episódio — ou os mapas de cliques, os testes A/B, são todas pesquisas quantitativas que já são remotas, feitas de uma maneira automatizada. Agora, quando eu estou falando de pesquisas moderadas, eu estou falando daquele tipo de pesquisa em que uma pessoa precisa conduzir a conversa. Então, se eu estou falando de um teste de usabilidade eu tenho o papel do moderador, que vai aplicar o teste, que vai fazer as perguntas, que vai fornecer as tarefas, que vai avaliar a realização das tarefas pelos participante. Se é uma entrevista, eu estou falando do entrevistador que vai conduzir a conversa usando a escuta ativa, de uma maneira a fazer aquilo parecer um bate papo, que vai ver os insights, que vai aprofundar em cada tópico fornecido pelo participante. Se é uma co-criação, eu estou falando de um facilitador, que é aquela pessoa que vai explorar a dinâmica, que vai fornecer as condições, que vai controlar o tempo, que vai direcionar os participantes. Ou seja, toda pesquisa que é moderada tem essa figura do moderador que vai conduzir a conversa. Então a gente percebe que, na verdade, toda pesquisa qualitativa é moderada, é sempre feita diretamente com participantes, e eu sempre preciso de uma pessoa para conduzir essa pesquisa, para interagir, para aprofundar, para conversar.
E aí eu volto no que eu já tinha falado no episódio anterior: muitas vezes quando a gente tá começando a pensar em trabalhar com pesquisa remota, a gente tá se referindo justamente à pesquisa qualitativa, que normalmente é feita de forma presencial, que normalmente é aplicada frente a frente com o usuário. Normalmente a gente tá falando sobre como nós adaptamos os métodos qualitativos para uma modalidade remota. Então, os métodos quantitativos, eles sempre foram remotos. Os métodos qualitativos com moderação vêm sendo ao longo do tempo adaptados conforme a tecnologia vai evoluindo, e isso vai ficando cada vez melhor, a gente tem várias vantagens na pesquisa remota que a gente já colocou nessa conversa: a facilidade de você recrutar participantes que estão dispersos pelo Brasil, a facilidade de marcar as reuniões, o contexto real (no caso do participante). Então a gente tem várias vantagens em trabalhar hoje com pesquisa remota.
Então, essa conversa sobre “moderada vs automatizada” é praticamente uma conversa sobre “qualitativa vs quantitativa”. Mas a grande questão é que nem toda pesquisa qualitativa é remota, mas toda pesquisa remota moderada é qualitativa, então essa é a diferença. Vamos nos basear no que a gente pode chamar então de “moderado” e “automatizado”, que é o que se encaixa melhor no nosso entendimento falando sobre pesquisa remota.
Toda pesquisa que é moderada normalmente acontece ao vivo, então todas as pessoas estão conectadas ao mesmo tempo, através de algum sistema ou algum software que permita a comunicação simultânea entre eles, como algum software de videoconferência, pode ser o Skype, ou o Zoom… mas a verdade é que estão todos ali, ao vivo, conversando naquele exato momento, tanto o moderador da pesquisa quanto o participante, quanto os observadores, as pessoas que estão acompanhando a pesquisa. Claro que, mesmo a gente estando ao vivo, conversando com o participante, a gente perde alguns detalhes, algumas questões que sempre foram mais práticas de vivenciar no presencial, aquela abordagem mais etnográfica que considera o contexto do participante, os objetos, tudo que o cerca, onde ele vive, isso tudo é muito importante numa pesquisa . Claro que a gente não tem acesso a tanta vivência pessoal do participante quando a gente está fazendo de maneira remota, mas ainda assim a gente consegue um feedback qualitativo mais profundo, a gente consegue conversar com a pessoa de modo a receber os feedbacks dela e poder explorar eles, poder aprofundar, poder questionar, tanto em questão de comportamento — a gente consegue entender o que o usuário está fazendo com os produtos, as tarefas que ele está realizando durante os testes que a gente pode fazer.
Dá pra gente colher muito insight pelo próprio tom de voz do participante, perceber quando ele está mais nervoso, quando ele está com receio de falar alguma coisa, a expressão facial, a gente consegue perceber pelo rosto quando ele não quer falar sobre algum assunto, quando ele quer falar, quando ele está com receio, quando ele não está à vontade, e toda essa percepção é muito importante para que o moderador possa conduzir essa conversa de uma maneira que vá render. A verdade é que nessas pesquisas moderadas a gente vai descobrindo como fazer a pesquisa durante a própria pesquisa, de acordo com o como ela vai acontecendo. A gente consegue entender os comportamentos, sentir o tom de voz, o contexto da tarefa e o tempo de execução de uma maneira mais próxima do real.
A verdade é que, independente do quanto a gente planeja uma pesquisa, ou mesmo se a gente realizar uma pesquisa piloto para tentar ter uma noção mais real de como pode transcorrer, a gente ainda vai se deparar com muitos imprevistos na pesquisa real. Cada pessoa é uma pessoa, cada participante tem a sua própria vivência, então independente das perguntas ou das tarefas que a gente planejar, vão acontecer esses imprevistos, ou o participante vai dizer algo que a gente não esperava ou fazer algo que não estava sob controle ou que não era esperado por quem planejou aquela tarefa. Essa é a parte importante de você ter um moderador, porque ele vai poder sondar esses assuntos à medida que eles vão surgindo durante a pesquisa. Dependendo do que a pessoa falar, do que ela fizer, a gente consegue entender esses casos isolados, consegue aproveitar a oportunidade para aprofundar a nossa pesquisa, para comentar, para falar, descobrir a raiz dos problemas. A moderação tem esse papel dentro da pesquisa, de fazer com que o resultado da pesquisa seja mais qualitativo, seja mais aprofundado, que essa pesquisa de fato traga para a gente o por quê que as coisas acontecem, o por quê que as pessoas agem dessa maneira ou por quê as pessoas têm uma determinada necessidade.
Já a pesquisa automatizada é o outro lado, o pesquisador não vai ter contato nenhum com um participante, não vai se comunicar com ele, às vezes não vai nem saber quem é esse participante. Para uma pesquisa automatizada, normalmente a gente vai usar um tipo de ferramenta ou um serviço para disponibilizar essa pesquisa e para obter os feedbacks, para registrar automaticamente o comportamento do usuário. No final das contas, a partir de uma amostra grande de participantes, a gente vai descobrir tendências de comportamento do nosso público.
A pesquisa automatizada é quantitativa, mas ela também pode ajudar a gente a obter outros tipos de resposta dos participantes, como a opinião. Muitas pesquisas quantitativas conseguem colocar perguntas abertas — como por exemplo uma pesquisa de NPS ou uma pesquisa survey — para que o usuário dê sua opinião, escreva alguma coisa, dê uma resposta mais subjetiva. É claro que a análise vai ser muito mais complicada, mais demorada, e a gente não vai poder questionar o usuário, mas ainda assim a gente consegue obter algumas opiniões, e não só comportamentos. A gente consegue ter uma noção da taxa de conclusão das tarefas que os usuários podem realizar — inclusive, no contexto real — usando o produto de verdade com as informações deles, com os problemas deles, ou até mesmo a gente saber como os usuários categorizam informações fazendo um card sorting de maneira automatizada que vai me mostrar esse modelo mental dos usuários. Logicamente, não vai permitir o aprofundamento como no qualitativo, de questionar o participante, de entender qual é o ponto de vista para aquela categorização, mas ainda assim eu consigo um feedback muito bom sobre o modelo mental dos usuários.
Então, diferente da pesquisa moderada onde existe o planejamento e a aplicação depende da presença do pesquisador, quando a gente tá falando dos métodos automatizados, a pesquisa é planejada e iniciada através de alguma ferramenta ou sistema. Os participantes vão realizando as tarefas, respondendo às perguntas, sem a presença de um pesquisador. Eles vão interagindo com o próprio sistema, com a própria ferramenta para realizar essas tarefas, e no final da pesquisa, quando ela for encerrada, aí o pesquisador vai reunir todos os dados e vai analisar para poder tirar as conclusões e aprendizados da pesquisa.
A grande pergunta que fica é: quando eu devo usar uma ou outra modalidade de pesquisa? Quando eu devo fazer a moderada, ou quando eu devo fazer a automatizada? Eu acho que a resposta disso passa pela necessidade de informação que o seu projeto tem. O que você precisa aprender com essa pesquisa?
Já que as pesquisas automatizadas são quantitativas, a gente sabe que o quê a gente vai aprender com ela são, de modo geral, tendências de comportamento: quantas pessoas fazem isso ou aquilo, algumas opiniões mais subjetivas, mais rasas, mas de modo geral são estatísticas que a gente obtém desse tipo de pesquisa, como as pessoas estão usando o nosso produto normalmente, o que elas preferem nesse produto, a gente consegue comparar opções, consegue comparar opiniões, comportamentos. A pesquisa automatizada vai trazer esse valor mais numérico para a gente.
Já a moderada é mais qualitativa, então vai permitir que o moderador se aprofunde na vida, nas questões, nos problemas, nos desejos, nas limitações dos participantes, com uma amostra menor — logicamente — a gente vai trabalhar com menos pessoas, mas vai permitir esse aprofundamento. Normalmente a pesquisa qualitativa serve para a gente descobrir o por quê das coisas: as motivações, as frustrações, as incertezas dos nossos usuários.
Então, quando a gente está falando de objetivos de pesquisa, essa pesquisa automatizada vai permitir que a gente faça a avaliação do desempenho de tarefas definidas de uma maneira mais restrita, uma coisa que está documentada paras as pessoas executarem, já que a gente não tem esse contato com o participante. A pesquisa moderada vai permitir descobertas de erros, de problemas de usabilidade, da adequação de um produto ou de um serviço à necessidade do usuário, aquela pesquisa com o reconhecimento do tempo, mais contextual, do mundo real.
Uma coisa que pode ajudar a gente também a tomar decisão sobre que tipo de modalidade escolher são as condições do projeto em que a gente tá trabalhando: o tempo que a gente tem para fazer isso, o incentivo financeiro que a gente pode dar, e a disponibilidade dos pesquisadores. Como eu já falei, a pesquisa moderada depende da sua presença para realizar a pesquisa, e a pesquisa automatizada não. Então se você não tem tempo no seu projeto para realizar essa pesquisa, se o prazo que foi colocado para ele é muito curto, de repente vale a pena você deixar essa pesquisa automatizada rodando para depois conseguir analisar as informações. A gente sabe, também, que a pesquisa moderada vai ter uma amostra pequena, você vai falar com entre 5 e 30 participantes, dependendo do tipo de pesquisa que você está fazendo — se é um teste de usabilidade, ou se é um card-sorting — mas mesmo assim vai levar mais tempo para que ela aconteça, já que você precisa estar presencialmente ali. Eu não vou dizer que “demora mais para acontecer” porque tem alguns tipos de pesquisa quantitativas — o próprio teste A/B que a gente já falou aqui — que podem demorar um mês para se obter um resultado consistente, mas é uma coisa que não está ocupando seu tempo, ela acontece para você analisar o resultado depois. Agora, a pesquisa moderada, mesmo que você vá falar só com 5 pessoas, tem o processo de recrutamento, de agendamento, a sessão da pesquisa em que você precisa estar ali para aplicar e colher o resultado. Por isso muitas vezes a pesquisa automatizada é escolhida quando você trabalha num projeto onde não vai ter muito tempo para se dedicar a essa pesquisa.
É lógico que, idealmente, sabendo que cada pesquisa ensina uma coisa diferente, a verdade é que a gente não deveria substituir uma pela outra, a gente deveria combinar os tipos de pesquisa. Mas, é melhor uma pesquisa automatizada que nenhuma, então se a sua empresa não tem muita cultura de pesquisa para incentivar que você faça testes ou entrevistas moderadas, ao menos uma pesquisa automatizada vai te trazer algum insumo sobre a necessidade do usuário. Independente disso, não se esqueça: combinar métodos de pesquisa é o mundo ideal, é a forma mais completa de você entender os diferentes ângulos de um mesmo problema, os diferentes aprendizados sobre a necessidade do usuário e fazer projetos mais assertivos.
[Pausa na fala, com música de fundo]
E aí, gostou da conversa de hoje? Já teve essa dúvida sobre que tipo de pesquisa escolher, moderada ou automatizada? Ou então, já trabalhou com algum desses métodos e quer compartilhar uma experiência com a gente, quer deixar uma dúvida, fazer alguma pergunta? Segue a Mergo lá no Instagram, @mergoux, e manda uma mensagem para a gente, uma pergunta, uma sugestão, e a gente vai mantendo não só a escuta, como essa conversa toda ativa.
Beleza? Então é isso, um abraço pra você e até o próximo episódio…
Tchau-tchau!