Terceiro episódio do Escuta Ativa, um podcast produzido pela Mergo e apresentado por Edu Agni, falando sobre as diferenças da moderação nas pesquisas remotas e presenciais.
Depois de falar sobre a diferença entre pesquisas remotas moderadas e automatizadas, nesse terceiro episódio do Escuta Ativa eu venho falar um pouco sobre as diferenças de moderação da pesquisa remota para a presencial.
Você pode acompanhar o podcast através do SoundCloud, Deezer, Spotify, iTunes ou aqui no blog com transcrição. Então, boa audição / leitura para você. E caso tenha algum ponto de vista, dúvida, opinião ou sugestão para compartilhar com a gente, basta enviar através do Instagram da Mergo, que a gente vai incluíndo nos próximos episódios 😉
Para aprender e trabalhar com pesquisa em design, inscreva-se na Formação em UX Research da Mergo: mergo.com.br/formacao-ux-research
[Início da Transcrição]
[Vinheta de abertura] Você está no Escuta ativa, o podcast com doses de UX para você escutar.
[Pausa na fala, com música de fundo]
Edu Agni: Moderação em Pesquisa Remota é o tema desse terceiro episódio do Escuta Ativa, o podcast da Mergo pra você fazer uma imersão no mundo do UX. Aliás, se você ainda não acompanha todos os conteúdos produzidos pela Mergo, tá perdendo hein! Segue a gente lá no Instagram, procura por @MergoUX. Estamos também no Twitter, Facebook, no Linkedin, e lá no Medium com o //ux.blog. Todo dia a gente tá compartilhando conteúdos muito legais pra quem quer trabalhar com UX, ou pra quem quer se aprofundar no assunto. Então procura lá, @MergoUX.
Essa primeira temporada do Escuta Ativa está abordando o tema “pesquisa remota”. No episódio passado eu falei pra você sobre a diferença entre as pesquisas moderadas e as automatizadas, e a minha ideia é seguir pelos próximos episódios falando sobre pesquisas moderadas, ou seja, quando você conduz a pesquisa ao vivo junto do participante. Mas antes de falar dos métodos, é importante a gente começar a falar de recrutamento, de ferramentas, e da moderação (que é o tema de hoje).
Quais equipamentos eu preciso pra fazer uma pesquisa moderada? Como faço um teste piloto? Como deve ser o meu roteiro? Quais as diferenças da moderação remota e a presencial? Enfim, são muitas perguntas, que vou tentar responder para você agora… aqui no Escuta Ativa.
Eu sou o Edu Agni e quero mais uma vez refletir junto com você sobre Pesquisa Remota. Vamos nessa então?
[Pausa na fala, com música de fundo]
Antes de começarmos a falar da pesquisa em si eu preciso falar com vocês sobre os equipamentos, porque mesmo que você não precise de um laboratório para fazer esse tipo de pesquisa remota, ainda assim você vai precisar de alguns equipamentos, para fazer chamadas, para ver as telas do usuário, para gravar as sessões, além de algumas ferramentas que vão facilitar nossas vidas durante a pesquisa. Algumas coisas que eu vou falar são bem óbvias, mas logicamente o computador que você vai usar precisa ter memória e desempenho suficiente para poder trabalhar simultaneamente com esse conjunto de softwares e de ferramentas, até porque nós não vamos utilizar uma coisa só aberta em um único momento.
A gente precisa ter uma boa conexão de internet, com wi-fi estável — se for o caso podemos usar cabeamento mas, se for wi-fi, que ele seja estável o suficiente. Eu gosto, particularmente, de ter sempre o telefone à mão, porque já aconteceu de eu ter problemas na aplicação do teste e precisar falar com o usuário, precisar mandar uma mensagem ou fazer uma ligação, então se possível tenha o telefone à mão. Outra coisa essencial é você ter fones de ouvido, porquê isso vai ajudar você no processo de escuta ativa, de se concentrar no que o usuário está falando, a prestar mais atenção, a não ter interferência externa de outros tipos de som ou ruído, com o fone de ouvido você consegue se concentrar melhor, e também vai ter o microfone… Eu gosto de usar o modelo headset, que é um modelo bem confortável para as orelhas e tem um microfone para você poder se comunicar melhor com o usuário, ele vai ouvir você melhor, e vai sair melhor na gravação.
Uma outra coisa que eu recomendo sempre, se possível, é usar dois monitores diferentes, até porque a gente consegue dividir melhor a área de visualização: em um monitor nós conseguimos deixar o compartilhamento de tela do usuário — quando é o caso de um teste de usabilidade — e no outro monitor você consegue ficar visualizando sempre o próprio usuário através da câmera dele, consegue visualizar as expressões faciais, o que ele está falando. Esse tipo de interação acaba sendo mais interessante quando a gente possui dois monitores para dividir cada coisa.
Também nem preciso dizer que o local onde vocês vão realizar essa pesquisa precisa ser um lugar calmo, sem interferências. Não dá para você estar aplicando um teste desses e vir seu filho gritando, ou vir alguém ligando TV ou música alta, ligando aspirador de pó — eu sei que nós estamos em casa e temos que conviver com isso, mas que o local que você vai escolher para o teste seja um local calmo, sem interferências, e de preferência num horário que não vá ter essas interferências.
Além disso, vamos precisar escolher uma boa ferramenta de comunicação, um bom software que tenha compartilhamento de tela, que tenha videoconferência, que tenha formas de você conversar via texto também. Eu venho gostando muito de usar o Zoom — ultimamente todo mundo vêm usando o Zoom pra tudo — que é uma ferramenta boa e consistente, a conexão dele acaba sendo muito boa, na videoconferência você ouve bem o participante, tem algumas outras boas ferramentas para você utilizar: o bate-papo para você trocar mensagens de texto, compartilhar algum link, ele possui um compartilhamento de tela fácil de se trabalhar, há a possibilidade de gravar toda a conversa, todo o teste de uma maneira fácil. Mas eu também já utilizei bastante outras ferramentas. O Skype acaba sendo um clássico quando a gente fala de videoconferência, e a vantagem é que boa parte das pessoas, mesmo que não tenha muita experiência computacional, têm o Skype instalado no computador, a gente não precisa ficar ensinando. As pessoas estão começando a conhecer o Zoom agora, então pode ter ainda alguma dificuldade. O problema deles é que são softwares que precisam ser instalados no computador, e toda vez que você tem que fazer o usuário instalar alguma coisa para participar do seu teste nem sempre é uma experiência muito agradável. Mas nós temos algumas alternativas como o Hangout ou o Whereby, que permitem que o usuário, via navegador mesmo, consiga fazer uma videoconferência com você, compartilhar tela e tudo mais.
Depois de selecionar tudo isso a gente não vai chamar diretamente o usuário e sair fazendo teste. Uma coisa que eu sempre recomendei tanto na pesquisa presencial e recomendo mais ainda na pesquisa remota é o teste piloto, que é basicamente o teste da sua pesquisa. É onde você vai testar seu roteiro, onde você vai testar o tempo, onde você vai testar as perguntas, os equipamentos e os softwares que você vai usar. A gente não pode correr o risco de chamar o usuário real para a pesquisa e acontecer algum problema no meio do teste, alguma instrução do roteiro não estar suficientemente clara. Então, a recomendação básica é sempre fazer um teste piloto e, para isso, basta você convidar qualquer amigo ou qualquer colega de trabalho para fazer essa simulação. Faça o agendamento com essa pessoa amiga, marca o dia, se prepara, e prepare todo o teste como se você fosse aplicar com o usuário real, tenha o seu roteiro, tenha suas instruções… É legal, já que nós estamos falando de uma pesquisa remota, que você tenha descrições de pequenos tutoriais sobre como o participante vai ter que configurar a câmera dele, o compartilhamento, o microfone, se ele vai precisar instalar alguma coisa ou não, e aí nessa simulação você vai poder testar o quanto tudo isso é claro ou não. Eu costumo chamar para o teste piloto sempre alguém que não tenha ampla experiência com tecnologia porque assim eu consigo ter uma noção se as minhas instruções estão claras, se o que a pessoa precisa fazer é realmente algo simples, ou se vão haver dúvidas. Então é legal a gente testar todas as instruções, testar como vai ser o compartilhamento de tela, testar como vai ser a dinâmica de envio de links para o usuário acessar ou como você vai se comunicar com ele das diferentes maneiras, por vídeo, por áudio, por bate-papo… Enfim, tendo tudo isso em mãos você começa o seu teste piloto, vai cronometrar o tempo, vai simular cada etapa do teste como se fosse real com esse participante, para que você possa corrigir eventuais problemas, para que você possa corrigir instruções, para que você possa testar os seus equipamentos, para ter noção se a gravação vai ficar boa ou não. Eu normalmente realizo um ou dois testes piloto antes de começar qualquer pesquisa real com o usuário. Então fica aí a grande recomendação.
Agora sim, depois de tudo testado, você vai partir para a pesquisa real. E é importante que você tenha em mente que a maior dificuldade técnica que normalmente acontece com os participantes é no compartilhamento de tela. Sempre tem essa dificuldade em como fazer isso, em como compartilhar, em como parar de compartilhar… Por isso mesmo é importante que a escolha da ferramenta seja muito condicionada ao perfil e habilidade do próprio usuário, do próprio participante. Porque se for um usuário leigo, é importante que você escolha uma ferramenta mais simples e que não tenha grandes configurações para compartilhar uma tela. Claro que se o participante for mais experiente com tecnologia, nós podemos utilizar ferramentas que sejam um pouco mais complexas, que eles vão saber lidar. Mas esse sim é um grande ponto de atenção, porque muitos pesquisadores acabam escolhendo uma única ferramenta e se apegando a ela, e tentando usá-la em todas as pesquisas. É importante que você tenha um leque de ferramentas disponíveis, mais fáceis, mais complexas, mais consistentes e que você possa, caso necessário, substituir uma ferramenta dependendo do participante.
Um outro ponto a se considerar é a forma que você vai fazer a gravação, que é muito importante para nós documentarmos a pesquisa e podermos fazer uma análise pós sessão. Algumas ferramentas já têm gravação integrada, como é o caso do Zoom e do Skype. Agora, se o que você está usando para testar não tem essa gravação integrada, você pode usar algum outro software para fazer isso como o QuickTime gravando a tela, mas eu prefiro sempre ferramentas com gravação integrada. E claro, antes de gravar, como em qualquer pesquisa, precisamos do consentimento do participante, ele precisa saber que ele está sendo gravado — aliás, essas ferramentas que já possuem a gravação integrada notificam o participante de que a sessão está sendo gravada, então é importante que você tenha o consentimento do participante antes de iniciar qualquer gravação. Quando a gente está numa pesquisa presencial normalmente a gente tem um termo de consentimento onde o usuário pode assinar, mas na pesquisa remota a gente tem algumas outras opções. Existem alguns serviços onde nós podemos fazer a assinatura digital de alguns documentos, mas eu acho que esses serviços são meio burocráticos. Para agilizar o processo, eu acabo pedindo pro usuário fazer o consentimento dele na própria gravação. Nesse consentimento, o participante deve dizer que ele sabe que está sendo gravado, que ele sabe para que vai ser usada essa gravação, que ele sabe que isso não vai ser divulgado e que ele consente com a gravação. Normalmente eu peço para a pessoa permissão para gravar, quando ela permite eu inicio a gravação e peço para ela fazer essa declaração de consentimento, assim eu já tenho documentado no próprio vídeo.
Sobre as anotações na pesquisa remota, eu sou da mesma opinião que na pesquisa presencial: eu costumo adotar uma equipe de pesquisa para que cada um tenha um papel bem definido, porque para mim um moderador não deveria fazer anotações durante a pesquisa. Ele já tem a responsabilidade de fazer a conversa fluir, de controlar o tempo, de dar atenção para o participante, e se ele tiver que anotar enquanto fala isso ia acabar tirando sua atenção. Mas claro, muitas vezes o moderador é a única pessoa que está ali para fazer as anotações, nem sempre nós temos uma equipe de pesquisa com observadores. Eu sou do tipo que gosta de fazer anotação em papel, mas eu assumo que na pesquisa remota talvez seja melhor a gente fazer essas anotações em algum editor de texto ou em alguma planilha, porque isso vai fazer com que você continue olhando para a tela do computador, e vai dar a impressão de que você está dando sua atenção para o participante, mas eu ainda acho que se você tiver a possibilidade de não fazer as anotações, de só assistir a gravação posteriormente para fazer a análise da sessão, é melhor. Melhor ainda seria você ter uma equipe de pesquisa, você ter observadores disponíveis para assistir, e quando você combina com observadores, têm alguns procedimentos que você vai precisar fazer, quase os mesmos que você faz com o próprio participante: agendar a sessão de pesquisa, mandar instruções, fazer um teste antes… Os observadores precisam estar cientes dos horários da pesquisa, saber quais ferramentas irão utilizar, combinar uma forma de se comunicar com o moderador — que não vai ser na mesma sessão, no mesmo software em que você está se comunicando com o participante. Eu costumo sempre enviar um email de instruções para os observadores com todos os detalhes, com as configurações e procedimentos que a gente vai utilizar durante o teste, e eu também costumo convidar eles para participar do teste piloto, assim não só eu vou treinar a minha pesquisa como os observadores também vão treinar suas anotações e os seus procedimentos.
Agora, sobre o roteiro da pesquisa remota, obviamente ele vai estar recheado de informações a mais do que a gente teria numa pesquisa presencial. Primeiro que ele vai ter que acrescentar as instruções sobre a tecnologia, principalmente sobre compartilhamento de tela. Nele, você também vai ter que reforçar a consulta sobre o usuário estar disponível para aquela pesquisa, se nada vai atrapalhar ele, afinal ele vai estar em casa ou no trabalho e não no seu laboratório, então a calmaria durante o teste não depende só dele, depende de vários outros fatores, e é importante a gente reforçar se a pessoa realmente vai estar disponível, se ela realmente não vai ser interrompida — apesar que, independente do que ela confirmar, a gente pode sofrer com as interrupções, mas pelo menos a gente reforça isso com um pouquinho mais de ênfase e faz com que ela dê um pouco mais de atenção para isso. Também é importante confirmar se o participante possui todos os equipamentos necessários para participar do teste, se o microfone e webcam dele estão funcionando, qual é o sistema operacional que ele está usando, qual é o navegador, qual o computador que ele está usando, se é um notebook ou não, inclusive se ele está utilizando um mouse ou se é o touchpad. É importante a gente ter todas essas confirmações sobre o ambiente que o usuário está efetivamente usando durante o teste. Outra coisa importante é que nesse roteiro a gente também vai ter que prever alguns possíveis imprevistos que podem acontecer durante o teste, principalmente imprevistos técnicos: a conexão do usuário falhar, o computador do usuário travar, alguém interromper ele no meio… Porque isso é uma coisa muito comum em testes remotos, então você já vai ter que prever no seu roteiro um tempo a mais para esse tipo de coisa.
Uma outra questão é que enquanto no laboratório você tem toda a atenção do usuário, no ambiente real ele pode dispersar muito mais facilmente, várias coisas podem tomar a atenção dele durante o teste. Então se em um laboratório você consegue ter a atenção do participante por talvez uma hora e meia, em uma pesquisa remota talvez com quarenta minutos ele já esteja cansado de ficar na frente do computador, já tenha o ambiente todo chamando a atenção dele de outras maneiras, então inevitavelmente uma sessão de pesquisa remota precisa durar um pouco menos que uma sessão presencial — isso ainda considerando o tempo da configuração da ferramenta pelo participante, o tempo de ele acessar o seu site ou seu protótipo, o tempo de ele acertar o compartilhamento da tela e, além disso, remotamente podem haver muitas dúvidas, é importante a contextualização sobre o que o usuário está testando: se é um protótipo, a gente precisa deixar claro para ele que nem tudo que ele interagir vai funcionar, pode ser que nem todas as opções estejam disponíveis, então é preciso informar ele disso, que se em algum momento ele tentar clicar em algum lugar e nada acontecer ele tem que te avisar isso e seguir o teste, que isso pode acontecer… As instruções antes do teste são muito importantes e a didática das suas instruções durante o teste são mais importantes ainda. É menos tempo para aplicar o teste e com muito mais interrupções, então a clareza e objetividade do roteiro são muito essenciais.
[Pausa na fala, com música de fundo]
E aí, já tinha preparado ou aplicado um teste remoto antes? O que foi mais difícil para você nesse processo? Teve algum imprevisto muito diferente do que eu comentei aqui? Costuma fazer as coisas de um modo diferente do que eu trouxe? Quer compartilhar alguma experiência comigo ou trazer alguma dúvida? Segue a Mergo lá no instagram @MergoUX e manda uma mensagem, assim a gente vai mantendo não só a escuta como essa conversa toda ativa.
Então é isso, um abraço para você e até o próximo episódio! Fui!
