No último post que escrevi nesta série eu falei, de uma forma mais ampla, sobre como você pode estruturar uma Performance Review para o seu time de gestão de produtos. Nesta segunda parte o meu objetivo é mostrar em mais detalhes como avaliar quantitativamente um Product Manager.
Com o resultado dessa pesquisa em mãos eu tenho uma boa visão da percepção do time sobre as skills de cada Product Manager em específico e, também, do chapter de PMs como um todo. Isso me ajuda na Performance Review para direcionar como vou trabalhar para evoluir cada PM. Essas informações também me indicam como posso trabalhar nas deficiências do chapter de produto como um todo, que muitas vezes evidenciam as minhas próprias deficiências, como líder ou como PM.
O resultado deste processo é um relatório com a nota que um determinado Product Manager recebeu em cada skill avaliada, os feedbacks qualitativos recebidos e uma série de gráficos como esse:
A inspiração para fazer esse processo de avaliação veio basicamente de três fontes. O formato, tanto do processo quanto do report, foi inspirado na avaliação 360 que já era utilizado na RD para todos que participavam do treinamento Líder do Futuro, da Crescimentum. Os critérios utilizados para avaliar as skills dos PMs foram inspirados neste post do Marty Cagan. Por fim, o processo de avaliação em sim foi inspirado nesta talk do Anderson Gomes, na Interaction South America de 2017, sobre Design Leadership.
Dito tudo isso, vamos ao que interessa, como executar um processo de avaliação 360 englobando soft e hard skills de PMs? Segue o passo a passo:
Definição do questionário
O primeiro passo é definir qual vai ser o questionário que vai ser aplicado. Como dito anteriormente, eu já tenho um modelo que venho utilizando e se você quiser pode acessar ele neste link. Obviamente você pode modificá-lo de acordo com a sua necessidade e com o perfil do seu time. A seção de Cultura, precisa ser toda modificada porque está levando em consideração o código de cultura da Resultados Digitais e certamente não se aplica a outras empresas.
Formato do questionário
Com as perguntas definidas é necessário utilizar alguma ferramenta para criar o questionário em si. Por facilidade eu utilizo o Google Forms, mas existem várias outras possibilidades. Um ponto importante é que além das perguntas definidas no passo anterior, pode ser necessário incluir uma ou mais perguntas para facilitar análise dos dados depois. No meu caso eu basicamente utilizo uma única pergunta, que é sobre qual a relação que o respondente tem com o PM que ele está avaliando (sou do time deste PM, sou um par deste PM, etc). Para facilitar a logística e evitar erros de preenchimento eu crio um questionário para cada Product Manager em específico. Na minha experiência, utilizar o mesmo form para todos os PMs e criar um campo para selecionar o nome do PM que está sendo avaliado, tem uma chance maior de erro de preenchimento do que criar um form individual para cada um deles.
Envio do questionário
Com o questionário pronto o próximo passo é enviá-lo para as pessoas que vão avaliar os PMs. O que gosto de fazer aqui é deixar que os próprios PMs enviem os questionários para quem eles acharem pertinente. Minha recomendação é que incluam nesta lista de respondentes todas as pessoas do time/squad deles (Tech Leader, Devs, UX, QA, etc), todos os PMs do chapter e outras pessoas com que eles tenham contato recorrente, como (no caso da RD) alguns colaboradores dos times de Product Marketing, CSs, Suporte, Vendas e algumas lideranças diretas ou indiretas. Por fim, eu, como líder, também respondo a avaliação de cada um (e isso não é uma opção =)) e o próprio PM também responde o questionário como uma auto-avaliação.
Análise e compilação dos resultados
É importante desde o início definir uma data em que será encerrado a captação de respostas e, quando isso acontecer (para a sua sanidade mental), eu aconselho que os formulários sejam desativados. A partir daí começa a etapa mais custosa na minha opinião, que é a de análise e compilação dos resultados. É nesta etapa que você vai precisar ficar manipulando os dados para agregar eles, calcular as notas e montar os gráficos, para então fechar os reports (acesse um exemplo aqui). Feito isso, você terá, finalmente, uma visão completa da avaliação de cada PM e do seu time.
Apresentação do report
Com o report da avaliação 360 pronto é hora de apresentá-lo para cada um dos PMs. Eu gosto de fazer isso durante uma reunião de Feedback 360 (vou falar dessa reunião no próximo post). O meu processo consiste em, basicamente, fazer uma apresentação do conteúdo desse relatório, como ler ele e no que cada PM deve prestar atenção ou desconsiderar. Como você pode ver neste exemplo, o report que eu utilizo atualmente contém uma página com os highlights (skills com notas mais altas e mais baixas), o perfil dos respondentes e uma legenda para ler os gráficos das próximas seções. Esses gráficos começam com dados agregados e depois vão sendo quebrados em informações mais detalhadas. Ao final, também é possível analisar as notas em tabelas, para quem prefere esse formato ou, eventualmente, tem interesse de manipular os números para criar novas análises. A última parte é dedicada aos feedbacks qualitativos.
Algo que eu gosto de reforçar é a forma com que as notas devem ser interpretadas. Inevitavelmente cada avaliador vai ter uma escala diferente, então principalmente nas categorias onde tiverem um ou poucos avaliadores essa escala pode deturpar a análise (é o que acontece, por exemplo, na auto-avaliação e na avaliação do líder). Nesses casos o mais importante é olhar para a diferença entre as notas mais altas e mais baixas e não para o valor da nota em si. Isso acontece, por que eu, por exemplo, dificilmente vou dar uma nota 5 pra alguém, um 4 ou até um 3 costumam ser boas notas. No outro oposto, vão existir avaliadores que preferem usar uma escala mais alta, então a comparação se torna difícil.
Discussão com cada PM
A última etapa deste processo é sentar com cada PM e discutir com ele ou ela os resultados da avaliação 360. Gosto de dar especial atenção aos pontos que divergiram da minha avaliação e tentar entender o porque que isso aconteceu. Outra coisa interessante de se discutir nesse momento é a auto-avaliação do PM versus as demais. É nesse momento que eu consigo deixar mais explícito para o PM quando ele está com uma autoconfiança alta demais ou baixa demais e discutir sobre esse assunto e as consequências.
Essas discussões todas que mencionei neste post não acabam na performance review, este é só um momento de alinhamento e de início dessas conversas. Na prática você provavelmente vai ver reflexo dessas descobertas em todos os próximos 1on1s e é isso que vai guiar o desenvolvimento de carreira (técnico e comportamental) de cada Product Manager do seu time.
