A HackerRank disponibiliza a 5 de Outubro aos clientes o Chakra, o seu entrevistador de IA para funções técnicas, após cerca de seis meses em beta, noticia a TechCrunch. Na entrevista, o candidato trabalha num ambiente de desenvolvimento com um repositório de código e um assistente de IA. O Chakra acompanha o trabalho, coloca perguntas de seguimento e produz uma avaliação para a equipa de recrutamento. Para os candidatos, o percurso até à resposta passa também a fazer parte da avaliação.

A principal mudança

  • O que mudou:Segundo a notícia da TechCrunch de 5 de Outubro, a HackerRank passou o Chakra de uma beta de cerca de seis meses para a disponibilidade geral para os seus clientes.
  • Porque é importante:A equipa de recrutamento pode analisar o trabalho e a conversa do candidato juntamente com as pontuações de competências, dispondo de mais elementos do que uma entrega de código concluída.
  • O que continua por esclarecer:Os números de entrevistas, as avaliações dos candidatos e as alegações de imparcialidade da HackerRank são declarações da empresa. As fontes disponíveis não demonstram que as pontuações do Chakra prevejam o desempenho profissional ou funcionem igualmente bem para diferentes grupos de candidatos.

A entrevista acompanha o trabalho

Na descrição do Chakra pela HackerRank, os empregadores podem transformar uma descrição de função numa entrevista com secções, perguntas e grelhas de avaliação personalizadas. O candidato realiza uma tarefa num ambiente interactivo semelhante a um ambiente de desenvolvimento. O exemplo da empresa pede a um engenheiro que examine uma base de código, planeie correcções, faça alterações e valide o resultado. A TechCrunch noticia que o candidato dispõe de um assistente de IA no ambiente e que o Chakra pode perguntar por que escolheu determinada abordagem ou como a adaptaria a uma nova restrição.

A HackerRank afirma que o Chakra avalia o que os candidatos dizem e fazem durante a parte prática e fornece aos empregadores pontuações de competências, um resumo de pontos fortes e lacunas e justificações ligadas à transcrição e ao trabalho. O relatório dá ao responsável pelo recrutamento elementos a verificar quando uma pontuação surpreende. Por si só, não indica se a grelha mede o futuro desempenho profissional.

A HackerRank também promove alertas de comportamento suspeito, como ajuda externa não autorizada. A página do produto distingue esse comportamento da utilização permitida de IA durante a entrevista. A TechCrunch cita a alegação da empresa de que esses alertas foram 70% a 80% menos frequentes nas entrevistas com o Chakra do que em avaliações tradicionais comparáveis; a comparação variou consoante a região e a senioridade, e a notícia não apresentou os dados subjacentes. Uma taxa de alertas mais baixa, por si só, não demonstra com que frequência ocorreu uma infracção.

O que os empregadores podem consultar

A página de ajuda da HackerRank para entrevistas assistidas por IA descreve a visibilidade em directo das instruções do candidato e das respostas do assistente, um editor partilhado, a consulta das alterações ao projecto e a transcrição do chat após a entrevista. Estes detalhes ajudam a explicar o modelo de observação mais amplo da HackerRank. No entanto, a página aplica-se explicitamente à sua experiência Interview herdada, não a uma especificação de funcionalidades do Chakra. As equipas devem confirmar que vistas a respectiva conta Chakra disponibiliza.

Para o próprio Chakra, a página do produto promete explicações das pontuações apoiadas na transcrição e no trabalho do candidato. A TechCrunch descreve um relatório detalhado para responsáveis de recrutamento. A empresa afirma também que uma pessoa continua responsável pelo resultado da contratação; o CEO Vivek Ravisankar disse à TechCrunch que o Chakra avalia candidatos, mas a decisão final cabe às pessoas. A revisão humana é mais importante quando uma pontuação gerada por IA tem pouco suporte ou contradiz o trabalho.

A adopção não equivale a validação

A HackerRank afirma que mais de 500 000 candidatos concluíram entrevistas com o Chakra e que a experiência tem uma avaliação média superior a 4,8 em 5. A TechCrunch indica que Snowflake, Snorkel e Capgemini o experimentaram durante a beta. Segundo a empresa, estes números indicam uma utilização significativa, mas as fontes não revelam o método de avaliação, a taxa de resposta nem provas independentes de que as pontuações sejam imparciais ou prevejam o desempenho posterior.

A HackerRank afirma que compara a avaliação da IA com a de especialistas humanos e realiza análises de enviesamento. A página pública do produto não divulga os resultados nem os métodos necessários para avaliar essas alegações. Um comprador pode pedir os relatórios de validação e auditoria relevantes, a grelha exacta para as suas funções e uma forma de confrontar as explicações das pontuações com o registo do candidato. Os candidatos têm interesse directo em saber o que é registado e como é utilizado.

A página do Chakra disponibiliza um ensaio gratuito, marcação de demonstração e pedido de entrevista de exemplo. Não divulga preços específicos do Chakra nem os planos de cliente que incluem acesso. A BIG CHANGE consultou a documentação e a notícia da TechCrunch; não realizámos uma entrevista com o Chakra nem examinámos uma conta de empregador.