A HackerRank começou a disponibilizar amplamente aos clientes o Chakra, seu entrevistador de IA para funções técnicas, em 5 de outubro, após cerca de seis meses em beta, segundo a TechCrunch. Na entrevista, o candidato trabalha em um ambiente de desenvolvimento com repositório de código e assistente de IA. O Chakra acompanha o trabalho, faz perguntas de acompanhamento e produz uma avaliação para a equipe de contratação. Para os candidatos, o caminho até uma resposta passa a fazer parte da avaliação.

A principal mudança

  • O que mudou:Segundo a reportagem da TechCrunch de 5 de outubro, a HackerRank tirou o Chakra de uma fase beta de cerca de seis meses e o disponibilizou amplamente a seus clientes.
  • Por que isso importa:A equipe de contratação pode analisar o trabalho e a conversa do candidato junto com as pontuações de competências, tendo mais elementos do que apenas um código finalizado.
  • O que ainda está em aberto:Os números de entrevistas, as avaliações de candidatos e as alegações de imparcialidade da HackerRank são declarações da empresa. As fontes disponíveis não demonstram que as pontuações do Chakra prevejam o desempenho no trabalho ou funcionem igualmente bem para diferentes grupos de candidatos.

A entrevista acompanha o trabalho

Na descrição do Chakra pela HackerRank, os empregadores podem transformar uma descrição de vaga em uma entrevista com seções, perguntas e critérios de pontuação personalizados. O candidato realiza uma tarefa em um ambiente ao vivo semelhante a um ambiente de desenvolvimento. O exemplo da empresa pede que um engenheiro examine uma base de código, planeje correções, faça alterações e valide o resultado. A TechCrunch relata que o candidato tem um assistente de IA no ambiente e que o Chakra pode perguntar por que ele escolheu uma abordagem ou como a adaptaria a uma nova restrição.

A HackerRank diz que o Chakra pontua o que os candidatos falam e fazem durante a parte prática, e fornece aos empregadores pontuações de competências, um resumo de pontos fortes e lacunas e justificativas ligadas à transcrição e ao trabalho. O relatório oferece ao gestor de contratação material para conferir quando uma pontuação surpreende. Por si só, não mostra se os critérios medem o desempenho futuro no trabalho.

A HackerRank também divulga alertas de comportamento suspeito, como ajuda externa não autorizada. A página do produto distingue esse comportamento do uso de IA permitido durante a entrevista. A TechCrunch relata a afirmação da empresa de que esses alertas foram de 70% a 80% menores nas entrevistas com Chakra do que em avaliações tradicionais comparáveis; a comparação variou por região e senioridade, e os dados subjacentes não foram apresentados. Uma taxa menor de alertas, por si só, não comprova a frequência de condutas indevidas.

O que os empregadores podem analisar

A página de ajuda da HackerRank sobre entrevistas com assistência de IA descreve a visualização ao vivo das instruções do candidato e das respostas do assistente, um editor compartilhado, a visualização de alterações no projeto e a transcrição do chat após a entrevista. Esses detalhes ajudam a explicar o modelo de observação mais amplo que a HackerRank criou. Porém, a página se aplica explicitamente à experiência Interview legada, não a uma especificação do Chakra. As equipes devem confirmar quais visualizações estão realmente disponíveis em sua conta Chakra.

Para o Chakra, a página do produto promete explicações das pontuações apoiadas pela transcrição e pelo trabalho do candidato. A TechCrunch descreve um relatório detalhado para gestores de contratação. A empresa também diz que uma pessoa continua responsável pelo resultado da contratação; o CEO Vivek Ravisankar disse à TechCrunch que o Chakra pontua candidatos e as pessoas tomam a decisão final. A revisão humana importa especialmente quando uma pontuação de IA tem pouco respaldo ou entra em conflito com o trabalho.

Adoção não é validação

A HackerRank diz que mais de 500 mil candidatos concluíram entrevistas com o Chakra e que a avaliação média da experiência pelos candidatos supera 4,8 de 5. A TechCrunch afirma que Snowflake, Snorkel e Capgemini testaram a ferramenta durante o beta. Segundo a empresa, esses números indicam uso considerável, mas as fontes não informam o método de avaliação, a taxa de resposta nem evidências independentes de que as pontuações sejam justas ou prevejam o desempenho posterior.

A HackerRank diz que compara a pontuação da IA com a de especialistas humanos e realiza análises de viés. A página pública do produto não divulga os resultados nem os métodos necessários para avaliar essas alegações. Um comprador pode pedir relatórios de validação e auditoria, os critérios exatos usados em suas vagas e uma forma de conferir as explicações das pontuações com o registro do candidato. Os candidatos também têm interesse direto em saber o que é registrado e como é usado.

A página do Chakra oferece um link de teste gratuito, agendamento de demonstração e solicitação de uma entrevista de exemplo. Não divulga preços específicos do Chakra nem quais planos de clientes incluem acesso. A BIG CHANGE analisou a documentação e a reportagem da TechCrunch; não fizemos uma entrevista com o Chakra nem examinamos uma conta de empregador.