MAI-Transcribe-2-Streaming, da Microsoft: transcrição em direto e os seus limites

A Microsoft anunciou o MAI-Transcribe-2-Streaming em 1 de outubro. O modelo recebe áudio enquanto alguém fala e devolve texto que vai sendo atualizado antes de produzir a transcrição final. Para um programador que esteja a adicionar legendas em direto ou entrada de voz a uma aplicação, importa perceber como chegam essas atualizações e quando o texto pode ser considerado definitivo.

Este guia de integração, baseado na documentação, destina-se a programadores que avaliam a pré-visualização pública. O objetivo é decidir se vale a pena criar um protótipo do modelo e identificar o trabalho necessário no cliente para apresentar texto em direto e guardar o texto final. A Microsoft documenta a rota e o código de exemplo; a BIG CHANGE não implementou o modelo, não executou os exemplos nem mediu a respetiva exatidão ou latência.

A grande mudança

• A Microsoft apresentou um modelo de streaming que devolve texto provisório à medida que o áudio chega e, depois, confirma segmentos da transcrição. A via separada de transcrição de ficheiros do MAI-Transcribe-2 destina-se a áudio gravado e documenta um conjunto diferente de opções.
• Uma aplicação que utilize a Realtime API tem de enviar áudio no formato correto, lidar com revisões do sufixo provisório e decidir quando pedir a transcrição final. Essas opções determinam o que as pessoas veem e quando a lógica subsequente da aplicação pode confiar no texto final.
• O modelo de streaming está em pré-visualização pública e não inclui um acordo de nível de serviço. A Microsoft não o recomenda para cargas de trabalho de produção. Os valores de velocidade e exatidão citados são alegações do lançamento e de benchmarks, não medições deste guia.

Escolha uma via de ligação

O catálogo do Microsoft Foundry lista o MAI-Transcribe-2-Streaming, versão 2026-08-06, como modelo em pré-visualização com entrada de áudio e saída de texto. A visão geral da Microsoft de 1 de outubro documenta duas formas de integração: uma Realtime API que utiliza um protocolo WebSocket semelhante ao OpenAI Realtime ou o Azure Speech SDK. Ambas retornam resultados intermediários e finais de reconhecimento. O SDK gere a ligação e o streaming de áudio; a rota Realtime expõe os eventos diretamente.

Para usar a Realtime API, a Microsoft exige uma subscrição do Azure, um recurso do Microsoft Foundry em uma região compatível e uma implantação do modelo de streaming. ligue-se a wss://{your_resource_name}.services.ai.azure.com/mai/v1/realtime?intent=transcription usando um token bearer do Microsoft Entra ou uma chave de API. A documentação recomenda a autenticação Entra. Depois de session.created, envie session.update com o nome da implantação e o formato de entrada definido. Essa configuração não pode ser alterada depois do primeiro envio de áudio, nem mesmo após um commit.

A entrada documentada é PCM16 mono, raw, assinado e little-endian, a 16 ou 24 kHz, enviado como blocos em base64 nas mensagens input_audio_buffer.append. Os dados PCM não incluem um cabeçalho WAV. A Microsoft recomenda blocos pequenos, como os de 10 a 20 milissegundos, para reduzir a latência, embora observe que blocos maiores reduzem a sobrecarga de rede. O exemplo em Python lê o áudio do microfone em blocos de 100 ms; a recomendação de blocos pequenos e o tamanho utilizado no exemplo são opções diferentes, não resultados medidos pela BIG CHANGE.

A rota do Speech SDK requer a versão 1.52.0 do SDK, uma subscrição do Azure e um recurso do Foundry ou do Speech. O exemplo Python da Microsoft define speech_config.model como MAI-Transcribe-2-Streaming, fornece áudio mono de 16 kHz e 16 bits por meio de um fluxo push e aguarda eventos recognizing e recognized. O exemplo utiliza um ficheiro audio.pcm preexistente para ilustrar o fluxo push; um aplicação usaria sua própria fonte de áudio. Essas são interfaces documentadas e tipos de eventos esperados, não um teste de compatibilidade de contas feito por esta publicação.

Mantenha o texto provisório separado do texto confirmado

A semântica dos eventos Realtime importa para uma interface ao vivo. Um evento conversation.item.input_audio_transcription.delta contém texto recém-finalizado, que o aplicação cliente acrescenta ao buffer confirmado sem alterar os espaços. Um evento intermediate contém todo o sufixo provisório atual. Cada novo sufixo substitui o anterior. O ecrã pode apresentar o texto confirmado seguido do sufixo atual, mas guardar cada evento intermédio como uma nova linha duplicaria palavras à medida que o modelo revê o texto.

O cliente envia input_audio_buffer.commit em uma pausa que detectou ou no fim de uma gravação. Segundo a Microsoft, isso solicita uma transcrição final assim que possível; input_audio_buffer.committed confirma o commit, e conversation.item.input_audio_transcription.completed fornece o texto final completo do áudio recebido desde o commit anterior. O guia Realtime indica que a deteção de turnos no servidor e o commit automático não estão disponíveis nesta configuração de sessão do modelo. Por isso, uma aplicação de voz precisa de detetar as próprias pausas ou limites entre turnos para finalizar segmentos automaticamente. A documentação descreve o contrato dos eventos, mas não prescreve um detetor de limites adequado a todos os casos.

O guia da Microsoft limita cada sessão Realtime a uma hora. Também refere que cada envio de áudio não tem confirmação individual e pode gerar zero ou vários eventos de transcrição. Ao avaliar um protótipo, os programadores devem distinguir a receção das mensagens de áudio da receção do texto final e decidir como a aplicação reage à interrupção de uma sessão. O exemplo em Python do guia público inclui uma fila de áudio do microfone e gestão de erros, mas a BIG CHANGE não o executou para observar o comportamento em caso de falha.

Acesso, regiões e preço

A Microsoft afirma que o modelo pode ser acedido globalmente, com o Azure a encaminhar os pedidos para as regiões de serviço. As duas páginas de integração de 1 de outubro indicam regiões disponíveis diferentes: o guia Realtime refere Suécia Central, Centro dos EUA e Sul da Índia; o guia do Speech SDK refere Suécia Central, Centro dos EUA e Sudeste Asiático. Ambos indicam que o Leste dos EUA 2 estará disponível em breve. Confirme as opções atuais de implementação e região para a via que pretende utilizar; estas páginas não fornecem uma lista única e consistente. O acesso global não garante uma localização de processamento específica.

O anúncio cita um preço introdutório de US$ 0,54 por hora de áudio até o fim de 2026. Por cálculo, são 9 dólares por cada 1.000 minutos de áudio, antes de quaisquer serviços ou infraestruturas adicionais utilizados pela aplicação. Nos respetivos guias, a Microsoft remete para as páginas de preços do Foundry Models e do serviço Speech. As fontes consultadas não indicam o preço após o período introdutório nem apresentam uma fatura medida, pelo que é necessário confirmar os preços atuais ao elaborar um orçamento de implementação.

A Microsoft afirma que o modelo de streaming suporta 60 idiomas com deteção automática contínua. A empresa indica que o primeiro resultado parcial surge pouco mais de 100 ms após a receção do áudio e cita a Artificial Analysis para sustentar a sua posição de liderança em exatidão. O benchmark de streaming da Artificial Analysis mede a taxa de erro de palavras em cerca de oito horas de conjuntos de dados ponderados e cronometra os resultados parciais e finais em relação ao fim da fala detetado. Trata-se de um benchmark com regras específicas para o áudio e a medição do tempo, não de uma garantia de que uma aplicação concreta apresentará palavras corretas em 100 ms. Não confirmámos de forma independente a posição exata indicada pela Microsoft: o texto público do benchmark que consultámos não apresentava uma linha de resultados específica para este modelo.

O guia separado do MAI-Transcribe-2 no Azure Speech documenta a entrada de ficheiros e opções como a diarização de interlocutores, marcas temporais ao nível da palavra, ponderação de palavras-chave e estilos limpo ou literal. Não presuma que estes controlos funcionam no MAI-Transcribe-2-Streaming: os guias de integração de streaming não os documentam. Se um produto precisar destes resultados, avalie o modelo de ficheiros ou confirme o suporte no streaming através da documentação atual e de um teste, antes de basear a implementação nessas funcionalidades.

Fontes e leituras adicionais

• Anúncio da Microsoft sobre IA, de 1 de outubro de 2026: lançamento, idiomas, alegações de velocidade e preço introdutório. As alegações de exatidão e velocidade interna da própria Microsoft são atribuídas acima.
• Catálogo de modelos do Microsoft Foundry, consultado em 2 de outubro: versão do modelo, estágio de pré-visualização e tipos de entrada e saída; o catálogo não é um teste de desempenho.
• Visão geral do streaming, guia da Realtime API e guia do Speech SDK, atualizados em 1 de outubro: as duas rotas de integração documentadas, os termos da pré-visualização, o comportamento dos eventos, os exemplos e as tabelas de regiões. A BIG CHANGE não executou os exemplos.
• MAI-Transcribe-2 no Azure Speech, consultado em 2 de outubro: o fluxo separado de transcrição de ficheiros e os controlos documentados. A lista de recursos do modelo de ficheiros não comprova que os mesmos recursos existam no streaming.
• Benchmark de streaming da Artificial Analysis e metodologia, consultados em 2 de outubro: desenho do benchmark independente e definições de cronometragem. O texto público recuperado não exibiu a linha de resultado precisa do modelo para confirmar a posição de forma independente.