Microsoft MAI-Transcribe-2-Streaming: ప్రత్యక్ష లిప్యంతరీకరణ మార్గం, దాని పరిమితులు

Microsoft అక్టోబర్ 1న MAI-Transcribe-2-Streamingను ప్రకటించింది. ఎవరైనా మాట్లాడుతుండగానే ఇది ఆడియోను స్వీకరించి, తుది లిప్యంతరం రాకముందే మారుతూ ఉండే వచనాన్ని ఇస్తుంది. వాయిస్ యాప్‌కు ప్రత్యక్ష ఉపశీర్షికలు లేదా మాటతో ఇన్‌పుట్ జోడించే డెవలపర్‌కు, ఆ నవీకరణలు యాప్‌కు ఎలా చేరతాయి, వాటిని ఎప్పుడు స్థిరమైనవిగా పరిగణించవచ్చు అన్నది ముఖ్యం.

ఇది ప్రజా ప్రివ్యూను పరిశీలిస్తున్న డెవలపర్‌ల కోసం డాక్యుమెంటేషన్ ఆధారంగా రూపొందించిన సమీకరణ మార్గదర్శి. మోడల్‌తో నమూనా రూపకల్పన చేయాలా, ప్రత్యక్ష వచనాన్ని చూపించి తుది వచనాన్ని భద్రపరచడానికి క్లయింట్‌లో ఏ పని చేయాలో నిర్ణయించడమే లక్ష్యం. Microsoft కనెక్షన్ మార్గం, నమూనా కోడ్‌ను డాక్యుమెంట్ చేసింది; BIG CHANGE మోడల్‌ను అమలు చేయలేదు, నమూనాలను నడపలేదు, ఖచ్చితత్వం లేదా ఆలస్యాన్ని కొలవలేదు.

పెద్ద మార్పు

• Microsoft ఆడియో వస్తున్నకొద్దీ తాత్కాలిక వచనాన్ని ఇచ్చి, తర్వాత లిప్యంతర భాగాలను నిర్ధారించే ప్రసార మోడల్‌ను ప్రవేశపెట్టింది. రికార్డ్ చేసిన ఆడియో కోసం దాని వేరే MAI-Transcribe-2 ఫైల్ లిప్యంతరీకరణ మార్గం ఉంది; అందులో వేరు ఎంపికలు డాక్యుమెంట్ చేశారు.
• Realtime API ఉపయోగించే యాప్ సరైన ఆకృతిలో ఆడియో పంపి, తాత్కాలిక వచనంలోని చివరి భాగానికి వచ్చే సవరణలను నిర్వహించి, పూర్తయిన లిప్యంతరాన్ని ఎప్పుడు కోరాలో నిర్ణయించాలి. వినియోగదారులకు ఏది కనిపిస్తుంది, తర్వాతి యాప్ లాజిక్ ఎప్పటి నుంచి తుది వచనంపై ఆధారపడగలదు అనేది ఈ ఎంపికలపై ఆధారపడి ఉంటుంది.
• ఈ ప్రసార మోడల్ SLA లేని ప్రజా ప్రివ్యూ. ఉత్పత్తి పనిభారాల కోసం దీన్ని ఉపయోగించమని Microsoft సిఫార్సు చేయదు. పేర్కొన్న వేగం, ఖచ్చితత్వం ప్రారంభ ప్రకటన, బెంచ్‌మార్క్ వాదనలు మాత్రమే; ఈ మార్గదర్శి కొలిచిన ఫలితాలు కావు.

కనెక్షన్ మార్గాన్ని ఎంచుకోండి

ఈ Microsoft Foundry కేటలాగ్ జాబితా ఇస్తుంది MAI-Transcribe-2-Streaming, సంచిక 2026-08-06, ఆడియో ఇన్‌పుట్, వచన అవుట్‌పుట్ కలిగిన ప్రివ్యూ మోడల్‌గా జాబితా చేసింది. Microsoft అక్టోబర్ 1 అవలోకనం దీనితో సమీకరించడానికి రెండు మార్గాలు చెబుతుంది: OpenAI Realtimeను పోలిన WebSocket ప్రోటోకాల్‌తో Realtime API లేదా Azure Speech SDK. రెండూ మధ్యంతర, తుది గుర్తింపు ఫలితాలను అందిస్తాయి. SDK కనెక్షన్, ఆడియో ప్రసారాన్ని నిర్వహిస్తుంది; Realtime మార్గం ఈవెంట్‌లను నేరుగా అందిస్తుంది.

కోసం Realtime API, Microsoft Azure చందా, మద్దతున్న ప్రాంతంలోని Microsoft Foundry వనరు, ప్రసార మోడల్ అమరికను కోరుతుంది. దీనికి కనెక్ట్ అవ్వండి wss://{your_resource_name}.services.ai.azure.com/mai/v1/realtime?intent=transcription Microsoft Entra బేరర్ టోకెన్ లేదా API కీతో. Entra ధృవీకరణను డాక్యుమెంటేషన్ సిఫార్సు చేస్తుంది. సెషన్ ప్రారంభమైన తర్వాత session.created తర్వాత మీ అమరిక పేరును పేర్కొని, ఇన్‌పుట్ ఆకృతిని సెట్ చేసే session.update సందేశాన్ని పంపండి. మొదటి ఆడియో జోడించిన తర్వాత, commit చేసినా ఆ సెట్టింగ్‌ను మార్చలేరు.

డాక్యుమెంట్ చేసిన ఇన్‌పుట్ ముడి, signed, little-endian, mono PCM16 ఆడియో; నమూనా రేటు 16 లేదా 24 kHz. దీన్ని base64 భాగాలుగా input_audio_buffer.append సందేశాల్లో పంపాలి. ఇది WAV హెడర్ లేని PCM డేటా. ఆలస్యాన్ని తగ్గించేందుకు 10–20 మిల్లీసెకన్ల వంటి చిన్న భాగాలను Microsoft సిఫార్సు చేస్తుంది; పెద్ద భాగాలు నెట్‌వర్క్ అదనపు ఖర్చును తగ్గిస్తాయని కూడా చెబుతుంది. అయితే దాని Python ఉదాహరణ మైక్రోఫోన్ ఆడియోను 100 ms భాగాలుగా చదువుతుంది. పేజీలోని చిన్న భాగాల సలహా, నమూనాలోని భాగ పరిమాణం వేర్వేరు ఎంపికలు; BIG CHANGE కొలిచిన ఫలితాలు కావు.

ఈ Speech SDK మార్గానికి SDK v1.52.0, Azure చందా, Foundry లేదా Speech వనరు అవసరం. Microsoft Python నమూనా speech_config.model కు MAI-Transcribe-2-Streamingగా సెట్ చేసి, push stream ద్వారా 16 kHz, 16-bit mono ఆడియోను అందించి, recognizing మరియు recognized ఈవెంట్‌లను గమనిస్తుంది. Push stream‌ను చూపించడానికి నమూనా ముందే ఉన్న audio.pcm ఫైల్‌ను ఉపయోగిస్తుంది; యాప్ తన ఆడియో మూలాన్ని అందిస్తుంది. ఇవి డాక్యుమెంట్ చేసిన ఇంటర్‌ఫేస్‌లు, ఆశించిన ఈవెంట్ రకాలు మాత్రమే; ఈ ప్రచురణ చేసిన ఖాతా స్థాయి అనుకూలత పరీక్ష కాదు.

తాత్కాలిక వచనాన్ని నిర్ధారించిన వచనం నుంచి వేరుగా ఉంచండి

ప్రత్యక్ష ఇంటర్‌ఫేస్‌లో Realtime ఈవెంట్‌ల అర్థం ముఖ్యం. ఒక conversation.item.input_audio_transcription.delta ఈవెంట్‌లో కొత్తగా తుది నిర్ణయం అయిన వచనం ఉంటుంది; క్లయింట్ యాప్ ఖాళీల అమరికను మార్చకుండా దాన్ని నిర్ధారిత వచన నిల్వకు జోడిస్తుంది. ఒక intermediate ఈవెంట్‌లో ప్రస్తుతం ఉన్న తాత్కాలిక చివరి భాగం మొత్తం ఉంటుంది. ప్రతి కొత్త భాగం మునుపటి దానిని భర్తీ చేస్తుంది. తెరపై నిర్ధారిత వచనంతో పాటు ప్రస్తుత తాత్కాలిక భాగాన్ని చూపవచ్చు; అయితే ప్రతి మధ్యంతర ఈవెంట్‌ను కొత్త పంక్తిగా భద్రపరిస్తే, మోడల్ సవరించే కొద్దీ పదాలు నకలవుతాయి.

క్లయింట్ తాను గుర్తించిన విరామంలో లేదా రికార్డింగ్ ముగింపులో input_audio_buffer.commit ను పంపుతుంది. ఇది వీలైనంత త్వరగా తుది లిప్యంతరం ఇవ్వమని కోరుతుందని Microsoft చెబుతుంది; input_audio_buffer.committed commit‌ను అంగీకరించినట్టు తెలుపుతుంది; conversation.item.input_audio_transcription.completed ఆ commit నుంచి వచ్చిన ఆడియోకు పూర్తి తుది వచనాన్ని అందిస్తుంది. Realtime మార్గదర్శి ఈ మోడల్ సెషన్ అమరికలో సర్వర్ వైపు turn గుర్తింపు, ఆటోమేటిక్ commit లేవని చెబుతుంది. కాబట్టి యాప్ సంభాషణ భాగాన్ని ఆటోమేటిక్‌గా పూర్తి చేయాలంటే, విరామం లేదా turn ముగింపును స్వయంగా గుర్తించాలి. ఈవెంట్‌ల మధ్య సంబంధాన్ని డాక్యుమెంటేషన్ వివరిస్తుంది; అందరికీ సరిపోయే ఒకే ముగింపు-గుర్తింపు పద్ధతిని నిర్దేశించదు.

ప్రతి Realtime సెషన్‌ను ఒక గంటకు పరిమితం చేసినట్లు Microsoft మార్గదర్శి చెబుతుంది. ఒక్కో ఆడియో append‌కు ప్రత్యేక అంగీకార సందేశం రాదని, దానికి సున్నా లేదా అనేక లిప్యంతర ఈవెంట్‌లు రావచ్చని కూడా పేర్కొంటుంది. నమూనాను అంచనా వేసే డెవలపర్‌లు ఆడియో సందేశం అందిందనే విషయాన్ని, తుది వచనం అందిందనే విషయాన్ని వేరుగా గుర్తించి, సెషన్ తెగిపోయినప్పుడు యాప్ ఏం చేయాలో నిర్ణయించాలి. ప్రజా మార్గదర్శిలోని Python ఉదాహరణ మైక్రోఫోన్ క్యూలు, లోపాల నిర్వహణను చూపుతుంది; గమనించిన వైఫల్య ప్రవర్తనను స్థాపించేందుకు BIG CHANGE ఆ నమూనాను నడపలేదు.

ప్రాప్యత, ప్రాంతాలు, ధర

మోడల్‌ను ప్రపంచవ్యాప్తంగా పొందవచ్చని, అభ్యర్థనలను Azure సేవల ప్రాంతాలకు మళ్లిస్తుందని Microsoft చెబుతోంది. అక్టోబర్ 1నాటి రెండు సమీకరణ పేజీల్లో లభ్య ప్రాంతాల జాబితాలు వేర్వేరుగా ఉన్నాయి: Realtime మార్గదర్శి Sweden Central, Central US, South Indiaలను పేర్కొంటుంది; Speech SDK మార్గదర్శి Sweden Central, Central US, Southeast Asiaలను పేర్కొంటుంది. రెండూ East US 2 త్వరలో అందుబాటులోకి వస్తుందని చెబుతాయి. మీరు ఉపయోగించబోయే మార్గానికి ప్రస్తుత అమరిక, ప్రాంత ఎంపికలను తనిఖీ చేయండి; ఈ పేజీలు ఒకే స్థిరమైన జాబితాను ఇవ్వడం లేదు. ప్రపంచవ్యాప్త ప్రాప్యత అంటే మీ డేటా తప్పనిసరిగా నిర్దిష్ట ప్రదేశంలోనే ప్రాసెస్ అవుతుందనే హామీ కాదు.

2026 చివరి వరకు గంట ఆడియోకు ప్రారంభ ధర $0.54 అని Microsoft ప్రకటించింది. లెక్క ప్రకారం, ప్రతి 1,000 ఆడియో నిమిషాలకు ఇది $9; యాప్ ఉపయోగించే అదనపు సేవలు లేదా మౌలిక సదుపాయాల ఖర్చు ఇందులో లేదు. ఆయా మార్గాల కోసం Microsoft మార్గదర్శులు Foundry Models, Speech సేవల ధరల పేజీలకు లింక్ చేస్తాయి. పరిశీలించిన మూలాల్లో ప్రారంభ ధర తర్వాతి రేటు లేదా పరీక్షించిన బిల్లు లేదు; కాబట్టి అమరిక బడ్జెట్‌కు తాజా ధరలను తనిఖీ చేయాలి.

నిరంతర స్వయంచాలక గుర్తింపుతో 60 భాషలకు మద్దతు ఇస్తుందని Microsoft చెబుతోంది. ఆడియో అందిన తర్వాత తొలి పాక్షిక ఫలితం 100 మిల్లీసెకన్ల కాస్త మించి వస్తుందని, ఖచ్చితత్వంలో ముందున్న స్థానానికి Artificial Analysisను ఉదహరిస్తుందని పేర్కొంటుంది. Artificial Analysis ప్రసార బెంచ్‌మార్క్ సుమారు ఎనిమిది గంటల బరువులు కేటాయించిన డేటా సమూహాల్లో పద లోప రేటును కొలిచి, గుర్తించిన మాట ముగిసిన సమయంతో పోల్చి పాక్షిక, తుది ఫలితాల ఆలస్యాన్ని లెక్కిస్తుంది. అది నిర్దిష్ట ఆడియో, సమయ నియమాలపై చేసిన బెంచ్‌మార్క్; ఏదైనా యాప్ 100 msలో సరైన పదాలు చూపుతుందనే హామీ కాదు. ఈ కథనం కోసం పొందిన ప్రజా బెంచ్‌మార్క్ వచనంలో మోడల్‌కు సంబంధించిన ఖచ్చితమైన వరుస కనిపించలేదు; అందువల్ల Microsoft పేర్కొన్న స్థానాన్ని మేము స్వతంత్రంగా ధృవీకరించలేదు.

వేరుగా ఉన్న Azure Speechలోని MAI-Transcribe-2 మార్గదర్శి ఫైల్ ఇన్‌పుట్, స్పీకర్ గుర్తింపు, ఒక్కో పదానికి సమయ ముద్రలు, కీలకపద ప్రాధాన్యం, శుభ్రపరిచిన లేదా యథాతథ శైలులు వంటి ఎంపికలను డాక్యుమెంట్ చేస్తుంది. ఆ నియంత్రణలు MAI-Transcribe-2-Streamingలోనూ పనిచేస్తాయని అనుకోకండి: ప్రసార సమీకరణ మార్గదర్శులు వాటిని పేర్కొనలేదు. ఉత్పత్తికి ఈ అవుట్‌పుట్‌లు అవసరమైతే, ఫైల్ మోడల్‌ను అంచనా వేయండి లేదా దానిపై ఆధారపడి నిర్మించే ముందు తాజా డాక్యుమెంటేషన్, పరీక్ష ద్వారా ప్రసార మద్దతును నిర్ధారించండి.

మూలాలు, మరింత చదవడానికి

• Microsoft AI ప్రకటన, అక్టోబర్ 1, 2026: విడుదల, భాషలు, వేగం, ప్రారంభ ధరపై వాదనలు. Microsoft స్వయంగా చెప్పిన ఖచ్చితత్వం, అంతర్గత వేగపు వాదనలను పై వచనంలో అలాగే పేర్కొన్నాం.
• Microsoft Foundry మోడల్ కేటలాగ్, అక్టోబర్ 2న తనిఖీ: మోడల్ సంచిక, ప్రివ్యూ దశ, ఇన్‌పుట్/అవుట్‌పుట్ రకాలు; ఇది పనితీరు పరీక్ష కాదు.
• ప్రసార అవలోకనం, Realtime API మార్గదర్శి మరియు Speech SDK మార్గదర్శి, అక్టోబర్ 1న నవీకరించబడినవి: రెండు సమీకరణ మార్గాలు, ప్రివ్యూ నిబంధనలు, ఈవెంట్ ప్రవర్తన, నమూనాలు, ప్రాంతాల జాబితాలు. BIG CHANGE నమూనాలను నడపలేదు.
• Azure Speechలో MAI-Transcribe-2, అక్టోబర్ 2న తనిఖీ: వేరే ఫైల్ లిప్యంతరీకరణ మార్గం, దాని నియంత్రణలు. దాని ఫీచర్ జాబితా ప్రసార ఫీచర్‌ల జాబితా కాదు.
• Artificial Analysis ప్రసార బెంచ్‌మార్క్ మరియు పద్ధతి, అక్టోబర్ 2న తనిఖీ: స్వతంత్ర బెంచ్‌మార్క్ రూపకల్పన, సమయ నిర్వచనాలు. పొందిన ప్రజా వచనంలో మోడల్‌కు ప్రత్యేకమైన వరుస లేదు కాబట్టి, దాని ఖచ్చితమైన ర్యాంకును స్వతంత్రంగా నిర్ధారించలేదు.