Markdown संस्करण

AI-translated from English; not yet reviewed by a fluent editor.

# Jev के AI-जज नतीजे कार्य और फॉलबैक मॉडल के अनुसार बदलते हैं

> तीन प्रीप्रिंट Jev को AI जवाबों का मूल्यांकनकर्ता बनाकर परखते हैं। पसंद, रूब्रिक और चिकित्सा कार्यों में नतीजे अलग-अलग हैं, और confidence routing तभी मदद करती है जब फॉलबैक मॉडल Jev की गलतियाँ सुधार सके।

By BIG CHANGE Editorial

Published: 2026-09-29T20:57:02.938Z
Updated: 2026-09-29T20:57:02.938Z
Canonical: https://bigchange.ai/blog/jev-ai-judge-evaluation-confidence-routing

![Charcoal illustration of a level two-pan balance, each tray holding an answer card, with orange on the central pivot.](https://bigchange.ai/api/media/file/jev-answer-balance-hero-v1.png)
AI-generated conceptual illustration by BIG CHANGE.

तीन नए प्रीप्रिंट Jev को अलग-अलग तरीकों से मूल्यांकनकर्ता के रूप में परखते हैं। एक अध्ययन में जवाबों के बीच पसंद तय करने और साक्ष्य-आधारित तथ्य-जाँच में उसका प्रदर्शन एक मजबूत भाषा-मॉडल जज के करीब मिला; फिर अनिश्चित मामलों को आगे भेजने के लिए confidence का उपयोग किया गया। दूसरे अध्ययन में ग्रेड वाले रूब्रिक पर इस routing से बहुत कम लाभ मिला, क्योंकि फॉलबैक मॉडल अक्सर Jev की आत्मविश्वास से की गई गलतियों को दोहराते थे। तीसरा चिकित्सा बेंचमार्क शोध-सार वाले सवालों पर मिलती-जुलती सटीकता और कठिन निदान मामलों में बड़े अंतर बताता है।

व्यावहारिक निष्कर्ष “AI, AI का मूल्यांकन कर सकता है” से कहीं सीमित है। स्पष्ट रूप से परिभाषित कार्य में Jev तेज़ प्रारंभिक जज हो सकता है, लेकिन उपलब्ध प्रमाण हर तरह के जवाब के लिए एक भरोसेमंद जज स्थापित नहीं करते। confidence के आधार पर काम आगे भेजना तभी मददगार हो सकता है जब टीम पहले अपने उदाहरणों पर जाँच ले कि यह क्या अनुमान लगाता है।

## मॉडल का मूल्यांकनकर्ता होना क्या है

एक मूल्यांकनकर्ता किसी मॉडल के एक या अधिक आउटपुट लेकर किसी नियम के तहत अंक या निर्णय देता है। जज यह चुन सकता है कि दो जवाबों में से कौन प्रॉम्प्ट का बेहतर पालन करता है, तय कर सकता है कि कोई दावा दिए गए दस्तावेज़ों से पुष्ट है या नहीं, रूब्रिक के आधार पर जवाब को अंक दे सकता है, या चिकित्सा बहुविकल्पीय मामले में सही विकल्प चुन सकता है। इन कामों में मूल्यांकनकर्ता से अलग-अलग क्षमताएँ अपेक्षित होती हैं।

Jev TypeSafe का होस्ट किया गया निर्णय मॉडल है। इसका API संरचित इनपुट और अनुमत जवाब-प्रकार स्वीकार करता है, फिर अनुमत लेबलों पर संभावनाओं के साथ कोई विकल्प या स्कोर लौटाता है। यह इंटरफ़ेस ऐसे सॉफ़्टवेयर में किसी कार्य को शामिल करने के अनुकूल है जो सीमित दायरे वाला नतीजा चाहता है। हालांकि संभावना मॉडल का अनुमान होती है; इससे मूल जवाब की स्वतंत्र पुष्टि नहीं होती। TypeSafe के दस्तावेज़ इंटरफ़ेस बताते हैं, जबकि नीचे दी गई शोध-तुलनाएँ खास परीक्षण सेटों पर प्रदर्शन आँकती हैं।

पहला [JEV-as-a-Judge अध्ययन](https://arxiv.org/abs/2609.26550v2), 27 सितंबर को संशोधित, Jev 1.13 की तुलना 16 जनरेटिव और रिवॉर्ड-मॉडल जजों से करता है। [रूब्रिक-जज अध्ययन](https://arxiv.org/abs/2609.29769v1), 24 सितंबर को प्रकाशित, Jev की तुलना तीन कम लागत वाले भाषा-मॉडलों से करता है। [चिकित्सा बेंचमार्क](https://arxiv.org/abs/2609.34024v1), 27 सितंबर को प्रकाशित, Jev 1.13 की तुलना दो reasoning सेटिंग में GPT-6 Sol से करता है। तीनों प्रीप्रिंट हैं। इनमें से कोई भी क्लिनिकल परिनियोजन अध्ययन नहीं है और किसी की भी सहकर्मी समीक्षा नहीं हुई है।

## कुछ फैसलों में करीब, reasoning में कमजोर

पहला शोध-पत्र पसंद के जोड़ों, साक्ष्य-आधारित तथ्यात्मकता और अंतिम-जवाब जाँचों में कुल 5,172 निर्णयों का मूल्यांकन करता है, फिर अनुवर्ती परीक्षण और hold-out सेट पर routing के दो अध्ययन जोड़ता है। Jev के मुख्य सार्वजनिक बेंचमार्क स्कोर थे: चुने गए 1,500 RewardBench पसंद-जोड़ों पर 92.5%, 350 JudgeBench जोड़ियों पर 78.6%, और साक्ष्य के आधार पर आँके गए 3,000 HaluEval जवाबों पर 87.3%। उन्हीं कार्यों पर सबसे मजबूत GPT-6 Astra तुलना-मॉडल के स्कोर क्रमशः 92.5%, 93.1% और 88.4% थे। शोध-पत्र के समय-संबंधी पैनल में Jev की कीमत प्रति 1,000 मूल निर्णयों के लिए $0.044 और मध्यिका विलंब 0.15 सेकंड बताया गया; अध्ययन की परिस्थितियों में GPT-6 Astra के लिए ये आँकड़े $12.182 और 1.89 सेकंड थे।

इन औसतों के पीछे वह सीमा छिप जाती है जो लेखकों ने पाई। चैट गुणवत्ता, सुरक्षा अस्वीकारों और साक्ष्य-आधारित तथ्यात्मकता पर Jev, GPT-6 से लगभग दो अंक के भीतर था। जहाँ किसी नतीजे की व्युत्पत्ति या जाँच ज़रूरी थी, वहाँ वह पीछे रहा: गणित में 14.3 अंक और कोड में 12.9 अंक; तर्क पहेलियों में अंतर 27.6 अंक था। JudgeBench के वस्तुनिष्ठ-सहीपन सेट पर Jev का स्कोर 78.6% और GPT-6 का 93.1% था। 990 मामलों के उपसमूह में विवादित मामलों की blind adjudication में GPT-6 को 69 विवादित JudgeBench मामलों में से 57 पर और Jev को केवल एक पर सही माना गया। यह adjudication चुनिंदा और सीमित थी, लेकिन इससे संकेत मिलता है कि यह अंतर केवल बेंचमार्क के लेबल की समस्या नहीं था।

यहाँ “जज” का अर्थ दो जनरेट किए गए जवाबों में से एक चुनना या दिए गए संदर्भ के आधार पर यह तय करना था कि कोई एक जवाब पुष्ट या सही है या नहीं। लेखकों ने जनरेटिव जजों को जानबूझकर Jev जैसा सीमित निर्णय और संभावना वाला आउटपुट प्रारूप दिया, बिना तर्क-विवरण के। इसलिए यह तुलना उस शर्त के तहत दिए गए निर्णयों की है, न कि इस बात की कि कौन-सा जज किसी इंसान को अपना reasoning समझा सकता है।

## जब गलतियाँ अलग हों, तब confidence routing काम करती है

कैस्केड में पहले कम लागत वाला जज होता है और कुछ मामलों को अधिक महँगे फॉलबैक तक भेजा जाता है। पहले अध्ययन में नियम यह था कि Jev का अधिकतम लेबल-प्रायिकता स्कोर कम-से-कम 0.9 हो तो उसका निर्णय स्वीकार करें, और कम confidence वाले मामलों को आगे भेजें। 1,610 hold-out पसंद-जोड़ों पर, दोनों जवाब-क्रमों वाले कैस्केड ने 31.5% मामलों को आगे भेजा, GPT-6 के 92.5% के मुकाबले 93.4% स्कोर किया और उसकी फीस का 41% खर्च किया। सहीपन के दो नए कार्यभारों से लिए गए 570 hold-out जोड़ों के पहले से तय लाइव परीक्षण में Jev अकेले GPT-6 से 14 अंक पीछे था; कैस्केड ने 74% मामले आगे भेजते हुए GPT-6 की सटीकता से बराबरी की और उसकी फीस का लगभग एक चौथाई बचाया।

इस नतीजे की एक खास शर्त है: जिन मामलों पर Jev अनिश्चित है, उनमें ऐसी गलतियाँ होनी चाहिए जिन्हें फॉलबैक सुधार सके। लेखकों ने पाया कि शैली के प्रतिकूल उदाहरणों पर confidence routing कमजोर हुई और संदर्भ-विहीन गद्य पर विफल रही; वहाँ जाँचे गए सभी जजों का प्रदर्शन संयोग के करीब था, फिर भी वे अक्सर आश्वस्त थे। अध्ययन में यह भी मिला कि जवाबों के दोनों क्रमों के निर्णयों का औसत लेने से position प्रभाव घटा। थ्रेशहोल्ड स्थानीय लेबल वाले उदाहरणों से चुने गए; शोध-पत्र कम confidence-bound तरीके और अलग hold-out जाँच की अनुशंसा करता है।

अलग रूब्रिक अध्ययन सात बेंचमार्क से लिए गए नौ पैनलों पर हर मानदंड के लिए अंक देने की जाँच करता है; कुल 5,003 आइटम–मानदंड जोड़ियाँ थीं। दो पैनल द्विआधारी थे, सात में क्रमबद्ध रेटिंग स्केल थे। चारों जजों को समान मानदंड-पाठ दिया गया और मूल्यांकन से पहले लेखकों ने रूब्रिक तय कर दिए। 27 जोड़ीदार तुलनाओं में आठ के 95% confidence interval में सटीकता का कोई अंतर न होने की स्थिति शामिल नहीं थी; कई तुलनाओं के सुधार के बाद चार ही बचीं। कुछ अन्य तुलनाएँ शोध-पत्र की समतुल्यता सीमा में थीं, जबकि कई के आँकड़े इतने अनिश्चित थे कि अंतर या समतुल्यता में से किसी की पुष्टि नहीं हो सकी। द्विआधारी मानदंडों पर Jev ने अन्य जजों के मुकाबले सबसे अच्छा किया। ग्रेड वाले पैनलों पर वह मिलान किए गए जजों में कभी सबसे ऊपर नहीं रहा, और सभी जज मानव रेटरों से कम अंक देने की ओर झुके।

उस व्यवस्था में कीमत और गति की बचत बड़ी थी। सभी नौ पैनलों पर Jev की लागत लगभग छह सेंट थी; तीन भाषा-मॉडल जज 29 से 325 गुना महँगे थे और उन्हें 30 से 220 गुना समय लगा। फिर भी Jev के confidence से मजबूत कैस्केड नहीं बना। अधिकांश पैनलों पर confidence ने उसकी गलतियों को क्रमबद्ध किया, लेकिन फॉलबैक मॉडल Jev की लगभग सभी सबसे आत्मविश्वास से की गई गलतियों को दोहराते थे। cross-fitted थ्रेशहोल्ड के साथ कैस्केड ने औसतन सबसे अच्छे एकल जज से अधिकतम 1.5 प्रतिशत-अंक सुधार किया; नौ में से छह पैनलों पर वह उस जज से खराब रहा। इस पुनरावृत्ति में संभावित लाइव परिनियोजन के बजाय दर्ज किए हुए निर्णय इस्तेमाल किए गए।

दोनों शोध-पत्रों का अंतर शिक्षाप्रद है। जवाबों की जोड़ीदार तुलना में पहले अध्ययन को Jev की कम-confidence गलतियों और मजबूत फॉलबैक की क्षमताओं के बीच उपयोगी बँटवारा मिला। मानदंड के आधार पर अंक देने में फॉलबैक अक्सर वही गलतियाँ करता था, इसलिए आगे भेजने से अधिक सुधार के बिना लागत बढ़ी। केवल मॉडल का confidence संकेत टीम को यह नहीं बताता कि दूसरा मॉडल उपयोगी असहमति देगा या नहीं।

## चिकित्सा बहुविकल्पीय नतीजे कार्य की कठिनाई पर निर्भर करते हैं

चिकित्सा शोध-पत्र चार मौजूदा डेटासेट पर Jev का मूल्यांकन करता है: MetaMedQA के 1,373 परीक्षा प्रश्न, शोध-सार के आधार पर उत्तर दिए गए PubMedQA के 500 प्रश्न, DiagnosisArena के 915 बहुविकल्पीय मामले और प्रकाशित अंतिम निदान वाले 34 NEJM Case Challenges। इसमें Jev की तुलना GPT-6 Sol से मध्यम reasoning के साथ और बिना reasoning के की गई। कुल 8,469 मॉडल अनुरोध हुए और हर अनुरोध से वैध संरचित जवाब मिला।

PubMedQA पर Jev और मध्यम reasoning वाले GPT-6 Sol के स्कोर 78.4% और 78.2% थे। MetaMedQA पर Jev का स्कोर 74.8% था, जबकि GPT-6 Sol का 82.7%; DiagnosisArena पर क्रमशः 59.8% और 82.4%; तथा 34 NEJM मामलों पर 61.8% और 82.4%। बिना reasoning वाला GPT-6 भी दो कठिन मामले-समूहों पर ऊँचे अनुमानित स्कोर पर था। 34 मामलों वाले NEJM अनुमान में अनिश्चितता अधिक है और कई तुलनाओं के सुधार के बाद उसकी मुख्य तुलना सांख्यिकीय रूप से महत्वपूर्ण नहीं रही। DiagnosisArena का कहीं बड़ा अंतर स्पष्ट reasoning के बिना भी बना रहा।

यह दिए गए विकल्पों में से चुनने की परीक्षा है, विभेदक निदान तैयार करने या मरीजों का इलाज करने की नहीं। शोध-पत्र में बेंचमार्क के जवाबों पर चिकित्सक adjudication नहीं है। इसमें बताया गया है कि NEJM की छवियाँ मॉडल को captions के रूप में दी गईं और चुनौतीपूर्ण DiagnosisArena मामलों को दूसरे भाषा-मॉडलों के आधार पर छाँटा गया। लेखक नतीजों को प्रारंभिक बताते हैं और कहते हैं कि स्वतंत्र पुनरावृत्ति, संदर्भ-जवाबों की चिकित्सकीय समीक्षा और अलग-अलग रन में स्थिरता की जाँच अभी बाकी है। शोध-पत्र स्पष्ट रूप से कहता है कि इन नतीजों का उपयोग क्लिनिकल देखभाल के मार्गदर्शन के लिए न करें।

प्रायिकता थ्रेशहोल्ड का लाभ असमान था। MetaMedQA पर Jev के 52.9% विकल्पों का confidence कम-से-कम 0.9 था और वे 93.4% सटीक थे। लगभग उसी कवरेज पर GPT-6 कम-से-कम उतना ही सटीक या उससे बेहतर था। DiagnosisArena पर Jev की प्रायिकता-रैंकिंग कमजोर थी: वही 0.9 थ्रेशहोल्ड रखने पर केवल 17.3% आइटम स्वीकार हुए और स्वीकार किए गए चार में से एक जवाब फिर भी गलत था। हर बेंचमार्क में मॉडल द्वारा चुने गए विकल्प की औसत प्रायिकता उसकी सटीकता से अधिक थी। इस नमूने में ऊँचा स्कोर निश्चितता के बराबर नहीं था।

## टीमें इन अध्ययनों से क्या ले सकती हैं

मिलाकर देखें तो शोध-पत्र Jev को किसी खास कार्य के लिए मूल्यांकनकर्ता के रूप में जाँचने का समर्थन करते हैं, खासकर जहाँ दिए गए पाठ से निर्णय लिया जा सके या साक्ष्य से उसकी जाँच हो सके। वे उसके confidence फ़ील्ड को सार्वभौमिक सुरक्षा स्विच मानने का समर्थन नहीं करते। अलग-अलग कार्यभारों में नतीजे अलग थे, और रूब्रिक अध्ययन बताता है कि फॉलबैक को केवल मूल सटीकता ही नहीं, बल्कि गलतियों की स्वतंत्रता के लिए भी जाँचना चाहिए।

इस तरीके पर विचार करने वाली टीम को अपने काम से प्रतिनिधि, लेबल किए हुए उदाहरणों का नमूना चाहिए। उसे तय करना चाहिए कि सही निर्णय किसे कहेंगे, कठिन और भ्रामक उदाहरण शामिल करने चाहिए, मानव समीक्षा या अन्य उचित संदर्भ से तुलना करनी चाहिए, फिर त्रुटि दर और यह दोनों मापना चाहिए कि confidence सही तथा गलत फैसलों को कितनी अच्छी तरह अलग करता है। कैस्केड के लिए यह भी दर्ज करें कि फॉलबैक पहले चरण की गलतियाँ वास्तव में सुधारता है या नहीं, कितने मामले आगे भेजे जाते हैं और कुल लागत तथा देरी क्या होती है। सुरक्षित रखे गए परीक्षण सेट से पता चल सकता है कि थ्रेशहोल्ड उसे चुनने में उपयोग किए गए उदाहरणों के बाहर भी काम करता है या नहीं।

ये अध्ययनों से निकले व्यावहारिक निहितार्थ हैं, BIG CHANGE द्वारा जाँची गई प्रक्रिया नहीं। हमने Jev API नहीं चलाई और न ही स्थानीय बेंचमार्क चलाया। TypeSafe के [API दस्तावेज़](https://api.typesafe.ai/docs) संरचित अनुरोध, अनुमत जवाब-प्रकार और मॉडल खोज की जानकारी देते हैं; वे किसी टीम के कार्यभार में सटीकता को स्वतंत्र रूप से स्थापित नहीं करते। उत्पाद की उपलब्धता, कीमतें और मॉडल बदल सकते हैं, इसलिए परीक्षण की योजना बनाते समय टीमों को मौजूदा दस्तावेज़ जाँचने चाहिए।

अभी Jev एक संभावित शुरुआती जज के रूप में उपयोगी लगता है, जब कार्य सीमित हो, लेबल स्पष्ट हों और स्थानीय मूल्यांकन दिखाए कि confidence गलतियों को प्रभावी ढंग से आगे भेजता है। जब निर्णय के लिए गहरी reasoning चाहिए, ग्रेडिंग छिपी हुई रेटर परंपराओं पर निर्भर हो या कई मॉडल वही गलतियाँ करें, तो अध्ययन मानव समीक्षा या किसी अन्य सत्यापित जाँच को प्रक्रिया में बनाए रखने का कारण देते हैं।

## बड़ा बदलाव

Jev के नए मूल्यांकन इस सवाल को आगे बढ़ाते हैं कि कम लागत वाला फैसला देने वाला निर्णय मॉडल कब इतना उपयोगी होता है कि उसके फैसले पर भरोसा किया जा सके। यह कार्य पर निर्भर करता है: confidence routing ने hold-out जोड़ीदार मूल्यांकन कैस्केड सुधारा, जबकि अलग रूब्रिक अध्ययन में गलतियों के मेल के कारण लाभ कम मिला। चिकित्सा बहुविकल्पीय नतीजे भी कार्य की कठिनाई के अनुसार बहुत बदलते थे। AI टीमों के लिए अगला कदम ऐसा स्थानीय सत्यापन सेट है जो सहीपन, confidence और फॉलबैक व्यवहार तीनों को साथ जाँचे।

## स्रोत और आगे पढ़ें

- [JEV-as-a-Judge: Accept When Confident, Escalate When Unsure](https://arxiv.org/abs/2609.26550v2), Yubo Li, Yidi Miao, Ramayya Krishnan और Rema Padman, संस्करण 2 दिनांक 27 सितंबर 2026। 16 जजों के साथ Jev की तुलना करने वाला प्रीप्रिंट; इसमें blind human adjudication और hold-out confidence-routing परीक्षण शामिल हैं।
- [Jev vs. LLMs as Rubric Judges: Cheaper, Faster, and Wrong in the Same Places](https://arxiv.org/abs/2609.29769v1), Delip Rao और Chris Callison-Burch, 24 सितंबर 2026। नौ बेंचमार्क पैनलों पर प्रति-मानदंड द्विआधारी और ग्रेड वाले रूब्रिक निर्णयों का मूल्यांकन करने वाला प्रीप्रिंट।
- [Jev in Medicine: A Benchmark Evaluation. Preliminary results.](https://arxiv.org/abs/2609.34024v1), Alfredo Madrid-García और Beatriz Merino-Barbancho, 27 सितंबर 2026। चार चिकित्सा बहुविकल्पीय डेटासेट पर प्रारंभिक बेंचमार्क तुलना; क्लिनिकल अध्ययन नहीं।
- [TypeSafe API documentation](https://api.typesafe.ai/docs), Jev के संरचित अनुरोध और आउटपुट इंटरफ़ेस का आधिकारिक संदर्भ। दस्तावेज़ उत्पाद का व्यवहार बताते हैं, स्वतंत्र मूल्यांकन नहीं।

## Sources

- [JEV-as-a-Judge: Accept When Confident, Escalate When Unsure (v2)](https://arxiv.org/abs/2609.26550v2) — मूल प्रीप्रिंट, 22 सितंबर को प्रस्तुत और 27 सितंबर को संशोधित। पसंद, साक्ष्य-आधारित तथ्यात्मकता और अंतिम-जवाब कार्यों में Jev 1.13 की तुलना 16 जजों से करता है; इसमें चुनिंदा blind adjudication, स्थिर ऑफ़लाइन कैस्केड विश्लेषण और पहले से तय दो लाइव hold-out कार्यभार परीक्षण शामिल हैं। सहकर्मी-समीक्षित या परिनियोजन अध्ययन नहीं; कंप्यूट मिलान, चुनिंदा adjudication, कार्यभार की व्यापकता, लागत और समय संबंधी सीमाएँ SOURCE-AUDIT.md में दर्ज हैं।
- [Jev vs. LLMs as Rubric Judges: Cheaper, Faster, and Wrong in the Same Places (v1)](https://arxiv.org/abs/2609.29769v1) — मूल प्रीप्रिंट, नौ बेंचमार्क पैनलों और 5,003 रूब्रिक-आइटम जोड़ियों पर Jev की तुलना तीन flash-tier LLM से करता है। समान मानदंड-पाठ; दो द्विआधारी और सात ग्रेड वाले पैनल। गलतियों के सहसंबंध और आत्मविश्वास से दोहराई गई त्रुटियाँ दिखाता है; routing का विश्लेषण अधिकतर दर्ज नतीजों को दोहराने पर आधारित है। सहकर्मी-समीक्षित नहीं; कई तुलनाओं के नतीजे सांख्यिकीय रूप से अनिर्णायक हैं और निष्कर्ष चुने हुए रूब्रिक, पैनल तथा सेवा की परिस्थितियों तक सीमित हैं।
- [Jev in Medicine: A Benchmark Evaluation. Preliminary results. (v1)](https://arxiv.org/abs/2609.34024v1) — प्रारंभिक मूल प्रीप्रिंट, चार चिकित्सा बहुविकल्पीय बेंचमार्क पर Jev 1.13 की GPT-6 Sol से तुलना करता है। इसमें सटीकता, calibration/selective prediction, जवाब देने से विरत रहना, विलंब और लागत शामिल हैं। कोई क्लिनिकल परिनियोजन या चिकित्सक adjudication नहीं; लेखकों के अनुसार स्वतंत्र पुनरावृत्ति और नतीजों की पुष्टि बाकी है और वे क्लिनिकल देखभाल में उपयोग के विरुद्ध सलाह देते हैं।
- [TypeSafe API documentation](https://api.typesafe.ai/docs) — 29 सितंबर 2026 को देखे गए आधिकारिक OpenAPI दस्तावेज़ में संरचित अनुरोध/जवाब स्कीमा, system-one endpoint और मॉडल खोज दिखती है। यह केवल इंटरफ़ेस के वर्णन का समर्थन करता है, स्वतंत्र प्रदर्शन-दावों का नहीं। उत्पाद की उपलब्धता और कीमतें बदल सकती हैं।
- [Owner-handoff Instagram Reel Dd3wdNKxg5J](https://www.instagram.com/reel/Dd3wdNKxg5J/?stkn=czk2a2JmOHVyMDRm) — केवल assignment lead: Reel प्राप्त या transcribe नहीं की जा सकी। Caption और metadata को प्रमाण के रूप में इस्तेमाल नहीं किया गया; वीडियो से कोई दावा नहीं जोड़ा गया।