మోడల్‌ సమాధానాలను పోల్చి, ఏది తప్పో వివరించి, మెరుగైన పనికి ఉదాహరణలు ఇవ్వడానికి సంస్థలు వ్యక్తులను నియమిస్తాయి. అలాంటి పనిలో సమాధానం చక్కగా ఉండటం మాత్రమే పని కాదు. పరీక్షిస్తున్న మోడల్‌ నుంచి రాని స్వతంత్ర తీర్పు కోసం కొనుగోలుదారు చెల్లిస్తుండవచ్చు.
404 Media కథనం ప్రకారం, OpenAIకి సంబంధించిన ప్రాజెక్టులపై పనిచేసిన ముగ్గురు కాంట్రాక్టర్లు ఏఐ వాడకంపై నిబంధనలు ఉన్నాయని చెప్పారు; వారిలో ఇద్దరు ఆ కారణంగా ప్రాజెక్టు నుంచి తొలగించారని తెలిపారు. ఇంటర్వ్యూ చేసిన ఇద్దరిలో ఒకరికి పనులు ఇచ్చిన Mercor, ప్రాజెక్టు పని పూర్తి చేయడానికి పెద్ద భాషా మోడళ్లను వాడకూడదని ఒప్పందాలు చెబుతున్నాయని, ఉల్లంఘన నిర్ధారిస్తే తొలగిస్తామని ప్రచురణకు తెలిపింది. వ్యాఖ్యానించేందుకు OpenAI నిరాకరించింది. ప్రైవేటు ప్రాజెక్టు పత్రాలను మేము చూడలేదు; ఒక్కో ఘటనను స్వతంత్రంగా ధృవీకరించలేదు.
ఉపయోగకరమైన ప్రశ్న ఒక కాంట్రాక్టర్‌ వేదికను మించి ఉంటుంది: స్వతంత్ర మానవ తనిఖీని వ్యాపారం కోరినప్పుడు, ఆ పనిని ఏఐ సాయంతో చేయడానికి అనుమతించిన పనుల నుంచి ఎలా వేరు చేయాలి?
పెద్ద మార్పు
- ఏం మారింది: కాంట్రాక్టర్ల మధ్య జరిగినట్లు తెలిపిన వివాదం, ఏఐ శిక్షణ పని దేనిని అందించాలి అనే విభేదాన్ని బయటపెడుతోంది: పూర్తిచేసిన సమాధానాలనా, స్వతంత్ర మానవ అంచనానా?
- ఇది ఎందుకు ముఖ్యం: Mercor బహిరంగ పైలట్‌లో వృత్తిపరమైన తీర్పునే కొలమానంగా పెట్టారు. సమర్పణ బాగా రాసి ఉన్నా, మోడల్‌ తయారుచేసిన ర్యాంకింగ్‌లు వాడితే మూల్యాంకనం కొలిచేది మారుతుంది.
- ఏమి గమనించాలి: ఏ దశల్లో ఇతరుల సాయం లేని తీర్పు అవసరమో మూల్యాంకనం కొనేవారు నిర్ణయించాలి. పని సూచనల్లో ఆ నిర్ణయాన్ని, కార్మికులు పనిని అంగీకరించే ముందే, స్పష్టంగా పేర్కొనాలి.
కొనుగోలు చేసేది స్వాతంత్ర్యమే కావచ్చు
పని త్వరగా పూర్తి చేసే తొలి ముసాయిదా కావాలంటే ఏఐ సహాయకుడు ఉపయోగపడతాడు. సూచన సమాధానం లేదా స్వతంత్ర పోలిక కోరినప్పుడు ఆ తేడాను దాచితే అది సమస్య అవుతుంది.
వృత్తిపరమైన రంగాల్లో మోడల్‌ మూల్యాంకన పైలట్‌ కోసం Mercor ప్రచురించిన బహిరంగ ప్రకటన అవసరాన్ని అసాధారణంగా స్పష్టంగా చెబుతోంది. నిపుణులు వృత్తిపరమైన పని చేసి, ఐదు మోడల్‌ ప్రయత్నాలకు ర్యాంకు, స్కోరు ఇచ్చి, ఆధారాలపై నిలిచిన వివరణ రాస్తారు. వృత్తిపరమైన తీర్పునే కొలుస్తున్నందున రుబ్రిక్‌ లేదా ఖచ్చితమైన సమాధానం ఇవ్వలేదని ఆ ప్రకటన చెబుతుంది. పని పరిష్కరించడం, ర్యాంకు ఇవ్వడం, స్కోరు వేయడం, కారణం రాయడం వంటి అన్ని దశల్లో ఏఐ సహాయకుల వినియోగాన్ని నిషేధిస్తుంది.
ఈ నిబంధనలు ఒక పైలట్‌కే వర్తిస్తాయి. దీని పోలిక నిపుణుల స్వంత అంచనాపై ఆధారపడుతుంది; ఆ అంచనాను మోడల్‌కు అప్పగిస్తే ప్రయోగమే మారుతుంది.
కృత్రిమ అభిప్రాయం ఇచ్చే డేటా తప్పనిసరిగా చెడ్డదని కాదు
ఏఐ రూపొందించిన ఏ శిక్షణ సమాధానాన్నైనా “మోడల్‌ పతనం”తో అనుసంధానించాలని అనిపించవచ్చు. ఇక్కడి ఆధారాలు అంత బలమైన వాదనకు సరిపోవు. Natureలో ప్రచురితమైన పరిశోధన లో, మొదటి డేటా పంపిణీ నుంచి తీసుకున్న సమాచారానికి బదులుగా, మోడల్‌ రూపొందించిన డేటాతోనే వరుసగా శిక్షణ ఇచ్చే విధానాలను పరిశీలించారు. ఆ ప్రయోగాల్లో తదుపరి మోడళ్లు అసలు పంపిణీకి సంబంధించిన సమాచారాన్ని కోల్పోయాయి. అది కాంట్రాక్టర్ల పనిపై వచ్చిన కథనానికి సంబంధించిన అధ్యయనం కాదు; ఏ ఒక్కరి రేటింగ్‌ అయినా విడుదలైన OpenAI మోడల్‌ను ప్రభావితం చేసిందా అని ఆ పత్రం చెప్పలదు.
మరో మోడల్‌ పతనంపై అధ్యయనం ఈ తేడా ఎందుకు ముఖ్యమో చూపిస్తుంది. ప్రతి తరం కృత్రిమ డేటాతో అసలు వాస్తవ డేటాను పూర్తిగా భర్తీ చేసినప్పుడు పతనం వచ్చిందని రచయితలు కనుగొన్నారు. అసలు డేటాను ఉంచి, దాని పక్కనే తదుపరి తరాల కృత్రిమ డేటాను పోగు చేసినప్పుడు మాత్రం వారి ప్రయోగాల్లో ఆ పతనం రాలేదు. ప్రతి మిశ్రమం సురక్షితమేనని ఈ ఫలితం నిరూపించదు. “ఏఐ రూపొందించింది” అనేది ఒక్కటే సరిపడ నిర్ధారణ కాదని మాత్రం చూపిస్తుంది; డేటా మూలం, ఎంపిక, శిక్షణ విధానం కూడా ముఖ్యం.
అనుమతించిన పనివిధానాన్ని స్పష్టంగా రాయండి
సంక్షిప్త సూచనల్లో ఏ టూల్‌లు వాడవచ్చో, ఏ దశల్లో ఇతరుల సాయం లేని తీర్పు అవసరమో, పొందిన సహాయాన్ని ఎలా వెల్లడించాలో పేర్కొనాలి. Mercor పైలట్‌ పని పరిష్కరించడం నుంచి మూల్యాంకనం వరకు స్వతంత్రతను కోరుతోంది. సాయం ఉన్న పనిని అప్పగించే కొనుగోలుదారులు, కార్మికుడి నుంచి ఇంకా ఎలాంటి వృత్తిపరమైన తీర్పు ఆశిస్తున్నారో వివరించాలి.
సమీక్షలోనూ అంతే జాగ్రత్త అవసరం. ఒక అంతర్గత పత్రం, ఏఐ గుర్తింపు టూల్‌లను వాడవద్దని సమీక్షకులను హెచ్చరించి, అవి నమ్మదగినవి కావని తెలిపిందని 404 Media కథనం చెబుతోంది. ఇది ప్రాథమిక నిర్వహణ సూత్రంతో సరిపోతుంది: విరామచిహ్నాలు, పని వేగం లేదా మెరుగైన భాష—ఎవరైనా మోడల్‌ వాడారనడానికి రుజువు కాదు. కారణ వివరణ మూలాధారాలను సూచిస్తుందా అని సమీక్షకుడు పరిశీలించవచ్చు, ఒక నిర్ణయాన్ని వివరించమని కార్మికుడిని అడగవచ్చు, మళ్లీ మళ్లీ వచ్చిన సమర్పణలను పోల్చవచ్చు, ప్రాజెక్టు చట్టబద్ధంగా సేకరించిన టూల్‌ రికార్డులను పరిశీలించవచ్చు. శైలి ఆధారంగా కనిపించే ఒక్క సంకేతమే కార్మికుడి విషయంలో నిర్ణయం తీసుకోకూడదు.
ఊహాగానాల ఆట కాకుండా, అప్పీల్‌ చేసుకునే నిబంధన కావాలి
స్వతంత్ర కాంట్రాక్టర్ల ప్రాజెక్టు యాక్సెస్‌ను త్వరగా నిలిపివేయవచ్చు. అందుకే నమ్మదగిన విధానం, చెల్లింపు పని మొదలయ్యే ముందే నిబంధనను చూపాలి; అనుమానిత ఉల్లంఘనను నిర్ధారిత ఉల్లంఘన నుంచి వేరు చేయాలి; సంబంధిత ఆధారాలను వివరించేందుకు కార్మికుడికి మార్గం కల్పించాలి. ఇది న్యాయమైన ప్రక్రియపై సిఫార్సు మాత్రమే; ఏ ఒప్పందం లేదా చట్టం కింద హక్కులపై వాదన కాదు.
ఇదిలా ఉండగా, సాయం లేని తీర్పు తప్పనిసరి అయితే దాన్ని పని స్పెసిఫికేషన్‌లో భాగంగా చూడాలి. ఆమోదిత టూల్‌ అవసరమని ఎవరైనా భావిస్తే, వాడే ముందు అడగవచ్చు లేదా పనిని తిరస్కరించవచ్చు. మోడల్‌ మంచి సమాధానం రాస్తుందని చెప్పి సాయాన్ని దాచడం ఆమోదయోగ్యం కాదు; నిషేధిత బయటి సహాయకుడి జవాబు సరైనదని చెప్పి దాన్ని ఆమోదించలేనట్లే.
తీర్పు ఎక్కడి నుంచి రావాలో స్పష్టంగా చెప్పండి
Mercor బహిరంగంగా ప్రకటించిన పైలట్‌లో పని స్పెసిఫికేషన్‌ స్పష్టంగా ఉంది: సాయం లేని వృత్తిపరమైన అంచనా. సాయం ఉన్న పనిని అప్పగించే కొనుగోలుదారులు ఏ టూల్‌లు వాడవచ్చో, కార్మికుడు ఏ తీర్పు ఇవ్వాలో అంతే స్పష్టంగా వివరించాలి.
