కంప్యూటింగ్ & ఏఐప్రీప్రింట్ప్రయోగంచదవడానికి 3 నిమిషాలు

ముప్పై AI లు, ఒకే తప్పు

సమూహ జ్ఞానం — పత్రం ఈ ఆలోచనను 1907 లో గాల్టన్ (Galton) వరకు గుర్తిస్తుంది — ఇలా చెబుతుంది: అనేక స్వతంత్ర ఊహల సగటు తీసుకోండి, దోషాలు రద్దవుతాయి. దోషాలు పక్షపాతరహితంగా, స్వతంత్రంగా ఉంటే, సగటు దోషం ఊహల సంఖ్య యొక్క వర్గమూలానికి విలోమానుపాతంలో తగ్గుతుంది. అనేక AI భాష నమూనాలను కలిపే చాలా వ్యవస్థలు — నమూనాలు తీసి ఓటింగ్ ద్వారా, చర్చ ద్వారా, లేదా వేర్వేరు నమూనాల కమిటీల ద్వారా — ఈ వాదనపైనే ఆధారపడతాయి: పెద్ద జట్టు మెరుగైన ఏజెంట్ స్థానాన్ని భర్తీ చేయగలదు.

ల్యూబ్ల్యానాలోని యోజెఫ్ స్టెఫాన్ సంస్థ (Jožef Stefan Institute) కు చెందిన కరోలినా ఫోర్టునా (Carolina Fortuna), బ్లాజ్ బెర్టాలానిచ్ (Blaž Bertalanič), ఈ వాదన దాని ప్రాతిపదికలంత మంచిదేనని ఎత్తిచూపి, వాటిని పరీక్షించడానికి పూనుకున్నారు.

పరీక్షా వేదికగా ఫెర్మి ప్రశ్నలు

ఫెర్మి ప్రశ్నలు కేవలం అంచనా వేయగలిగే రాశుల గురించి అడుగుతాయి, ఉదాహరణకు ఒక పాత్రలో ఎన్ని వస్తువులు పడతాయి అని. వాటి సమాధానాలు అనేక పరిమాణ క్రమాలలో విస్తరించిన సంఖ్యలు, కాబట్టి దోషాన్ని పరిమాణ క్రమాలలో కొలవవచ్చు — పది రెట్ల తేడా ఒకటిగా లెక్కిస్తారు — వ్యతిరేక సంజ్ఞల దోషాలు నిజంగానే రద్దవగలవు.

బృందం 3 నుంచి 72 బిలియన్ పరామితుల 15 బహిరంగ-బరువుల నమూనాల (open-weight models) నుంచి, realFP బెంచ్‌మార్క్ లోని 529 ప్రశ్నలకు 2.51 మిలియన్ సమాధానాలను సేకరించి, ఫలితాలను మరో రెండు ప్రశ్నల సమితులపై తనిఖీ చేసింది. ప్రతి నమూనా ప్రతి ప్రశ్నకు సుమారు 350 సార్లు సమాధానమిచ్చింది, 2 నుంచి 30 సమాధానాల జట్ల సగటును లాగరిథమిక్ స్కేలుపై తీసుకున్నారు.

ఒంటరిగా, నమూనాలు ఈ ఆటలో బలహీనంగా ఉన్నాయి. ఒక్క సమాధానం 12 నుంచి 34% ప్రశ్నలపై సరైన పరిమాణ క్రమంలో ఉంటుంది, 30 నుంచి 63% ప్రశ్నలపై వంద రెట్ల కంటే ఎక్కువ తప్పుతుంది.

ప్రతి ప్రతీ పంచుకునే దోషం

కీలకమైన అడుగు ప్రతి సమాధానం యొక్క దోషాన్ని రెండు భాగాలుగా విభజించడం. ఒకటి ఒక నమూనా ఒక నిర్దిష్ట ప్రశ్నపై చేసే తప్పు, ఆ ప్రశ్నకు అది ఇచ్చే అన్ని సమాధానాలూ దాన్ని పంచుకుంటాయి. మరొకటి ఒక సమాధానం నుంచి మరో సమాధానానికి మారే యాదృచ్ఛిక భాగం. సమాధానాల సగటు తీసుకున్నప్పుడు రెండోది మాత్రమే రద్దవగలదు.

మొదటి భాగమే ఆధిపత్యం చెలాయిస్తుందని తేలింది. realFP పై, అది దోష వ్యాప్తిలో మధ్యగతంగా 0.906 భాగం. ప్రశ్న ఇచ్చిన తర్వాత, ఒకే జట్టులోని రెండు సమాధానాలు సహసంబంధం లేనివి, స్వతంత్ర నమూనా సూచించినట్టే; కానీ అవి ఒకే తప్పును పంచుకుంటాయి.

పత్రం దీన్ని ఒకే సంఖ్యగా మారుస్తుంది, కిష్ (Kish) రూపకల్పన ప్రభావం (design effect) అనే సంప్రదాయ సూత్రంతో: N సమాధానాల జట్టులోని స్వతంత్ర సమాధానాల ప్రభావవంతమైన సంఖ్య N / (1 + (N − 1)ρ), ఇక్కడ ρ ఆ పంచుకున్న వాటా. ρ = 0.906 తో, ముప్పై జట్టు విలువ 1.10 స్వతంత్ర ఏజెంట్లు మాత్రమే.

రెండు ప్యానెళ్లు: ఎడమవైపు, 15 నమూనాలకు జట్టు పరిమాణంతో జట్టు దోషం దాదాపు మారదు; కుడివైపు, అదే ఒక ఏజెంట్‌తో పోలిస్తే, 1 దగ్గర చదునుగా, సైద్ధాంతిక సూచన గీతలు నిటారుగా పడిపోతాయి.

ఎడమ: 15 నమూనాలకు జట్టు దోషం వర్సెస్ జట్టు పరిమాణం N. కుడి: అదే ఒక్క ఏజెంట్‌తో పోలిస్తే (రంగు గీతలు, 1 దగ్గర), స్వతంత్ర, పక్షపాతరహిత సమాధానాలు ఇచ్చేదానితో (నల్ల గీతల, గీత-చుక్కల గీతలు), 1/√N రేటుతో (చుక్కల గీత) పోల్చినది. — చిత్రం 2, Fortuna & Bertalanič (2026), arXiv:2611.16315.

ఆచరణలో, ముప్పై జట్లు ఒక్క ఏజెంట్ దోషాన్ని మధ్యగతంగా 1.7%, గరిష్టంగా 5.4% తగ్గించాయి. స్వతంత్రంగా ఉండి, ప్రతి ప్రశ్నపై ఎలాంటి పంచుకున్న తప్పునూ మోయని సమాధానాలు దాన్ని 74 నుంచి 79% తగ్గించేవి.

అంతా ఒక మిలియన్ వైపు జారుతుంది

పంచుకున్న తప్పులో ఒక భాగానికి గుర్తించదగిన ఆకారం ఉంది. ప్రతి నమూనా చిన్న రాశులను అతిగా, పెద్ద రాశులను తక్కువగా అంచనా వేస్తూ, తన అంచనాలను సుమారు ఒక మిలియన్ (10⁶) వైపు కుదిస్తుంది. ఈ ధోరణి 15 నమూనాలలోనూ కనిపిస్తుంది, కానీ అది పంచుకున్న దోషంలో మధ్యగతంగా 17% మాత్రమే వివరిస్తుంది. నమూనాలు ఒకే ప్రశ్నలపై ఒకే దిశలో కూడా తప్పుతాయి: తీవ్ర సందర్భాలను అదుపు చేసి, ఒక మిలియన్ వైపు జారుడును తొలగించిన తర్వాత, రెండు వేర్వేరు నమూనాల ప్రశ్నవారీ దోషాలు ఇంకా 0.60 నుంచి 0.69 వద్ద సహసంబంధంగా ఉంటాయి.

లాగరిథమిక్ స్కేలుపై సరైన సమాధానానికి వ్యతిరేకంగా దోషాల చెదురు చిత్రం, చిన్న సమాధానాలకు ధన దోషాల నుంచి పెద్ద సమాధానాలకు ఋణ దోషాల వరకు దిగే ఎరుపు మధ్యగత గీతతో.

ప్రతి ప్రశ్నపై 15 నమూనాల మధ్యగత దోషం, సరైన సమాధానానికి (పది ఘాతాలు) వ్యతిరేకంగా: చిన్న రాశులు అతిగా, పెద్దవి తక్కువగా అంచనా వేయబడతాయి. — చిత్రం 1 (ఎడమ), Fortuna & Bertalanič (2026), arXiv:2611.16315.

చర్చించినా ప్రయోజనం లేదు

ఏజెంట్లు చర్చిస్తే? మూడు రౌండ్ల చర్చలో, ప్రతి ఏజెంట్ తన సహచరుల సమాధానాలను చూసి సవరించింది. ఐదుగురి జట్లలోని వ్యాప్తి 93% కుప్పకూలింది — మూడో రౌండ్ నాటికి, 15 నమూనాలలో 12 నమూనాలకు, కనీసం సగం ప్రశ్నలపై ఐదుగురిలో ముగ్గురు ఏజెంట్లు ఒకే సంఖ్యను ఇచ్చాయి. కానీ పంచుకున్న తప్పు కదలలేదు, మొత్తం లాభం 2.1%, పదిహేను రెట్ల గణన వ్యయంతో. సహచరులను చూడకుండా తమ సొంత సమాధానాన్ని మాత్రమే సవరించిన ఏజెంట్లు కనీసం అంతే బాగా చేశాయి.

కొంచెం సహాయపడినవి

నమూనా సేకరణ ఉష్ణోగ్రతను పెంచడం సమాధానాలను మరింత వైవిధ్యంగా చేసింది కానీ జట్లను సుమారు 1% కంటే ఎక్కువ మెరుగుపరచలేదు. వేర్వేరు నమూనాలను కలపడం ఎక్కువ సహాయపడింది: సమాన కచ్చితత్వం గల ఐదు నమూనాలు వాటి సొంత జట్ల కంటే కలిసి 6.6% మెరుగ్గా చేశాయి. అయినా 15 నమూనాల ఏ మిశ్రమమూ, అత్యంత కచ్చితమైన ఒకే నమూనా gpt-oss-20b నుంచి నిర్మించిన జట్టు కంటే గణనీయంగా మెరుగుపడలేదు. సమాధానాలు తెలిసిన ప్రశ్నలపై నేర్చుకున్న ఒక దిద్దుబాటు నమూనాల మొత్తం పక్షపాతాన్ని తొలగించింది, కానీ ప్రశ్నవారీ తప్పును కాదు.

రచయితలు పరిమితులను నొక్కిచెబుతారు: మితమైన పరిమాణం గల బహిరంగ నమూనాలు, వాటి “ఆలోచన” (thinking) రీతులు లేకుండా, ఈ బెంచ్‌మార్క్‌లు, ప్రాంప్ట్‌లపై; అగ్రశ్రేణి, తార్కిక నమూనాలను పరీక్షించలేదు. వారి ముగింపు ఒక రూపకల్పన పాఠం. ఎక్కువ ఏజెంట్లను, లేదా ఎక్కువ భిన్నాభిప్రాయాన్ని జోడించడం, ఒక నమూనా యొక్క ప్రతి ప్రతీ పంచుకునే తప్పును సరిదిద్దదు. ఆ పంచుకున్న దోషాన్ని నేరుగా ఎదుర్కోవాలని రచయితలు సూచిస్తారు, ఉదాహరణకు ఏజెంట్లకు ప్రతి ప్రశ్నకు ప్రత్యేకమైన సమాచారాన్ని ఇవ్వడం ద్వారా — వారు ఇంకా పరీక్షించని మార్గం ఇది.