సహచర సమీక్ష లాటరీ

విజ్ఞాన శాస్త్రం సహచర సమీక్షపై (peer review) నడుస్తుంది: ఒక ఫలితం ప్రచురితం కాకముందు, ఇతర నిపుణులు దాన్ని అంచనా వేస్తారు. పెద్ద మెషిన్ లెర్నింగ్ సదస్సుల్లో, కొద్దిమంది సమీక్షకులు ప్రతి సమర్పణకూ గ్రేడ్ ఇస్తారు, పత్రం ఆమోదించబడుతుంది లేదా తిరస్కరించబడుతుంది. ఈ ఆచారం వెనుక ఒక అసౌకర్యమైన ప్రశ్న దాగి ఉంది. అదే పత్రాన్ని వేరే సమీక్షకులకు పంపితే, తీర్పు అదే అవుతుందా?

రెండు ఖరీదైన ప్రయోగాలు

నేరుగా లభించే జవాబులు, ఒక సదస్సు కొన్ని పత్రాలను రెండు స్వతంత్ర కమిటీలతో రెండుసార్లు సమీక్షించిన రెండు ప్రయోగాల నుంచి మాత్రమే వస్తాయి. పత్రం వాటి ఫలితాలను గుర్తుచేస్తుంది:

NeurIPS 2014: రెండుసార్లు సమీక్షించిన 166 పత్రాలలో, రెండు కమిటీలు 43 విషయంలో విభేదించాయి — 25.9 శాతం. ఒక కమిటీ ఆమోదించిన పత్రాలలో సుమారు సగం మరో కమిటీ తిరస్కరించి ఉండేది.
NeurIPS 2021: 882 పత్రాలలో, కమిటీలు 23.0 శాతం విషయంలో విభేదించాయి.

ఇలాంటి ప్రయోగాలు అరుదు ఎందుకంటే అవి ఖరీదైనవి: వందలాది పత్రాల సమీక్షను రెట్టింపు చేయడమే వాటి అర్థం. స్వతంత్ర పరిశోధకుడు ఫెయిలియన్ హువాంగ్ (Feilian Huang), అదే సంఖ్యను కేవలం బహిరంగ డేటా నుంచి అంచనా వేయవచ్చా అని ప్రశ్నించారు.

రెండో కమిటీని సిమ్యులేట్ చేయడం

అధ్యయనం 2017 నుంచి 2025 వరకు ICLR సదస్సు బహిరంగ సమీక్షలను ఉపయోగిస్తుంది: 36,113 పత్రాలు, 134,912 సమీక్షలు. ఒక గణాంక నమూనా ప్రతి స్కోరునూ రెండు భాగాలుగా విభజిస్తుంది: పత్రపు దాగి ఉన్న నాణ్యత, ప్రతి సమీక్షకుడు జోడించే “శబ్దం” (noise). రెండో నమూనా స్కోర్లు నిర్ణయాలుగా ఎలా మారతాయో పునరుత్పత్తి చేస్తుంది. ఆ తర్వాత కంప్యూటర్, ప్రతి పత్రానికీ ఇద్దరు, ముగ్గురు లేదా నలుగురు సమీక్షకుల రెండు స్వతంత్ర కమిటీలను వెయ్యిసార్లు ఊహించి, అవి ఎంత తరచుగా విభేదిస్తాయో లెక్కిస్తుంది.

ఫలితాన్ని నమ్మే ముందు, రచయిత దాన్ని రెండుసార్లు తనిఖీ చేశారు. NeurIPS 2021 ప్రయోగంతో పోల్చితే, అక్కడిలాగే పత్రానికి ముగ్గురు సమీక్షకులతో, సిమ్యులేషన్ కొలిచిన 23.0 శాతానికి బదులు 23.3 శాతం అసమ్మతిని ఇస్తుంది. కనీసం నాలుగు సమీక్షలు ఉన్న ICLR పత్రాలపై, నిజమైన సమీక్షకులను యాదృచ్ఛికంగా రెండు జంటలుగా విభజించినా, 2018లో, 2021 నుంచి 2025 వరకు ప్రతి సంవత్సరంలో, నమూనా ఇచ్చిన జవాబే, ఒక పాయింట్ తేడాలో వస్తుంది.

సంవత్సరాల వారీగా సంకేతం-శబ్దం నిష్పత్తి, సుమారు 0.38 నుంచి 0.58 మధ్య, 0.5 వద్ద చుక్కల గీత చుట్టూ.

స్కోర్ల వ్యత్యాసంలో పత్రం వల్ల వచ్చే వాటా, సంవత్సరం వారీగా: సుమారు సగం, మిగిలినది సమీక్షకుల శబ్దం. — చిత్రం 2, Huang (2026), arXiv:2610.06591.

సుమారు నాలుగింట ఒక పత్రం

స్కోర్లలో వైవిధ్యంలో పత్రం నుంచే వచ్చే వాటా సంవత్సరాన్ని బట్టి 0.38 నుంచి 0.58 మధ్య ఉంటుంది — మిగిలినది సమీక్షకుల శబ్దం, సుమారు సగం అన్న 2014 అంచనాకు అనుగుణంగా. పర్యవసానాలు:

కమిటీకి ఇద్దరు సమీక్షకులతో, 22.8 శాతం (2017) నుంచి 30.3 శాతం (2025) పత్రాలకు నిర్ణయం తారుమారవుతుంది. నలుగురు సమీక్షకులతో, 17.7 నుంచి 24.2 శాతం.
ఆమోదించిన పత్రాలలో 30 నుంచి 50 శాతం ఒక స్వతంత్ర కమిటీ తిరస్కరించి ఉండేది — 2021లో సగం వరకు.
సమర్పణలు సుమారు 24 రెట్లు పెరిగిన తొమ్మిదేళ్లలో (2017లో 489, 2025లో 11,663), అధ్యయనానికి బలమైన ధోరణి ఏదీ కనిపించలేదు: శబ్దం స్పష్టంగా పెరగడం లేదు, తగ్గడం లేదు. కేవలం తొమ్మిదేళ్ల డేటాతో, ఇది బలమైన ధోరణికి వ్యతిరేకంగా సాక్ష్యమే తప్ప స్థిరత్వానికి రుజువు కాదని రచయిత నొక్కి చెబుతారు.

ఇద్దరు, ముగ్గురు సమీక్షకుల కమిటీలకు సంవత్సరాల వారీగా సిమ్యులేట్ చేసిన అసమ్మతి రేటు, NeurIPS 2014, 2021 విలువలు చుక్కల గీతలుగా.

రెండు కమిటీల మధ్య సిమ్యులేట్ చేసిన అసమ్మతి, రెండు నిజమైన NeurIPS ప్రయోగాలతో పోల్చి. — చిత్రం 3, Huang (2026), arXiv:2610.06591.

స్కేలే అదృష్టాన్ని జోడిస్తుంది

రెండు సంవత్సరాలు ప్రత్యేకంగా నిలుస్తాయి. 2020లో, ICLR ముతకగా ఉండే నాలుగు అంచెల గ్రేడింగ్ స్కేలును (1, 3, 6, 8) ఉపయోగించింది: 23.7 శాతం పత్రాలకు తమ సమీక్షకులందరి నుంచీ ఒకే స్కోర్లు వచ్చాయి, ఇతర సంవత్సరాల్లో అది 4.7 నుంచి 13.1 శాతం. ప్రభావాన్ని పరీక్షించడానికి, రచయిత 10కి ఇచ్చిన 2021 స్కోర్లను తీసుకుని, వాటిని నాలుగు అంచెల స్కేలుపై తిరిగి కోడ్ చేశారు. ఫలితం: సంకేతంలో సుమారు 8 శాతం కోల్పోతుంది, కమిటీల మధ్య అసమ్మతి సుమారు 7 పాయింట్లు పెరుగుతుంది, తారుమారయ్యే ఆమోదిత పత్రాల వాటా సుమారు 11 పాయింట్లు పెరుగుతుంది. ముతక స్కేలు అవే అభిప్రాయాలకు కొత్త పేర్లు పెట్టడం మాత్రమే కాదు; అది అదృష్టాన్ని జోడిస్తుంది.

2021 వేరు: సూక్ష్మమైన స్కేలు, కానీ తొమ్మిదేళ్లలో అతి బలహీనమైన సంకేతం, ఆమోదించిన పత్రాలలో 30.4 శాతం ఆమోద పరిమితికి కొంచెం పైన ఉన్నాయి. గీతకు దగ్గరగా చాలా పత్రాలు, పుష్కలంగా శబ్దం: సులువుగా తారుమారు.

మరి చాట్‌బాట్‌లు?

భాషా నమూనాలు వ్యాపించిన 2023 తర్వాత సమీక్ష ప్రవర్తనలో మార్పు కోసం వెతకాలని అధ్యయనం ప్రణాళిక వేసింది. బహిరంగ డేటాలో 2022 తర్వాతి సమీక్షల పాఠ్యం గానీ, సమీక్షకుల విశ్వాస స్థాయి గానీ లేవు, అందుబాటులో ఉన్న గణాంక పరీక్షకు దాదాపు శక్తి లేదు. అందుకే రచయిత ఏ వైపూ ఎలాంటి నిర్ధారణకూ రాలేదు — ఆ సంయమనాన్ని ఉద్దేశపూర్వకమైనదిగా ప్రదర్శిస్తారు.

లాటరీని ఆడిట్ చేయడం

ఈ పద్ధతికి స్కోర్లు, నిర్ణయాలు మాత్రమే అవసరం, వాటిని అనేక సదస్సులు ఇప్పటికే ప్రచురిస్తున్నాయి. వాటిలో ఏదైనా ఒక్క సమీక్షనూ రెట్టింపు చేయకుండా తన సొంత “లాటరీ” రేటును లెక్కించవచ్చు. ICLR తొమ్మిదేళ్లపై రచయిత తీర్పు: సమీక్ష కుప్పకూలడం లేదు, మెరుగుపడటమూ లేదు — అది దాదాపు అదే స్థాయిలో శబ్దభరితంగానే ఉంటుంది. అధ్యయనం ICLRను మాత్రమే కవర్ చేస్తుంది, దాని రచయిత ఒకే స్వతంత్ర పరిశోధకుడు.