ماہرانہ جانچ دی لاٹری

سائنس ماہرانہ جانچ (peer review) تے چلدی اے: کوئی نتیجہ چھپن توں پہلاں، دوجے ماہر اوہدا فیصلہ کردے نیں۔ مشین لرننگ دیاں وڈیاں کانفرنساں وچ، کجھ جانچن والے ہر گھلے مقالے نوں نمبر دیندے نیں تے مقالہ منظور یا رد ہو جاندا اے۔ ایس رسم دے پچھے اک اوکھا سوال اے۔ اکو مقالہ دوجے جانچن والیاں نوں گھلو، تے کیہ فیصلہ اوہو ای ہووے گا؟

دو مہنگے تجربے

سدھے جواب صرف دو تجربیاں توں آندے نیں جنہاں وچ اک کانفرنس نے کجھ مقالیاں نوں دو آزاد کمیٹیاں نال دو واری جانچیا۔ مقالہ اوہناں دے نتیجے یاد کراندا اے:

• NeurIPS 2014: دو واری جانچے 166 مقالیاں وچوں، دوہاں کمیٹیاں دا 43 تے اختلاف ہویا — 25.9 فیصد۔ اک کمیٹی دے منظور کیتے لگ بھگ اَدھے مقالے دوجی رد کر دیندی۔
• NeurIPS 2021: 882 مقالیاں تے، کمیٹیاں دا 23.0 فیصد تے اختلاف ہویا۔

اجیہے تجربے گھٹ ای ہوندے نیں کیوں جے اوہ مہنگے نیں: ایہناں دا مطلب اے سینکڑے مقالیاں دی جانچ دُگنی کرنا۔ اک آزاد کھوجی، فیلیان ہوانگ، نے پچھیا کہ کیہ ایہو عدد صرف عام ڈیٹا توں اندازہ لایا جا سکدا اے۔

اک دوجی کمیٹی دی نقل

تحقیق 2017 توں 2025 تک ICLR کانفرنس دیاں عام جانچاں ورتدی اے: 36,113 مقالے تے 134,912 جانچاں۔ اک شماریاتی ماڈل ہر نمبر نوں دو حصیاں وچ ونڈدا اے: مقالے دی لُکی ہوئی کوالٹی، تے ہر جانچن والے دا جوڑیا “شور” (noise)۔ اک دوجا ماڈل ایہ دہراندا اے کہ نمبر فیصلیاں وچ کیویں بدلدے نیں۔ فیر کمپیوٹر، ہر مقالے لئی، دو، تن یا چار جانچن والیاں دیاں دو آزاد کمیٹیاں ہزار واری تصور کردا اے، تے گِندا اے کہ اوہناں دا کِنی واری اختلاف ہوندا اے۔

نتیجے تے بھروسا کرن توں پہلاں، لکھاری نے ایہنوں دو واری جانچیا۔ NeurIPS 2021 دے تجربے دے مقابلے، اوتھے وانگوں ہر مقالے لئی تن جانچن والیاں نال، نقل ماپے گئے 23.0 فیصد دے مقابلے 23.3 فیصد اختلاف دیندی اے۔ تے گھٹو گھٹ چار جانچاں والے ICLR مقالیاں تے، اصلی جانچن والیاں نوں بس دو بے ترتیب جوڑیاں وچ ونڈن نال، 2018 وچ تے 2021 توں 2025 تک ہر ورھے، ماڈل والا ای جواب اک پوائنٹ دے اندر ملدا اے۔

نمبراں دے فرق دا اوہ حصہ جیہڑا مقالے توں آپ آندا اے، ورھے ورھے: لگ بھگ اَدھا، باقی جانچن والیاں دا شور اے۔ — شکل 2، Huang (2026)، arXiv:2610.06591۔

لگ بھگ چار وچوں اک مقالہ

نمبراں دے فرق دا اوہ حصہ جیہڑا مقالے توں آپ آندا اے، ورھے دے حساب نال 0.38 توں 0.58 تک اے — باقی جانچن والیاں دا شور اے، 2014 دے لگ بھگ اَدھے والے اندازے دے مطابق۔ نتیجے:

• ہر کمیٹی وچ دو جانچن والیاں نال، فیصلہ 22.8 فیصد (2017) توں 30.3 فیصد (2025) مقالیاں لئی اُلٹ جاندا اے۔ چار جانچن والیاں نال، 17.7 توں 24.2 فیصد۔
• منظور ہوئے مقالیاں وچوں 30 توں 50 فیصد اک آزاد کمیٹی رد کر دیندی — 2021 وچ اَدھے تک۔
• نو ورھیاں وچ جدوں گھلے گئے مقالے لگ بھگ 24 گنا ودھ گئے (2017 وچ 489، 2025 وچ 11,663)، تحقیق نوں کوئی پکا رجحان نہیں لبھدا: شور نہ صاف ودھدا اے نہ گھٹدا۔ لکھاری زور دیندا اے کہ صرف نو ورھیاں دے ڈیٹا نال، ایہ اک تکڑے رجحان دے خلاف ثبوت اے، ٹکاؤ دا ثبوت نہیں۔

دو کمیٹیاں وچکار نقلی اختلاف، دو اصلی NeurIPS تجربیاں دے مقابلے۔ — شکل 3، Huang (2026)، arXiv:2610.06591۔

پیمانہ آپ قسمت جوڑدا اے

دو ورھے وکھرے دسدے نیں۔ 2020 وچ، ICLR نے چار درجیاں والا اک موٹا نمبری پیمانہ (1، 3، 6، 8) ورتیا: 23.7 فیصد مقالیاں نوں اپنے سارے جانچن والیاں توں اکو جہے نمبر ملے، دوجے ورھیاں وچ 4.7 توں 13.1 فیصد دے مقابلے۔ اثر پرکھن لئی، لکھاری نے 2021 دے نمبر لئے، جیہڑے 10 وچوں دتے گئے سن، تے اوہناں نوں چار درجیاں والے پیمانے تے دوبارہ لکھیا۔ نتیجہ: سگنل دا لگ بھگ 8 فیصد گواچ جاندا اے، کمیٹیاں وچکار اختلاف لگ بھگ 7 پوائنٹ ودھ جاندا اے، تے منظور ہوئے مقالیاں وچوں اُلٹن والیاں دا حصہ لگ بھگ 11 پوائنٹ ودھ جاندا اے۔ موٹا پیمانہ صرف اکو جہیاں رائیاں تے نویں لیبل نہیں لاندا؛ ایہ قسمت جوڑدا اے۔

2021 وکھرا اے: باریک پیمانہ، پر نو ورھیاں دا سب توں کمزور سگنل، تے منظور ہوئے مقالیاں وچوں 30.4 فیصد منظوری دی حد توں بس ذرا اُتے سن۔ لکیر دے نیڑے بہت سارے مقالے، ڈھیر شور: سوکھے اُلٹ۔

تے چیٹ بوٹ؟

تحقیق دا منصوبہ سی کہ 2023 توں بعد، جدوں زبانی ماڈل (language models) پھیلے، جانچ دے رویے وچ تبدیلی لبھی جاوے۔ عام ڈیٹا وچ 2022 توں بعد نہ جانچ دی لکھت اے نہ جانچن والے دا اعتماد، تے موجود شماریاتی ٹیسٹ وچ لگ بھگ کوئی طاقت نہیں۔ ایس لئی لکھاری کسے وی پاسے کوئی نتیجہ نہیں کڈھدا — تے ایس ٹھہراؤ نوں جان بُجھ کے کیتا ہویا دسدا اے۔

لاٹری دا آڈٹ

طریقے نوں صرف نمبر تے فیصلے چاہیدے نیں، جیہڑے کئی کانفرنساں پہلاں ای چھاپدیاں نیں۔ اوہناں وچوں کوئی وی اک وی جانچ دُہرائے بنا اپنی “لاٹری” دی شرح کڈھ سکدی اے۔ ICLR دے نو ورھیاں بارے لکھاری دا فیصلہ: جانچ نہ ڈھے رہی اے نہ سدھر رہی اے — ایہ لگ بھگ اکو سطح تے شور والی رہندی اے۔ تحقیق صرف ICLR نوں ڈھکدی اے، تے ایہدا لکھاری اکلا آزاد کھوجی اے۔