تیہہ AI، اک غلطی
بھیڑ دی سیانف (wisdom of crowds)، اک خیال جیہدا مُڈھ مقالہ 1907 وچ Galton تیکر لبھدا اے، آکھدی اے: کئی آزاد اندازیاں دی اوسط کڈھو، تے غلطیاں کٹ جاندیاں نیں۔ جے غلطیاں بے جھکاؤ (unbiased) تے آزاد ہون، تے اوسط دی غلطی اندازیاں دی گنتی دے جذر المربع (square root) دے اُلٹے تناسب نال سُنگڑدی اے۔ کئی نظام جیہڑے کئی AI زبانی ماڈلاں (language models) نوں جوڑدے نیں — نمونے لے کے تے ووٹ پا کے، بحث راہیں، یا وکھ وکھ ماڈلاں دیاں کمیٹیاں راہیں — ایس دلیل اُتے ٹیک لاندے نیں: اک وڈی ٹیم اک بہتر ایجنٹ دی تھاں لے سکدی اے۔
Carolina Fortuna تے Blaž Bertalanič نے، Ljubljana دے Jožef Stefan Institute وچ، ایس گل ول دھیان دوایا کہ دلیل اونی ای پکی اے جنے اوہدے مفروضے، تے ایہناں مفروضیاں نوں پرکھن دا بیڑا چُکیا۔
ٹیسٹ بینچ دے طور تے فرمی سوال
فرمی سوال اوہ مقداراں پچھدے نیں جنہاں دا صرف اندازہ ای لایا جا سکدا اے، جیویں کسے ڈبے وچ کنیاں چیزاں سما سکدیاں نیں۔ اوہناں دے جواب اجیہے نمبر نیں جیہڑے دس دیاں کئی طاقتاں اُتے پھیلے نیں، ایس لئی غلطی نوں مرتبے دے درجیاں (orders of magnitude) وچ ناپیا جا سکدا اے — دس دا اک گُنا اک درجہ گِنیا جاندا اے — تے اُلٹ نشان والیاں غلطیاں سچ مُچ اک دوجے نوں کٹ سکدیاں نیں۔
ٹیم نے realFP بینچ مارک دے 529 سوالاں دے 2.51 ملین جواب 15 کھلے وزن والے ماڈلاں (open-weight models) توں اکٹھے کیتے، جیہڑے 3 توں 72 ارب پیرامیٹراں دے نیں، تے نتیجیاں نوں سوالاں دے دو ہور سیٹاں اُتے پرکھیا۔ ہر ماڈل نے ہر سوال دا لگ بھگ 350 وار جواب دتا، تے 2 توں 30 جواباں دیاں ٹیماں دی اوسط لوگارتھمی پیمانے (logarithmic scale) اُتے کڈھی گئی۔
اپنے آپ وچ، ماڈل ایس کھیڈ وچ ماڑے نیں۔ اک اکلا جواب 12 توں 34% سوالاں اُتے صحیح درجے دا ہوندا اے، تے 30 توں 63% سوالاں اُتے سو دے گُنے توں ودھ دور ہوندا اے۔
اوہ غلطی جیہڑی ہر نقل وچ سانجھی اے
مکھ قدم ہر جواب دی غلطی نوں دو حصیاں وچ ونڈنا اے۔ اک اوہ غلطی اے جیہڑی کوئی ماڈل کسے خاص سوال اُتے کردا اے، تے جیہڑی اوس سوال دے اوہدے سارے جواباں وچ سانجھی ہوندی اے۔ دوجا اوہ بے ترتیب حصہ اے جیہڑا اک جواب توں اگلے تیکر بدلدا اے۔ جواباں دی اوسط کڈھن ویلے صرف دوجا حصہ ای کٹ سکدا اے۔
پتہ لگدا اے کہ پہلا حصہ حاوی اے۔ realFP اُتے، ایہہ غلطی دے ویرینس (variance) دا درمیانی قدر (median) وچ 0.906 حصہ بناندا اے۔ سوال دتا ہووے تے، اکو ٹیم دے دو جواب آپس وچ غیر متعلق (uncorrelated) نیں، جیویں آزاد نمونے لین توں امید ہوندی اے؛ پر اوہناں وچ اکو غلطی سانجھی اے۔
مقالہ ایہنوں اک اکلے نمبر وچ بدلدا اے، اک کلاسیکی فارمولے نال جنہوں Kish دا ڈیزائن اثر (design effect) آکھدے نیں: N جواباں دی ٹیم وچ آزاد جواباں دی مؤثر گنتی N / (1 + (N − 1)ρ) اے، جتھے ρ اوہ سانجھا حصہ اے۔ ρ = 0.906 نال، تیہہ دی ٹیم 1.10 آزاد ایجنٹاں دے برابر اے۔

کھبے: 15 ماڈلاں لئی ٹیم دے اکار N دے مقابلے ٹیم دی غلطی۔ سجے: اوہی چیز اک اکلے ایجنٹ دے مقابلے (رنگلیاں لکیراں، 1 دے نیڑے)، اوس دے ٹاکرے وچ جو آزاد تے بے جھکاؤ جواب دیندے (کالیاں ٹُٹویاں تے ڈیش-ڈاٹ لکیراں) تے 1/√N دی شرح (نقطیدار لکیر)۔ — شکل 2، Fortuna & Bertalanič (2026)، arXiv:2611.16315.
عملی طور تے، تیہہ دیاں ٹیماں نے اک اکلے ایجنٹ دی غلطی درمیانے طور تے 1.7% گھٹائی، تے ودھ توں ودھ 5.4%۔ آزاد جواب، جیہڑے ہر سوال اُتے کوئی سانجھی غلطی وی نہ رکھدے، ایہنوں 74 توں 79% گھٹا دیندے۔
ہر شے اک ملین ول کھسکدی اے
سانجھی غلطی دے اک حصے دی اک پچھانی جان والی شکل اے۔ ہر ماڈل نِکیاں مقداراں دا اندازہ ودھ تے وڈیاں دا گھٹ لاندا اے، تے اپنے اندازیاں نوں لگ بھگ اک ملین (10⁶) ول سُنگیڑدا اے۔ ایہہ رجحان سارے 15 ماڈلاں وچ دِسدا اے، پر ایہہ سانجھی غلطی دا صرف درمیانہ 17% سمجھاندا اے۔ ماڈل اکو سوالاں اُتے اکو پاسے غلطی وی کردے نیں: دو وکھرے ماڈلاں دیاں فی سوال غلطیاں دا آپسی تعلق (correlation)، انتہائی کیساں نوں قابو کرن تے اک ملین ول کھسکن نوں کڈھن توں بعد وی، 0.60 توں 0.69 اے۔

ہر سوال اُتے 15 ماڈلاں دی درمیانی غلطی، اصل جواب (دس دیاں طاقتاں) دے مقابلے: نِکیاں مقداراں دا اندازہ ودھ لایا جاندا اے، وڈیاں دا گھٹ۔ — شکل 1 (کھبے)، Fortuna & Bertalanič (2026)، arXiv:2611.16315.
گل بات کرن نال کوئی فائدہ نہیں
جے ایجنٹ آپس وچ گل بات کرن تے؟ بحث دے تن گیڑاں وچ، ہر ایجنٹ نے اپنے ساتھیاں دے جواب ویکھے تے اپنا جواب سودھیا۔ پنج دیاں ٹیماں دے اندر کھلار 93% سُنگڑ گیا — تیجے گیڑ تیکر، 15 وچوں 12 ماڈلاں لئی، گھٹ توں گھٹ ادھے سوالاں اُتے پنج وچوں تن ایجنٹاں نے اکو نمبر دتا۔ پر سانجھی غلطی اپنی تھاں توں نہ ہلی، تے کُل فائدہ 2.1% سی، پندرہ گُنا کمپیوٹنگ خرچے اُتے۔ جنہاں ایجنٹاں نے ساتھیاں نوں ویکھے بغیر بس اپنا ای جواب سودھیا، اوہناں دا نتیجہ گھٹ توں گھٹ اونا ای چنگا رہیا۔
کیہ تھوڑا جیہا کم آیا
نمونے لین دا درجہ حرارت (sampling temperature) ودھاؤن نال جواب ودھ وکھرے وکھرے ہو گئے، پر ٹیماں وچ لگ بھگ 1% توں ودھ سدھار نہ آیا۔ وکھ وکھ ماڈلاں نوں رلاؤن نے ودھ مدد کیتی: ملدی جلدی درستی والے پنج ماڈلاں نے اکٹھے، اپنیاں اپنیاں ٹیماں نالوں 6.6% بہتر کیتا۔ فیر وی 15 ماڈلاں دا کوئی وی میل اکلے سب توں درست ماڈل، gpt-oss-20b، توں بنی ٹیم اُتے کوئی خاص (significant) سدھار نہ کر سکیا۔ معلوم جواباں والے سوالاں اُتے سکھی گئی اک درستی نے ماڈلاں دا مجموعی جھکاؤ (bias) تے مُکا دتا، پر سوال-بہ-سوال غلطی نہیں۔
لکھاری حداں اُتے زور دیندے نیں: معمولی اکار دے کھلے ماڈل، اوہناں دے «سوچن» (thinking) والے موڈاں توں بغیر، ایہناں بینچ مارکاں تے پرامپٹاں اُتے؛ فرنٹیئر (frontier) تے ریزننگ (reasoning) ماڈل نہیں پرکھے گئے۔ اوہناں دا نتیجہ ڈیزائن دا اک سبق اے۔ ہور ایجنٹ جوڑنا، یا ہور اختلاف، اوس غلطی نوں ٹھیک نہیں کردا جیہڑی کسے ماڈل دی ہر نقل وچ سانجھی اے۔ لکھاری صلاح دیندے نیں کہ اوس سانجھی غلطی اُتے سدھا وار کیتا جاوے، مثال دے طور تے ایجنٹاں نوں ہر سوال نال جڑی خاص جانکاری دے کے — اک راہ جیہڑا اوہناں نے حالے نہیں پرکھیا۔
