کیا مصنوعی ذہانت نکڑ کی دکان چلا سکتی ہے؟

مصنوعی ذہانت کے “ایجنٹس” — یعنی لسانی ماڈلز جو بہت سے مراحل میں ٹولز کے ذریعے کام کرتے ہیں — کو اب زیادہ سے زیادہ طویل کاموں پر آزمایا جا رہا ہے، جن میں کاروبار چلانا بھی شامل ہے۔ لیکن ہندوستان کے BITS Pilani اور یونیورسٹی آف مینیسوٹا کی ایک ٹیم کے مطابق موجودہ امتحانات میں کچھ مشترکہ اندھے گوشے ہیں: وہ انگریزی میں ہیں (ایک چینی میں ہے)، مغربی پرچون کاروبار کے ماحول میں ہیں، اور ایک اکیلے ایجنٹ کو کاروبار کا براہِ راست منظر دیتے ہیں۔

ہندوستان کی حقیقی زندگی مختلف ہے۔ وہاں پرچون کا بڑا حصہ چھوٹی جنرل اسٹورز، یعنی کریانہ دکانوں، کے ذریعے چلتا ہے، جہاں کئی لوگ کام کرتے ہیں جو گاہکوں اور سپلائرز سے انگریزی، ہندی اور ہنگلش — ان دونوں کے ملاپ — میں بات کرتے ہیں۔ چنانچہ ٹیم نے KiranaBench بنایا، ایک فرضی کریانہ دکان۔

چار کاموں اور ایک دماغ والی دکان

ایک ہی مصنوعی ذہانت ماڈل چاروں کردار ادا کرتا ہے، ہر ایک کے اپنے ٹولز اور اپنی گھڑی کے ساتھ:

منیجر سپلائرز کو آرڈر دیتا ہے، قیمتیں طے کرتا ہے اور فیصلہ کرتا ہے کہ دکان کب بند کرنی ہے — لیکن دکان نہیں دیکھ سکتا اور دن کا حال صرف دوسروں کی رپورٹوں سے جانتا ہے؛
کیشیئر بل، مول تول اور دکان کے “کھاتے”، یعنی گاہکوں کے چلتے ادھار حساب، پر ادھار سنبھالتا ہے؛
مددگار ڈیلیوری وصول کرتا ہے اور سامان گودام اور شیلفوں کے درمیان منتقل کرتا ہے؛
منشی، یعنی حساب رکھنے والا، رات کی رپورٹ لکھتا ہے۔

ہر کام کام کے دن کے کچھ منٹ لیتا ہے: گودام گننے میں 25 منٹ لگتے ہیں، اس لیے جو مددگار گنتی کر رہا ہو وہ اسی وقت شیلفیں نہیں بھر سکتا۔ روزانہ تقریباً 289 معمول کے گاہک شیلفوں سے سامان اٹھاتے ہیں، اور ان کی ٹوکریاں ہندوستان کے قومی گھریلو صرف کے سروے سے لی گئی ہیں۔ تقریباً 65 مزید گاہک کاؤنٹر پر آ کر بات کرتے ہیں، اور یاد رکھتے ہیں کہ ان کے ساتھ کیسا سلوک ہوا۔ سپلائرز ای میلز کا جواب اپنی زبان میں دیتے ہیں — اور جو ای میلز وہ پڑھ نہیں سکتے انہیں رد کر دیتے ہیں۔ کرایہ، بجلی اور تنخواہوں پر روزانہ 4,157 روپے خرچ ہوتے ہیں۔ پیسے سے متعلق ہر چیز کا حساب کوڈ کرتا ہے، اس لیے کوئی ماڈل اسکور غلط رپورٹ نہیں کر سکتا۔

ایک مہینے کی تجارت

ٹیم نے چار ڈیولپرز کے چار اوپن ماڈلز — Qwen3.8-27B، Gemma 4 31B، gpt-oss-20b اور LFM2.5-8B — کو آزمایا، ہر ایک کو 30 دنوں کے تین فرضی مہینوں تک۔ اسکور منافع ہے: آخر میں کل خالص مالیت میں سے شروع کی خالص مالیت منہا۔ پیمانہ دو اسکرپٹ شدہ دکانیں طے کرتی ہیں:

اصولوں پر چلنے والے ایک سمجھدار دکاندار نے تقریباً 103,000 روپے کمائے؛
ایک دکان جسے کوئی نہیں چلاتا نے تقریباً 115,000 روپے گنوائے۔

ماڈلز:

Qwen3.8 کی اوسط تقریباً 13,700 روپے رہی — اسکرپٹ شدہ دکاندار کا تقریباً آٹھواں حصہ؛
Gemma 4 کو اوسطاً تھوڑا سا نقصان ہوا، لیکن اس کے تین مہینے +37,226 (سب سے بہترین دوڑ، دکاندار کا تقریباً ایک تہائی) سے −40,762 تک پھیلے ہوئے تھے؛
LFM2.5 نے تقریباً 127,000 اور gpt-oss نے تقریباً 193,000 گنوائے — دونوں ہر مہینے بغیر نگرانی والی دکان سے بھی بدتر رہے۔

مصنفین کہتے ہیں: “دکان کو برے طریقے سے چلانا اسے نہ چلانے سے زیادہ مہنگا پڑتا ہے”: جو ماڈل آرڈر دیتا رہتا ہے وہ ایسے سامان کی قیمت ادا کرتا رہتا ہے جسے وہ بیچ نہیں سکتا۔

غلط زبان

انگریزی بولنے والے سپلائرز کو انگریزی میں لکھنا تقریباً حل ہو چکا تھا: تین ماڈلز کبھی ناکام نہیں ہوئے۔ ہندی اور ہنگلش کا معاملہ الگ تھا۔ Gemma 4 کی 42% ہندی ای میلز اور 38% ہنگلش ای میلز ناقابلِ فہم کہہ کر واپس کر دی گئیں؛ Qwen3.8 کی 19% ہنگلش ای میلز ضائع ہوئیں۔ جو کچھ بھی اس نے بھیجا، اس میں سے gpt-oss کی 46% ای میلز ضائع ہوئیں، اور وہ انگریزی میں بھی ناکام رہا۔ LFM2.5، جس کے ڈیولپرز کسی ہندوستانی زبان کا ذکر نہیں کرتے، ہر ہندی اور ہنگلش ای میل میں ناکام رہا۔ اس کے برعکس کاؤنٹر پر گاہکوں کی خدمت تینوں زبانوں میں تقریباً یکساں اچھی طرح ہوئی۔

ملازمین جو کہتے کچھ ہیں اور کرتے کچھ

چونکہ منیجر دکان کو صرف رپورٹوں کے ذریعے دیکھتا ہے، اس لیے ٹیم نے ان کا اصل گلّے سے موازنہ کیا۔ Qwen اور Gemma نے ہر ایک دن فروخت بالکل ٹھیک رپورٹ کی۔ gpt-oss نے 6% دنوں میں غلطی کی، LFM2.5 نے 27% دنوں میں، تقریباً 16,000 روپے تک۔ 360 فرضی دنوں میں سے ہر ایک کا آڈٹ کیا گیا، اور ہر نقصان کا سراغ ایک نامزد عمل تک جاتا ہے:

gpt-oss نے ہزاروں پیغامات ایسے سپلائرز کو بھیجے جو وجود ہی نہیں رکھتے، حالانکہ ہر واپس آنے والے پیغام میں اصل سپلائرز کی فہرست موجود تھی؛
اس کے مددگار نے 10,000 روپے کی ایک ادائیگی کی رپورٹ دی جو کبھی ہوئی ہی نہیں — کسی کردار کے پاس ادائیگی کرنے کا ٹول تک نہیں تھا — اور اسی رات اس کے اپنے منشی نے اس کی تردید کی؛
ایک ہی تھوک آرڈر دو سپلائرز کو گیا، اور دونوں کو ادائیگی کی گئی؛
Gemma کے مددگار نے لکھا کہ وہ “ڈیلیوری کی تمام اشیا لے رہا ہے”، جبکہ اس کی ٹول کال نے ہر چیز میں سے صفر رکھا، اور دودھ کی گاڑی چلی گئی؛
LFM2.5 نے پہلے دن ہی فیصلہ کر لیا کہ دکان کا پیغام رسانی کا نظام خراب ہے، اور بعد کے زیادہ تر دنوں میں اس کا واحد عمل دکان کھلنے کے وقت گھر چلے جانا تھا۔

مصنفین نشاندہی کرتے ہیں کہ اسی آخری ماڈل کا، اس کے ڈیولپر کی رپورٹ کے مطابق، چاروں میں ٹول کے استعمال کا سب سے زیادہ اسکور ہے — ایک ہی نشست کا امتحان جو گلّے پر ایک مہینے کی پیش گوئی نہ کر سکا۔

پیمانہ، حریف نہیں

اسکرپٹ شدہ دکاندار اسٹاک براہِ راست پڑھتا ہے اور ہر سپلائر کو اسی کی زبان میں لکھتا ہے، یہ دو کام ماڈلز کو عملے اور ترجمے کے ذریعے سنبھالنے پڑتے ہیں۔ مصنفین زور دیتے ہیں کہ یہ فرق ایک اچھی طرح چلنے والی دکان سے فاصلہ ناپتا ہے، آمنے سامنے کا مقابلہ نہیں۔ پھر بھی ان کا نتیجہ دو ٹوک ہے: موجودہ لسانی ماڈل ایجنٹس “ابھی ہندوستان میں چھوٹے کاروبار خودمختاری سے چلانے کے لیے قابلِ اعتماد نہیں ہیں” — اور جو بھی ناکامی انہیں ملی وہ ایک نام، ایک دن اور ایک وقت کے ساتھ آئی۔