వెబ్లో దాదాపు మూడో వంతును ఇప్పుడు AI రాస్తోంది
పెద్ద భాషా నమూనాలు ఎక్కువగా వెబ్లో సేకరించిన పాఠం నుంచే నేర్చుకుంటాయి. ఆ పాఠంలో మరింత మరింత భాగాన్ని AI స్వయంగా రాస్తోంది. రచయితలు దాన్ని “అడవి” AI పాఠం (wild AI text) అంటారు: అనేక వేర్వేరు నమూనాలు మానవ పాఠకుల కోసం రాసినది, ఆన్లైన్లో ప్రచురితమైనది, మానవ పాఠంతో కలిసిపోయి, ఏ లేబుల్ లేకుండా శిక్షణ దత్తాంశంలోకి కొట్టుకుపోయేది. ఇది “నమూనా పతనం” (model collapse) కాదు — అక్కడ ఒక నమూనాకు దాని సొంత అవుట్పుట్పైనే మళ్లీ శిక్షణ ఇస్తారు — శిక్షణకు సహాయపడేందుకు ఉద్దేశపూర్వకంగా తయారుచేసిన, ఎంపిక చేసిన కృత్రిమ దత్తాంశం (synthetic data) కూడా కాదు.
మేరీల్యాండ్ విశ్వవిద్యాలయానికి, AI-పాఠ డిటెక్టర్ను అమ్మే Pangram Labs సంస్థకు చెందిన జెన్నా రస్సెల్, మోహిత్ అయ్యర్, వారి సహచరులు ఇలాంటి పాఠం ఎంత ఉందో, అది ఒక నమూనాకు ఏం చేస్తుందో కొలవడానికి పూనుకున్నారు.
వెబ్లో AI ఎంత ఉంది?
వెబ్ యొక్క భారీ భాండాగారం Common Crawlను వడపోసే FineWeb ప్రక్రియను వాడి, బృందం 2026 జూన్ వరకు ఉన్న కార్పస్ను తిరిగి నిర్మించింది: 9.6 కోట్ల పత్రాలు, 8,300 కోట్ల టోకెన్లు — టోకెన్లు అంటే నమూనా చదివే పదాల ముక్కలు. ప్రతి పత్రానికీ సంస్థ డిటెక్టర్ Pangramతో లేబుల్ వేశారు; దాని నివేదిత తప్పుడు-ధనాత్మక (false-positive) రేటు 0.05%; 2022 చివర్లో ChatGPT విడుదలకు ముందు, 2021 నాటి 60,000 పత్రాల్లో అది కేవలం 0.062%ను మాత్రమే AIగా గుర్తించింది.
FineWeb నాణ్యత వడపోతలను దాటిన వెబ్ పాఠంలో AI రాసిన టోకెన్ల వాటా:
- 2021 జూన్లో 0.1% కంటే తక్కువ;
- 2024 జూన్లో 10.1%, 2025 జూన్లో 16.1%;
- 2026 జూన్లో 27.5%, 2026 ఆగస్టులో 31.1%;
- అంచనా: 2027 చివరికి 42.3%, 2028 చివరికి 50.7%.
పెరుగుదల అసమానంగా ఉంది. 2026లో ట్యుటోరియల్లు, “జ్ఞాన వ్యాసాల” టోకెన్లలో సుమారు సగానికి AI లేబుల్ ఉంది; వార్తల్లో 9%, వ్యక్తిగత బ్లాగుల్లో 5% మాత్రమే. ఇంకా అధ్వాన్నంగా, శిక్షణ సమితులను నిర్మించడానికి వాడే నాణ్యత వడపోతలు AI పాఠానికే మొగ్గు చూపుతాయి: FineWeb AI పత్రాలను మానవ పత్రాల కంటే 2.3 రెట్లు ఎక్కువగా ఉంచుతుంది, DCLM వడపోత 9.8 రెట్లు ఎక్కువగా.
పరీక్షకు 800 నమూనాలు
బృందం 1.99 కోట్ల నుంచి 97.3 కోట్ల పరామితుల వరకు 800 చిన్న భాషా నమూనాలకు ముందస్తు శిక్షణ ఇచ్చింది; స్థిరమైన మానవ పాఠ సమూహానికి ప్రతి మానవ టోకెన్కు సున్నా నుంచి 64 AI టోకెన్ల వరకు జోడించి, ప్రతిదాన్నీ దానికి బదులు అంతే సంఖ్యలో కొత్త మానవ టోకెన్లు ఇచ్చిన అదే నమూనాతో పోల్చింది.
- AI పాఠం దత్తాంశం కోసం ఆకలిగా ఉన్న నమూనాలకు మాత్రమే సహాయపడింది, ఒక్కో పరామితికి సుమారు 10 మానవ టోకెన్ల కంటే తక్కువ ఉన్నప్పుడు.
- ఒక్కో పరామితికి సుమారు 20 టోకెన్ల సాధారణ గణన-అనుకూల బడ్జెట్ నుంచి, AI పాఠం జోడిస్తే మానవ పాఠంపై దోషం పెరిగింది, అదనపు మానవ పాఠం మాత్రం దాన్ని తగ్గిస్తూనే ఉంది.
- మానవ పాఠాన్ని అంచనా వేయడానికి AI పాఠం యొక్క ఉత్తమ వాటా ఒక్కో పరామితికి 5 టోకెన్ల వద్ద 37% నుంచి 20 వద్ద **1%**కి పడిపోయింది. AI పాఠాన్ని అంచనా వేయడానికి అది 90% పైనే ఉంది.
- కొత్త AI పాఠాన్ని జోడించడం కంటే అదే మానవ పాఠాన్ని పునరావృతం చేయడం మెరుగైంది: ఒక అదనపు పర్యాయం తర్వాత దోషం 2.3% తక్కువ, ఎనిమిది పర్యాయాల తర్వాత సుమారు 6.3% తక్కువ.
- AI పాఠంపై శిక్షణ పొందిన నమూనాలు AIలా రాయడం మొదలుపెట్టాయి: “delve”, “tapestry” వంటి పదాలు ప్రతి 1,000 పదాలకు 0.16 నుంచి 0.54కి పెరిగాయి.
ప్రస్తుత “స్కేలింగ్ నియమాలు” (scaling laws) — నమూనా పరిమాణం, దత్తాంశం నుంచి దాని దోషాన్ని అంచనా వేసే సూత్రాలు — AI టోకెన్ను మానవ టోకెన్లాగే పరిగణించి ఇక్కడ పొరబడతాయి. రచయితలు ఒక కొత్త నియమాన్ని ప్రతిపాదిస్తున్నారు — అందులో ప్రయోజనం సంతృప్తమవుతుంది, హాని సంవర్గమాన రీతిలో పెరుగుతుంది, కాబట్టి AI టోకెన్ విలువ ఋణాత్మకంగా మారవచ్చు. 26.8 కోట్ల పరామితుల వరకు ఉన్న నమూనాలపై అమర్చితే, అది 3.6 రెట్లు పెద్ద నమూనాలను ప్రస్తుత ఉత్తమ నియమం కంటే 41% తక్కువ దోషంతో అంచనా వేస్తుంది — అయితే తక్కువ AI వాటా గల రెండు పరీక్షా సమితులపై దాని ఆధిక్యం గణాంకపరంగా ముఖ్యమైనది కాదని అనుబంధం పేర్కొంటుంది.
వడపోయకపోతే చెల్లించాల్సిన బిల్లు
ఈ నియమం ప్రకారం, 2026 ఆగస్టు నాటి AI వాటాతో వడపోయని వెబ్ పాఠంపై శిక్షణ ఇవ్వడానికి, దాని మానవ భాగంపై మాత్రమే శిక్షణ ఇచ్చే దానికంటే 1.6 రెట్లు గణన శక్తి ఖర్చవుతుంది — 2028కి అంచనా వేసిన వాటా వద్ద 3.0 రెట్లు. పైగా ఈ నష్టాన్ని గమనించకపోవడం సులభం: AI పాఠాన్ని అంచనా వేయడం తేలిక, కాబట్టి 22.3% AI పాఠం ఉన్న ధృవీకరణ సమితి హానికరమైన ప్రయత్నాల్లో 95.5%ను మెరుగుదలలుగా నివేదించింది. ప్రామాణిక బెంచ్మార్క్ స్కోర్లు కూడా మానవ పాఠంతో పెరిగినంతగానే AI పాఠంతోనూ పెరిగాయి.
లక్ష్యం మానవ పాఠమైనప్పుడు AI పాఠాన్ని వడపోయాలని, AI దత్తాంశాన్ని జోడించే ముందు మానవ దత్తాంశాన్ని పునరావృతం చేయాలని, మానవ, AI పాఠాలపై దోషాలను వేర్వేరుగా నివేదించాలని రచయితలు సిఫార్సు చేస్తున్నారు. పరిమితులు నిజమైనవి: 97.3 కోట్ల పరామితుల కంటే పెద్ద నమూనాలు లేవు, కేవలం ఆంగ్లం, కేవలం ముందస్తు శిక్షణ, ఒకే ఒక డిటెక్టర్ — అదీ రచయితల సంస్థ తయారుచేసినది, ఈ నిర్ధారణలు ఆ సంస్థ వ్యాపారానికే అనుకూలం. స్వతంత్ర తనిఖీలకు వీలుగా, వారు కార్పస్ను, మొత్తం 800 నమూనాలనూ, కోడ్నూ విడుదల చేస్తున్నారు.
