కంప్యూటింగ్ & ఏఐప్రీప్రింట్డేటా విశ్లేషణచదవడానికి 5 నిమిషాలు

వాయినిచ్ వ్రాతప్రతిలో భాష జాడలు అంతంతమాత్రమే

వాయినిచ్ వ్రాతప్రతి సుమారు 240 పేజీల పుస్తకం; రేడియోకార్బన్ కాలనిర్ణయం దాన్ని పదిహేనో శతాబ్దం ప్రారంభానికి చెందినదిగా చూపుతుంది. మొక్కలు, నక్షత్రాలు, స్నానం చేస్తున్న ఆకృతుల బొమ్మలు మరెక్కడా కనిపించని ఒక లిపిలోని సుమారు 38,000 పదాల చుట్టూ ఉన్నాయి. దాన్ని ఎవరూ చదవలేరు.

అది రాతలాగే కనిపిస్తుంది: ఖాళీలతో వేరుచేసిన పదాలు, ఎన్నో అరుదైన పదాలు, పదాల లోపల నిర్దిష్ట స్థానాల్లోనే ఉండే సంకేతాలు — వీటిని గ్లిఫ్‌లు (glyphs) అంటారు. అయినా అది తెలిసిన ఏ భాషలాగానూ ప్రవర్తించదు. ఒకే పదం తరచూ వరుసగా రెండు మూడు సార్లు వస్తుంది, చాలా పదాలు తమ పొరుగు పదాల నుంచి ఒకే ఒక గ్లిఫ్‌లో తేడా ఉంటాయి, తరచుగా వచ్చే పదాలు చిన్నవిగా, ఒకేలా ఉంటాయి.

అర్థరహిత రాతా, లేక మారువేషంలోని భాషా?

ఒక వివరణ ప్రకారం, ఈ పాఠ్యానికి అర్థమే లేదు: ఒక లేఖకుడు ప్రతి కొత్త పదాన్నీ అంతకుముందు రాసిన ఒక పదాన్ని నకలు చేసి, అందులో ఒకటి రెండు గ్లిఫ్‌లు మార్చి రాశాడు — 2020లో టిమ్, షిన్నర్ ప్రతిపాదించిన ప్రక్రియ ఇది. మరో వివరణ ప్రకారం, ఒక నిజమైన భాష ఒక గూఢలిపి (cipher) వెనుక దాగి ఉంది — ఇటీవలి ఒక రూపకల్పన, నైబ్బే గూఢలిపి (Naibbe cipher), లాటిన్ లేదా ఇటాలియన్‌ను వ్రాతప్రతిలోని పాఠ్యాన్ని బాగా పోలిన పాఠ్యంగా మారుస్తుంది.

రెండు పక్షాలూ చాలాకాలంగా తమ ఉద్దేశానికి తగ్గట్టు ఎంచుకున్న గణాంకాల ఆధారంగా వాదిస్తూ వచ్చాయి. టెక్సాస్ టెక్ విశ్వవిద్యాలయానికి చెందిన షిన్ ఝాంగ్, విక్టర్ ఎస్. షెంగ్ రెండింటినీ ఒకే నియమాలతో పరీక్షించారు.

అవే పేజీలు, అదే బడ్జెట్, చూడని గణాంకాలు

ఒక్కో వివరణా ఒక ప్రోగ్రామ్‌గా మారింది; అది వ్రాతప్రతి పేజీలనూ పంక్తులనూ పదం పదంగా నింపుతుంది. నకలు ప్రోగ్రామ్‌లు ప్రతి పదాన్నీ కొత్తదిగా గానీ, అంతకుముందు పదానికి మార్పులు చేసిన నకలుగా గానీ రాస్తాయి. గూఢలిపి ప్రోగ్రామ్‌లు ఒక నిజమైన మధ్యయుగపు పాఠ్యాన్ని గూఢీకరిస్తాయి: ప్రతి పదాన్ని — లేదా దాని అక్షరాలను, దాని శబ్దాంశాలను (syllables), లేదా కేవలం దాని వ్యాకరణ వర్గాన్ని — ఒక సంకేత పదంతో (code word) భర్తీ చేస్తాయి. స్థానిక పునరావృతం ఏ పక్షానికీ అనుకూలించకుండా ఉండేందుకు, ప్రతి గూఢలిపికీ నకలు చేసే ఒక లేఖకుడిని కూడా జోడించారు.

ప్రతి ప్రోగ్రామ్‌నూ పాఠ్యపు 22 గణాంకాలపై సర్దుబాటు చేసి, ఆ తర్వాత దాన్ని, అది ఎప్పుడూ చూడని మరో 15 గణాంకాలపై పరీక్షించారు.

  • టిమ్, షిన్నర్ నకలు నియమాలు ఆ చూడని గణాంకాలను ఒకే కీ ఉన్న ఏ గూఢలిపి కంటే చాలా మెరుగ్గా అంచనా వేస్తాయి. వాటి అతి పెద్ద తప్పిదం కూడా ఐదు ప్రామాణిక విచలనాల (standard deviations — ప్రోగ్రామ్ సొంత పాఠ్యాల సాధారణ విస్తరణ) లోపే ఉంటుంది; ఒక పద సంకేత పద్ధతి (word code) ఒక గణాంకాన్ని వందకు పైగా ప్రామాణిక విచలనాలతో తప్పుతుంది.
  • నిర్ణయాత్మక గణాంకం ఒక క్రమక్రమ మార్పు (drift). వ్రాతప్రతిలో Currier A, B అనే రెండు “మాండలికాలు” ఉన్నాయి; అవి గ్లిఫ్‌లను వేర్వేరుగా వాడతాయి. స్థిరమైన కీ ప్రతి పేజీలోనూ అవే గ్లిఫ్ అలవాట్లను రాస్తుంది; అప్పుడే రాసిన పదాల నుంచి పదాలు అల్లే లేఖకుడు ఆ అలవాట్లు అటూ ఇటూ మళ్ళిపోయేలా వదిలేస్తాడు.
  • కానీ రెండో కీ ఉన్న గూఢలిపులు — Currier B పేజీలకు వేరే కీ — లేదా నిజమైన పాఠ్యపు పద వర్గాలను మాత్రమే గూఢీకరించే గూఢలిపులు కూడా, సుమారు సగం పదాలను తప్పుగా నకలు చేసే లేఖకుడితో, అంతే బాగా రాణిస్తాయి. రచయితల మాటల్లో, “ఉత్తమంగా సరిపోయే గూఢలిపులు, తమ మూల పాఠ్యానికి అతి తక్కువ ప్రాముఖ్యం ఇచ్చేవే” (మూల పాఠ్యం, plaintext, అంటే గూఢీకరణకు ముందున్న అసలు పాఠ్యం).

పద గణాంకాలు మాత్రమే దీన్ని తేల్చలేవు, ఏ ప్రోగ్రామూ మొత్తం 37 గణాంకాలతో ఒకేసారి సరిపోలదు.

ఒకే పంక్తిలో పదే పదే కలిసే పదాలు

అందుకే రచయితలు గూఢలిపి ఛేదన అవసరం లేని భాష జాడ కోసం వెతికారు. అర్థవంతమైన పాఠ్యంలో, కలిసి ఉండే పదాలు — ఒక నామవాచకం, దాని క్రియ; ఒక స్థిర పదబంధంలోని భాగాలు — యాదృచ్ఛికంగా జరిగే దానికంటే ఎక్కువసార్లు ఒకే పంక్తిని పంచుకుంటాయి, పాఠ్యంలో మరోచోట కూడా మళ్ళీ అలాగే చేస్తాయి. పద సంకేత పద్ధతి ఈ నమూనాను నిలుపుకుంటుంది; ఒక పేజీలో నకలు వల్ల పుట్టిన జంట కొన్ని పేజీల తర్వాత తిరిగి రావడానికి కారణమేదీ ఉండదు.

ఈ పరీక్ష పుస్తకాన్ని రెండు భాగాలుగా విభజించి, తరచూ వచ్చే పదాల అవే జంటలు రెండు భాగాల్లోనూ పంక్తులను పంచుకుంటూనే ఉన్నాయా అని చూస్తుంది. ఒకేలాంటి పదాలను, ఒకే గ్లిఫ్ తేడా ఉన్న పదాలను వదిలేస్తారు, తద్వారా నకలు ఈ సంకేతాన్ని కృత్రిమంగా సృష్టించలేదు.

  • వ్రాతప్రతి పేజీల్లో అమర్చిన 16 భాషల్లోని 28 పాఠ్యాలు 0.139 నుంచి 0.411 మధ్య స్కోరు సాధిస్తాయి (రెండు భాగాల మధ్య సహసంబంధం: ఒక భాగంలో కనిపించిన జంటలు మరో భాగం గురించి ఏమీ చెప్పకపోతే 0, అవి పూర్తిగా సరిపోలితే 1).
  • వ్రాతప్రతి స్కోరు 0.071, రెండో, స్వతంత్ర లిప్యంతరీకరణలో (transliteration — గ్లిఫ్‌లను ఒక ప్రామాణిక వర్ణమాలలో టైప్ చేయడం) 0.053: అత్యంత బలహీనమైన పాఠ్యంలో సగం బలం.
  • పద సంకేత పద్ధతులు ఆ స్థాయికి పడిపోయేది వాటి మూల పాఠ్యంలో ఈ నమూనా బలహీనంగా ఉన్నప్పుడు మాత్రమే — అన్నింటికంటే ముఖ్యంగా సంక్షిప్త రూపాలతో రాసిన మధ్యయుగపు లాటిన్, 0.102 వద్ద — లేదా చాలా పదాలు తప్పుగా నకలైనప్పుడు.

క్రమాంకనం (calibration) ముఖ్యం: స్వచ్ఛంద సేవకులు రాసిన అర్థరహిత రాతను నిజమైన గద్యం నుంచి వేరు చేయడానికి శిక్షణ పొందిన ప్రోగ్రామ్ వ్రాతప్రతిని అర్థరహితమని తేలుస్తుంది, కానీ అది గూఢీకరించిన 54 అర్థవంతమైన పాఠ్యాల్లో 53నీ అర్థరహితమనే అంటుంది.

ముందుగా తెలిసిన పాఠ్యాలను చదవాల్సిన కోడ్-ఛేదకులు

ప్రతి పరిష్కర్త (solver) ఏ కీ కింద పాఠ్యం ఇచ్చిన భాషలా అత్యధికంగా చదవబడుతుందో ఆ కీ కోసం వెతుకుతుంది; ఆ భాషలోని పాత పాఠ్యాల్లో ఏ అక్షరం, లేదా పదం, తర్వాత ఏది రావడానికి మొగ్గు చూపుతుందో చూపే సరళమైన గణాంక పట్టికతో దీనికి స్కోరు ఇస్తారు. ప్రతి పరిష్కర్తనూ ముందుగా నియంత్రణ పాఠ్యాలపై (control texts) నడిపారు — అదే విధంగా గూఢీకరించిన నిజమైన పాఠ్యాలు; అది వాటిని చదవలేని చోట, ఆ పరీక్షను అనిర్ణీతంగా లెక్కించారు.

  • అక్షర గూఢలిపులు. పరిష్కర్త 16 భాషల్లో 15 భాషల నియంత్రణ పాఠ్యాలను చదివింది. ప్రతి భాషలోనూ, వ్రాతప్రతి నియంత్రణ పాఠ్యాల కంటే తక్కువ క్రమాన్ని చూపింది, దాని పఠనాలు గుర్తించదగిన పదాలు లేని అక్షరాల వరుసలుగా ఉన్నాయి. హీబ్రూ అనిర్ణీతంగానే మిగిలింది.
  • పద సంకేత పద్ధతులు. సంక్షిప్త లాటిన్ సంకేత పద్ధతికి — గూఢలిపి ప్రోగ్రామ్‌లు ప్రాధాన్యం ఇచ్చిన మూల పాఠ్యం అదే — అలాంటి లాటిన్‌లోని 5 మిలియన్ పదాలతో నిర్మించిన పట్టిక కూడా వ్రాతప్రతి కంటే నియంత్రణ పాఠ్యాల్లోనే ఎక్కువ పద క్రమాన్ని కనుగొంది, ఐదింటిలో రెండు పదాలు తప్పుగా నకలైతే తప్ప.
  • ఒక్కో అక్షరానికి లేదా శబ్దాంశానికి ఒక పదం. అలాంటి 28 పద్ధతులు 1,144 నిర్ణయాలను ఇచ్చాయి: 596 తోసిపుచ్చినవి, 429 అనిర్ణీతం, 119 తోసిపుచ్చలేనివి: వ్రాతప్రతి ఏ సందేశమూ లేని పాఠ్యాల కంటే కొద్దిగా పైన నిలిచింది, అయినా చదవగలిగే దేనిగానూ డీకోడ్ కాలేదు.

తప్పించుకుపోయే గూఢలిపి

ఆ కాలంలో సాధారణమైన ఒక రకమైన సంకేత పద్ధతి అయిన నొమెన్‌క్లేటర్ (nomenclator), అత్యంత తరచుగా వచ్చే పదాలను పూర్తి సంకేత పదాలుగా రాసి, మిగతావాటిని అక్షరం అక్షరంగా రాస్తుంది. రెండో కీతో, పదాల్లో పెద్ద భాగాన్ని తప్పుగా నకలు చేసే లేఖకుడితో (దాని రెండు ఉత్తమ సరిపోలికల్లో 37%, 56%), అది వ్రాతప్రతిలోని పద జంటలతో సరిపోలుతుంది; పరిష్కర్తలు దాన్ని 16 భాషల్లో 9 భాషల్లో తోసిపుచ్చలేకపోతున్నాయి. పాఠ్యం సాగే కొద్దీ కీ మారే గూఢలిపిని అసలు పరీక్షించనే లేదు.

పదాల మధ్య ఒక అతుకు

మిగిలిన వాటిలో అత్యంత బలమైన నిర్మాణం పదాల సరిహద్దుల వద్ద ఉంది. ఒక పదపు చివరి గ్లిఫ్ తర్వాతి పదపు మొదటి గ్లిఫ్‌ను నియంత్రిస్తుంది: 0.204 బిట్ల పరస్పర సమాచారం (mutual information — ఒకటి మరొకదాని గురించి ఎంత చెబుతుందో), నకలు ప్రోగ్రామ్‌కు 0.078, గూఢలిపులకు 0.014తో పోలిస్తే. అక్షర పరిష్కర్త కనుగొన్నదానిలో ఎక్కువ భాగాన్ని మోసేది ఈ లంకెయే. పరీక్షించిన భాషల్లోని అక్షరాల కంటే తమ పొరుగువాటితో రెండు రెట్లు గట్టిగా బంధించబడిన గ్లిఫ్‌లే దీనికి మూలమని రచయితలు గుర్తించారు; వ్రాతప్రతిలోని ఖాళీలతో పాటు దీన్ని ఏ ప్రోగ్రామూ పునఃసృష్టించలేదు.

చిన్న సందేశానికి చోటు

రచయితలు 50 నుంచి 5,000 అక్షరాల సందేశాలను కూడా వ్రాతప్రతి పాఠ్యంలో నాటి, వాటి కోసం వెతికారు. ఒకే ఒక్క రకం మాత్రమే నమ్మకంగా పట్టుబడుతుంది: ప్రతి అక్షరాన్ని ఎప్పుడూ ఒకే పదంగా రాసి, ఆ పదాలను పక్కపక్కనే ఉంచేది. పేరాల మొదటి పదాల్లో దాచిన, 500 అక్షరాల అలాంటి ప్రతి సందేశమూ దొరికింది. వ్రాతప్రతిలో ఏదీ అలాంటి సందేశాన్ని సూచించడం లేదు — కానీ ఒక్కో అక్షరానికి ఎన్నో పదాలను వాడే సందేశం, లేదా అక్షరాలు దూరదూరంగా పరచిన సందేశం ఇంకా అక్కడ దాగి ఉండవచ్చు.