టోకనైజేషన్
టోకనైజేషన్ - AI టెక్స్ట్ను ఎలా చదువుతుంది
న్యూరల్ నెట్వర్క్లు సంఖ్యలతో పనిచేస్తాయి. మీరు "hello" అనే పదాన్ని చదివినట్లు అవి చదవలేవు. ఏదైనా భాషా మోడల్ టెక్స్ట్ను ప్రాసెస్ చేయడానికి ముందు, దాన్ని టోకన్లు అని పిలువబడే చిన్న సంఖ్యాత్మక ముక్కలుగా విభజించాలి. ఈ సరళంగా కనిపించే దశ AI భాషను అర్థం చేసుకోవడం - మరియు తప్పుగా అర్థం చేసుకోవడం - పై తీవ్ర ప్రభావాలను కలిగి ఉంటుంది.
AI కేవలం అక్షరాలు ఎందుకు చదవలేదు?
అత్యంత సరళమైన విధానం: ప్రతి అక్షరాన్ని ఒక టోకన్గా చూడటం. "Hello" ['H', 'e', 'l', 'l', 'o'] అవుతుంది - ఐదు టోకన్లు.
సమస్య ఏమిటంటే? పదాలు హాస్యాస్పదంగా పొడవైన సీక్వెన్స్లుగా మారతాయి. 500-పదాల వ్యాసం 2,500+ అక్షర టోకన్లుగా మారవచ్చు. Transformer మోడల్లు సీక్వెన్స్ పొడవుతో క్వాడ్రాటిక్గా స్కేల్ అవుతాయి కాబట్టి, ఇది కంప్యుటేషనల్గా చాలా కఠినం. అంతకంటే చెడ్డది, వ్యక్తిగత అక్షరాలకు దాదాపు అర్థం ఉండదు - 'c', 'a', 't' కలిసి బొచ్చు జంతువు అని మోడల్ నేర్చుకోవాలి.
పద-స్థాయి టోకనైజేషన్
వ్యతిరేక తీవ్రత: ప్రతి పదం ఒక టోకన్. "The cat sat" ['The', 'cat', 'sat'] అవుతుంది - కాంపాక్ట్ మరియు అర్థవంతం.
కానీ ఇది భిన్నమైన సమస్యను సృష్టిస్తుంది: వొకాబ్యులరీ విస్ఫోటనం. ఇంగ్లీషులో మాత్రమే లక్షల పదాలు ఉన్నాయి. స్పెల్లింగ్ తప్పులు, టెక్నికల్ పదజాలం, మరియు కోడ్ కలుపుకుంటే, వొకాబ్యులరీ నిర్వహించలేనంతగా అవుతుంది. వొకాబ్యులరీలో లేని ఏదైనా పదం తెలియని [UNK] టోకన్ అవుతుంది - అర్థం చేసుకోవడానికి ఒక డెడ్ ఎండ్.
పద-స్థాయి టోకన్లు ఉపయోగించే మోడల్ "ChatGPT" అనే పదాన్ని మొదటిసారి చూసి, అది వొకాబ్యులరీలో లేకపోతే, అది [UNK] అవుతుంది. కొత్త టెక్నాలజీ గురించి చర్చించే మోడల్ సామర్థ్యాన్ని ఇది ఎలా ప్రభావితం చేస్తుంది?
మధ్యస్థం - సబ్వర్డ్ టోకనైజేషన్
ఆధునిక భాషా మోడల్లు సబ్వర్డ్ టోకనైజేషన్ ఉపయోగిస్తాయి, ఇది అక్షరాలు మరియు పదాల మధ్యలో ఉంటుంది. సాధారణ పదాలు మొత్తంగా ఉంటాయి ("the", "and"), అరుదైన పదాలు అర్థవంతమైన ముక్కలుగా విభజించబడతాయి ("un" + "believ" + "able").
ఇది నిర్వహించగలిగే వొకాబ్యులరీ (సాధారణంగా 32,000–100,000 టోకన్లు) ఇస్తుంది, ఏ టెక్స్ట్నైనా హ్యాండిల్ చేస్తుంది - మోడల్ ఎప్పుడూ చూడని పదాలతో సహా.
Byte Pair Encoding (BPE) - దశల వారీగా
BPE GPT మోడల్ల వెనుక ఉన్న అల్గారిథం. ఇది వొకాబ్యులరీని ఎలా నిర్మిస్తుందో చూడండి:
చర్చ
సైన్ ఇన్ చర్చలో చేరండి