అదనపు: మెజార్ మోడల్ ప్రాథమిక జ్ఞానం

మొదటిసారి మెజార్ మోడల్ని డౌన్‌లోడ్ చేయడానికి సిద్ధం చేస్తున్నప్పుడు, మోడల్ పేజీలోని 7B, 32B, 128K మరియు INT4 లు చాలా అసమానంగా ఉంటాయి: 7B మోడల్ ఎంత పెద్దది అని సూచిస్తుంది, 128K ఒక పుస్తకాన్ని అది సాధారణంగా పొందగలదా అని అడగవచ్చు, INT4 మోడల్ నిర్వహణ కార్యాలు తక్కువ సాంకేతిక సామర్థ్యాలను కలిగి ఉండగలదా అని అడగవచ్చు?

అసలు ఉపయోగం మొదలవుతున్న తర్వాత, సమావేశ రికార్డులు పెట్టకపోవడం, చాలా సంభాషణలో ముందు వర్గాలను మరిచిపోవడం, మోడల్ సమాధానాలు సమాచారాన్ని అందించడం లేకపోవడం, ఒకే మోడల్‌ను మార్చి క్వాంటిఫికేషన్ మార్పుల కారణంగా ప్రభావం మారుతుంది వంటి సమస్యలు ఎదుర్కోవడం జరుగుతుంది.

ఒక మోడల్ ప్రస్తుత పనికి అనుగుణంగా ఉందా లేదా లేదా నిర్ధారించడానికి, మొదట వచ్చే వర్ణమాలు ఎలా మోడల్‌లో ప్రవేశిస్తాయి, మోడల్ సామర్థ్యాలు ఎలా శిక్షణంలో వచ్చుతాయి, మరియు మోడల్ నిర్వహణ సమయంలో ఎందుకు నిర్వహణ కార్యాలు మరియు సాంకేతిక సామర్థ్యాలు ఉంటాయి అనేది తెలుసుకోవాలి.

ఈ జ్ఞానం మూడు ముఖ్యమైన సాధారణ మార్గాలుగా విభజించవచ్చు, మొదటి మార్గం Transformer యొక్క మొత్తం స్థూల స్థాపన నుండి పొంది, టోకెన్, ఎంబెడ్డింగ్ మరియు ఆటెంషన్‌ను చూసి, ఒక వచనం ఎలా మోడల్‌లో ప్రవేశిస్తుంది మరియు ప్రక్రియలో ఉంది వివరిస్తుంది; రెండవ మార్గం పూర్వప్రయోగం, ఇన్స్ట్రక్షన్ ఫైన్‌టునింగ్ మరియు పర్యవర్తన తర్వాత శిక్షణ, మోడల్ సామర్థ్యాలు ఎలా ఏర్పడతాయి వివరిస్తుంది; మూడవ మార్గం కాంటెక్స్ట్ పొడవు, KV కేచ్, క్వాంటిఫికేషన్ మరియు హార్డ్‌వేర్ మీద ఆధారపడి, మోడల్ లక్ష్య పరికరంలో స్థిరమైన నిర్వహణ సాధ్యం అనేది నిర్ధారిస్తుంది.

ఈ చాప్టర్ కంటెంట్ ముంది సంబంధిత చాప్టర్లోని కంటెంట్ యొక్క ప్రాథమిక జ్ఞానాన్ని తీసుకుని, ఉదాహరణకి ఈ సమాచారం మీద మోడల్ రిఫరెన్స్ సంబంధితమైన అంశాలు కనుక ఆడియోలులుగా మూడవ చాప్టర్ మరియు ఏడవ చాప్టర్ లోని కంటెంట్‌ను సూచించవచ్చు; మోడల్ SFT కోసం కూడా క్రియాత్మకంగా నవంబర్ చాప్టర్ లో ప్రస్తావించిన మోడల్ సాంకేతిక సామర్థ్యాలు సంబంధిత ms-swift మోడల్ ప్రయోగాలను ఉపయోగించవచ్చు; పర్యవర్తన తర్వాత శిక్షణ సంబంధిత అంశాలకు కూడా పదవ చాప్టర్ లో ప్రస్తావించిన ప్రెఫరెన్స్ సమంత్రత మరియు రిఫరెన్స్ లర్నింగ్ సంబంధిత అంశాలను సూచించవచ్చు. ప్రాంతీయ మోడల్ యొక్క వినియోగం మరియు హాలూసినేషన్ ప్రశ్నలు వంటివి, కూడా పదముప్పర్టీలో ప్రస్తావించిన RAG పద్ధతి ద్వారా వినియోగించవచ్చు, బహిరంగ జ్ఞానాన్ని ఉపయోగించడం ద్వారా మెజార్ మోడల్లు ప్రాంతీయ విషయాలలో వాటి సమాధానాల సమర్థతను మెరుగుపరచవచ్చు మరియు మోడల్ హాలూసినేషన్ ను మరింత తగ్గించవచ్చు.

18.1 ట్రాన్స్‌ఫార్మర్ ముఖ్యమైన స్థాపన

Transformer అనేది ఎందుకంటే అన్ని మెజార్ లాంగ్వేజ్ మోడల్లు ఉపయోగించే ప్రాథమిక ఆర్కిటెక్చర్. ముందటి రింగ్ నెట్‌వర్క్‌లు వర్ణమాలను క్రమం ప్రకారం ప్రక్రియ చేయడం విరుద్ధంగా, Transformer శిక్షణ మరియు ఇన్‌పుట్ ప్రక్రియ తర్వాత బహుళ స్థానాలను పారాల్ కమ్యూనికేషన్ చేయగలది మరియు ఆటెంషన్ ద్వారా వేర్వేరు స్థానాల మధ్య సంప్రదింపులను ఏర్పరుస్తుంది. క్లాసిక్ Transformer కోడ్‌ర్ మరియు డికోడర్ ను కలిగి ఉంటుంది. ప్రతి Transformer లెయర్ సాధారణంగా ఆటెంషన్ మరియు ఫ్ఫ్న్ లేదా MLP అని కూడి ఉంటుంది. ఫ్ఫ్న్ ను మోడల్ ప్రతి స్థానం విడికి వైటర్లను నాన్ లినియర్ ట్రాన్స్‌ఫార్మేషన్ చేస్తుంది. లెయర్ లో ప్రతి స్థానంలో ఉంటుంది రిజిడల్ కనెక్షన్ మరియు లెయర్ నార్మలైజేషన్ ఉపయోగిస్తారు, దీనితో డిప్లే నెట్‌వర్క్ ద్వారా సమాచారం స్థిరంగా ప్రయాణించడానికి సహాయపడుతుంది. అనేక అద్దె లెయర్లు పట్టడం తర్వాత, మోడల్ క్రమంగా సంక్లిష్ట వచన ప్రక్రియలు మరియు ఉత్పత్తి సామర్థ్యాలు ఏర్పడతాయి. Transformer యొక్క మొత్తం ఆర్కిటెక్చర్ ఈ చిత్రంలో చూడవచ్చు, చిత్రంలో ఎడమ భాగం కోడ్‌ర్ (Encoder), కింది భాగం డికోడర్ (Decoder) అని చెప్పవచ్చు. చిత్రంలో సూచిస్తుంది అనుసరించి పునరావృతం చేయబడే అనుసరించి మొదటి మొదటి మొదటి మొదటి మొదటి మొదటి మొదటి మొదటి మొదటి మొదటి మొదటి మొదటి మొదటి మొదటి మొదటి మొదటి మొదటి మొదటి మొదటి మొదటి మొదటి మొదటి మొదటి మొదటి మొదటి మొదటి మొదటి మొదటి మొదటి మొదటి మొదటి మొదటి మొదటి మొదటి మొదటి మొదటి మొదటి మొదటి మొదటి మొదటి మొదటి మొదటి మొదటి మొదటి మొదటి మొదటి మొదటి మొదటి మొదటి మొదటి మొదటి మొదటి మొదటి మొదటి మొదటి మొదటి మొదటి మొదటి మొదటి మొదటి మొదటి మొదటి మొదటి మొదటి మొదటి మొదటి మొదటి మొదటి మొదటి మొదటి మొదటి మొదటి మొదటి మొదటి మొదటి మొదటి మొదటి మొదటి మొదటి మొదటి మొదటి మొదటి మొదటి మొదటి మొదటి మొదటి మొదటి మొదటి మొదటి మొదటి మొదటి మొదటి మొదటి మొదటి మొదటి మొదటి మొదటి మొదటి మొదటి మొదటి మొదటి మొదటి మొదటి మొదటి మొదటి మొదటి మొదటి మొదటి మొద