GGUF ఫైల్ లో ఏమి ఉంటుంది?

Ollama తో మోడల్స్ నడపినప్పుడు, మీరు తరచుగా GGUF, Q4, Q8 వంటి పేర్లు చూస్తారు. ఈ పేర్లు ప్రధానంగా మోడల్ స్టోరేజ్ ఫార్మాట్ మరియు క్వాంటైజేషన్ పద్ధతితో సంబంధం కలిగి ఉంటాయి, మరియు పెద్ద మోడల్స్ వ్యక్తిగత కంప్యూటర్లలో నడవగలగడానికి ఇది ముఖ్యమైన కారణం.

ఆగస్టు 2023 లో, Georgi Gerganov GGUF ఫార్మాట్‌ను ప్రవేశపెట్టారు. దాని ప్రధాన ప్రయోజనాలలో సింగల్-ఫైల్ డిప్లాయ్‌మెంట్, స్కేలబిలిటీ, మెమరీ మ్యాపింగ్ మద్దతు, సంపూర్ణ సమాచారం మరియు ఉపయోగంలో సులభత్వం ఉన్నాయి. ఒక GGUF ఫైల్ ఫైల్ హెడర్, మెటాడేటా కీ-విలువ జంటలు మరియు టెన్సార్ సమాచారాన్ని కలిగి ఉంటుంది. ఈ భాగాలు కలిసి మోడల్ నిర్మాణం మరియు ప్రవర్తనను నిర్వచిస్తాయి. క్రింద చూపిన విధంగా, GGUF పెద్ద మోడల్ ఇన్‌ఫరెన్స్ కోసం ఒక మోడల్ ఫైల్ ఫార్మాట్, ఇది ప్రస్తుతం llama.cpp మరియు Ollama వంటి స్థానిక ఇన్‌ఫరెన్స్ సాధనాలచే విస్తృతంగా ఉపయోగించబడుతుంది. Ollama GGUF ఫార్మాట్ హ్యాండ్లింగ్, మోడల్ క్వాంటైజేషన్ మరియు మోడల్ లోడింగ్ ప్రక్రియలను ఎన్‌క్యాప్సులేట్ చేస్తుంది, వినియోగదారులు మోడల్ ఫార్మాట్‌ను మార్చాల్సిన అవసరం లేదు — వారు ముందే క్వాంటైజ్ చేయబడిన మోడల్స్‌ను నేరుగా డౌన్‌లోడ్ చేసి నడపవచ్చు. ఒక GGUF ఫైల్ మోడల్ పారామీటర్లను మాత్రమే కాకుండా, మోడల్ ప్రాథమిక సమాచారం, మోడల్ ఆర్కిటెక్చర్ మరియు టెన్సార్ డేటాను కూడా కలిగి ఉంటుంది. GGUF ఈ సమాచారాన్ని ఏకీకృత ఫైల్ ఫార్మాట్ ద్వారా సంఘటితం చేస్తుంది, llama.cpp వంటి ఇన్‌ఫరెన్స్ సాధనాలు దీన్ని నేరుగా చదవడానికి మరియు లోడ్ చేయడానికి అనుమతిస్తుంది. దాని ప్రాథమిక నిర్మాణం క్రింది చిత్రంలో చూపబడింది.

ModelScope నిర్మాణాత్మక GGUF ఫైళ్ళను ప్రదర్శించడానికి కూడా మద్దతు ఇస్తుంది, క్రింద చూపిన విధంగా. ఇన్‌ఫరెన్స్ సాధనాలు GGUF ఫైళ్ళను లోడ్ చేసినప్పుడు, అవి ఈ సమాచారాన్ని నేరుగా చదివి మోడల్‌ను లోడ్ చేయగలవు, వేర్వేరు మోడల్ కాన్ఫిగరేషన్ ఫైళ్ళను సిద్ధం చేయాల్సిన అవసరం లేదు.

GGUF అనేది కేవలం ఒక మోడల్ ఫైల్ ఫార్మాట్ మాత్రమే మరియు మోడల్ RAM లేదా VRAM వినియోగాన్ని నేరుగా తగ్గించదు. మోడల్ వనరుల వినియోగాన్ని నిజంగా తగ్గించేది క్వాంటైజేషన్.

Q4, Q8 వంటి పేర్లను ఎలా చదవాలి?

llama.cpp మరియు GGUF మోడల్స్‌లో, Q4, Q5, Q8, Q4_K_M విభిన్న క్వాంటైజేషన్ పేర్లను సూచిస్తాయి. ఇక్కడ, Q క్వాంటైజేషన్ కోసం ఉంది, మరియు తర్వాతి సంఖ్య ప్రాథమిక క్వాంటైజేషన్ బిట్ వెడల్పును సూచిస్తుంది. ఉదాహరణకు, Q4 అంటే ప్రధానంగా 4-బిట్ క్వాంటైజేషన్, Q8 అంటే ప్రధానంగా 8-బిట్ క్వాంటైజేషన్.

Q4 అంటే మోడల్‌లోని అన్ని పారామీటర్లు ఏకరూపంగా 4-బిట్ ప్రతినిధిని ఉపయోగిస్తాయని కాదని గమనించండి. సాధారణ Q4_K_M ను ఉదాహరణగా తీసుకుంటే, ఇది llama.cpp లో K-quant క్వాంటైజేషన్ రకానికి చెందుతుంది. పేరులోని Q4 ప్రధానంగా 4-బిట్ క్వాంటైజేషన్ అని అర్థం, K K-quant క్వాంటైజేషన్ పథకం ఉపయోగాన్ని సూచిస్తుంది, మరియు M ఆ పథకంలోని Medium కాన్ఫిగరేషన్‌ను సూచిస్తుంది. వాస్తవ మోడల్‌లో, వివిధ టెన్సార్లు వివిధ క్వాంటైజేషన్ ఖచ్చితత్వాలను ఉపయోగించవచ్చు, అన్ని పారామీటర్లు ఏకరూపంగా 4-బిట్ ప్రతినిధిని ఉపయోగించవు, క్రింది చిత్రంలో చూపిన విధంగా.

ఒకే మోడల్ కోసం ఏ సంస్కరణను డౌన్‌లోడ్ చేయాలి?

GGUF మోడల్‌ను ఎంచుకునేటప్పుడు, ముందుగా మీ ఇన్‌ఫరెన్స్ సాధనం ఆ మోడల్‌ను మద్దతు ఇస్తుందని నిర్ధారించండి, తర్వాత నిర్దిష్ట క్వాంటైజేషన్ సంస్కరణను చూడండి. తక్కువ క్వాంటైజేషన్ ఖచ్చితత్వం సాధారణంగా RAM మరియు VRAM వినియోగాన్ని తగ్గిస్తుంది, సాధారణ పరికరాలలో మోడల్‌ను నడపడం సులభం చేస్తుంది, కానీ మోడల్ పనితీరులో కొంత భాగాన్ని త్యాగం చేయవచ్చు. ఎక్కువ క్వాంటైజేషన్ ఖచ్చితత్వం సాధారణంగా అసలు మోడల్ సామర్థ్యాలలో ఎక్కువ భాగాన్ని సంరక్షిస్తుంది, కానీ ఎక్కువ హార్డ్‌వేర్ వనరులు కూడా అవసరం.

ఏదైనా సంస్కరణ ఇప్పటికే మీ పరికరం RAM లేదా VRAM పరిమితులకు దగ్గరగా ఉంటే, సందర్భం మరియు రన్‌టైమ్ ప్రక్రియల కోసం స్థానం మిగిలించడానికి చిన్న సంస్కరణకు మారాలని పరిగణించండి. వనరులు సరిపోతే, విభిన్న సంస్కరణల ప్రతిస్పందనలను పోల్చడానికి మీరు అదే ప్రశ్నలను ఉపయోగించవచ్చు, సమాచార వెలికితీత, కోడ్ జనరేషన్ లేదా నిర్ణీత ఫార్మాట్ అవుట్‌పుట్ వంటి మీ లక్ష్య పనులపై ప్రత్యేక శ్రద్ధ వహించండి.

ముందుగా స్థిరమైన ఆపరేషన్‌ను నిర్ధారించండి, తర్వాత ప్రతిస్పందన నాణ్యతను తనిఖీ చేయండి. ఈ విధంగా, మీరు ఎంచుకున్న క్వాంటైజ్ చేయబడిన సంస్కరణ మీ పరికరం మరియు ఉపయోగానికి ఎక్కువ అనుకూలంగా ఉంటుంది.