एक व्यापारिक ज्ञान प्रश्न-उत्तर सहायक को अमल में लाना

सामान्य विशाल मॉडल यद्यपि कुछ भी क्षमता से संपन्न ज्ञान प्रश्न-उत्तर क्षमता रखते हैं, लेकिन व्यापारिक वास्तविक अनुप्रयोग में, कई समस्याएँ व्यापारिक अंतर्गत उत्पाद दस्तावेज़, तकनीकी दस्तावेज़, व्यापारी नियम और कार्य दस्तावेज़ जैसे अंतर्गत ज्ञान से संबंधित होती हैं। ये ज्ञान आमतौर पर मॉडल के प्रशिक्षण डेटा में शामिल नहीं होता है और व्यवसाय के साथ-साथ नवीनतम होता है。

RAG, जिससे मॉडल पहले से जानकारी चाहिए फिर बोले

RAG (Retrieval-Augmented Generation, अंतर्ग्रहण-सुधारित उत्पादन) एक समाधान प्रदान करता है, जिसमें बड़े मॉडल ने प्रश्न को जवाब देने से पहले, व्यापारिक ज्ञान भण्डार से प्रश्न से संबंधित सामग्री को खोजने के बाद, खोजने के परिणामों को बड़े मॉडल को प्रदान करके उत्तर बनाना।

RAG का मुख्य विचार इसके रूप में व्यक्त किया जा सकता है: पहले खोजना, फिर जवाब देना। पारंपरिक बड़े मॉडल के प्रश्न-उत्तर में मॉडल पैरामीटर में पहले सीखी गई ज्ञान पर निर्भर किया जाता है। उदाहरण के लिए, जब उपयोगकर्ता एक प्रश्न पूछता है, मॉडल अपने प्रशिक्षण चरण में सीखी गई जानकारी के आधार पर सीधे जवाब बनाता है। RAG इस प्रक्रिया में एक ज्ञान खोज चरण जोड़ता है। जब उपयोगकर्ता प्रश्न पूछता है, सिस्टम पहले बाहरी ज्ञान भण्डार से प्रश्न से संबंधित सामग्री खोजता है, फिर उपयोगकर्ता का प्रश्न और खोजे गए ज्ञान को बड़े मॉडल को भेजता है, जिससे मॉडल इन सामग्रियों को जोड़कर अंतिम जवाब बनाता है।

एक बुनियादी RAG प्रक्रिया को निम्न प्रकार से दर्शाया जा सकता है: उपयोगकर्ता प्रश्न → ज्ञान खोज → संबंधित सामग्री प्राप्त करें → LLM जवाब बनाए → परिणाम वापस करें। RAG नहीं इन ज्ञान को मॉडल को फिर से सीखने देता है, बल्कि मॉडल जवाब देते समय, तदर्थ प्रश्न के लिए आवश्यक संदर्भ सामग्री प्रदान करता है।

ज्ञान अक्सर अपडेट होता है, कब RAG का उपयोग करना उपयुक्त है?

RAG नहीं हर बड़े मॉडल अनुप्रयोग में आवश्यक है, लेकिन व्यापारिक ज्ञान प्रश्न-उत्तर, इंटेलिजेंट कस्टमर सेवा और दस्तावेज़ सहायक जैसे स्केन्डियों में बहुत सामान्य है।

यदि व्यापारी ज्ञान निरंतर अपडेट किया जाना चाहिए, तो आमतौर पर RAG का उपयोग करना उपयुक्त है। उदाहरण के लिए, व्यापार के उत्पाद विवरण, व्यापारी नियम और कार्य नियमन बार-बार संशोधित होते हैं। यदि इन ज्ञान को मॉडल प्रशिक्षण के माध्यम से मॉडल में लिखा जाता है, तो जब ज्ञान में बदलाव होता है, तो पूरे मॉडल को फिर से प्रशिक्षित करना, लागत उच्च होती है और देखभाल करना भी असुविधाजनक होता है।

RAG निर्दिष्ट बाहरी ज्ञान भण्डार को सीधे अपडेट कर सकता है। जब दस्तावेज़ में बदलाव होता है, तो संबंधित दस्तावेज़ों को फिर से प्रक्रिया किया जाता है और सूची को अपडेट किया जाता है, पूरे बड़े मॉडल को फिर से प्रशिक्षित करने की आवश्यकता नहीं होती। यदि जवाब को स्रोत आधार के आधार पर प्रदान करना चाहिए, तो RAG भी उपयुक्त है। क्योंकि मॉडल का जवाब खोजे गए दस्तावेज़ से उत्पन्न होता है, इसलिए दस्तावेज़ का नाम, अध्याय, पृष्ठ या वास्तविक खण्ड को भी लौटा सकता है, जिससे उपयोगकर्ता जान सके कि जवाब कहां से आया है।

क्या ज्ञान को अपडेट करें, या मॉडल को उन्नत करें?

RAG और मॉडल उन्नती (Model Fine-tuning) दोनों व्यापारिक अनुप्रयोग में बड़े मॉडल के प्रदर्शन को बेहतर बनाने के लिए उपयोग किए जा सकते हैं, लेकिन दोनों का समस्या को हल करने का विचार भिन्न है। RAG मुख्य रूप से “मॉडल में ज्ञान का अभाव” की समस्या को हल करता है, जबकि मॉडल उन्नती मुख्य रूप से “मॉडल ने विशिष्ट कार्य को नहीं करना” की समस्या को हल करती है।