AIUnlimited
🌳

AI की नींव

🌱
AI Seeds

शून्य से शुरू करें

🌿
AI Sprouts

नींव बनाएं

🌳
AI Branches

व्यवहार में लागू करें

🏕️
AI Canopy

गहराई में जाएं

🌲
AI Forest

AI में महारत हासिल करें

🔨

AI में महारत

✏️
AI Sketch

शून्य से शुरू करें

🪨
AI Chisel

नींव बनाएं

⚒️
AI Craft

व्यवहार में लागू करें

💎
AI Polish

गहराई में जाएं

🏆
AI Masterpiece

AI में महारत हासिल करें

📘

AI व्यावहारिक

📖
ओपन-सोर्स मॉडल को समझना

ओपन-सोर्स मॉडल की बुनियादी बातें और संसाधन

🎯
समस्या से मॉडल कार्य तक

व्यावसायिक समस्याओं को मॉडल कार्यों में बदलना

⚡
अपना पहला मॉडल चलाना

30 मिनट में अपने पहले परिणाम देखें

🔧
फाइन-ट्यूनिंग और मूल्यांकन

मॉडल फाइन-ट्यून करें और प्रदर्शन का मूल्यांकन करें

🚀
अनुप्रयोग प्रणालियाँ

वास्तविक AI अनुप्रयोग बनाएं

🎨
जनरेटिव AI

ओपन-सोर्स AIGC मॉडल का अन्वेषण करें

🤖
एजेंट

एजेंट फ्रेमवर्क और MCP टूल सीखें

📐
पूरक बुनियादी बातें

LLM की बुनियादी बातें और मूल्यांकन

🎓

क्लाउड अकादमी

🤖
Claude 101

Learn AI basics with Claude

💻
Claude Code 101

Code with Claude as your pair programmer

🤝
Introduction to Claude Cowork

Collaborate with Claude on complex projects

⚙️
Claude Platform 101

Build apps with the Claude API

लैब

7 प्रयोग लोड हुए
🧬Neural Network Playground🤖AI या इंसान?🥋Prompt Engineering Dojo🏁Algorithm Race🧠AI ट्रिविया चैलेंज🏗️सिस्टम डिज़ाइन कैनवस
🎯मॉक इंटरव्यूलैब में जाएँ→
🚀

करियर विकास

🚀
इंटरव्यू लॉन्चपैड

अपनी यात्रा शुरू करें

🌟
व्यवहारिक इंटरव्यू में महारत

सॉफ्ट स्किल्स में महारत

💻
तकनीकी इंटरव्यू

कोडिंग राउंड में सफल हों

🤖
AI और ML इंटरव्यू

ML इंटरव्यू में महारत

🏆
ऑफर और उससे आगे

सबसे अच्छा ऑफर पाएं

सीखना शुरू करें - यह बुनियादी है
AIUnlimited

MIT लाइसेंस

沪ICP备18025655号-11

सीखें

  • AI बुनियादी बातें
  • AI व्यावहारिक
  • क्लाउड अकादमी
  • लैब
  • करियर विकास

समुदाय

  • हमारे बारे में
  • सामान्य प्रश्न

सहायता

  • footer.terms
  • footer.privacy
  • footer.contact
AI और इंजीनियरिंग प्रोग्राम›🌿 AI Sprouts›पाठ›AI मॉडल की ट्रेनिंग
🏋️
AI Sprouts • शुरुआती⏱️ 15 मिनट पढ़ने का समय

AI मॉडल की ट्रेनिंग

AI मॉडल की ट्रेनिंग

अब आप जानते हैं कि न्यूरल नेटवर्क वेट्स और बायस एडजस्ट करके सीखते हैं। लेकिन पूरी ट्रेनिंग प्रक्रिया वास्तव में कैसे काम करती है? आपको कैसे पता चलता है कि मॉडल ने काफ़ी सीख लिया है - या बहुत ज़्यादा? इस पाठ में, हम पूरी ट्रेनिंग यात्रा से गुज़रेंगे।

ट्रेनिंग लूप

AI मॉडल की ट्रेनिंग एक चक्र का अनुसरण करती है जो बार-बार दोहराया जाता है:

  1. प्रेडिक्ट - मॉडल में डेटा डालें और एक प्रेडिक्शन प्राप्त करें।
  2. तुलना - जाँचें कि प्रेडिक्शन सही उत्तर से कितना दूर है।
  3. एडजस्ट - त्रुटि कम करने के लिए वेट्स अपडेट करें।
  4. दोहराएँ - डेटा के अगले बैच के साथ फिर से करें।

यह लूप हज़ारों या लाखों बार चलता है। हर बार दोहराने पर मॉडल सही जवाबों के थोड़ा और करीब पहुँचता है।

एक गोलाकार आरेख जो ट्रेनिंग लूप दिखाता है: प्रेडिक्ट, तुलना, एडजस्ट, दोहराएँ, जिसमें तीर हर चरण को एक चक्र में जोड़ते हैं
ट्रेनिंग लूप AI सीखने की धड़कन है - प्रेडिक्ट करो, तुलना करो, एडजस्ट करो, और दोहराओ।
🤯

GPT-4 की ट्रेनिंग में केवल कम्प्यूटिंग पावर पर $100 मिलियन से अधिक का खर्च आया बताया जाता है। ट्रेनिंग लूप हज़ारों विशेष चिप्स पर महीनों तक चला।

लॉस फंक्शन: मॉडल कितना गलत है?

हर प्रेडिक्शन के बाद, हमें यह मापने का तरीका चाहिए कि मॉडल कितना गलत था। इस माप को लॉस (या कॉस्ट) कहते हैं, और इसकी गणना करने वाले फ़ॉर्मूले को लॉस फंक्शन कहते हैं।

  • कम लॉस = प्रेडिक्शन सही उत्तर के करीब थी।
  • अधिक लॉस = प्रेडिक्शन बहुत दूर थी।

इसे डार्टबोर्ड की तरह सोचें। बुल्सआई सही उत्तर है। लॉस वह दूरी है जहाँ आपका डार्ट लगा वहाँ से बुल्सआई तक की। ट्रेनिंग का लक्ष्य समय के साथ उस दूरी को कम करना है।

सामान्य लॉस फंक्शन में शामिल हैं:

  • Mean Squared Error (MSE) - प्रेडिक्शन और वास्तविक मानों के बीच औसत वर्गित दूरी मापता है। संख्याओं की प्रेडिक्शन के लिए उपयोग होता है।
  • Cross-Entropy Loss - मापता है कि प्रेडिक्टेड प्रोबेबिलिटी सही श्रेणियों से कितनी अच्छी तरह मेल खाती हैं। क्लासिफिकेशन कार्यों के लिए उपयोग होता है।
🧠त्वरित जांच

AI ट्रेनिंग में लॉस फंक्शन क्या मापता है?

पाठ 4 / 160% पूर्ण
←न्यूरल नेटवर्क का परिचय

चर्चा

साइन इन करें चर्चा में शामिल हों

एपॉक्स: डेटा से कितनी बार गुज़रना है?

पूरे ट्रेनिंग डेटासेट से एक बार पूरा गुज़रना एक एपॉक कहलाता है। ट्रेनिंग में आमतौर पर कई एपॉक्स लगते हैं - मॉडल एक ही डेटा को कई बार देखता है, हर बार थोड़ा बेहतर होता है।

  • एपॉक 1: मॉडल बहुत गलतियाँ करता है; लॉस अधिक है।
  • एपॉक 10: मॉडल में काफ़ी सुधार हुआ है; लॉस कम हो रहा है।
  • एपॉक 50: सुधार धीमे हो जाते हैं; मॉडल अपने सर्वोत्तम के करीब है।
  • एपॉक 200: मॉडल रटना शुरू कर सकता है - जो हमें अगले विषय पर ले जाता है।
🤔
Think about it:

परीक्षा की तैयारी एपॉक्स चलाने जैसी है। पहली बार पढ़ने पर भ्रम होता है, लेकिन हर बार दोहराने से समझ बनती है। हालाँकि, अगर आप वही नोट्स सौ बार दोबारा पढ़ें, तो आप सटीक शब्द रट सकते हैं बिना अवधारणाओं को वास्तव में समझे। AI को भी यही समस्या होती है।

ओवरफिटिंग: रट्टा मारने वाला छात्र

ओवरफिटिंग AI ट्रेनिंग में सबसे आम समस्याओं में से एक है। यह तब होती है जब मॉडल ट्रेनिंग डेटा को बहुत अच्छी तरह सीख लेता है - इसके शोर और विचित्रताओं सहित - और नए, अनदेखे डेटा पर खराब प्रदर्शन करता है।

कल्पना करें एक छात्र जो हर पुराने परीक्षा पत्र को शब्दशः रट लेता है। वे पुराने पत्रों पर पूर्ण अंक प्राप्त करते हैं लेकिन जब प्रश्न थोड़े भी बदलते हैं तो संघर्ष करते हैं। छात्र ने विषय नहीं सीखा - उसने जवाब रट लिए।

ओवरफिटिंग के संकेत:

  • ट्रेनिंग एक्यूरेसी बहुत अधिक है (जैसे, 99%)।
  • नए डेटा पर प्रदर्शन बहुत खराब है (जैसे, 75%)।
  • मॉडल ने अनिवार्य रूप से ट्रेनिंग उदाहरणों को रट लिया है।
💡

ट्रेनिंग का लक्ष्य उस डेटा पर पूर्ण स्कोर करना नहीं है जो मॉडल पहले ही देख चुका है। यह उस डेटा पर अच्छा प्रदर्शन करना है जो उसने कभी नहीं देखा। यही सीखने की असली परीक्षा है।

अंडरफिटिंग: वह छात्र जो पढ़ता नहीं

विपरीत समस्या है अंडरफिटिंग। यह तब होती है जब मॉडल ने डेटा से पर्याप्त नहीं सीखा। यह ट्रेनिंग डेटा और नए डेटा दोनों पर खराब प्रदर्शन करता है।

अंडरफिटिंग के कारणों में शामिल हैं:

  • समस्या की जटिलता के लिए मॉडल बहुत सरल है।
  • ट्रेनिंग बहुत जल्दी रुक गई (पर्याप्त एपॉक्स नहीं)।
  • डेटा में फ़ीचर्स पर्याप्त जानकारीपूर्ण नहीं हैं।

अगर ओवरफिटिंग पुराने पत्र रटने जैसा है, तो अंडरफिटिंग किताब शायद ही खोले हुए परीक्षा में जाने जैसा है।

🧠त्वरित जांच

एक मॉडल ट्रेनिंग डेटा पर 98% एक्यूरेसी स्कोर करता है लेकिन नए डेटा पर केवल 60%। सबसे संभावित समस्या क्या है?

वैलिडेशन और टेस्ट सेट

ओवरफिटिंग और अंडरफिटिंग का पता लगाने के लिए, हम अपना डेटा तीन भागों में विभाजित करते हैं:

| सेट | उद्देश्य | कब उपयोग होता है | |-----|---------|-----------| | ट्रेनिंग सेट | मॉडल इस डेटा से सीखता है | ट्रेनिंग के दौरान | | वैलिडेशन सेट | प्रगति जाँचने और सेटिंग्स ट्यून करने के लिए | ट्रेनिंग के दौरान | | टेस्ट सेट | पूरी तरह अनदेखे डेटा पर अंतिम मूल्यांकन | ट्रेनिंग के बाद |

एक सामान्य विभाजन 70% ट्रेनिंग, 15% वैलिडेशन, और 15% टेस्ट है। मॉडल बिल्कुल अंत तक टेस्ट सेट कभी नहीं देखता - यही अंतिम परीक्षा है।

🤔
Think about it:

वैलिडेशन सेट एक अभ्यास परीक्षा जैसा है जो आप पढ़ाई के सत्रों के बीच देते हैं। यह बताता है कि आप कितनी अच्छी तरह सीख रहे हैं बिना असली परीक्षा को खराब किए। अगर आपके अभ्यास परीक्षा के अंक गिरने लगें जबकि नोट्स के अंक बढ़ते रहें, तो आपको पता चल जाता है कि कुछ गलत है।

ट्रेनिंग कब रोकनी है

कब रोकना है यह जानना बहुत ज़रूरी है। बहुत कम ट्रेन करें तो मॉडल अंडरफिट करता है। बहुत ज़्यादा ट्रेन करें तो ओवरफिट करता है। स्वीट स्पॉट वहाँ है जहाँ वैलिडेशन लॉस में सुधार रुक जाता है।

अर्ली स्टॉपिंग नामक एक तकनीक इसे स्वचालित करती है:

  1. हर एपॉक के बाद वैलिडेशन लॉस की निगरानी करें।
  2. अगर एक निश्चित संख्या में एपॉक्स (patience कहलाता है) तक इसमें सुधार नहीं हुआ, तो ट्रेनिंग रोक दें।
  3. सबसे अच्छे एपॉक के वेट्स पर वापस जाएँ।

यह मॉडल को उपयोगी सीखने के बिंदु से आगे जाकर रटने में जाने से रोकता है।

🧠त्वरित जांच

AI ट्रेनिंग में 'अर्ली स्टॉपिंग' क्या है?

🤯

कुछ आधुनिक ट्रेनिंग रन लर्निंग रेट शेड्यूलिंग नामक तकनीक का उपयोग करते हैं, जो धीरे-धीरे कम करती है कि हर चरण में वेट्स कितना बदलते हैं - जैसे पहाड़ की चोटी के करीब पहुँचते हुए छोटे और अधिक सावधान कदम उठाना।

मुख्य सारांश

  • ट्रेनिंग लूप दोहराता है: प्रेडिक्ट → तुलना → एडजस्ट → दोहराओ।
  • लॉस फंक्शन मापता है कि प्रेडिक्शन सत्य से कितनी दूर हैं।
  • एक एपॉक ट्रेनिंग डेटा से एक पूरा गुज़रना है।
  • ओवरफिटिंग मतलब डेटा रटना; अंडरफिटिंग मतलब पर्याप्त न सीखना।
  • डेटा को ट्रेनिंग, वैलिडेशन, और टेस्ट सेट में विभाजित किया जाता है।
  • अर्ली स्टॉपिंग ट्रेनिंग को बहुत आगे जाने से रोकती है।

अंतिम पाठ में, हम AI के नैतिक आयामों की खोज करेंगे - पूर्वाग्रह, निष्पक्षता, गोपनीयता, और ज़िम्मेदार AI कैसा दिखता है।