बैकप्रोपेगेशन
बैकप्रोपेगेशन - सीखने का इंजन
पिछले पाठों में आपने देखा कि न्यूरल नेटवर्क में वेट्स होते हैं, और ट्रेनिंग उन वेट्स को एडजस्ट करती है। लेकिन नेटवर्क को कैसे पता चलता है कि कौन से वेट्स बदलने हैं, और कितना? इसका जवाब है बैकप्रोपेगेशन - मॉडर्न डीप लर्निंग का सबसे महत्वपूर्ण एल्गोरिदम।
Andrej Karpathy इसे "न्यूरल नेटवर्क के बारे में समझने की सबसे ज़रूरी चीज़" कहते हैं। आइए देखें क्यों।
फॉरवर्ड पास की त्वरित समीक्षा
फॉरवर्ड पास के दौरान, डेटा नेटवर्क में बाएँ से दाएँ प्रवाहित होता है:
- इनपुट्स को वेट्स से गुणा किया जाता है और जोड़ा जाता है।
- एक बायस जोड़ा जाता है।
- एक एक्टिवेशन फंक्शन (जैसे ReLU) लगाया जाता है।
- आउटपुट अगली लेयर में जाता है, यह प्रक्रिया दोहराई जाती है जब तक अंतिम प्रेडिक्शन नहीं आ जाता।
फिर प्रेडिक्शन की तुलना सही उत्तर से लॉस फंक्शन (अगले पाठ में) का उपयोग करके की जाती है। लॉस एक संख्या है जो कहती है: "आप इतने गलत हैं।"
मुख्य अंतर्दृष्टि - दोष का निर्धारण
कल्पना करें कि आपने एक केक बनाया और उसका स्वाद खराब निकला। आपने पाँच सामग्रियाँ इस्तेमाल कीं। सवाल यह है: कौन सी सामग्री ने खराब स्वाद में सबसे ज़्यादा योगदान दिया, और कितना?
बैकप्रोपेगेशन न्यूरल नेटवर्क के लिए बिल्कुल यही सवाल का जवाब देता है। यह हर एक वेट को दोष देता है, यह पूछकर: "अगर मैं इस वेट को थोड़ा सा बदलूँ, तो लॉस कितना बदलेगा?"
परिवर्तन की उस दर को ग्रेडिएंट कहते हैं, और यह कैलकुलस से आता है - विशेष रूप से, डेरिवेटिव से।
Geoffrey Hinton, जो "AI के गॉडफादर्स" में से एक हैं, ने कहा है कि बैकप्रोपेगेशन वह मुख्य विचार है जिसने डीप लर्निंग को व्यावहारिक बनाया। इसके बिना, लाखों पैरामीटर्स वाले नेटवर्क को ट्रेन करना कम्प्यूटेशनल रूप से असंभव होता।
चेन रूल - सबको नियंत्रित करने वाला एक विचार
न्यूरल नेटवर्क सरल ऑपरेशनों की श्रृंखलाएँ हैं जो एक साथ जुड़ी होती हैं। कैलकुलस का चेन रूल हमें बताता है कि संयोजित फंक्शनों का डिफरेंशिएशन कैसे करें:
अगर
y = f(g(x))है, तोdy/dx = f'(g(x)) × g'(x)।
चर्चा
साइन इन करें चर्चा में शामिल हों