डेटासेट और डेटा
लेवल 2 में स्वागत है! 👋
AI Seeds में आपने सीखा कि AI उदाहरणों से सीखता है - जैसे बच्चे तस्वीरों की किताबों से जानवरों को पहचानना सीखते हैं। लेकिन ये उदाहरण कहाँ से आते हैं?
जवाब है डेटा - और यह AI का सबसे महत्वपूर्ण तत्व है। खराब डेटा = खराब AI। बढ़िया डेटा = बढ़िया AI।
डेटा क्या है? 🤔
डेटा बस रिकॉर्ड की गई जानकारी है। हर डिजिटल कार्य डेटा बनाता है:
- 📸 फ़ोटो लेना → इमेज डेटा
- 💬 मैसेज भेजना → टेक्स्ट डेटा
- 🎵 गाना बजाना → सुनने का इतिहास
- 🛒 ऑनलाइन खरीदारी → लेनदेन डेटा
- 📍 Google Maps खोलना → लोकेशन डेटा
AI में हम यह जानकारी इकट्ठा करते हैं, व्यवस्थित करते हैं, और मशीनों को सिखाने के लिए उपयोग करते हैं।
स्ट्रक्चर्ड vs अनस्ट्रक्चर्ड डेटा
📋 स्ट्रक्चर्ड डेटा
डेटा जो पंक्तियों और स्तंभों में फिट होता है - जैसे स्प्रेडशीट।
| नाम | उम्र | शहर | पसंदीदा रंग | |-----|------|------|------------| | आयशा | 14 | लंदन | नीला | | रवि | 16 | हैदराबाद | हरा | | एम्मा | 15 | एम्स्टर्डम | लाल |
🖼️ अनस्ट्रक्चर्ड डेटा
डेटा जो टेबल में फिट नहीं होता - इमेज, वीडियो, ऑडियो, ईमेल, सोशल मीडिया पोस्ट।
दुनिया का 80% से ज़्यादा डेटा अनस्ट्रक्चर्ड है! फ़ोटो, वीडियो और मैसेज स्प्रेडशीट से बहुत ज़्यादा हैं। आधुनिक डीप लर्निंग इस अव्यवस्थित डेटा को संभालने के लिए ही बनाई गई है।
ट्रेनिंग, वैलिडेशन और टेस्ट डेटा
जब आप परीक्षा की तैयारी करते हैं, तो सिर्फ किताब नहीं पढ़ते - प्रैक्टिस प्रश्न भी हल करते हैं, फिर असली परीक्षा देते हैं। AI भी ऐसा ही करता है:
📚 ट्रेनिंग डेटा (किताब)
सबसे बड़ा हिस्सा - सभी डेटा का 70–80%। AI मॉडल इससे पैटर्न सीखता है।
📝 वैलिडेशन डेटा (प्रैक्टिस प्रश्न)
लगभग 10–15%। ट्रेनिंग के दौरान प्रगति जांचने के लिए।
🎓 टेस्ट डेटा (अंतिम परीक्षा)
बचा हुआ 10–15%। ट्रेनिंग के बाद उपयोग होता है। मॉडल ने यह डेटा कभी नहीं देखा।
from sklearn.model_selection import train_test_split
# विभाजन: 80% ट्रेनिंग, 20% अस्थायी
train_data, temp_data = train_test_split(all_data, test_size=0.2)
# अस्थायी सेट का विभाजन: आधा वैलिडेशन, आधा टेस्ट
val_data, test_data = train_test_split(temp_data, test_size=0.5)
print(f"Training: {len(train_data)}")
print(f"Validation: {len(val_data)}")
print(f"Test: {len(test_data)}")
हम मॉडल को उसी डेटा पर क्यों नहीं टेस्ट कर सकते जिस पर उसने ट्रेनिंग ली? क्योंकि यह ऐसा होगा जैसे छात्र को पहले से परीक्षा के प्रश्न दे दें - पूरे नंबर मिलेंगे लेकिन असली समझ नहीं आएगी।
चर्चा
साइन इन करें चर्चा में शामिल हों