మీకు ఒక సబ్‌సెట్ మాత్రమే కావాలంటే, పేరు స్పష్టంగా రాయండి

కొన్ని డేటాసెట్లు మూలం, రంగం లేదా ఉపయోగం ప్రకారం డేటాను వేరు చేస్తాయి. మీకు ఒక భాగం మాత్రమే కావాలంటే, subset_name ఉపయోగించండి.

ఉదాహరణకు, HC3-Chinese నుండి baike సబ్‌సెట్ లోడ్ చేయండి.

from modelscope.msdatasets import MsDataset

ds = MsDataset.load(
    'simpleai/HC3-Chinese',
    subset_name='baike',
    trust_remote_code=True,
)
print(ds)

డేటాసెట్ మార్చేటప్పుడు, అందుబాటులో ఉన్న సబ్‌సెట్లను తనిఖీ చేయండి. baike ఈ డేటాసెట్ యొక్క ప్రత్యేక పేరు.

శిక్షణ మరియు పరీక్షా సెట్లు వేరుగా లోడ్ చేయవచ్చు

సబ్‌సెట్ డేటా వర్గాన్ని ఎంచుకుంటుంది, split డేటా విభజనను ఎంచుకుంటుంది. సాధారణంగా train, validation, మరియు test.

baike సబ్‌సెట్ నుండి శిక్షణ సెట్ మాత్రమే లోడ్ చేయాలంటే, మరొక పారామీటర్ జోడించండి.

from modelscope.msdatasets import MsDataset

ds = MsDataset.load(
    'simpleai/HC3-Chinese',
    subset_name='baike',
    split='train',
    trust_remote_code=True,
)
print(ds[0])

ప్రతి డేటా కూడా ఈ మూడు విభజనలను ఏకకాలంలో అందించదు; ఖచ్చితమైన పేర్లు డేటాసెట్ వివరణలో చూడాలి. శిక్షణ సెట్ పొందిన తర్వాత, ముందుగా ఒక నమూనా ప్రింట్ చేసి, ఫీల్డ్‌లు మరియు కంటెంట్ అంచనాలకు అనుగుణంగా ఉన్నాయో లేదో నిర్ధారించండి, తర్వాత తదుపరి ప్రాసెసింగ్ కోడ్‌ను జోడించండి.

ప్రయోగాలు పునరుత్పత్తి చేయాలంటే, వెర్షన్ కూడా నోట్ చేయండి

అప్‌డేట్ల తర్వాత, అదే కోడ్ వేరే కంటెంట్ చదవగలదు. HC3-Chinese v1 ఉదాహరణగా, version ద్వారా నిర్దిష్టం చేయండి.

from modelscope.msdatasets import MsDataset

ds = MsDataset.load(
    'simpleai/HC3-Chinese',
    subset_name='baike',
    version='v1',
    trust_remote_code=True,
)
print(ds)

వాస్తవ ఆపరేషన్‌లో, డేటాసెట్ పేజీలో అందుబాటులో ఉన్న వెర్షన్లను తనిఖీ చేయండి. వెర్షన్ నిరంతరంగా అప్‌డేట్ అవుతుంటే, ఉపయోగించిన ఫైల్స్ లేదా చెక్‌సమ్‌లను సేవ్ చేయండి.

డేటా డౌన్‌లోడ్ అయిందా? వెంటనే మోడల్‌కు ఇవ్వకండి

మొదట కొన్ని నమూనాలను ఖాళీ విలువలు, టూటిన అక్షరాలు లేదా స్పష్టమైన తప్పుల కోసం తనిఖీ చేయండి, తర్వాత ఫీల్డ్‌లు కోడ్ అవసరాలను తీరుస్తాయని నిర్ధారించండి.

శిక్షణ మరియు పరీక్షా డేటాను వేరుగా ఉంచండి. పరీక్షా నమూనాలను శిక్షణ సెట్‌లో కలపవద్దు.