अध्याय 4: मशीन लर्निंग (भाग 2)

ओवरफिटिंग का खतरा

मशीन लर्निंग (Machine Learning) में सबसे बड़ी और महत्वपूर्ण चुनौती यह होती है कि मॉडल ट्रेनिंग डेटा पर तो अच्छा काम करे ही, साथ ही असली दुनिया के नए डेटा पर भी सही नतीजे दे। हम समझाते हैं कि क्यों हमारे पास मौजूद पूरे डेटा को हमेशा ट्रेनिंग सेट (Training Set) और टेस्टिंग सेट (Testing Set) में अलग-अलग बाँटना चाहिए। अगर हमारा एल्गोरिदम जरूरत से ज्यादा जटिल हो जाता है, तो वह ओवरफिटिंग (Overfitting - जब मॉडल ट्रेनिंग डेटा के शोर और बारीकियों को ही रट लेता है और नए डेटा पर फेल हो जाता है) का शिकार हो जाता है। इसका मतलब है कि वह ट्रेनिंग डेटा के अंदर मौजूद छोटी-मोटी कमियों, शोर और रैंडम बदलावों को ही असली नियम मानकर रट लेता है। जब ऐसे मॉडल के सामने असली दुनिया का कोई नया और अनजान डेटा (Unseen Data) आता है, तो वह बुरी तरह फेल हो जाता है।

हमारे कृषि और पशुपालन से जुड़े जीवन में यह बात बहुत अच्छे से समझी जाती है। अगर कोई किसान किसी एक साल के बहुत ही अजीब और असामान्य मानसून के तरीके को ही पक्का नियम मानकर रट ले (यानी ओवरफिटिंग कर ले), तो अगले साल जब मौसम बदलेगा तो उसे बहुत भारी नुकसान होगा। हमारे यहाँ बुजुर्गों के ज्ञान यानी पुरखा ज्ञान को इसीलिए इतना महत्व दिया जाता है, क्योंकि वह किसी एक साल की गड़बड़ी को नहीं रटता, बल्कि दशकों के बदलते मौसम के अनुभवों से ऐसे नियम बनाता है जो हमेशा काम आते हैं (Generalization)।