कृत्रिम तंत्रिका जाल

यह अध्याय इकाई 10 व पूरे विषय को कृत्रिम तंत्रिका जाल से पूर्ण करता है — एकल/बहु-स्तरीय पर्सेप्ट्रॉन, वे अधिगम-प्रतिमान जिनके अंतर्गत उन्हें प्रशिक्षित किया जाता है, स्व-संगठनकारी मानचित्र व हॉपफ़ील्ड जाल — हाथ हिलाकर टाले जाने के बजाय सही ढंग से आधारित, ठीक जैसे इस इकाई का ब्रीफ़ माँगता है।

एकल पर्सेप्ट्रॉन व उसकी सीमाएँ

एकल पर्सेप्ट्रॉन अपने निवेशों का भारित योग जमा बायस पद गणित करता है, फिर द्विआधारी निर्गम उत्पन्न करने हेतु सक्रियण फलन (शास्त्रीय रूप से चरण-फलन) लागू करता है: निर्गम = step(Σ wᵢxᵢ + b)। ज्यामितीय रूप से, यह रैखिक वर्गीकारक है — यह केवल निवेश की दो वर्गों को सही ढंग से पृथक कर सकता है यदि वे रैखिक रूप से पृथक्य हों (एक सीधी रेखा/अतिसमतल उन्हें बाँट सके)। पर्सेप्ट्रॉन अधिगम-नियम हर गलत-वर्गीकृत उदाहरण के बाद भार समायोजित करता है: wᵢ ← wᵢ + η(लक्ष्य − निर्गम)xᵢ, जहाँ η अधिगम-दर है — यह नियम परिमित चरणों में पृथक्कारी भार खोजने की गारंटी (पर्सेप्ट्रॉन अभिसरण प्रमेय) देता है यदि और केवल यदि आँकड़ा वस्तुतः रैखिक रूप से पृथक्य हो; यदि न हो, नियम कभी अभिसरित नहीं होता, अनंत काल दोलन करते हुए।

⚠️ एकल पर्सेप्ट्रॉन XOR सीख नहीं सकता — वह ऐतिहासिक परिणाम जिसने क्षेत्र को रोक दिया
XOR के चार बिंदु — (0,0)→0, (0,1)→1, (1,0)→1, (1,1)→0 — रैखिक रूप से पृथक्य नहीं हैं: निवेश-तल में खींची कोई भी एकल सीधी रेखा कम-से-कम एक बिंदु को गलत ओर छोड़ देती है, क्योंकि दो 'निर्गम 1' बिंदु (0,1) व (1,0) दो 'निर्गम 0' बिंदु (0,0) व (1,1) के तिरछे विपरीत हैं। मिन्स्की व पापर्ट की 1969 की पुस्तक ने इस सीमा को कठोरता से सिद्ध किया, व इसका प्रभाव (एकल-स्तरीय प्रतिरूप की व्यापक रूप से प्रचारित सीमा, घटी निधि के साथ आती हुई) वह मानक ऐतिहासिक संदर्भ है कि तंत्रिका-जाल शोध एक दशक से अधिक क्यों धीमा हुआ — केवल एक बार बहु-स्तरीय जाल (छिपी परत सहित) व उनके हेतु कार्यशील प्रशिक्षण-कलनविधि (बैकप्रोपेगेशन) विकसित होने पर हल हुआ।

बहु-स्तरीय पर्सेप्ट्रॉन व बैकप्रोपेगेशन

बहु-स्तरीय पर्सेप्ट्रॉन (MLP) एक निवेश-स्तर, एक या अधिक छिपी परतें, व एक निर्गम-स्तर स्तरित करता है, एक स्तर के हर न्यूरॉन को अगले के हर न्यूरॉन से जोड़ते हुए (अग्रसारी, पूर्णतः संयोजित)। महत्वपूर्ण रूप से, हर छिपी-परत न्यूरॉन अरैखिक सक्रियण फलन प्रयोग करता है (सिग्मॉइड, tanh, या आधुनिक व्यवहार में ReLU — रैखिक कभी नहीं) — यदि हर स्तर का सक्रियण रैखिक होता, पूरा बहु-स्तरीय ढेर गणितीय रूप से एक समतुल्य एकल रैखिक स्तर में ढह जाता, एकल पर्सेप्ट्रॉन पर कुछ भी न पाते हुए; हर छिपी परत पर अरैखिकता ही वह है जो MLP को XOR जैसे अरैखिक-रूप-से-पृथक्य फलन निरूपित करने देती है। बैकप्रोपेगेशन वह कलनविधि है जो MLP को प्रशिक्षित करती है: यह निर्गम-त्रुटि गणित करती है, फिर उस त्रुटि को कलन के शृंखला-नियम से नेटवर्क में स्तर-दर-स्तर पीछे प्रसारित करती है, यह गणित करते हुए कि हर एकल भार ने त्रुटि में कितना योगदान दिया (उसका ढाल), व प्रवणता अवरोहण से हर भार अद्यतित करती है (उसे उस दिशा में छोटा कदम बढ़ाते हुए जो त्रुटि घटाए) — यही वह है जो कई छिपी परतों वाले जाल को प्रशिक्षित करना गणनात्मक रूप से साध्य बनाता है, भार अनुमानित करने या संपूर्ण रूप से खोजने की आवश्यकता के बजाय।

पर्यवेक्षित, अपर्यवेक्षित व सुदृढीकरण अधिगम

इस उप-प्रकरण में नामित तीन अधिगम-प्रतिमान
प्रतिमानजाल को क्या दिया जाता हैमानक ANN उदाहरण
पर्यवेक्षितनिवेश-निर्गम युग्म, लेबल किए सही (लक्ष्य) निर्गम सहितबैकप्रोपेगेशन से प्रशिक्षित MLP
अपर्यवेक्षितकेवल निवेश, कोई लेबल-युक्त लक्ष्य नहीं — जाल को स्वयं संरचना खोजनी होती हैस्व-संगठनकारी मानचित्र (SOM)
सुदृढीकरणबिल्कुल कोई लेबल-युक्त उदाहरण नहीं — केवल कार्य करने के बाद प्राप्त अदिश पुरस्कार संकेत, व जाल को परीक्षण-व-त्रुटि से ऐसी नीति (कौन क्रिया लें) सीखनी है जो समय के साथ संचयी पुरस्कार अधिकतम करेइस पाठ्यक्रम-मद में स्वयं किसी ANN वास्तुकला हेतु नामित नहीं, पर प्रतिमान AI के आर-पार व्यापक रूप से लागू होता है
🎯 यह वही अक्ष क्यों है जो गुच्छन/वर्गीकरण ने प्रयोग किया
यह तीन-तरफ़ा विभाजन ठीक वही प्रत्ययात्मक अक्ष है जो इकाई 4 में आँकड़ा-खनन हेतु पहले ही प्रस्तुत किया गया — वर्गीकरण को लेबल-युक्त प्रशिक्षण-आँकड़ा चाहिए था (पर्यवेक्षित), गुच्छन को नहीं (अपर्यवेक्षित) — सुदृढीकरण अधिगम को न लेबल-युक्त उदाहरणों से न लेबल-रहित संरचना-खोज से बल्कि परिवेश से अंतःक्रिया द्वारा अर्जित विलंबित, अदिश प्रतिपुष्टि-संकेत से परिभाषित तीसरी श्रेणी के रूप में जोड़ते हुए। इसे दो भिन्न इकाइयों में तीन असंबद्ध शब्दावलियों के बजाय एक दोहराता अक्ष पहचानना ठीक वही संबंध है जिसे उजागर करने हेतु इस मंच के अध्याय लिखे गए हैं।

स्व-संगठनकारी मानचित्र व हॉपफ़ील्ड जाल

  • स्व-संगठनकारी मानचित्र (SOM, कोहोनेन जाल) अपर्यवेक्षित प्रशिक्षित होता है, उच्च-आयामी निवेश-आँकड़े को न्यूरॉनों की निम्न-आयामी (सामान्यतः 2D) जालक पर टोपोलॉजिकल संबंध सुरक्षित रखते हुए प्रक्षेपित करते हुए — मूल उच्च-आयामी समष्टि में समान निवेश जालक पर एक-दूसरे के निकट न्यूरॉनों में मानचित्रित होते हैं। प्रशिक्षण बार-बार सर्वोत्तम-मेल इकाई (वह जालक-न्यूरॉन जिसका भार-सदिश वर्तमान निवेश के निकटतम हो) खोजता है व उस न्यूरॉन के भार तथा उसके पड़ोसियों के भार अद्यतित करता है, उन्हें निवेश के निकटतर ले जाते हुए, पड़ोस-त्रिज्या व अद्यतन-परिमाण दोनों प्रशिक्षण भर सिकुड़ते हुए — यह पड़ोस-आधारित अद्यतन ही ठीक वह है जो मानचित्र का टोपोलॉजी-संरक्षक गुण उत्पन्न करता है, सादे गुच्छन के विपरीत जिसमें यह धारणा ही नहीं कि कौन गुच्छ एक-दूसरे के 'निकट' हैं।
  • हॉपफ़ील्ड जाल पूर्णतः-संयोजित, एकल-स्तरीय पुनरावर्ती जाल है (हर न्यूरॉन हर अन्य से जुड़ा, सममित भार, कोई स्व-संयोजन नहीं) जो साहचर्य (विषय-वस्तु-संबोधनीय) स्मृति के रूप में प्रयुक्त होता है: इसे (हेबियन-शैली नियम से) प्रतिरूपों का समुच्चय अपनी गतिकी की स्थिर अवस्थाओं के रूप में संचित करने हेतु प्रशिक्षित किया जा सकता है, व संचित प्रतिरूप का भ्रष्ट या आंशिक संस्करण आरंभिक अवस्था के रूप में दिए जाने पर, इसके न्यूरॉन पुनरावृत्त रूप से अद्यतित होते हैं जब तक पूरा जाल निकटतम संचित प्रतिरूप में स्थिर न हो जाए — शोर-युक्त या आंशिक संकेत से पूर्ण मूल स्मरण करते हुए, MLP के विपरीत, जो बिना किसी स्थिरीकरण-प्रक्रिया की स्मृति के एकल अग्रसारी पास गणित करता है।
⚠️ SOM व हॉपफ़ील्ड वास्तव में भिन्न समस्याएँ हल करते हैं — इन्हें मिलाएँ नहीं
SOM का काम आयाम-न्यूनन/टोपोलॉजी-संरक्षण सहित दृश्यीकरण है — यह उत्तर देता है 'कौन निवेश एक-दूसरे के समान हैं, ऐसे मानचित्र पर बिछे जिसे मैं देख सकूँ'। हॉपफ़ील्ड जाल का काम प्रतिरूप-पूर्ति/साहचर्य स्मरण है — यह उत्तर देता है 'मैंने जो संचित किया था उसका भ्रष्ट संस्करण दिया गया, मूल क्या था'। दोनों इस अर्थ में अपर्यवेक्षित हैं कि किसी लेबल-युक्त लक्ष्य की आवश्यकता नहीं, व दोनों पुनरावृत्त अद्यतन-नियम प्रयोग करते हैं, पर वे असंबद्ध समस्याएँ हल करते हैं व कोई भी दूसरे का विकल्प नहीं — एक वास्तुकला नामित कर दूसरी के काम के विषय में पूछने वाला प्रश्न ठीक यही भेद परखता है।

मुख्य बिंदु

  • एकल पर्सेप्ट्रॉन रैखिक वर्गीकारक है, सिद्ध रूप से XOR जैसा अरैखिक-रूप-से-पृथक्य फलन सीखने में असमर्थ; पर्सेप्ट्रॉन अधिगम-नियम केवल तभी अभिसरित होता है जब आँकड़ा रैखिक रूप से पृथक्य हो।
  • MLP को अरैखिक छिपी-परत सक्रियण चाहिए, अन्यथा यह गणितीय रूप से एकल रैखिक स्तर में ढह जाता है; बैकप्रोपेगेशन इसे शृंखला-नियम व प्रवणता अवरोहण से प्रशिक्षित करती है।
  • पर्यवेक्षित (लेबल-युक्त), अपर्यवेक्षित (लेबल-रहित) व सुदृढीकरण (विलंबित पुरस्कार) तीन अधिगम-प्रतिमान हैं — वर्गीकरण बनाम गुच्छन वाला ही पर्यवेक्षित/अपर्यवेक्षित अक्ष।
  • SOM अपर्यवेक्षित, टोपोलॉजी-संरक्षक आयाम-न्यूनन करता है; हॉपफ़ील्ड जाल साहचर्य स्मृति/प्रतिरूप-पूर्ति करता है — वास्तव में भिन्न काम।
  • एकल-पर्सेप्ट्रॉन/XOR सीमा ने ऐतिहासिक रूप से तंत्रिका-जाल शोध को तब तक रोका जब तक बहु-स्तरीय जाल व बैकप्रोपेगेशन ने इसे हल नहीं किया।

अभ्यास प्रश्न (8)

उत्तर खोलने से पहले प्रत्येक प्रश्न हल करें। हर व्याख्या सही विकल्प के साथ लुभावना गलत विकल्प भी बताती है, क्योंकि अंक वहीं जाते हैं।

  1. एकल पर्सेप्ट्रॉन मुख्यतः इसलिए XOR फलन सीखने में विफल होता है:

    1. XOR के चार बिंदु रैखिक रूप से पृथक्य नहीं हैं, व एकल पर्सेप्ट्रॉन रैखिक वर्गीकारक है
    2. XOR के चार से अधिक संभव निवेश हैं
    3. पर्सेप्ट्रॉन बिल्कुल द्विआधारी निवेश प्रक्रमित नहीं कर सकते
    4. पर्सेप्ट्रॉन अधिगम-नियम विद्यमान ही नहीं है
    उत्तर देखें

    उत्तर: A — XOR के चार बिंदु रैखिक रूप से पृथक्य नहीं हैं, व एकल पर्सेप्ट्रॉन रैखिक वर्गीकारक है

    कोई भी एकल सीधी रेखा XOR के दो निर्गम-1 बिंदुओं को दो निर्गम-0 बिंदुओं से पृथक नहीं कर सकती, और चूँकि एकल पर्सेप्ट्रॉन केवल रैखिक निर्णय-सीमा निरूपित कर सकता है, यह मूलतः इस फलन को निरूपित नहीं कर सकता — यही ठीक वह है जो मिन्स्की व पापर्ट ने 1969 में कठोरता से सिद्ध किया।

  2. पर्सेप्ट्रॉन अभिसरण प्रमेय गारंटी देता है कि पर्सेप्ट्रॉन अधिगम-नियम परिमित चरणों में पृथक्कारी भार खोजता है:

    1. यदि और केवल यदि आँकड़ा वस्तुतः रैखिक रूप से पृथक्य हो
    2. बिना अपवाद, हर संभव आँकड़ा-समुच्चय हेतु
    3. केवल ठीक दो बिंदुओं वाले आँकड़ा-समुच्चयों हेतु
    4. केवल तब जब कोई बायस पद प्रयोग न हो
    उत्तर देखें

    उत्तर: A — यदि और केवल यदि आँकड़ा वस्तुतः रैखिक रूप से पृथक्य हो

    यदि आँकड़ा रैखिक रूप से पृथक्य न हो (XOR की भाँति), पर्सेप्ट्रॉन अधिगम-नियम कभी अभिसरित नहीं होता व अनिश्चित काल दोलन करता है — अभिसरण रैखिक पृथक्यता पर सशर्त है, सार्वभौम नहीं।

  3. यदि बहु-स्तरीय पर्सेप्ट्रॉन का हर स्तर शुद्ध रूप से रैखिक सक्रियण फलन प्रयोग करता, जाल:

    1. गणितीय रूप से एक समतुल्य एकल रैखिक स्तर में ढह जाता, एकल पर्सेप्ट्रॉन पर कुछ भी न पाते हुए
    2. किसी भी अरैखिक जाल से कड़ाई से अधिक शक्तिशाली बन जाता
    3. बिल्कुल कुछ भी गणित करने में असमर्थ हो जाता
    4. बिल्कुल किसी प्रशिक्षण की आवश्यकता न रखता
    उत्तर देखें

    उत्तर: A — गणितीय रूप से एक समतुल्य एकल रैखिक स्तर में ढह जाता, एकल पर्सेप्ट्रॉन पर कुछ भी न पाते हुए

    शुद्ध रैखिक फलनों का संयोजन स्वयं रैखिक है, अतः बिना किसी अरैखिकता के रैखिक स्तर ढेर करना एकल रैखिक स्तर से आगे कोई निरूपण-शक्ति जोड़े बिना गहराई जोड़ता है — छिपी परतों पर अरैखिकता ही वास्तव में XOR जैसे फलन निरूपित करने योग्य बनाती है।

  4. पर्यवेक्षित अधिगम में, तंत्रिका जाल इससे प्रशिक्षित होता है:

    1. निवेश-निर्गम युग्म, लेबल किए सही लक्ष्य निर्गम सहित
    2. केवल निवेश, बिल्कुल कोई लक्ष्य निर्गम नहीं
    3. हर क्रिया के बाद प्राप्त अदिश पुरस्कार, बिना किसी लेबल-युक्त उदाहरण के
    4. बिल्कुल कोई आँकड़ा नहीं
    उत्तर देखें

    उत्तर: A — निवेश-निर्गम युग्म, लेबल किए सही लक्ष्य निर्गम सहित

    पर्यवेक्षित अधिगम को बैकप्रोपेगेशन हेतु त्रुटि-संकेत गणित करने को लेबल-युक्त लक्ष्य निर्गम चाहिए; अपर्यवेक्षित अधिगम केवल निवेश प्रयोग करता है (SOM की भाँति), व सुदृढीकरण अधिगम लेबल-युक्त उदाहरणों के बजाय विलंबित अदिश पुरस्कार प्रयोग करता है।

  5. हॉपफ़ील्ड जाल की तुलना में, स्व-संगठनकारी मानचित्र (SOM) का सर्वोत्तम वर्णन यह हल करने के रूप में है:

    1. अपर्यवेक्षित, टोपोलॉजी-संरक्षक आयाम-न्यूनन, साहचर्य स्मृति/स्मरण नहीं
    2. ठीक हॉपफ़ील्ड जाल जैसी ही समस्या
    3. केवल पर्यवेक्षित वर्गीकरण
    4. तंत्रिका जालों से बिल्कुल असंबद्ध कुछ
    उत्तर देखें

    उत्तर: A — अपर्यवेक्षित, टोपोलॉजी-संरक्षक आयाम-न्यूनन, साहचर्य स्मृति/स्मरण नहीं

    SOM समानता-संबंध सुरक्षित रखते हुए उच्च-आयामी आँकड़े को निम्न-आयामी जालक पर प्रक्षेपित करता है, हॉपफ़ील्ड जाल के प्रतिरूप-पूर्ति/साहचर्य-स्मरण काम से वास्तव में भिन्न प्रश्न का उत्तर देते हुए — दोनों को कभी मिलाया नहीं जाना चाहिए।

  6. हॉपफ़ील्ड जाल के विषय में निम्नलिखित में कौन सत्य हैं? (एक से अधिक विकल्प सही हो सकते हैं।)

    1. यह पूर्णतः-संयोजित, पुनरावर्ती, एकल-स्तरीय जाल है
    2. यह किसी संचित प्रतिरूप के भ्रष्ट या आंशिक संस्करण से पूर्ण संचित प्रतिरूप स्मरण कर सकता है
    3. यह एकल अग्रसारी पास गणित करने के बजाय पुनरावृत्त रूप से स्थिर अवस्था में स्थिर होता है
    4. इसे ठीक MLP की भाँति हर प्रशिक्षण-उदाहरण हेतु लेबल-युक्त लक्ष्य निर्गम चाहिए
    उत्तर देखें

    उत्तर: A — यह पूर्णतः-संयोजित, पुनरावर्ती, एकल-स्तरीय जाल है; B — यह किसी संचित प्रतिरूप के भ्रष्ट या आंशिक संस्करण से पूर्ण संचित प्रतिरूप स्मरण कर सकता है; C — यह एकल अग्रसारी पास गणित करने के बजाय पुनरावृत्त रूप से स्थिर अवस्था में स्थिर होता है

    हॉपफ़ील्ड जाल हेबियन-शैली नियम से प्रतिरूपों को स्थिर अवस्थाओं के रूप में संचित करने हेतु प्रशिक्षित होता है, MLP के अर्थ में लेबल-युक्त निवेश-निर्गम पर्यवेक्षण से नहीं — स्थिर अवस्था की ओर पुनरावृत्त स्थिरीकरण से इसका स्मरण ही ठीक वह है जो इसे अग्रसारी MLP से अलग करता है।

  7. उस कलनविधि का नाम बताइए जो शृंखला-नियम का प्रयोग कर निर्गम-त्रुटि को नेटवर्क में पीछे प्रसारित कर, फिर हर भार पर प्रवणता अवरोहण लागू कर बहु-स्तरीय पर्सेप्ट्रॉन को प्रशिक्षित करती है।

    संख्यात्मक उत्तर — मान टाइप करें।

    उत्तर देखें

    उत्तर: backpropagation

    बैकप्रोपेगेशन ही वह है जिसने छिपी परतों वाले जाल का प्रशिक्षण गणनात्मक रूप से व्यावहारिक बनाया, बहु-स्तरीय वास्तुकला से संयुक्त होने पर ऐतिहासिक एकल-पर्सेप्ट्रॉन/XOR सीमा हल करते हुए।

  8. स्व-संगठनकारी मानचित्र केवल सर्वोत्तम-मेल इकाई के भार ही नहीं बल्कि उसके पड़ोसियों के भार भी अद्यतित करता है, पड़ोस के प्रशिक्षण भर सिकुड़ने के साथ। यह मुख्यतः इसलिए है:

    1. टोपोलॉजी सुरक्षित रखता है, ताकि समान निवेश जालक पर निकटवर्ती न्यूरॉनों में मानचित्रित हों
    2. यह गारंटी देता है कि हर न्यूरॉन के भार अंततः समान हों
    3. मानचित्र की अंतिम संरचना से इसका कुछ लेना-देना नहीं
    4. पूरे नेटवर्क में केवल एक न्यूरॉन को प्रभावित करता है
    उत्तर देखें

    उत्तर: A — टोपोलॉजी सुरक्षित रखता है, ताकि समान निवेश जालक पर निकटवर्ती न्यूरॉनों में मानचित्रित हों

    केवल एकल सर्वोत्तम-मेल न्यूरॉन के बजाय पड़ोस को अद्यतित करना ठीक वही क्रियाविधि है जो SOM का टोपोलॉजी-संरक्षक गुण उत्पन्न करती है, सादे गुच्छन के विपरीत जिसमें गुच्छों के एक-दूसरे के 'निकट' होने की धारणा ही नहीं।