वीडियो देखते समय भावनाएं शायद ही कभी स्थिर होती हैं, हालांकि वीडियो पर आधारित पारंपरिक भावना अध्ययन पूरे क्लिप को एक ही लेबल प्रदान करते हैं, यह मानते हुए कि सब कुछ लक्षित भावना है, भले ही अधिकांश सामग्री तटस्थ या संक्रमणकालीन हो। इससे टैग में अस्थायी शोर जुड़ जाता है और व्यक्ति की वास्तविक भावनात्मक स्थिति के संबंध में महत्वपूर्ण संकेतों का विस्थापन होता है।
नॉर्थवेस्टर्न पॉलिटेक्निक यूनिवर्सिटी (NWPU) के आर्टिफिशियल इंटेलिजेंस स्कूल की टीम, जिसका नेतृत्व प्रोफेसर से सिन्यूएन कर रहे हैं, ने इस समस्या को दूर करने का लक्ष्य रखा, जिसमें एआई को यह पता लगाने के लिए प्रशिक्षित किया गया कि भावना अपने चरम पर कब पहुंचती है।
संज्ञानात्मक मनोविज्ञान के 'पीक-एंड-एंड नियम' पर भरोसा करते हुए, टीम ने तत्काल पुनरुत्पादन और भावना के चरम के स्थानीयकरण पर आधारित एक सूक्ष्म लेबलिंग दृष्टिकोण प्रस्तावित किया। उन्होंने FIRMED नामक एक मल्टीमॉडल डेटासेट विकसित किया, जो मानव-कंप्यूटर इंटरैक्शन, मानसिक स्वास्थ्य मूल्यांकन और स्वास्थ्य निगरानी के आधार के रूप में भावना पहचान के लिए महत्वपूर्ण है।
प्रायोगिक वीडियो देखने के बाद, प्रतिभागियों ने तुरंत रिकॉर्डिंग देखी और एक या अधिक स्पष्ट भावनात्मक क्षणों को चिह्नित किया, जिसमें श्रेणी और तीव्रता बताई गई। यह विधि भावनाओं के प्राकृतिक प्रवाह और शारीरिक संकेतों के संग्रह में बाधा डालने से बचाती है, साथ ही विलंबित याददाश्त से जुड़ी पूर्वाग्रह को भी कम करती है।
शोधकर्ताओं ने प्रत्येक चिह्नित क्षण के चारों ओर 'भावनात्मक घटना के 4-सेकंड विंडो' पर ध्यान केंद्रित किया - दो सेकंड पहले और दो सेकंड बाद। तुलनात्मक विश्लेषण से पता चला कि चार सेकंड पूर्णता और सटीकता के बीच सर्वोत्तम संतुलन प्रदान करते हैं; पांच सेकंड तक विस्तारित करने से आश्चर्य और घृणा जैसे लक्षणों में कमी आई और भय से जुड़े अल्फा-सुप्रेशन और खुशी से जुड़े गामा-एम्प्लीफिकेशन में कमी आई।
दो स्वतंत्र समीक्षकों ने 150 यादृच्छिक रिकॉर्डिंग की जांच की, जिससे भावना श्रेणी पर 0.96 का कोहेन का कप्पा समझौता गुणांक प्राप्त हुआ, जबकि 97.7% समय टैग एक सेकंड के भीतर थे, जिसके साथ ईईजी और गैल्वेनिक त्वचा प्रतिक्रिया संकेतों में उल्लेखनीय परिवर्तन देखे गए।
यह जांचने के लिए कि क्या अधिक विस्तृत टैग पहचान मॉडल की मदद करते हैं, टीम ने मशीन लर्निंग, रिकरंट और ग्राफ न्यूरल नेटवर्क को कवर करने वाले आठ प्रतिनिधि एल्गोरिदम का परीक्षण किया। पीक-केंद्रित लेबलिंग का उपयोग करते समय, सभी आठ एल्गोरिदम ने सुधार प्रदर्शित किया, औसत सटीकता को 34.7% से बढ़ाकर 38.5% कर दिया, जो 3.8 प्रतिशत अंकों की वृद्धि थी, जिसमें अधिक गहरे स्थानिक-अस्थायी मॉडल ने सबसे अधिक लाभ उठाया।
यह कार्य भावना पहचान के फोकस को पूरे क्लिप के वर्गीकरण से हटाकर प्रमुख भावनात्मक घटनाओं की पहचान और गतिशील विश्लेषण की ओर स्थानांतरित करता है। संभावित अनुप्रयोगों में सबसे भावनात्मक रूप से समृद्ध क्षण पर मानव-कंप्यूटर इंटरफेस को ट्यून करने की क्षमता, मानसिक स्वास्थ्य स्क्रीनिंग के लिए नैदानिक रूप से महत्वपूर्ण खंडों को निकालना और पहनने योग्य उपकरणों पर वास्तविक समय में भावना अलर्ट प्रदान करना शामिल है।