विषय

• लाइव कैप्शन के प्रभाव को कम करना

लाइव कैप्शन सबसे अच्छे एंड्रॉइड फीचर्स में से एक है, जो स्थानीय वीडियो और वेब क्लिप के लिए कैप्शन जनरेट करने के लिए ऑन-डिवाइस मशीन लर्निंग का उपयोग करता है।

Google ने एक ब्लॉग पोस्ट प्रकाशित किया है जिसमें बताया गया है कि यह निफ्टी फीचर कैसे काम करता है, और इसमें वास्तव में शुरुआत के लिए तीन ऑन-डिवाइस मशीन लर्निंग मॉडल होते हैं।

वाक् पहचान के लिए एक पुनरावर्ती तंत्रिका नेटवर्क अनुक्रम पारगमन (RNN-T) मॉडल है, लेकिन Google विराम चिह्न की भविष्यवाणी के लिए एक आवर्तक तंत्रिका नेटवर्क का भी उपयोग कर रहा है।

तीसरा ऑन-डिवाइस मशीन लर्निंग मॉडल साउंड इवेंट्स, जैसे पक्षियों के चहकने, लोगों को ताली बजाने, और संगीत के लिए एक दृढ़ तंत्रिका नेटवर्क (CNN) है। Google का कहना है कि यह तीसरी मशीन लर्निंग मॉडल लाइव ट्रांसक्रिप्शन एक्सेसिबिलिटी ऐप पर अपने काम से ली गई है, जो स्पीच और साउंड इवेंट्स को ट्रांसफर करने में सक्षम है।

लाइव कैप्शन के प्रभाव को कम करना

कंपनी का कहना है कि लाइव कैप्शन की बैटरी की खपत और प्रदर्शन मांगों को कम करने के लिए कई उपाय किए गए हैं।एक के लिए, पूर्ण स्वचालित भाषण मान्यता (एएसआर) इंजन केवल तब चलता है जब भाषण वास्तव में पता चलता है, जैसा कि पृष्ठभूमि में लगातार चलने का विरोध है।

"उदाहरण के लिए, जब संगीत का पता लगाया जाता है और भाषण ऑडियो स्ट्रीम में मौजूद नहीं होता है, तो लेबल स्क्रीन पर दिखाई देगा, और ASR मॉडल अनलोड किया जाएगा। ASR मॉडल को केवल मेमोरी में वापस लोड किया जाता है जब भाषण फिर से ऑडियो स्ट्रीम में मौजूद होता है, ”Google अपने ब्लॉग पोस्ट में बताता है।

Google ने न्यूरल कनेक्शन प्रुनिंग (भाषण मॉडल के आकार में कटौती), बिजली की खपत को 50% तक कम करने और लाइव कैप्शन को लगातार चलाने की अनुमति देने जैसी तकनीकों का उपयोग किया है।

Google बताता है कि कैप्शन बनते ही वाक् पहचान परिणाम प्रत्येक सेकंड में कुछ बार अपडेट किए जाते हैं, लेकिन विराम चिह्न भविष्यवाणी अलग है। खोज दिग्गज का कहना है कि यह संसाधन की मांग को कम करने के लिए "सबसे हाल ही में मान्यता प्राप्त वाक्य से पाठ की पूंछ पर" विराम चिह्न भविष्यवाणी को वितरित करता है।

लाइव कैप्शन अब Google Pixel 4 श्रृंखला में उपलब्ध है, और Google का कहना है कि यह Pixel 3 श्रृंखला और अन्य उपकरणों पर "जल्द ही" उपलब्ध होगा। कंपनी का कहना है कि यह अन्य भाषाओं के समर्थन और मल्टी-स्पीकर सामग्री के लिए बेहतर समर्थन पर भी काम कर रहा है।