IBM watson üniversite öğrencilerinin mandalina öğrenmesine yardımcı oluyor

Üniversiteler dil çalışmalarında uzun bir yol kat etmiş, konferans salonunda sadece geleneksel sınıfların ötesine geçerek etkileşimi olmadan önceden kaydedilmiş dersleri almıştır. Artık öğrenciler, yapay bir zeka (AI) ve doğal dil işleme (NLP) gibi teknolojilere sürükleyici bir öğrenme ortamında erişebiliyorlar. Bu, Rensselaer Politeknik Enstitüsü'nün (RPI) Troy, New York'taki Bilişsel ve Sürükleyici Sistemler Laboratuvarı'nda (CISL) olan şey. Enstitü, öğrencilerin, sokak pazarları ve restoranların bulunduğu ortamlarda AI acenteleriyle etkileşime girdiği altı haftalık bir yaz kursu için teknolojiyi oluşturmak üzere IBM Research ile birlikte çalıştı.

"AI-Destekli Sürükleyici Çince" başlıklı derste, laboratuvarın Bilişsel Sürükleyici Odasında (CIR) aynı zamanda "Durum Odası" olarak da adlandırılan, bilgisayar tarafından oluşturulan sahnelerin 360 derecelik bir panoramik görüntüleme sistemi bulunmaktadır. Sanal sahneler Çin'de yer alıyor. Öğrenciler Watson Assistant tarafından desteklenen avatarlarla sohbet eder ve konuşmaları ve telaffuzları düzeltilir. CIR'de öğrenciler karşılıklı konuşma, anlatı üretme, mekansal içerik bilinci, jest ve yüz tanıma teknolojisini kullanırlar.

CIR, eğitime ek olarak çeşitli endüstrilerdeki IBM Watson için farklı potansiyel çeşitlerine bir örnektir. Bu endüstriler arasında tarım, insan kaynakları (İK) ve filo yönetimi yer almaktadır.

RPI'da, Watson Asistanı'nın yanı sıra, öğrenciler çalışmalarında Watson Metin Metni Konuşma, Watson Metin Konuşma ve Dil Tercümanını kullanıyorlar.

Öğrenciler, RPI kampüsünde AI kullanarak Mandarin öğreniyorlar. (Görüntü kredisi: IBM Research / RPI)

Aktif Öğrenme Deneyimi

RPI’dan bir genç olan Julian Wong için, etkileyici AI deneyimi Mandarin'i öğrenmenin çekici bir yoluydu çünkü ona öğrenmesi için daha aktif bir yol veriyor. Mandarin, ses tonunda bir değişikliğin kelimelerin anlamlarını değiştirebileceği bir ton dili olduğundan, AI deneyimindeki avatarlar Wong ve diğer öğrencilerin telaffuzları doğru aldıklarından emin olmak için ton hakkında geri bildirimde bulunur.

Wong’a göre CIR’de AI ile çalışmak normal sınıf zamanı ile iyi bir denge sağlıyor. Wong, "Bilgisayarla konuşmak için buluşmak … dili, özellikle sözel becerileri öğrenmek için birçok konuda kesinlikle yardımcı oluyor." Dedi.

Wong'un Mandarin sınıfı haftada dört kez buluşuyor. Pazartesi ve Cuma günleri, RPI'de Doçent olan Helen Zhou ile geleneksel bir sınıfta derse katılır. Orada yeni kelimeler öğrenir ve ifadelere ve gramer yapılarına giriş yapar. Sınıf salı ve perşembe günleri, öğrencilerin sanal ajanlarla sohbet ettikleri CIR'da buluşuyor. Bir restoran ortamında, Wong, öğrencilerin restoranda oturmanın, bir menüye bakmanın, yemek sipariş etmenin, yemeğin nasıl hazırlandığına dair garsonla konuşmanın ve faturayı ödemenin tüm süreçlerinde devam edebileceğini söyledi. Diğer ortamlar bahçe, pazar ve okul kampüsünü içerir.

Zhou'ya göre, sürükleyici sınıftaki Mandarin sınıfı geleneksel bir ortamdan farklı. Çünkü multimodal bir dil ve video deneyimi sunuyor. Geleneksel bir sınıfın daha az sürükleyici ve etkileşimli olacağını söyledi. Zhou, "sürükleyici sınıftaki simülasyonda, öğrencileri birbiriyle savaşmak, öğrencileri ürünü almaya ikna etmek için iki ajanımız var." Dedi. “Böylece öğrenciler sadece video izlemekten ya da sadece ders dinlemekten ziyade kişisel deneyimle anlayacaklardı. Kültürü, ders kitaplarından ders alarak ya da kaset dinleyerek daha kolay toplayacağına inanıyorum.”

CIR'de öğrenciler, birbirleriyle etkileşime girdikleri sahneler ile ilgili kısa sınavlar yaparlar ve cevaplarını vermek için ellerini kaldırırlar. Odadaki kameralardan gelen bilgisayarlı görüntü teknolojisi, hareketlerini yakalar. AI asistanı, sahne ile ilgili bir sınav verir ve öğrencilerin Çince bir cümle ile cevaplamaları gerekir.

Wong, “Ekrandaki açılır pencerelerden birini seçmek istiyorsanız, elinizi uzatabilirsiniz, avuç içi açık ve ardından elinizi kapatın” dedi. “İmleç şu anda açık olanı seçersiniz. Küçük sınavlar için, doğru cevabın ne olduğunu biliyorsanız, o zaman elinizi seçmek istediğiniz karakterlerin üzerine getirebilir ve sonra elinizi seçmek için elinizi kapatabilirsiniz. "Doğru yapıp yapmadığın konusunda sana haber vereceğim."

Sanal ajan, mikrofonlarını ağzına yakın tutabilecekleri durumlar dışında, çoğu zaman öğrencileri anlar. Sistem, telaffuz edilmediği takdirde öğrencileri alan farklı ses tanıma ayarlarına sahiptir. Ayrıca, bir profesörünüz yoksa hemen bir görüşmede anında geri bildirim sağlar. Kendi zamanlarında, Mandarin sınıfındaki öğrenciler, ses kliplerinin pratik çalışması için bir web sitesine giderler.

RPI'deki sürükleyici deneyimin harika bir özelliği, ekrandaki birden fazla sanal aracının hangisiyle göz teması kurduğunuzu anlayabileceği mekansal bağlam farkındalığıdır. Wong, "Bir ajana bakarken bir şey söylerseniz, o ajan diğerine cevap verecek, " dedi.

Bir öğrenci, RPI'daki bir Mandarin sınıfının bir parçası olarak IBM Watson jest ve yüz tanıma teknolojisini kullanır. (Görüntü kredisi: IBM Research / RPI )

Sürükleyici Deneyim Nasıl Geliştirildi

RPI'deki sürükleyici deneyim, dil profesörleri ve oyun tasarımı profesörleri dili öğretmenin daha iyi bir yolunu tartışmak için bir araya geldiğinde yaratıldı. Hem rol yapma oyunu geliştirmek için yapılan bir plan, hem IBM Araştırmalarında Bilişsel Kullanıcı Deneyimi Direktörü hem de CISL Direktörü Hui Su'ya göre, gerçek yaşam senaryoları simülasyonu ile Mandarin'e nasıl öğretileceğini tartışmaya yöneldi. IBM ve RPI, 2015 sonunda kursu geliştirmeye başladı ve o zaman ortak laboratuarı kurdular. CISL daha sonra hemen şekillendi.

Su, "Laboratuvarın amacı, grup etkinliklerini iyileştirmek için bilişsel ve sürükleyici bir ortam oluşturmak, grup zekasını öğrenme ve karar verme bağlamında artırmaktır." Dedi. “Kritik bir durumun verilerine bakmak ve bilgiyi anlamayı ve karar vericiler için kararlar veya öneri oluşturmayı denemek için bilişsel sürükleyici toplantı odaları oluşturmaya odaklanıyoruz.”

AI dil öğrenme programının bir parçası olarak, IBM ve RPI adım çevre analizi ile denemeler yapıyor. Su, bu teknolojinin nasıl çalıştığını anlattı. Su, "Bir heceyi konuşurken, bir heceyi telaffuz ettiğinizde, temeldeki teknoloji sesi yakalar ve o heceyi nasıl telaffuz ettiğinize dair görsel bir kontur oluşturur." Dedi. "Sonra bu görsel konturu kullanır ve bu görsel konturu yerel bir konuşmacının görsel konturu ile karşılaştırır."

Öğrenciler daha sonra doğru tonlara ulaşmak için telaffuzlarında ayarlamalar yapabilir. Bazı hecelerin telaffuzlarını değiştirmeleri gerektiğini öğrenecekler. Su teknolojisine göre öğrenciler, sürükleyici sınıfta Watson teknolojisini kullanarak Mandarin öğrenerek edindikleri bilgilerle, gerçek hayatta konuşma konusunda daha fazla güven duyacaklar.

Su, “Bütün fikir, sürükleyici çevremiz ve AI teknolojisi sayesinde öğrencilerin bir egzersiz yapmasını sağlamak için yeterli kültürel bağlam sağlamak” dedi. “Böylece gerçek hayatta insanlarla konuşmak gibi korkuları olmayacak.”

Bir öğrenci, IBM Watson teknolojisini kullanarak Mandarin'i sanal bir restoran ortamında uygular. (Görüntü kredisi: IBM Research / RPI )

Teknoloji Endüstrisi ve Akademi Arasında Bir Köprü

IBM ve RPI, IBM araştırmacıları ve fakülte üyeleri arasında bir köprü kurabilir ve IBM, kampüste bir araştırmacı olan Su'yu yerleştirir. Bu arada, RPI'deki sınıf profesörü Zhou, tasarımcılara, kullanıcılara ve öğretmenlere sınıftaki sürükleyici deneyimin nasıl geliştirileceği konusunda da geribildirim veriyor.

Zhou, “Öğrencilere daha doğal bir sınıf sunabilmemiz için onlara hata ayıklamaları veya tasarımlarını iyileştirmeleri için hemen geri bildirim vermem gerekiyor” dedi. “Öyle çok iş var ama buna değer.”

Dil Öğreniminin Geleceği

• 2019 İçin En İyi Dil Öğrenme Yazılımı 2019 İçin En İyi Dil Öğrenme Yazılımı
• IBM, Çeşitli Sektörlerde Pretrained Watson AI Araçlarını Sunuyor IBM, Çeşitli Sektörlerde Pretrained Watson AI Araçlarını Yayınlıyor
• AI Gerçekten Dilimizi Konuşuyor mu? AI Gerçekten Dilimizi Konuşuyor mu?

Zhou'ya göre, bu tür sürükleyici ortam, görünüşte gerçek hayattaki bir ortam sağlama kabiliyeti nedeniyle değerli. Zhou, “AI'nın sürükleyici çevresi, öğrencilerin konuşma ve dinlemelerini geliştirmekle kalmayıp, aynı zamanda bu dili gerçek yaşamda kullanma pragmatiklerini de artırabilir” dedi. “Bu nedenle AI, benim için bir eğitmen olarak daha idealdir, böylece öğrenciler dili daha erken bir zamanda, başlangıç ​​seviyesindeki öğrenciler için bile, ülkeye seyahat etmeden kullanma hissi kazanabilirler.”

RPI'da sunulanlar gibi multimodal öğrenme ortamları, AI'nın sınıftaki rolünü genişletecektir. AI'nın sanal aracılar aracılığıyla sağladığı deneyim sayesinde, öğrenciler gerçek dünyadaki çeşitli senaryoları gerekli dil becerileri ile ele almaya hazır olacaklar.