Konuşan Beyin Sinyalleri

Bilim dünyasında bir ilk! Columbia Üniversitesi'ndeki nöro-mühendisler düşünceyi açık, anlaşılır bir şekilde konuşmaya çeviren bir sistemi keşfettiler. Sistem bir insanın beyin aktivitesini monitörleyerek, kelimeleri bir kişinin net şekilde duyacağı bir biçimde yeniden düzenleyebiliyor. Konuşma gücünü sentezör ve yapay zekayla birleştiren bilim dünyasındaki bu büyük buluş, bilgisayarların beyinle direkt iletişim kurmasında öncülük edebilir. Bu sistem aynı zamanda konuşamayan, ALS hastası olan veya felçli olup da dış dünyayla bağlantı kurmak isteyen insanlara da yardımcı olabilir.

Keşifler bugünkü (yani 29.01.2019 tarihli) Scientific Reports'da yayınlandı.

Araştırma tezinin baş yazarı ve Columbia Üniversitesi Mortimer B. Zuckerman Zihin Beyin Davranış Enstitüsü baş araştırmacısı olan Dr. Nima Mesgarani PhD, "Seslerimiz bize dostlarımız, ailemiz ve tüm dünyadaki insanlarla iletişim kurdurur. Bir kişi kaza veya bir hastalığa bağlı olarak ses gücünü yitirdiğinde, bu onun için çok üzüntü verici bir durumdur.  Bugünkü yaptığımız araştırmayla, o gücü yeniden canlandırıyoruz. Doğru teknolojiyle, insanların düşünceleri çözülebilir ve dinleyen tarafından da anlaşılabilir" şeklinde konuştu.
   
Dr. Mesgarani ve ekibi, beyin sinyallerini çözmek için yaptıkları ilk denemelerde ses frekanslarının görsel  temsilcisi olan ses yazılımını (spektrogram) analiz eden basit bilgisayar modellerini kullandılar. Bu yöntem açık şekilde konuşmaları çözemeyince, Dr. Mesgarani ve ekibi kişilerin konuşmalarının kayıtlarını sentezleyebilen bir bilgisayar algoritması olan ses kodlayıcı tekniğine (vocoder'a) yöneldi. 
  
Dr.Mesgarani sözlerine şöyle devam etti: "Bu teknoloji, sorularımıza cevap vermesi için Amazon Echo ve Apple Siri tarafından kullanılan aynı teknolojidir." Dr. Mesgarani, aynı zamanda Columbia Üniversitesi'nin Kung  Fu Vakfı Mühendislik ve Uygulamalı Bilimler Okulu'nda bir Doçent Doktor.
Vocoder'a beyin aktivitesini yorumlamayı öğretmek için, Dr. Mesgarani ve ekibi bugünkü tezi yazan ve Northwell Health Physician Partners Nörobilim Enstitüsü'nde bir nörocerrah olan Dr. Ashesh Dinesh Mehta, MD, PhD ile birlikte çalıştılar. Dr. Mehta, ameliyatlar geçirmesi gereken epilepsi hastası insanları tedavi ediyor.

Dr. Mesgarani şöyle dedi: "Dr. Mehta ile çalışırken beyin ameliyatı geçiren epilepsi hastalarından farklı insanlar tarafından kurulan cümleleri dinlemelerini istedik. Bunu yaparken de onların beyin aktivitelerinin modellerini ölçtük. Bu nöral modeller, vocoder'ı eğitti."

Bundan sonraki adımda da araştırmacılar aynı hastalardan 0 dan 9'a kadar sayan kulaklıkları dinlemelerini istedi. Bunları yaparken de vocoder'dan geçebilecek beyin sinyallerini de kaydettiler. Bu sinyallere yanıt veren vocoder'dan çıkan ses nöral ağlar tarafından analiz edildi ve temizlendi. Bunu yapan "nöral ağlar", biyolojik beyindeki nöronların yapısını taklit eden bir tür yapay zekaydı!
Sonuç, robota benzer bir sesin bir dizi rakamı saymasıydı. Kayıtın doğruluğunu test etmek için, Dr. Mesgarani ve ekibi kişilerden kaydı dinlemelerini ve ne duyduklarını bildirmelerini istedi.

Dr. Mesgarani sözlerini şöyle tamamladı: "Bu testi yaparken insanların sesin yüzde 75'ini anlayabildiğini ve tekrar edebildiklerini keşfettik. Bu da önceki yapılan denemelere göre büyük bir başarıdır. Daha önce denediğimiz spektrogram kaynaklı denemelerle yeni kaydettiklerimizi karşılaştırınca anlaşılabilirlikteki gelişme çok bariz bir şekilde açığa çıktı. Hassas vocoder ve güçlü nöral ağlar, kesin ve tam doğrulukla dinleyen hastaların seslerini yansıtıyordu."

Çeviren: Esin Tezer
https://www.sciencedaily.com/releases/2019/01/190129081919.htm'den alıntı yapılarak çevrilmiştir.