Yabancı dillerin karmaşık kurallarını bilmeyen Yandex bilgisayarlı çeviri sistemi, önceden öğretilmiş dil kurallarına göre değil, üzerinde çalıştığı dilleri istatistiki yöntemlerle analiz ederek çalışır. Bir yabancı dil “öğrenmek” için sistem işlemcisi, birbirinin farklı dillerdeki karşılığı olan yüzbinlerce metni birbiriyle karşılaştırır ve yaptığı hesaplamalar sonucunda metinlerde aynı anlam taşıyan ifade ve kelimeleri tespit eder. Üzerinde çalışacağı metinleri ise çeşitli şirket, kurum ve kuruluşların farklı dillerdeki paralel İnternet sayfalarından veya web’deki çeşitli kaynaklardan alır. Dolayısıyla, karşılaştırmalar için uygun olan belgelerin İnternet adreslerinin genellikle birbirinden çok az farklı olması, özellikle analizin ilk aşamalarında işi çok kolaylaştırır: Örneğin, çoğu zaman web’deki bir kuruluşa ait aynı anlamlı biri İngilizce biri Türkçe iki belgeyi birbirinden ayırt eden tek şey, İngilizce versiyonu için “en” veya “us”, Türkçe versiyonu için ise “tr” indekslerinin kullanılmış olmasıdır.
Analiz edilecek karşılıklı metinleri bulduktan sonra sistem, işini daha da kolaylaştırmak üzere metinlerde belli sırada bulunan ve dilde görece daha seyrek kullanılan kelimelerden, rakam ve özel işaretlerden oluşan özel bir “belirteçler listesi” hazırlayarak çalışmaya devam eder.
Çeviri sisteminin kaliteli sonuçlar verebilmesi, farklı dillerdeki yüzmilyonlarca ifade ve cümlenin analiz edilmesi ile mümkün olur, bu çok fazla sabit disk alanı ve/veya rastgele erişim belleği gerektiren bir işlemdir. Dünyada çalışır durumdaki bilgisayarlı çeviri sistemi sayısının hala çok az olmasının nedeni de budur.
Dil öğrenimi
Yandex’in bilgisayarlı çeviri sistemi; (1) çeviri modeli, (2) dil modeli ve (3) dil şifre çözücüsü (decoder) olmak üzere üç bölümden oluşur.
Çeviri modeli, sistemin “bildiği” bir dildeki bir sürü kelime, ifade ve cümleler ile bunların başka bir dildeki her türlü karşılıklarının, ayrıca bu karşılıkların her birine dilde rastlanma sıklığı indeksinin belirlendiği bir tablodur. Böyle bir tablo, her iki dil için farklı olur. İki dile özgü bir çeviri modeli, önce (1) birbirinin karşılıkları olan metinlerin bulunması, ardından (2) cümlelerin ve son olarak da (3) ifade ve kelimelerden oluşan özel anlam cetvelleri hazırlanması olmak üzere üç aşamalı bir süreç sonucunda ortaya çıkar.
Konunun daha iyi anlaşılması için sistemin iki İngilizce cümle ve bunların Türkçe karşılıkları ile nasıl çalıştığını anlatalım. Örnek olarak İngiltere’nin başkenti Londra ile ilgili İngilizce ve Türkçe metinlerden şu iki cümleyi alabiliriz:
“London stands on the river Thames” — “Londra Thames nehri üzerinde duruyor”
ve
“Crossing the river by the Tower Bridge you can see the Tower of London” — “Kule Köprüsü üzerinden nehri geçerken Londra Kulesi’ni görebilirsiniz.”
Sistem sadece ilk iki cümleyi inceledğinde İngilizce cümlesindeki London, stands ve bütün diğer kelimelerin Türkçe cümlesindeki Londra, nehri, duruyor gibi bütün süzcüklerin hemen hemen aynı olasılıkla birer karşılığı olabileceklerini sanır. Öbür iki cümlede de nehri ile river’ı saptayınca, ilgili olasılıklı hesaplamalar sonucunda daha büyük olasılıkla bu iki sözcüğün birbirinin farklı dillerdeki karşılıkları olduğunu varsayabilir. İşte bu yöntemle yüzbinlerce farklı metindeki milyonlarca kelime ve ifadeler birbiri ile karşılaştırılır.
Çeviri sistemi, kelimelerin sadece teker teker değil, birbirini takip eden iki, üç, dört ya da beşer kelimelik kombinasyonlarını da bu şekilde analiz eder. Yandex’in Türkçe-İngilizce çeviri modeli şu an 100 milyondan fazla kelime kombinasyonu ile çalışmaktadır.
Dil modeli, bilgisayarlı çeviri sisteminin diğer bir parçasıdır. Bir dil modeli oluşturmak için sistem, gerekli dildeki yüzbinlerce metni inceleyerek, kullanılan tüm kelime ve kombinasyonları içeren ve bunların kullanım sıklığının belirtildiği bir liste hazırlar. Bilgisayarlı sistemin çevirinin yapılacağı dil hakkında bilgisi bu kadardır.
Çeviri hazırlama işlemi
Sistemdeki çevirilerin hazırlanması için asıl sorumlu kısım, dil şifre çözücüsüdür. Çeviri modelinin sunduğu veritabanını inceleyen şifre çözücü, çevrilen dildeki her bir cümle için tüm mevcut çeviri seçeneklerini belirleyince bunları olasılık sıralamasına göre sıralar. Örneğin, çevrilmesi gereken İngilizce cümle, Shakespeare’in “Hamlet” trajedisindeki ünlü monologdan “To be or not to be” satırı olsun. olasılık sıralaması sonuçlarına göre “Olup olmaması” kelime kombinasyonu en olası seçenek çıkarken, doğrusu olan “Olmak ya da olmamak” seçeneği ise ikinci veya üçüncü sırada çıkar.
Varolan tüm kombinasyon seçenekleri dil şifre cözücüsü tarafından dil modeline uygun olarak incelenir. Dil modeli ise şifre çözücüye, “Olmak ya da olmamak”ın mevcut bağlamda varolan kaynaklarda daha sıkça kullanılan bir seçenek olduğunu gösterir. Sürecin sonunda dil şifre çözücüsü; hem çeviri modelinin hazırladığı olasılık önceliği listesini, hem de dil modelinin sunmuş olduğu kullanım sıklığı bilgilerini göz önünde bulundurarak bu iki unsurun en uygun kombinasyonunu tespit eder ve böylece en iyi çeviri sonucuna ulaşmaya çalışır.
Yandex’in bilgisayarlı çeviri sistemi sunulan metinlerin yanı sıra web sayfalarının tamamının çevirisini de yapabilir. Kullanıcı ya ceviri.yandex.com.tr adresine giderek çevrilmesi gereken web sayfasının adresini yazar ya da Yandex.com.tr’deki arama sonuçlarında ilgili sayfa bağlantısının başındaki “Çevir” butonuna basarak sisteme çeviriyi hazırlattırır. Sistemin asıl dildeki (mesela İngilizce) web sayfasının açmasının ardından, tarayıcı sayfanın html kodunu çözer ve metinleri paragraflar halinde çeviri sunucusuna (serverı) gönderir. Ardından kullanıcının bilgisayarında gördüğü metin yine paragraflar halinde istenen dile (Türkçe’ye) çevrilerek kullanıcı ekranına gelir.
Diğer bilgisayarlı çeviri sistemleri normalde çevrilecek web sayfalarını, kullanıcının İnternet tarayıcısını aradan kaldırıp çeviri sunucularına bir bütün olarak gönderir. Ancak bu şekilde çalışarak her zaman kullanıcının ekranında gördüğü metnin aynısını almış olmayabilirler. Örneğin kullanıcı, üyesi olduğu bir sosyal ağ sayfasının çevirisini görmek istediğinde, çeviri sisteminin web sunucusu bu web sayfasında yetkili olmadığı için kullanıcının gördüğü sayfayı değil, ağın otorizasyon sayfasını görür ve onu çevirir. Bu tür çeviri sistemlerinden farklı olarak Yandex çeviri sistemi, aşamalı çalışma yöntemi sayesinde kullanıcının ekranında gördüğü metnin daima aynısını alma avantajına sahip olur. Ayrıca çeviri işlemi paragraflar halinde ilerlediği için artık çevirinin tamamlanmasını beklemeye gerek yoktur, çevirisi hazırlanan ilk paragraftan başlayarak yeni parçalar hazırlandıkça okumaya devam edebilirsiniz.
İstatistiğe dayalı çevirinin gelişme potansiyeli
İstatistiğe dayalı bilgisayarlı çeviri sistemlerinin tartışılmaz bir avantajı, bu sistemlerin zaten sürekli gelişen bir olgu olan dil ile birlikte gelişebilmeleridır. Dilde yeni bir şey ortaya çıktığı zaman sistem bu değişiklikleri üzerinde çalıştığı yeni belgelerde sayesinde görür. Yenilikler dilde ne kadar çabuk yayılırsa, İnternet’teki yeni yazılı metinlerde de o kadar çabuk ortaya çıkacaklardır.
Çeviri kalitesini daha da yükseltmek amacıyla sistemimiz sürekli geliştirilmektedir. Uygulanacak yeni yazılımlar önce “Bilingual Evaluation Understudy” adlı özel bir algoritma ile test edilir, test için özel seçilmiş metinler sistem tarafından çevrilince örnek çeviriler ile karşılaştırılır. Sistemin yeni incelediği web belgelerinden çıkardığı veriler dolayısıyla yapılan çeviriler eskisinden daha kötü kalitedeyse, bu yeni veriler reddedilerek çeviriler düzeltilir.
0 yorum:
Yorum Gönder