TÜRKÇE KISA METİN BENZERLİK ÇALIŞMALARI İÇİN EŞ-ANLATIM DERLEMİ OLUŞTURMA
Proje no. 538 · Durum: Kapanmış · 2015
Özet
Verilen iki kısa metnin benzer/eş-anlatımlı olup olmadığı kararı deterministik bir problem değildir. Farklı kişilerin algıları farklı yönlerde olabilir. Doğal dilde aynı anlamı taşıyan ifadelerin çok farklı kelimeler ve yapılarda anlatılabilmesine ek olarak, kısa metinlerde yeterli veri bulunmaması metinlerin benzerlik ölçümü problemini daha da zorlaştırmaktadır. Benzerliğin otomatik olarak tespiti oldukça zordur ve Türkçe’de pek çalışılmamış bir problemdir. Kısa metin benzerliklerinin otomatik ölçülmesi Bilgi Geri Getirimi (BGG) (Deerwester vd.,1990; Park vd., 2005), metin özetlemesi (Erkan ve Radev 2004; Lin ve Hovy, 2003), makine tercümesi değerlendirmesi (Liu ve Zong 2004; Papineni vd., 2002), öğrenci cevaplarının değerlendirilmesi (Rehder vd., 1998), kelime anlamı belirlenmesi (Lesk, 1986; Schutze, 1998), metin kategorizasyonu (Ko vd., 2004; Liu ve Guo, 2005), gibi birçok alanda uygulama bulmuştur. Doğal dil işleme çalışmalarında derlemlerin oldukça önemli bir rolü bulunmaktadır. Metin benzerliği problemi Türkçe için çok çalışılmamış bir alan olduğundan dolayı üzerinde çalışılacak Türkçe benzer-metin/eş-anlatım (İng. paraphrase) derlemi bulunmamaktadır. Projenin temel amacı bilgi geri getirim (BGG) ve Doğal Dil İşleme (DDİ) ve anlama alanında birçok problemin çözümünde ihtiyaç duyulan kısa metinler arasındaki anlatım benzerliğinin ölçülmesi çalışmalarında kullanılacak Türkçe için altın standartta işaretlenmiş eş-anlatım derleminin oluşturulmasıdır. Bu amaç doğrultusunda, projede Türkçe eş-anlatım derlemi için çeşitli kaynaklarından cümle çiftleri otomatik olarak çekilmiş, çekilen cümle çiftlerinin el ile işaretlenmiş ve işaretlemenin tutarlılık değerlendirmesi yapılmıştır. Projenin çıktısı olarak elde edilen eş-anlatım derlemi toplam 6510 cümle çiftinden oluşmaktadır. Bu cümle çiftlerinin 4421 adeti eş-anlatım olarak işaretlenirken, 2089 adeti ise eş anlatım değil olarak işaretlenmiştir.