Derin Öğrenme Tabanlı Video Kodlama için Kalite Değerlendirmesi
Proje no. 22956 · Durum: Kapanmış (Yayın bekleniyor) · 2021
Özet
Modern imge ve video sıkıştırma teknolojileri, özellikle derin öğrenme tabanlı teknikler, kodlama sonucunda oluşacak bloklanma, bulanıklık, gibi geleneksel bozulmaların aksine CNN (Convolutional Neural Network) tabanlı bozulmaların oluşması problemini beraberinde getirmiştir. Bu problem ile birlikte, insan algısına yakın sonuçlar vermek konusunda zaten zorlanan MSE, PSNR, SSIM gibi geleneksel video ve imge kalite değerlendirme metrikleri bu görsel içeriklerin kalite değerlendirmesinde yetersiz veya başarısız sonuçlar vermeye başlamıştır. Buna bir çözüm olarak geliştirilen LPIPS metriği VGG ağının ImageNet sınıflandırması üzerinde eğitilmiş ve bununla birlikte insan yargısına yakın sonuçlar vererek başarılı bir imge kalite değerlendirmesi ortaya koymuştur. Ancak bu metrik video kalite değerlendirmesi yapmamaktadır. Ayrıca derin öğrenme tabanlı yeni nesil kodeklerin geleneksel blok tabanlı kodeklerle görsel kalitelerini öznel olarak karşılaştıran bir çalışma da literatürde yoktur. Bu projede videolar üzerinden hareket bilgisinin çıkarılması ve LPIPS metriğine entegrasyonu ve görsel kalite değerlendirmelerinden elde edilen skorlar ile eğitilerek hareket özellik katsayılarının modellenmesi önerilmektedir. Öğrenme tabanlı bir video kalite değerlendirme metriğinin geliştirilmesi bu alanda önemli bir boşluğu dolduracaktır.