Derin Öğrenme ile Yüz ve Duygu Tanıma

Derin Öğrenme ile Yüz ve Duygu Tanıma
12 Eki 2021 · Güncellendi: 10 Ağustos 2026

Derin öğrenme (Deep Learning) çalışmaları günümüzde hızla artan ve gelişen disiplinler arasında yer almaktadır. Özellikle büyük veri kavramı hayatımıza girdikten sonra verilerin işlenmesinde derin öğrenme yöntemleri kullanılmaya başlanmıştır. Bu çalışmamızda, kullanıcı tarafından belirlenen bir görsel üzerindeki yüzün tespit edilmesi ve tespit edilen yüzün derin öğrenme algoritmaları ve yöntemleri ile duygu analizi ve cinsiyet tespiti yapılması konularına değineceğiz.

Bu çalışma 2021 yılında yapılmıştır ve kullanılan Viola-Jones algoritması ile Mini_Xception modeli o dönemin yaygın yaklaşımlarını yansıtır. Yazının sonunda, bu tür sistemlerin bugün Avrupa Birliği Yapay Zeka Yasası karşısındaki durumunu ayrıca değerlendiriyoruz.

Yüz Tanıma (Face Recognition) Süreçleri

Bilgisayarla görme, günümüzde yüz tanıma sistemleri ve nesne sınıflandırma alanlarında yaygın olarak kullanılmaktadır. Yüz tanıma, görüntü veya videolardan elde edilen verilerdeki kişilerin otomatik olarak tanımlanması veya doğrulanmasıdır. Yüz tanıma süreçlerinin dört temel aşaması vardır. Bu işlemler:

  • Yüz Algılama,
  • Normalleştirme,
  • Özellik Çıkarma,
  • Sınıflandırma

Görsel 1. Yüz ve duygu tanıma için kullanılan örnek yüz fotoğrafları koleksiyonu

Yüz ve duygu tanıma için kullanılan örnek yüz fotoğrafları koleksiyonu

Yüz tanımada normalleştirme ve sınıflandırma algoritmaları ne kadar başarılı olursa olsun, öznitelik çıkarma aşaması başarılı olmazsa o sistem istenilen başarıyı sağlayamaz. Hem model eğitimi hem de değerlendirme için yaygın olarak kullanılan kombinasyonlar literatürde test edilmiştir. Gerçek zamanlı evrişimli sinir ağları mimarisi kullanılarak, yüz tanıma, cinsiyet sınıflandırması ve duygu sınıflandırması tek bir adımda aynı anda gerçekleştirilebilir.

Görsel 2. Yüz tespit algoritmasının fotoğraflar üzerindeki sonuçları

Yüz tespit algoritmasının fotoğraflar üzerindeki sonuçları (bounding box örnekleri)

Bu dört aşama şöyle özetlenebilir:

  • Yüz algılama: görsel içinde yüz bölgesinin veya bölgelerinin tespit edilmesidir; sonraki tüm aşamalar bu adımın doğruluğuna bağlıdır.
  • Normalleştirme: tespit edilen yüzün boyut, açı ve aydınlatma gibi değişkenlerden bağımsız hale getirilerek standart bir forma getirilmesidir.
  • Özellik çıkarma: yüzdeki ayırt edici örüntülerin sayısal temsillere dönüştürülmesidir; bu aşama, aşağıda değindiğimiz gibi sürecin en kritik halkasıdır.
  • Sınıflandırma: çıkarılan özniteliklere göre nihai kararın (kimlik, duygu veya cinsiyet etiketi) üretilmesidir.

Çalışmada Kullanılan Yöntem

Çalışmamızda, yüz tanıma için Viola-Jones algoritması; duygu analizi ve cinsiyet tespiti için Evrişimsel Sinir Ağlarının (CNN) “Mini_Xception” modeli kullanılmıştır. Bu iki yöntem bir araya getirilerek yüz tanıma, cinsiyet sınıflandırması ve duygu sınıflandırması tek bir adımda gerçekleştirilmiştir.

Resimler üzerinden yüz görüntülerinden yaş tahmini yapan uygulamalar da literatürde geliştirilmiş ve bu uygulamalar için yüz resimlerinden veri setleri oluşturulmuştur. İnsan yüzlerinin işlenmesi; yüz tanıma (face recognition), yüz izleme ve yüz oluşturma aşamalarından oluşur.

Ayrı bir çalışmada, Viola-Jones yüz tanıma algoritmasının NVIDIA CUDA kullanılarak GPU üzerinde paralel çalıştırılmasıyla hesaplama hızının artırılabildiği ve seri ile paralel uygulamalar arasında karşılaştırmalı analizler yapılabildiği gösterilmiştir; bu, bizim çalışmamızın değil, alandaki bir başka çalışmanın bulgusudur ve GPU hızlandırmanın yöntemin performansını nasıl etkileyebileceğine dair bir bağlam sunar.

Deney Sonuçları

Yapılan 18 farklı deneyle tahmin oranları çıkarılmıştır. Bu çalışma kapsamındaki deneylerde en başarılı duygu tanıma %93,11 ile, en başarılı cinsiyet tanıma ise %90,75 ile ölçülmüştür. Bu oranlar, bu çalışmada kullanılan spesifik veri ve deney kurgusuna aittir; farklı bir veri setinde veya farklı bir test protokolünde aynı sonuçların elde edileceği garanti edilemez.

Görsel 3. Duygu ve cinsiyet tanıma modeli deney sonuçları

Duygu ve cinsiyet tanıma modeli deney sonuçları tablosu

Modelin Başarısı Nasıl Artırılır?

  • Yanlış tanımlanan görsellerin tanınabilmesi için sistemin öğretimi sırasında benzer görseller veri setine eklenmelidir.
  • Veri setine daha belirgin görseller eklenip modele öğretilmelidir.
  • Yüz tespiti için kullanılan önceden eğitilmiş dosya, daha geniş bir veri setiyle yeniden eğitilebilir.
  • Duygu ve cinsiyet belirleme için kullanılan Mini_Xception modelinin yapısı değiştirilebilir, farklı bir model denenebilir veya adım sayısı artırılabilir.

Duygu Tanıma ve Mevzuat: AB Yapay Zeka Yasası Ne Diyor?

Bu çalışma bir araştırma ve gösterim çalışmasıdır. Ancak benzer bir sistemin Avrupa Birliği’nde ticari veya kurumsal olarak hayata geçirilmesi, yasanın açık hükümlerine tabidir.

Bilimsel temele dair ciddi endişeler

Avrupa Birliği Yapay Zeka Yasası’nın 44 numaralı gerekçesi, duyguları tanımlamayı veya çıkarsamayı amaçlayan yapay zeka sistemlerinin bilimsel temeline dair ciddi endişeler bulunduğunu belirtiyor; çünkü duygu ifadeleri kültürler ve durumlar arasında, hatta tek bir bireyin kendi içinde bile önemli ölçüde değişkenlik gösteriyor. Aynı gerekçe, bu sistemlerin başlıca eksikliklerini sınırlı güvenilirlik, özgüllük eksikliği ve sınırlı genellenebilirlik olarak sıralıyor.

Yasak olan kullanımlar

Yasanın 5. maddesi, bir gerçek kişinin duygularını çıkarsayan yapay zeka sistemlerinin iş yeri ve eğitim kurumlarında kullanılmasını yasaklıyor; tek istisna tıbbi veya güvenlik amaçlı kullanım. Aynı madde, biyometrik veriye dayanarak kişilerin ırkını, siyasi görüşünü, sendika üyeliğini, dini veya felsefi inancını, cinsel yaşamını ya da cinsel yönelimini çıkarsayan biyometrik sınıflandırma sistemlerini de yasaklıyor. Bu yasaklar 2 Şubat 2025’ten beri yürürlükte.

Yüksek riskli sayılan kullanımlar

Yasak kapsamına girmeyen durumlarda ise duygu tanıma sistemleri ve hassas veya korunan özelliklere göre biyometrik sınıflandırma yapan sistemler, yasanın Ek III listesinde yüksek riskli olarak sayılıyor. Bu kategori belgelenmiş risk yönetimi, insan gözetimi ve bazı durumlarda bağımsız denetim gerektiriyor. Yükümlülüklerin başlangıcı, yasanın sadeleştirilmesine yönelik AI Omnibus uzlaşısıyla 2 Aralık 2027’ye ertelendi.

Bilgilendirme yükümlülüğü

Yasanın 50. maddesi, bir duygu tanıma veya biyometrik sınıflandırma sistemini işleten tarafın, bu sisteme maruz kalan kişileri sistemin çalıştığı konusunda bilgilendirmesini zorunlu kılıyor.

Pratikte bunun anlamı şu: bir modelin teknik olarak çalışması ile bir kurumda kullanılabilir olması ayrı şeylerdir. Kullanım senaryosu belirlenmeden önce hangi kategoriye girildiğinin tespit edilmesi gerekir.

Böyle Bir Sistemi Kurarken Nelere Dikkat Edilmeli?

  • Kullanım alanını önceden sınıflandırın. Sistem iş yeri veya eğitim ortamında duygu tanımak için kullanılacaksa, tıbbi veya güvenlik istisnası dışında bu kullanım yasaktır; hiçbir teknik iyileştirme bu sınırı kaldırmaz.
  • Veri setinin temsil gücünü sorgulayın. Gerekçe 44’ün işaret ettiği kültürel ve bireysel değişkenlik, modelin eğitildiği veri setinin dışındaki popülasyonlarda güvenilirliğinin düşebileceği anlamına gelir.
  • Çıktıyı tek başına karar mekanizması yapmayın. Sınırlı güvenilirlik ve genellenebilirlik nedeniyle, duygu veya cinsiyet tahminleri insan değerlendirmesinin yerine değil, ona destek olarak konumlandırılmalıdır.
  • Bilgilendirme yükümlülüğünü tasarıma dahil edin. Sisteme maruz kalan kişilerin bunu bilmesi gerekiyor; bu, sonradan eklenecek bir özellik değil, projenin başında planlanması gereken bir gerekliliktir.

Sonuç

Bu çalışmayla, seçilen bir görsel üzerinde yüz tespiti yapılmış, tespit edilen yüz üzerinde derin öğrenme yöntemleriyle duygu analizi ve cinsiyet tahmini gerçekleştirilmiştir. Derin öğrenmenin yapay zeka içindeki yerini Yapay Zeka Nedir yazımızda ele almıştık.

Benzer çalışmalar ve kurumunuza özel modeller için yapay zeka ve ileri analitik çözümlerimizi inceleyebilir, bizimle iletişime geçebilirsiniz.

Kaynakça

Hazırlayan: GTech Veri Bilimi Ekibi