Rectified Linear Unit
Negatif girdileri sıfırlayan, pozitifleri olduğu gibi geçiren yaygın aktivasyon fonksiyonu.
Doğrultulmuş Doğrusal Birim (ReLU), negatif girdileri sıfıra eşitleyen, pozitif girdileri ise olduğu gibi geçiren basit ama son derece etkili bir aktivasyon fonksiyonudur; matematiksel olarak f(x) = max(0, x) şeklinde ifade edilir. Sigmoid ve Tanh gibi öncüllerine kıyasla hesaplaması çok daha hızlıdır ve derin ağlarda sıkça karşılaşılan gradyan kaybolması sorununu büyük ölçüde azaltarak eğitimin daha kararlı ilerlemesini sağlar. Bu avantajlar sayesinde günümüzde derin öğrenme mimarilerinin gizli katmanlarında varsayılan tercih haline gelmiştir. Bununla birlikte bazı nöronların sürekli sıfır çıktı vererek "ölmesi" (dying ReLU) sorunu, Leaky ReLU gibi türevlerin geliştirilmesine yol açmıştır.