Named Entity Recognition / NER
Metin içindeki kişi, yer, kurum gibi özel isimleri tespit edip sınıflandıran NLP görevi.
Varlık ismi tanıma (Named Entity Recognition, NER), bir metin içinde geçen kişi adları, yer adları, kurum/şirket isimleri, tarihler, para birimleri gibi "özel isim" niteliğindeki ifadeleri otomatik olarak tespit edip, bunları önceden tanımlanmış kategorilere sınıflandıran temel bir doğal dil işleme görevidir. Örneğin "Mustafa Kemal Atatürk, 29 Ekim 1923'te Ankara'da Cumhuriyeti ilan etti" cümlesinde bir NER sistemi "Mustafa Kemal Atatürk"ü kişi, "29 Ekim 1923"ü tarih ve "Ankara"yı yer olarak etiketleyebilir. Bu görev genellikle dizideki her kelimeye (veya token'a) bir etiket atayan bir sınıflandırma problemi olarak modellenir; klasik yöntemler koşullu rastgele alanlar (CRF) kullanırken, günümüz sistemleri BERT gibi Transformer tabanlı modellerle çok daha yüksek doğruluk sağlamaktadır.
NER, kendi başına bir son kullanıcı uygulaması olmaktan çok, daha büyük sistemlerin temel bir yapı taşıdır. Haber metinlerinden otomatik olay ve kişi çıkarımı yapmak, hukuki ve tıbbi belgelerden ilgili taraf veya ilaç isimlerini otomatik olarak çıkarmak, arama motorlarının belgeleri daha akıllı indekslemesini sağlamak, müşteri taleplerinden ürün veya marka isimlerini otomatik tespit etmek ve bilgi grafiği (knowledge graph) oluşturmak gibi birçok pratik uygulamada kritik bir ön işleme adımı olarak kullanılır. Büyük dil modellerinin yükselişiyle NER artık genellikle ayrı bir model eğitmeye gerek kalmadan, uygun bir promptla genel amaçlı modellere de yaptırılabilmektedir.
NER, kendi başına bir son kullanıcı uygulaması olmaktan çok, daha büyük sistemlerin temel bir yapı taşıdır. Haber metinlerinden otomatik olay ve kişi çıkarımı yapmak, hukuki ve tıbbi belgelerden ilgili taraf veya ilaç isimlerini otomatik olarak çıkarmak, arama motorlarının belgeleri daha akıllı indekslemesini sağlamak, müşteri taleplerinden ürün veya marka isimlerini otomatik tespit etmek ve bilgi grafiği (knowledge graph) oluşturmak gibi birçok pratik uygulamada kritik bir ön işleme adımı olarak kullanılır. Büyük dil modellerinin yükselişiyle NER artık genellikle ayrı bir model eğitmeye gerek kalmadan, uygun bir promptla genel amaçlı modellere de yaptırılabilmektedir.