GloVe (Global Vector for Word Representation), bir kelime gömme yöntemidir. Her bir kelime için vektörel temsiller oluşturur. Bu temsilleri oluştururken, kelimenin bağlamındaki ortaklıkları ve bağlamdaki sıklığını dikkate alır. Bu nedenle, kelimenin anlamını yakalamak için o kelimenin çevresindeki kelimelerin istatistiksel özelliklerini kullanır. Word2Vec’ten farklı olarak word2vec optimizasyon işlemini her seferinde yapar. GloVe ise önce kaç defa geçtiğini hesaplar sonra optimizasyonu yapar yani her seferinde değil en sonda yapıyor.
- J, maliyet fonksiyonu
- V, kelime dağarcığının boyutu
- X_ij, kelime i ve j çiftinin birlikte geçme sayısı
- w_i ve w_j, kelime vektörleri
- b_i ve b_j, bias terimleri
- f, ağırlık fonksiyonu
