- Konu Yazar
- #1
Yazılım, bulut ve yapay zekâ sektöründe 15 yıldır çalışmalarını sürdüren yerli girişim VNGRS'den dikkat çeken bir hamle geldi. Şirket, 7,4 milyar parametre üzerine eğitilen Türkçe büyük yapay zekâ dil modeli "Kumru"yu duyurdu. Dikkat çeken özelliklerle donatılan yapay zekâ, şirketin iddiasına göre oldukça iyi iş çıkarıyor. Gelin hep birlikte Kumru'nun özelliklerine yakından bakalım.
45 günlük ön eğitim aşamasında NVIDIA'nın H100 ve H200 GPU'ları üzerinde 500 GB büyüklüğünde veri ile eğitilen Kumru, Mistral-v0.3 üzerine inşa edildi. Ayrıca bu yapay zekânın geliştirilmesi için Meta'nın LLaMA-3 modelinden de destek alındı. Ön eğitim aşamasının sonunda 300 milyar token'le haşır neşir olan yapay zekâ, sonraki aşamada ise 1 milyon örnekle ince ayar işlemine sokuldu. Böylelikle Kumru'nun mümkün olan en iyi performansı vermesi sağlanmış oldu.
Kumru'nun en dikkat çeken özelliklerinden bir tanesi, sadece 16 GB VRAM kapasitesine sahip olan GPU'lar üzerinde yerel olarak çalışabiliyor olması. Bu çok önemli çünkü kurumsal müşteriler, bu yapay zekâyı şirket içi bilgisayarlarda çok ucuza çalıştırabilecekler. Gelin bunu şöyle örnekleyelim:
LLaMA-3.3'ün 70 milyar parametreli versiyonunu yerleşik olarak çalıştırmak istediğinizde 140 GB VRAM kapasitesine ihtiyaç duyarsınız. Bu da 2 adet NVIDIA H100 gücüne denk gelir ve 60 bin dolar seviyesinde bir maliyet ile karşılaşırsınız. Kumru'yu yerel olarak çalıştırmak isterseniz RTX A4000 veya RTX 3090 gibi bir GPU işinizi görecektir. Bu da kabaca 2.000 dolar maliyet demek.
Kumru ile diğer büyük dil modellerinin maliyet farklılıklarını gösteren tablo:
Burada diğer dil modellerinin çok daha gelişmiş bir yapıya sahip olduğunu söyleyebiliriz, maliyet durumunu eleştirebilirsiniz. Ancak şöyle bir detay var; küçük bir işletme olduğunuzu düşünün. 7,4 milyar parametre, pek çok işlem için gayet yeterli seviyede olacaktır.
Kumru, aslında tıpkı ChatGPT gibi metin odaklı bir yapay zekâ. Yani bu yapay zekâyı kullanarak herhangi bir araştırma yapabilir, içerik üretebilirsiniz. VNGRS tarafından yapılan açıklamaya göre ise Kumru, daha çok belge işleme, özetleme ve soru-cevap gibi işlemlerde daha iyi sonuçlar veriyor. İngilizce de bilen yapay zekânın kodlama yapabildiğini de belirtmeden geçmeyelim. VNGRS, Kumru'nun 8.192 Türkçe token desteklediğini, bunun da A4 üzerine yazılmış 20 sayfalık belge anlamına geldiğini söylüyor.
Kumru, Türkçe odaklı büyük dil modelleri için bir performans testi olan Cetvel'e sokuldu. Dil bilgisi hatası düzeltme, belge özetleme, soru cevaplama, makine çevirisi, doğal dil çıkarımı ve metin sınıflandırması gibi 26 farklı kategoride test edilen yapay zekâ, ortalama sonuçlarda rakiplerini geride bırakmış durumda. Kumru'nun henüz erken aşamadayken bile bu kadar iyi sonuç veriyor olması gerçekten dikkat çekici.
Eğer siz de Kumru'nun neler sunduğunu görmek isterseniz,
45 günlük ön eğitim aşamasında NVIDIA'nın H100 ve H200 GPU'ları üzerinde 500 GB büyüklüğünde veri ile eğitilen Kumru, Mistral-v0.3 üzerine inşa edildi. Ayrıca bu yapay zekânın geliştirilmesi için Meta'nın LLaMA-3 modelinden de destek alındı. Ön eğitim aşamasının sonunda 300 milyar token'le haşır neşir olan yapay zekâ, sonraki aşamada ise 1 milyon örnekle ince ayar işlemine sokuldu. Böylelikle Kumru'nun mümkün olan en iyi performansı vermesi sağlanmış oldu.
Sıradan bilgisayarlarda bile yerel olarak çalışabiliyor!
Kumru'nun en dikkat çeken özelliklerinden bir tanesi, sadece 16 GB VRAM kapasitesine sahip olan GPU'lar üzerinde yerel olarak çalışabiliyor olması. Bu çok önemli çünkü kurumsal müşteriler, bu yapay zekâyı şirket içi bilgisayarlarda çok ucuza çalıştırabilecekler. Gelin bunu şöyle örnekleyelim:
LLaMA-3.3'ün 70 milyar parametreli versiyonunu yerleşik olarak çalıştırmak istediğinizde 140 GB VRAM kapasitesine ihtiyaç duyarsınız. Bu da 2 adet NVIDIA H100 gücüne denk gelir ve 60 bin dolar seviyesinde bir maliyet ile karşılaşırsınız. Kumru'yu yerel olarak çalıştırmak isterseniz RTX A4000 veya RTX 3090 gibi bir GPU işinizi görecektir. Bu da kabaca 2.000 dolar maliyet demek.
Kumru ile diğer büyük dil modellerinin maliyet farklılıklarını gösteren tablo:
Burada diğer dil modellerinin çok daha gelişmiş bir yapıya sahip olduğunu söyleyebiliriz, maliyet durumunu eleştirebilirsiniz. Ancak şöyle bir detay var; küçük bir işletme olduğunuzu düşünün. 7,4 milyar parametre, pek çok işlem için gayet yeterli seviyede olacaktır.
Gelelim Kumru'nun yeteneklerine ve performans testi sonuçlarına:
Kumru, aslında tıpkı ChatGPT gibi metin odaklı bir yapay zekâ. Yani bu yapay zekâyı kullanarak herhangi bir araştırma yapabilir, içerik üretebilirsiniz. VNGRS tarafından yapılan açıklamaya göre ise Kumru, daha çok belge işleme, özetleme ve soru-cevap gibi işlemlerde daha iyi sonuçlar veriyor. İngilizce de bilen yapay zekânın kodlama yapabildiğini de belirtmeden geçmeyelim. VNGRS, Kumru'nun 8.192 Türkçe token desteklediğini, bunun da A4 üzerine yazılmış 20 sayfalık belge anlamına geldiğini söylüyor.
Kumru, Türkçe odaklı büyük dil modelleri için bir performans testi olan Cetvel'e sokuldu. Dil bilgisi hatası düzeltme, belge özetleme, soru cevaplama, makine çevirisi, doğal dil çıkarımı ve metin sınıflandırması gibi 26 farklı kategoride test edilen yapay zekâ, ortalama sonuçlarda rakiplerini geride bırakmış durumda. Kumru'nun henüz erken aşamadayken bile bu kadar iyi sonuç veriyor olması gerçekten dikkat çekici.
Eğer siz de Kumru'nun neler sunduğunu görmek isterseniz,
Ziyaretçiler için gizlenmiş link,görmek için
Giriş yap veya üye ol.
bağlantı üzerinden yapay zekâya ulaşabilirsiniz. Bu arada; Kumru'nun "Kumru-2B" isimli daha küçük bir versiyonunun da Huggingface üzerinden yayımlandığını belirtelim. 2B versiyon, Kumru-7B isimli temel versiyon ile aynı eğitim sürecinden geçti ancak daha hafif bir model. Hatta sadece 4,8 GB bellek ihtiyacı duyan Kumru-2B, bu özelliği sayesinde mobil cihazlarda bile çalışabiliyor. Kumru-2B'ye ulaşmak için de
Ziyaretçiler için gizlenmiş link,görmek için
Giriş yap veya üye ol.
tıklayabilirsiniz.
Ziyaretçiler için gizlenmiş link,görmek için
Giriş yap veya üye ol.