GPT-4 mü Daha İyi, ERNIE mi?

Son dönemde şirketin CEO'su Sam Altman'ın istifasına ve geri dönüşüne dair haberlerle gündem olan OpenAI'ın sohbet botu ChatGPT'nin dördüncü versiyonu GPT-4, martta kullanıma açılarak büyük bir heyecan dalgası yaratmıştı. 

Çin'in Google'ı diye nitelenen Baidu, San Francisco merkezli şirkete 17 Ekim'de ERNIE Bot 4.0'la yanıt verdi. Baidu CEO'su Robin Li, yeni ürünleri hakkında "Herhangi bir konuda GPT-4'ten aşağı kalmıyor" diyor. 

ABD'nin önde gelen yayın kuruluşlarından CNN, aynı komutları kendi birincil dillerinde vererek GPT-4 ve ERNIE Bot 4.0'u kıyasladı. 

GPT-4 haberlerde günceli yakalayamadı 

Güncel haberlerle ilgili sorularda ERNIE, GPT-4'ü geçti. Çin botu, Taylor Swift'in artık dolar milyarderi olduğunu, Çin'in savunma bakanını değiştirdiğini ve Friends'in yıldızlarından Matthew Perry'nin öldüğünü bildi. 

GPT'yse bu soruların hiçbirine doğru yanıt veremedi. Her cevapta Nisan 2023'ten kalma bilgilere dayandığını belirten sohbet botunun temel aldığı veri tabanı, bu tarihten sonrasını kapsamıyor. 

Zam isteme ve sağlıklı öğün önerileri

CNN, iki sohbet botuna basit görevler verdi. 

Bunlardan ilki çok çalışan bir grafik tasarımcının patronundan nasıl zam isteyebileceği oldu. Her ikisi de çalışanın katkılarını ortaya koyarak birebir görüşme talep etmenin ikna edici olabileceğini belirtti. 

ERNIE şirketteki havanın koklanması ve bütçeyle ilgili endişelerin de hesaba katılması gibi ekstra önerilerde bulundu. GPT'yse grafik tasarımcıya son dönemdeki başarılarını gösteren bir belge eklemesini tavsiye etti.

Bir başka benzer sonuç veren komutsa sağlıklı bir yemek planı hazırlanması konusunda oldu. Yüksek protein ve az karbonhidrat barındıran bir öğün tavsiyesi istendiğinde her iki bot da ızgara tavuk, ton balığı ya da hindili yeşillik salatası önerdi. 

ERNIE şiir konusunda yetersiz kaldı 

CNN, uzakta olup hasret duyulan biri için haiku yazılmasını istediğinde GPT başarılı bir iş çıkarttı. Şiir yazma konusunda iddialı olan ERNIE de içinde "ay" geçen benzer bir metin çıkarsa da form konusunda çuvalladı. Üç mısra yerine 9 dize kullanıldığı görüldü.

Sansüre bakış

Konu Çin siyaseti olduğunda ERNIE kendinden beklendiği gibi sessizlik hakkını kullandı. 1989'daki Tiananmen Meydanı protestoları sorulduğunda yanıtı "Konuyu değiştirin ve yeni bir sohbete başlayın" oldu. Benzer sorular sürdürülünce CNN'in hesabı engellendi. GPT-4'se hem orada öldürülen sivilleri anlattı hem de Pekin'in sansürünü… 

ABD'nin ırkçılığı aşıp aşmadığı gibi tartışmalı meseleler sorulduğunda GPT-4'ün her iki tarafın da argümanlarını sunmaya çalıştığı görüldü. ERNIE bu sefer açık konuşabildi: 

Irksal eşitlik, ABD için uzak bir hayal olmayı sürdürüyor.

İşin uzmanı ne diyor?

Dünyanın önde gelen araştırma ve danışmanlık şirketlerinden Forrester'ın Pekin'de çalışan başkan yardımcısı Charlie Dai, ERNIE'nin son versiyonunda önemli gelişmeler gördüğünü belirtirken "Hâlâ GPT-4'den geride ama aradaki farkı kapatıyor" demeyi de ihmal etmedi. 

GPT-4, yalnızca kod veya yazı formunda yanıt verebilirken ERNIE fotoğraf ve videolarla da cevap sunabiliyor. 

Baidu, ERNIE'nin 70 milyon kullanıcıya ulaştığını duyururken ChatGPT'nin 150 milyonu gördüğü tahmin ediliyor.