ChatGPT ve Getirdiği Etik Sorunlar
Dünyanın en büyük akademik dergi yayıncılarından bazıları, yazarlarının gelişmiş chatbot ChatGPT’yi kullanmalarını yasakladı ya da engelledi. Bot, sorulara son derece okunabilir yanıtlar üretmek için internetten gelen bilgileri kullandığından, yayıncılar yanlış veya intihal edilmiş çalışmaların akademik literatür sayfalarına girebileceğinden endişe ediyor.
Bazı araştırmacılar chatbot’u akademik çalışmalarda ortak yazar olarak listeledi ve bazı yayıncılar bu uygulamayı yasaklamak için harekete geçti. Ancak dünyanın en iyi bilimsel dergilerinden biri olan Science’ın baş editörü bir adım daha ileri gitti ve gönderilen makalelerde programdan herhangi bir metnin kullanılmasını yasakladı.
Bu tür sohbet robotlarının kullanımının akademik yayıncıların ilgisini çekmesi şaşırtıcı değil. Finance Research Letters’da yayınlanan son çalışmamız, ChatGPT’nin akademik bir dergiye kabul edilecek bir finans makalesi yazmak için kullanılabileceğini gösterdi. Bot bazı alanlarda diğerlerine göre daha iyi performans gösterse de, kendi uzmanlığımızı katmamız, programın dergi hakemlerinin gözündeki sınırlamalarının üstesinden gelmesine yardımcı oldu.
Bununla birlikte, yayıncıların ve araştırmacıların ChatGPT’yi bir tehdit olarak değil, araştırma için potansiyel olarak önemli bir yardımcı – düşük maliyetli hatta ücretsiz bir elektronik asistan – olarak görmeleri gerektiğini savunuyoruz.
Düşüncemiz şuydu: ChatGPT’den sadece onu kullanarak iyi sonuçlar almak kolaysa, belki de bu iyi sonuçları harika sonuçlara dönüştürmek için yapabileceğimiz ekstra bir şeyler vardır.
İlk olarak ChatGPT’den bir araştırma çalışmasının standart dört bölümünü oluşturmasını istedik: araştırma fikri, literatür taraması (aynı konudaki önceki akademik araştırmaların bir değerlendirmesi), veri seti ve test ve inceleme için öneriler. Sadece geniş bir konu belirledik ve çıktının “iyi bir finans dergisinde” yayınlanabilecek nitelikte olması gerektiğini belirttik.
Bu, ChatGPT’yi nasıl kullanmayı seçtiğimizin birinci versiyonuydu. İkinci versiyon için, ChatGPT penceresine ilgili, mevcut araştırma çalışmalarının 200’den biraz daha az özetini (summary) yapıştırdık.
Daha sonra programın dört araştırma aşamasını oluştururken bunları dikkate almasını istedik. Son olarak, üçüncü versiyon için, akademik araştırmacılardan gelen “alan uzmanlığı” girdisini ekledik. Bilgisayar programı tarafından üretilen cevapları okuduk ve iyileştirmeler için önerilerde bulunduk. Bunu yaparken kendi uzmanlığımızı ChatGPT’ninkiyle bütünleştirdik.
Daha sonra 32 hakemden oluşan bir panelden her birinin ChatGPT’nin akademik bir çalışma oluşturmak için nasıl kullanılabileceğine dair bir versiyonu incelemesini istedik. Hakemlerden, çıktının yeterince kapsamlı ve doğru olup olmadığını ve “iyi” bir akademik finans dergisinde yayınlanacak kadar yeni bir katkı sağlayıp sağlamadığını değerlendirmeleri istendi.
Buradan çıkarılacak en önemli ders, tüm bu çalışmaların uzman hakemler tarafından genel olarak kabul edilebilir bulunmasıydı. Bu oldukça şaşırtıcıdır: bir sohbet robotunun kaliteli akademik araştırma fikirleri üretebileceği düşünülmüştür. Bu durum, yaratıcılığın anlamı ve yaratıcı fikirlerin sahipliğiyle ilgili temel soruları gündeme getiriyor – henüz kimsenin sağlam yanıtlara sahip olmadığı sorular.
Güçlü ve Zayıf Yönler
Sonuçlar ayrıca ChatGPT’nin bazı potansiyel güçlü ve zayıf yönlerini de vurgulamaktadır. Farklı araştırma bölümlerinin farklı şekilde değerlendirildiğini gördük. Araştırma fikri ve veri seti yüksek puan alma eğilimindeydi. Literatür incelemeleri ve test önerileri için daha düşük, ancak yine de kabul edilebilir bir derecelendirme vardı.
Buradaki şüphemiz, ChatGPT’nin bir dizi harici metni alıp bunları birbirine bağlamakta (bir araştırma fikrinin özü) veya bir belgeden kolayca tanımlanabilen bölümleri alıp bunları ayarlamakta (bir örnek veri özetidir – çoğu araştırma çalışmasında kolayca tanımlanabilen bir “metin yığını”) özellikle güçlü olduğudur.
Görev daha karmaşık olduğunda, yani kavramsal süreçte çok fazla aşama olduğunda platformun göreceli bir zayıflığı ortaya çıkmıştır. Literatür incelemeleri ve testler bu kategoriye girme eğilimindedir. ChatGPT bu adımların bazılarında iyi olma eğilimindeydi ancak hepsinde değil. Bu durum hakemler tarafından da fark edilmiş görünüyor.
Bununla birlikte, kabul edilebilir sonuçlar elde etmek için ChatGPT ile birlikte çalıştığımız en gelişmiş versiyonumuzda (üçüncü versiyon) bu sınırlamaların üstesinden gelmeyi başardık. Gelişmiş araştırma çalışmasının tüm bölümleri daha sonra hakemler tarafından yüksek puan aldı, bu da akademik araştırmacıların rolünün henüz ölmediğini gösteriyor.
Etik Çıkarımlar
ChatGPT bir araçtır. Çalışmamızda, biraz dikkatle, kabul edilebilir bir finans araştırma çalışması oluşturmak için kullanılabileceğini gösterdik. Dikkat edilmese bile, makul bir çalışma üretir.
Bunun bazı açık etik sonuçları vardır. Araştırma dürüstlüğü akademide zaten önemli bir sorun ve RetractionWatch gibi web siteleri sürekli olarak sahte, intihal edilmiş ve sadece yanlış araştırma çalışmalarını aktarıyor. ChatGPT bu sorunu daha da kötüleştirebilir mi?
Olabilir, kısa cevap bu. Ancak cini şişeye geri koymak mümkün değil. Teknoloji de daha iyi (ve hızlı) hale gelecektir. ChatGPT’nin araştırmadaki rolünü tam olarak nasıl kabul edebileceğimiz ve denetleyebileceğimiz başka bir gün için daha büyük bir sorudur. Ancak bulgularımız bu açıdan da faydalı – araştırmacı uzmanlığına sahip ChatGPT çalışma versiyonunun daha üstün olduğunu bularak, insan araştırmacıların girdisinin kabul edilebilir araştırmalarda hala hayati önem taşıdığını gösteriyoruz.
Şimdilik, araştırmacıların ChatGPT’yi bir tehdit değil, bir yardımcı olarak görmeleri gerektiğini düşünüyoruz. Özellikle geleneksel (insan) araştırma yardımı için mali kaynaklardan yoksun olma eğiliminde olan araştırmacı grupları için bir yardımcı olabilir: gelişmekte olan ekonomi araştırmacıları, lisansüstü öğrenciler ve kariyerinin başındaki araştırmacılar. ChatGPT’nin (ve benzer programların) araştırma sürecini demokratikleştirmeye yardımcı olması mümkündür.
Ancak araştırmacıların, dergi makalelerinin hazırlanmasında kullanılmasının yasak olduğunun farkında olmaları gerekir. Bu teknolojiye ilişkin son derece farklı görüşler olduğu açıktır, bu nedenle dikkatli kullanılması gerekecektir.
Kaynak: https://phys.org/news/2023-01-chatgpt-ai-academic-papers-good.html
