HAKEM DEĞERLENDİRMESİ SÜRECİNDE KAYBEDİLEN 15 MİLYON SAAT
Birçok çalışma dergiye sunum aşamasında ret yanıtı almakta ancak yapılan değerlendirmeler dergi hakemleri arasında çoğunlukla paylaşılmamaktadır. Bu tür bir paylaşım yapılmış olsa dahi bu konuda standart bir uygulamanın olmaması, piyasadaki her derginin karar vermeden önce yazardan kendi değerlendirme taleplerini yerine getirmesini istemesi anlamına gelmektedir. Bu durum ise hakemlerin aynı çalışma üzerinde daha önce meslektaşları tarafından yapılmış işlemleri tekrar etmelerine yol açabilmektedir. Her yıl fazladan yapılan değerlendirmeler için 15 milyon saatin üzerinde bir sürenin harcandığı tahmin edilmektedir.
Rakamlar ne diyor?
Gereksiz yere harcanan zamanı bulma konusunda dikkat çeken iki önemli ölçüt, kaç çalışmanın değerlendirilip reddedildiğine ilişkin miktar ölçütü ve her gönderime ne kadar sürede hakem değerlendirmesi yapıldığına ilişkin zaman ölçütüdür. Örneğin 12.000 dergi kapsama alınarak yapılan değerlendirmenin sonucu aşağıdaki gibidir:
İngilizce yayın yapan Fen Bilimleri, Teknoloji ve Tıp dergilerine her yıl 3.360.207 başvuru yapılıyor
Thompson Reuters verilerine göre dergi başına düşen başvuru sayısı ortalama 280’dir. Bu da 12.000 derginin her birine yapılan 280 başvurunun bir yılda 3.360.207 başvuruya karşılık gelmesi demektir.
Söz konusu başvuru sayısı, çalışma sayısını değil, yapılan başvuruyu ifade etmektedir. Bir yıl içerisinde bir dergi tarafından reddedilip başka bir dergi tarafından kabul edilen bir çalışma, iki inceleme aşamasından geçmekte ve iki ayrı başvuru olarak değerlendirilmektedir.
Her yıl 1.344.099 (%40) başvuru kabul ediliyor
Thomson Reuters, sistemine alınan tüm başvuruların %37’sinin kabul edildiğini bildirirken Mark Ware PRC bu oranın ortalama %50 olduğunu belirtmektedir.
Thomson Reuters verileri esas alındığında ve diğer veriler de göz önünde bulundurulduğunda ortalama %40’lık bir değer elde edilebilir. Bu da yılda 1.344.099 çalışmanın kabul edildiği anlamına gelmektedir.
Kabul edilmeyi etkileyen faktörler
- Güçlü kanıtlarla desteklenen sonuçlara ulaşma
- Yeni bir düşünceyi ya da yaklaşımı öne sürme ve yeni sorulara yanıt arama
- Belirli bir alandaki bilim insanları için son derece önemli bulgulara işaret etme ve farklı disiplinlerden araştırmacılara hitap etme
- Kendi içinde çelişmeyen, mantıklı ve net argümanlara sahip olmanın yanı sıra kolayca anlaşılabilecek bir üslupla ve iyi bir hikâye ile kurgulanmış olma
- Önemli bir konuya değinme ve henüz yanıtı bulunmamış sorulara ışık tutma
- Doğru araştırma yöntemleriyle hazırlanmış olma
- Alanda daha önce yapılan çalışmalarla doğru şekilde bağlantı kurma
- Yeni bir teori oluşturma ya da mevcut bir teoriyi geliştirme
- Verilerin sonuçları neden ve nasıl etkilediğine açıklık getirme
Yılda 705.652 (%21) başvuru DEĞERLENDİRME YAPILMADAN, 1.310.496 (%39) başvuru ise DEĞERLENDİRME YAPILARAK reddediliyor
MarkWare PRC raporuna göre erken ret olarak da bilinen “hakem değerlendirmesi olmadan reddedilen başvuru” oranı %21 şeklindedir. Böyle bir durumda yazar açısından zaman ve fırsat kaybı yaşanmakta, birtakım maliyetler oluşmakta ve yazarlar bir başka dergide şansını tekrar denemek zorunda kalmaktadır.
%21 erken ret ve %40 kabul oranları dikkate alındığında geriye kalan %39 başvurunun sonradan da olsa reddedildiği görülmektedir. Bu da yılda 1.310.496 başvuruya karşılık gelmektedir.
Erken Ret Süreci
Erken ret durumlarının %50’sinde editörler yazarları 1 hafta içinde bilgilendirmektedir. Dergilerin %17’si ise yazarları bu tür durumlarda 4 haftadan daha uzun bir süre sonra bilgilendirmektedir. Hatta kimi zaman bu süre 3 ayı da geçebilmekte ve yazarlar çalışmalarını geri çekebilmektedir. Dergilerin üçte birinde erken ret süresi 2 haftayı, altıda birinde ise 4 haftayı aşmaktadır. Erken ret ortalama olarak tıp dergilerinde 10 gün; doğa bilimleri, sağlık bilimleri ve mühendislikte 11-12 gün; psikoloji sosyal bilimler, matematik ve bilgisayar bilimleri gibi alanlarda ise 15-17 gün sürmektedir.
Bazı durumlarda editör erken ret sebebi olarak çalışmanın dergiye uygun olmamasını gösterebilmekte ve bu nedenle rapor hazırlama vb. süreçleri yavaşlatabilmektedir. Erken ret süresinin genellikle uzun olmasında dergilerin profesyonel çalışma anlayışındaki zayıflıklar etkili olabilmektedir. Bu doğrultuda, ilk yanıt süresinin en kısa olduğu dergiler profesyonel yaklaşımın oldukça yüksek olduğu tıp dergileridir. Etki faktörü yüksek olan dergilerde erken ret süresinin yanı sıra ilk değerlendirme süreci ve toplam değerlendirme süresi de daha kısadır. Dolayısıyla genel değerlendirme süreci daha verimlidir. Bunda daha profesyonel bir organizasyon yapısının da etkisi vardır. Erken ret süreci bir ayı geçmişse hakem raporlarının değerlendirilme süreci de uzayabilir.
3500 makalenin değerlendirmesini ele alan bir analize göre 572 (%16,3) makale hakeme gönderilmeden reddedilmiş, 693 (%19,8) makale ilk revizyon sonrasında reddedilmiş, 2128 (%60,8) makale bir veya birden fazla revizyon sonrasında kabul edilmiş, 43 (%1,2) makale hakem değerlendirmesi süreci olmadan hemen kabul edilmiş, 64 (%1,8) makale ise yazar tarafından geri çekilmiştir.
Hakem değerlendirmesi süreci genellikle editörün çalışmayı değerlendirmeye kabul etmesi ya da doğrudan reddetmesi ile başlamaktadır. Bu ilk aşamayı geçen çalışmalar hakeme iletilir ve hakemin değerlendirme raporuna göre çalışmanın kabul ya da reddedilmesine ya da yazara revizyon fırsatı tanınmasına karar verilir.
Yazarların Yaklaşımları
Yapılan bir araştırmaya göre 480 katılımcının %72’si hakem değerlendirme sürecinin uzun ya da kısa olmasının bir makalenin kabul ya da reddedileceğinin göstergesi olmadığını düşünmektedir. Aynı araştırmaya göre katılımcılar ret süresinin kısa tutulmasını en azından başka bir dergiye gönderime hazırlık açısından gerekli bulmaktadır.
Bir araştırmaya göre yayınlanmayan bir makale durumunda yazarlar, hakemleri yetersizlikle ya da editörleri ilgisizlikle suçlama eğilimindeyken çalışmanın yayınlanması durumunda bunu kendi başarısı olarak görme eğiliminde olabilmektedirler. Ana dili İngilizce olan ülkelerdeki yazarlar ise makalelerinin reddedilmesi ya da birden fazla revizyon aşamasına tabi olması durumunu daha olumsuz karşılamaktadır. Bu da daha büyük beklentilere sahip olduklarının göstergesidir.
Reddedilmeyi etkileyen faktörler
- Teknik açıdan yetersiz olma (intihal, aynı anda başka bir dergide değerlendirilme, eksik bölümler içerme, dil yetersizliği, şekillerin eksik ve anlaşılmaz olması, ilgili derginin yayın ilkelerine uymama ve referansların eksik veya çok eski olması)
- Uygun olmayan bir dergiye gönderilmiş olma ve ilgili derginin Amaç ve Kapsamına uymama
- Henüz tamamlanmamış olma ve çoğunlukla gözlemleri içerme
- Anlaşılmaz olma ve dil kalitesi açısından yetersiz olma
- İlgi çekici bir konuya sahip olmama
- Yazarın başka bir çalışmasının uzantısı izlenimi verme ve ilgili alanın gelişimine yönelik bir katkı sağlamama
- Literatürü göz ardı eden sonuçlara, sonuçları desteklemeyen verilere ve geçersiz argümanlara sahip olma
- Yanıltıcı nitelikte yöntem veya analizlerine sahip olma, istatistiksel açıdan geçersiz olma ve alandaki standartlara uymama
- Çok uzun ya da çok kısa olarak hazırlanma
- Etik değerlere aykırı olma
- Sunum yönünden zayıf olma
- Zayıf çerçevede verilen teorik yöntemler içerme
- Bağlam yönünden zayıf olma
- Alana yeni bir katkı sağlamama
- Makale kriterlerine uymama
- İlgili derginin standartlarına ve akademik yazıma uygun olmama
Hakem tarafından her başvuru için ortalama 11,5 saat harcanıyor
Mark Ware STM raporuna göre her değerlendirme için ortalama 5 saat harcanmaktadır. Mark Ware PRC raporuna göre ise her başvuru için ortalama 2,3 hakem görevlendirilmektedir. Bu durumda her başvuru için toplamda ortalama 11,5 saat harcanmaktadır. Bu süre, hakemler tarafından her başvuru için harcanan zamanı ifade etmektedir. Değerlendirme sürecinin yürütülmesi noktasında dergi ya da yayınevi tarafından harcanan zaman (ör. hakem görevlendirme, editör kontrolleri, ilgili yazılım maliyetleri vb.) ya da ilgili çalışmaların işlenmesi noktasında harcanan zaman (ör. editör incelemeleri, teknik kontroller, diğer operasyonel süreçler vb.) söz konusu süreye dâhil değildir.
Değerlendirme için yılda 15.070.706 saat boşa harcanıyor
Başvuru başına 11,5 saat harcandığı ve 1.310.496 adet başvurunun değerlendirilip reddedildiği göz önüne alındığında her yıl ortalama 15 milyon saatin boş yere harcandığı sonucuna ulaşılmaktadır.
Bir yılda ortalama 8.760 saat olduğunu ve tek bir hakemin 24 saat boyunca çalıştığını varsayarsak bu süre 1.720 yıla karşılık gelmektedir.
Yorumlar
Gerçekten çok iyi tespit ve çok iyi bir özet mevcut. Bir de tabi ki hakeme gittikten sonraki değerlendirme süreci ve gecikmeleri mevcut.
Bazı dergilerde nedense hep aynı okulun yayınları çıkıyor. Bunun da değerlendirmelerde tarafsız olmadıkları izlenimi veriyor
Bir makalemde de editor makalemi kabul etmezken bu konuda beraber çalışalım dedi.
istatistik verilerini merakla okudum.
Fakat yazınız çok uzun. Daha sade ve kısa olabilirdi. . vakit kaybımız daha az olurdu.
Ayrıca, bir hakemin 1720 yılı boşa gitmesi yerine, dünya genelinde kaç adet hakemin dergilerde yayın değerlendirmesi yaptığını belirtseniz daha sağlıklı bir kıyaslama olacaktır.
Elinize sağlık
Merhaba hocam,
Görüşünüz ve öneriniz için çok teşekkür ederiz.
Değerlendirmeye alacağız.
Saygılarımızla,
Aynı makaleyi bir hakem mükemmel olarak değerlendirirken diğer hakem pek de makul olmayan gerekçelerle reddedebiliyor. Kuşkusuz hiç kimse mükemmel değildir. Ancak değerlendirme kriterlerinde ortak payda olmalı diye düşünüyorum.
Merhaba hocam,
Görüşünüz için çok teşekkür ederiz.
Saygılarımızla,
Çözüm önerisi nedir? Kişisel kaprisleri de içeren, lüzumsuz editoryal hususlarla zaman kaybına neden olan bir süreç. Fikirlerin formatlanması, kodifiye edilmesi gelişimi engelleyici bir faktör. Şahsi kanaatim, etik değerler kontrol edilmelidir, özgün fikirler dikkate alınmalıdır. Yazarın ana dilinde makale yazılmalı, yanına tercümesi koyulmalıdır. İngilizce bazı durumlarda yetersiz bir dildir. Bunu bir çok bilim insanı söylüyor. Özellikle Nordik ülkeler. İngilizce anlatımlar yazıyı basitleştiriyor. Analiz güzel yapılmış, vakit kaybı olduğu tespit edilmiş. Ne yapmamız lazım hakemlere üzülüp yazı yazmayalım mı? Öneri nedir?
Hocam merhaba,
Öncelikle bizimle iletişime geçtiğiniz için çok teşekkür ederiz. Makalenin objektif olmayan nedenlerle reddedilmesi konusunda ne yazık ki yazarlarımızın çok fazla seçeneği yok. Ticari gerekçeler ör. anlaşmalı olduğu düşünülen editing şirketine yönlendirmeler söz konusu nedenler arasında. Hatta dergiyi çıkaran yayınevinin kendi bünyesinde bir editing şirketinin olması ve yazarın özellikle buraya yönlendirilmesi olasılığı da söz konusu olabilir. Bu noktada yapılabilecekler kısıtlı. Makalenin gönderileceği derginin etki faktörü ne kadar yüksekse kabul kriterleri o kadar zorlayıcı olabilir. İlgili dergide belirli sayıda yayın zorunluluğu da baş editörü/hakemleri başvurular arasından en iyileri seçip diğerlerini elemeye sevk ediyor olabilir. Bu noktada, makale dergiye gönderilmeden önce bir kontrol listesi oluşturup o doğrultuda yol almak en sağlıklı çözümdür. Öncelikle yazarın çalışmanın içeriğinden emin olması gerekir. Çalışmanın içerikten reddedilmesi durumunda dilden de eleştirilmesi ya da yazara dil kontrolünün önerilmesi genellikle kaçınılmazdır. Bu yazımızda “Kabul edilmeyi etkileyen faktörler” başlığını kontrol listenize alabilirsiniz. Buna ek olarak DERGİLERİN MAKALELERE YÖNELİK KLASİK RET GEREKÇELERİ başlıklı blog yazımızı da okuyabilirsiniz. İçerikle ilgili eksiklikleri giderdikten sonra profesyonel bir kurumdan sertifikalı dil desteği alınması bir diğer gerekli adım. Yazarın dil desteği aldıktan sonra çalışma üzerinde bağımsız değişiklikler yapmaktan kaçınması da son derece önemli çünkü native speaker editör kontrolünden geçmiş bir çalışmada sonradan yapılan güncellemeler çalışmanın dilini riske atabilir. Dolayısıyla son kontrolün native speaker editör tarafından yapılması gerekmektedir. Söz konusu kayıp zamanı minimize etmek için bu tür önlemler alınabilir.
Saygılarımızla,
Eğer sadece dergilerde yayınlanma performansını, veya bir başka deyişle ticari kısmını düşündüğümüzde doğrudur. Ancak reddelise de red gerekçesi yazılmakta ve araştırıcıya yol gösterilmektedir. bu da çalışmaların hazırlanmasında, analizinde ve sunulmasında aynı hataların tekrarlanmasını engeleyebilmekte ve bilim camiasında kalite iyileşmesine katkı sunmaktadır. Bu yönüyle bakıldığında kayıp değil eğitimin devamı niteliğinde bakmak yerinde olacaktır. Bilgi paylaşıldıkça artan değerli bir hazinedir. ve paylaşmanın hazzı tüm lezzetlerden daha güzeldir. Bilimle ve sağlıcakla kalın,
Merhaba hocam,
Geri bildiriminiz için çok teşekkür ederiz. Görüşleriniz bizler için çok değerli.
Saygılarımızla,
esas amaç, yüksek öğretimdeki yayınların tekelini eline almak ve haraca bağlamak; dikey sınıflandırma yapın. en başta wos denen bir endeks, dergileri bedava sınıflandırmıyor herhalde.. (özellikle, doğrudan üniversite ile ya da dolaylı olarak üniversitenin payı olan dergilerle yıllık anlaşmaları var; anlaşma bittiği an, derginin kalitesinin bir anlamı yok; endeksten düşer…) bu nedir mi? günümüz sömürgeciliği… hindistanda hint kumaşlarını üretmesin diye kumaş üreticilerinin parmaklarını kestiren sistemle aynı… bilimsel özgürlük, çalışma hikaye.. asıl olan amerikanın ve çok uluslu şirketlerin yüksek öğretimden bile para kazanarak, haraca bağlaması… “bir yerde sorun varsa, parayı takip edin”; bilimi, bilimsel araştırma tekniklerini bir tarafa bırakıp, SSCI endeksi yapan, alan endekslerini yapan endekslerin finansal boyutunu araştırın.. asıl gerçek orada saklı…
Düşüncelerinizi bizimle paylaştığınız için çok teşekkür ederiz.
Saygılarımızla,
Literatürde iki elin parmaklarını geçmeyecek kadar çalışması olan ve tıbben önemli bir konuyla ilgili çok merkezli pediatrik çalışmayı, şimdilik 3 dergi, hakem değerlendirmesine tabi tutmadan, literatüre katkısı olacağını düşünmüyoruz diyerek reddetti. Bilimsel etikten mi bahsetti birisi!
Düşüncelerinizi bizimle paylaştığınız için çok teşekkür ederiz hocam.
Saygılarımızla,
Sanırım paraya dönüştürülebilecek bir başka kanal arayışı. Burada da nabız yoklanıyor. Ne yapsın yazarlar? yazarlar önce bir firmaya gönderip bir inceleyin eğer siz hakemden geçer diyorsanız dergiye gönderelim mi desin. O zaman hakemler ve editörler ne iş yapacaklar. Bir kazanç kapısı daha mı lazım. Zaten dergiler yabancı dildeki makaleleri kendi istedikleri yerlere yönlendiriyorlar ve buradan onay almadan incelemeye bile almıyorlar. Halbuki dergilerin diğer ülkelerden o alandan hakemlerinin olması gerekmiyor mu. Bazı üniversitelerde yabancı dilde yayınlar fazla puan alıyor. Yazar, kendisi dil bilmese bile bir tercüme bürosuna yaptırıp makaleyi yayınlıyor. Aslında içindeki ifadeyi tam olarak bilmiyor. Ancak bilimde bazen bir kelimenin bile yanlış kullanılması çok önemli olabilir. Dergiler artık bilim için yayın yapmıyor. Giderleri azaltıp, daha fazla nasıl kazanırım peşinde. Bunu yaparken de zaman kaybı gibi kulağa pozitif gelen argümanlar öne sürüyorlar. Yukarıda yazılan kriterler her bilim dalı için geçerli değil. Örneğin: Çok eski yayınlara atıf yapılması. Aslında tam tersine bence bütün alanlar için gerekli. Etik gereği o düşünceyi ilk ileri süreni ya da katkı sağlayanı yazmak gerekmez mi. Ayrıca o konuda başka veri yoksa ne yapılacak. Örneğin Arkeolojide 1870 yılında tutulmuş bir raporu dikkate almak zorundasınız. Arkeolojik çalışmalar laboratuvar çalışmaları gibi değildir. Bir kazı bir kere yapılabilir ve değerlendirme olmasa dahi raporları da her daim geçerlidir. Ne yapılacak şimdi bu yayın eski diye göz ardı mı edilecek. Yukarıda sayılan kriterlere söylenebilecek çok şey var. Makalelerin çok fazla uzun tutulmak istenmemesinin sebepleri de bana göre bilimsel değil. Burada da sebep ticari. Benim çözüm önerim dergi sayısını arttırmak ve indekslere fazla takılmak yerine; yayınlanan makalelere eleştiri yazılarına dergilerde yer vermek. Yazdığı yazı nedeniyle bilimsel kanıtlarla kötü eleştiri alan kişi zaten kendini düzeltme gereği duyacaktır. Hakemliğin de, hakemlerin nasıl seçildiği de, hakemliğin nasıl yapıldığı da zaten ayrı ayrı birer sorun. Bir kişinin hakemlik yapabilmesi için o konuyu gerçekten çok iyi bilmesi gerekir. Öylemi acaba. Dergilerin bilimsel kriterlere göre değil de sürekli YÖK kriterlerine göre format değiştirmesi de ayrıca ele alınmalı. Öğretim üyeliğine atanma, ünvan alma, akademik teşvik kriterlerini Türkiye’deki dergiler ve yayın evleri öğretim üyelerinden daha fazla takip ediyorlar. Zaman kaybından önce tartışacak çok farklı konular olduğunu düşünüyorum.
Görüşleriniz için çok teşekkür ederiz hocam.
Saygılarımızla,