Hôm nay tôi tình cờ đọc một bài báo của Arnold và Fowler [Only registered and activated users can see links. ]
trong đó họ chỉ ra impact factor của tạp chí Toán ứng dụng (có thể cho nhiều ngành khác) đôi khi phản ánh một cách nghèo nàn chất lượng thực sự của tạp chí. Chất lượng thực sự có thể đánh giá chính xác hơn nhiều dựa theo các chuyên gia trong ngành.
Một số điểm trong bài báo:
1. Tạp chí International Journal of Nonlinear Science and Numerical Simulations (IJNSNS) liên tục xếp #1 trong số các tạp chí Toán ứng dụng 2006-2009. IJNSNS với 2-year impact factor 8.91 (2008) thậm chí bỏ xa tạp chí #2 là Comm Pure Applied Math với impact 3.69. Thực tế thì CPAM là một tạp chí rất uy tín, còn chất lượng (theo các chuyên gia trong ngành) của IJNSNS chừng 75-150 trong số các tạp chí Toán ứng dụng.
2. Hai tác giả đã "điều tra" và thấy rằng một lượng rất lớn citation của IJNSNS chỉ đến từ một vài cá nhân trong Editor board. Chẳng hạn tổng biên tập Ji-Huan He cite tạp chí của mình 243 lần trong 2 năm, và chỉ cần 3 người trong editor board đã đóng góp 29% lượng trích dẫn. [Bình luận thêm: chỉ cần 29% của 8.91, tức là 2.58, thì đã tương đương với chỉ số của một tạp chí Toán hàng đầu] Để so sánh, người cite CPAM nhiều nhất là 9 lần trong 2 năm, và hoàn toàn không nằm trong Editor Board.
3. Vì sao Ji-Huan He có thể thực hiện số lần cite nhiều như vậy? Ông ta nằm trong ban biên tập của hơn 20 tạp chí, và là tổng biên tập của 4 tạp chí, do đó không nhất thiết IJNSNS phải cite chính nó (cách này dễ bị phát hiện khi xem chỉ số self-cite) mà nó có thể kiếm nguồn citation từ đám tạp chí anh em. Ví dụ Journal of Physics đã đăng số đặc biệt gồm một chuỗi các hội nghị He tổ chức ở quê nhà (và edit kỷ yếu hội nghị, tất nhiên) trong đó cite IJNSNS 243 lần. Trong vụ này bản thân He cũng kiếm được 353 citations [Bình luận thêm: 353>243 vì có thể cite các bài của He đăng ở nơi khác với IJNSNS.]
4. Các tác giả "điều tra" thêm về bản thân tổng biên tập Ji-Huan He: ông ta tuyên bố có citation 6800 và h-index 39, còn theo Web of Science thì ông này được cite 3193 lần trong 137 bài báo. [Bình luận thêm: đây là các chỉ số rất khủng khiếp, thông thường chỉ có thể có ở các nhà toán học rất mạnh và vào lúc cuối đời; ngay Terence Tao hiện tại thì số citation cũng còn thua xa Ji-Huan He.] Kết quả là ISI đánh giá Ji-Huan He là một "star researcher", và ScienceWatch.com ca tụng các paper của He là “New Hot Paper in Physics,” “Hot Paper in Mathematics,” “Fast Breaking Paper in Engineering”, và “Hottest Research of 2007-2008-2009".
Bình luận thêm: tôi nghĩ rằng một cách hiệu quả để "phế" impact factor là công bố bảng xếp hạng dựa theo các chuyên gia. Cái chính xác hơn sẽ tồn tại. Thực ra trong nội bộ một số trường cũng có bảng xếp hạng riêng của họ để đánh giá đóng góp của các staff, và các bảng xếp hạng này có nhiều khác biệt với ISI. Ví dụ trong BXH ở trường tôi, thì rất nhiều tạp chí trong SCI kiểu như JMAA, JCAM, Nonlinear Analysis (tôi nhớ 3 tạp chí này vì có nhiều tác giả VN đăng) được xếp ở second class, trong khi tạp chí Documenta Mathematica thuộc SCIE\SCI được xếp ở first class (tôi đã đọc bài ở các tạp chí này và nghĩ rằng điều này hợp lý).
Nhiều cách để thao túng IF mà 2 cách tôi nhận thấy rõ là:
+ khuyến khích đăng báo tự trích dẫn lẫn nhau
+ Open access (thu nhiều tiền hơn từ người đăng)
Bắt đầu thấy mặt trái của nghiên cứu. Nhưng mà nhìn chung thì cũng là do 2 yếu tố:
+ kinh phí nghiên cứu thường hạn hẹp, nên mức độ cạnh tranh grant cao
+ publish or perish, cố đấm ăn xôi đăng cho bằng được, dù kết quả chả có gì. Cũng một phần để có profile mạnh khi làm đơn xin grant.
Có vẻ Impact factor cũng như Ranking trường đại học, có nhiều trick để boost nó lên nhỉ.
Hoadai nghĩ có thể tập trung các chuyên gia lại làm cái list như bạn đề xuất không?
__________________ Happy are those who dream dreams and are ready to pay the price to make them come true To view links or images in signatures your post count must be 10 or greater. You currently have 0 posts.
[Only registered and activated users can see links. ], chuyên gia (có thể coi là 1 trong những người tiên phong) Asymptotic Geometric Analysis, đã từng viết về impact factor của những tạp chí (pure) math. [Only registered and activated users can see links. ]
[Only registered and activated users can see links. ]
thay đổi nội dung bởi: haichit, 10-19-2010 lúc 10:46 PM
Lý do: thêm pdf
Bài viết của Milman mà seaboy trích tôi cũng đã đọc cách đây khá lâu. Thực ra thì trong Toán, Mathscinet đã dùng 5-year impact factor và sau đó thì ISI cũng làm theo (họ để song song với 2-year impact factor).
Tuy nhiên, điểm mà trong bài viết của Arnold và Fowler thể hiện, đó là bản thân impact factor (bất kể 2-year, 5-year hay lâu hơn) có thể không phản ánh chất lượng của tạp chí (và tương tự, chất lượng bài báo/tác giả). Nếu bỏ qua chuyện ăn gian, thì một bài báo được trích dẫn nhiều ngoài việc nó có giá trị còn phụ thuộc vào số lượng người làm liên quan.
Về câu hỏi của GrassFairy, tôi nghĩ không có nhiều chuyên gia hào hứng, đơn giản vì "who care"? Theo tôi thì các bảng ranking chỉ là dùng để tham khảo cho những người rất "ngoại đạo" (thiếu thông tin nhưng thích phán), còn để biết các tạp chí nào tốt trong ngành của từng người thì có nhiều cách hiệu quả hơn, chẳng hạn (những cách này không có gì mới):
- Hỏi các chuyên gia trong ngành.
- Xem những chuyên gia thường đăng ở đâu. Xem những kết quả quan trọng được đăng ở đâu.
- Xem những bài báo hay/dở (mà bạn đã thực sự đọc chi tiết) đăng ở đâu...
Impact factors may be manipulated 
