Slabé a silné stránky recenzního řízení a komunikace poznatků

English title: 
Weaknesses and Strenghts in Peer Reviewing and Knowledge Communication

This paper has been written with intention of trying to address weaknesses and strengths in peer reviewing of technically oriented articles. It presents and discusses some real examples relevant to the potential problems associated with peer review and their relevance to knowledge communication. It shows that due to an increasing number of researchers and academics there is an increasing trend in competing for limited journal spaces. Nowadays, too many papers are being submitted, thus in seeking an improved quality level, the standards and criteria in reputable journals are rising. This results in a number of papers being rejected. It appears that the most affected are the beginning scholars with limited skills and experience in publishing. This paper indicates that, despite a wide variety of existing problems with peer review, the majority of good papers will be published anyway, and the references by unknown peers from international journals, in many cases, are a reasonably good measure of the quality of academic work and writing. In addition, the author concludes that in order to maintain transparency, equity and fairness in peer reviewing the traditional descriptive assessment need to be replaced or supported by a quantitative ranking.

K dispozici je i pracovní překlad tohoto článku do češtiny.

About the author: Dr. Jaromir Audy is the Senior Lecturer in Material Science at Edith Cowan University. He graduated from the Technical University in Kosice city in Slovakia, the University of Melbourne and the University of South Australia with BEng – 1 class honours, MEng in Science by Research and PhD in Metallurgy, respectively. His further education, in progress, involves courses towards Doctor of Education and Tertiary degree in education at the University of Western Australia and Edith Cowan University, respectively. Jaromir has published widely, having research interest in materials, manufacturing processes, and engineering science. He has a considerable experience in technology education and material subjects. He is a reviewer for International Journals of Materials Processing Technology. Over a number of years he has received numerous grants and financial support from government, private and industrial sources. In addition, he has been involved in reconstruction, restoration and material analyses of historical artefacts for museums and governments, in Australia and former Czechoslovakia. Jaromir with his wife Katarina and two daughters immigrated to Australia in 1992 (according to rules by Australian/CSSR immigration scheme). Jaromir’s roots are in both Czech (by father) and Slovak (by mother) republic. He thinks that Czechoslovakian people have enough good results for publishing in international journals and this paper was written with intention to provide a compressed view on publishing, publishers and reviewers, in order to encourage researchers/ academics to share their ideas through publishing.

1. Introduction

It has long been recognised that the success of academics and/or researchers at universities and/or in the scientific world has largely been based on the number and quality of research out-puts published in refereed international journals, conference proceedings, book chapters and books. “Publish or perish” by Greenwood [1] supports clearly this statement. One recent study [2] by Sowden (2007) indicated that growing specialisations, publishing fever (and possibly public demand) resulted in significant growth in published academic and professional (scientific, technical and medical) titles, as documented in Figure 1 (a). Additionally, there is a continuous increase in publishing cost, see Figure 1 (b). The growths in Figure 1 (a) and (b) appear to show a definite - linear and increasing - pattern.

Figure 1 Reported trends in academic and professional titles (a) and corresponding cost (b) increase over time, (adapted from, and created using data in, reference [2])

(a) (b)

Figure 1 Reported trends in academic and professional titles (a) and corresponding cost (b) increase over time, (adapted from, and created using data in, reference [2]).

Similar observations were published in 2006 by Roberts [3] who cited Odlyzko’s (1994) earlier study [4]. Roberts [3] and Odlyzko [4] suggested that “in some fields the growth in published papers may have a roughly exponential trend”. This statement appears to be correct especially when one looks at the trend plotted in Figure 1(a) starting from 1997. Because of increasing number of published titles and publishing cost there is a constant pressure on publishers to be innovative and progressive. A widespread use of networked computers some two decades ago allowed making a step from an ‘expensive’ print based to a ‘cheaper’ electronic form of publishing. Sowden (2007) in his study [2] looked at library expenditures related to periodicals, books and electronic publication in higher education in Britain. These expenditures showed an interesting trend that is pictured in Figure 2.

Figure 2	Trends in library expenditures over time (adapted from, and created using data in, reference [2])

(a) Universities and Colleges (b) Universities only (c) All Higher Education

Figure 2 Trends in library expenditures over time (adapted from, and created using data in, reference [2]).

It is evident from Figure 2 (a) that periodicals and electronic publishing are experiencing an increasing trend compared to the one associated with books. In contrast, Figure 2 (b) and (c) indicates that libraries have a tendency to reduce their subscription in order to lower their cost. This is evident from a strongly decreasing trend for book purchasing and an almost constant trend for periodical purchasing. Additionally, at the same time, the electronic subscriptions appear to experience a positive and increasing trend. Considering a very high number of publishers compete between themselves in order to be successful, they are under constant pressure to improve the quality of their products. Thus, they are searching, in limited time, for ‘high quality’ papers through a significant number of submissions. As a result the editors keep high rejection rates.

In the present study an investigation was made into weaknesses and strengths in peer reviewing and knowledge communication. Some real examples relevant to the above topic were included in the study with intention to discuss some ideas on, and the relationship between, publishing, and reviewing, and problems encountered by authors and referees.

2. Publishing and Reviewing

2.1 Why Publish? Some Thoughts on Benefits and Difficulties of Publishing in Respected International Journals

It has long been recognised that publishing is an important way of sharing findings and thoughts with the wider community. In addition, the publishing activity, including both the number and quality of published results, provides a certain measure of merit and importance of a particular academic/researcher. Publishing itself could probably be considered as a tool for fulfilling personal needs and internal satisfaction, helping one in a personal career/promotion and gaining a reputation in academic and research community.

There appears to be a general trend at worldwide universities to encourage their scientists to publish their research preferably in refereed/respected international journals. In Australia, the universities use ‘Research Activity Index’ (RAI) measure. This approach requires the first author on the publication author list to complete annually a submission form and to supply the relevant verification materials. Once the verification and auditing process is completed each university member is advised about the RAI points distributed to his/her account. In 2006, the strongest rating - 1000 RAI - was for a book. A refereed paper attracted 400 RAI, 200 RAI and 100 RAI if published in a high impact journal, a journal, and a conference proceeding, respectively. These RAI points are converted to a dollar value depending on the total pool allocated by each individual university, and hence vary. Each individual can use his/her RAI accumulated for research oriented issues i.e. to pay for a conference or to buy a computer etc. This shows that publishing may also be considered as an activity of some economic significance that would involve targeting the high impact journals in order to get better appreciation and higher RAI.

The majority of high impact journals and high quality journals are written in English. This creates some difficulties for researchers from non English speaking backgrounds, for example for those from Eastern Europe. Some 20 years ago, I was at the beginning of my academic carrier, working as a senior lecturer at one of the largest and most respected universities in Czechoslovakia; i.e. The Technical University in Kosice City, Slovakia. At that time our faculty (KSMaT – Katedra Strojarstva a Materialovej Technologie) had three departments and employed up to about one hundred academics involved in teaching and research. While publishing was quite extensive, the majority of papers were submitted to countries of the eastern block into refereed conferences and journals. At that time some European publishers sent quite a generous check (sometimes equal to one month’s salary) for each accepted paper. With respect to international publishing, there were very few papers (one or two annually for the whole faculty) that were submitted to and accepted by western publishers. This quite alarming ‘trend’ in publishing in international journals seems to be continuing and may be caused by both a language barrier and lack of experience and skill in writing for the international community. Most recently, Ferguson (2006) [5] mentioned similar problems for Chinese academics and researchers. One of his comments was that the majority experiments have usually been conducted without sufficient, or very limited, knowledge of published knowledge. The author of this paper based on his editorial experience would extend this comment to European countries of former eastern block.

Over the past decade the number of worldwide academics and researchers dramatically increased. So much that the total volume of current printed material may not satisfy the demand for a space in refereed journals. The submitted papers are expected to pass a rigorous reviewing process and to have a certain quality level in order to be considered for publication. The expected quality level is constantly rising, and the slope of this increase over time is dictated by progress in technology and science, innovations, intellectual capacity of academics, as well as competition between publishers in order to attract more customers/buyers for their journals.

The following section is written in order to address some positives and negatives of reviewing process and their importance on research progress, knowledge communication and a possible relationship between an author and a publisher.

2.2 Strengths and Weaknesses of the Reviewing Process and its Impact on Research Progress and Results Dissemination

Strengths and weaknesses of the reviewing process depend on both the criteria chosen and used for judging a paper for possible publishing, and the type of referees involved in editing.

With respect to criteria it appears that although they vary for different publishers and referees, novelty seems to be an important issue when accepting or rejecting a paper. Significant developments in technology and electronic fields in the late 20th century enhanced research, provided a wide variety of new approaches for solving old problems and encouraged publishing. This era saw a number of works that were the same or very similar to that already published. For example, in a period from 1998 to 2001, at the University of Melbourne, I researched the development and testing of new coating materials for cutting tools. I conducted an extensive literature survey searching through five different ‘coating and surface related’ journal topics, and read the majority of journal articles published between 1995 and 2000. An alarming issue was a strong similarity in methodology and procedures described in numerous written papers without proper referencing and acknowledgements. In addition, by chance I realised that a group of three Chinese authors published the same article two times in the same and once in a different high impact journal. As a matter of curiosity I looked for other similar cases and was surprised to find about a dozen researchers doing the same. A few of them even managed to have their paper published five times, without any major modifications, in different journals.

In order to fight this problem, nowadays publishers have a strong policy that a paper must be an innovative one and not submitted elsewhere. Competition for publishing space and novelty being a criterion influenced academics in the following way. Many young, ‘less experienced’ scholars ended up publishing in domestic un-refereed journals. It appears that older, ‘more experienced’ academics with their connections and skills have their well established way of publishing. However, a desire to stay at the forefront of the progress in science combined with continuous pressure to provide constantly new unique results, forced even some worldwide academic capacities to misconducts and falsifying their results. Some examples are as follows. A few years ago a top medical expert was found guilty because of transplanting - to healthy patients - the artificial hearts developed by his team in order to boost his research and strengthen the share values. Another internationally recognised capacity in archaeology known as ‘a fortunate one’, because of his ability to locate the most significant archaeological sites, was found guilty of inserting and rediscovering archaeological items. Finally, most recently a leader of a group involved in an artificial human cell development had to resign when it was proven that his results and published papers were based on false evidences. From the above it appears that there is a need for a strong peer reviewing process in order to select high quality papers for publishing.

With respect to referees one would probably agree that types of referees may vary from 1-tough, 2-fair, 3-open minded, 4-inconsiderate, to a combination of (1 and 2), (1, 2 and 3), and (1 and 4 or 4). A report (positive or negative) from the type (1 and 2) and (1, 2 and 3) of referees will definitely be a beneficial one with useful comments for improvement. A report from the type (4) referees would definitely be annoying and frustrating because of the lack of any constructive criticism. What follows are some examples from my own publishing experience.

Type (1, 2 and 3) Referee: In 1991, I was 30 years old and had about two dozen technical papers published by ‘eastern’ block publishers, when I decided to offer my first paper [6] to an international journal. I wrote it on a typewriter in broken English and addressed it to German Professor Exner who at that time was a chief editor of Practishe Metallography. He was so impressed by the quality of microphotographs and research work that he edited the text and translated it into German. We exchanged two letters and my paper was published. This exceptional human approach from a referee of such calibre influenced positively my further publishing and refereeing attitude.

Type (4) Referee: In 2005, after living in Australia for 15 years and having about sixty - authored and co-authored - articles published in English speaking countries I submitted a paper to a technically/historically oriented journal in England. This journal was refereed but not listed as a high impact one. Because my paper consisted of, and referred to, a rare set of unpublished photographs documenting a bell making process at the beginning of the 20th century I felt that this would suit the journal scope. After waiting eight months for a response I contacted the editor in chief and informed her that I was intending to withdraw my paper. In the following two weeks I received an e-mail with a comment that one referee mentioned that their journal requires different style of writing. I responded by sending the paper in its original form to an international – high impact rated - journal in Germany. The paper [7] was immediately accepted for publication with some minor corrections. Consequently, I informed the English publisher and confirmed cancellation of my offer. Shortly after that I received another e-mail from the same editor in England with an apology for misunderstanding and expressing willingness to publish the paper and cooperate, if possible, in future.

From the above it is evident that in order to be competitive, publishers need to employ experienced editors. Their criticism, if fair, usually leads to an improvement; if not constructive, it may have a damaging effect on a writer-publisher relationship. In addition, it does not always have to be an academic who is defeated. The paper, if it is a good one, will be published anyway, by a different publisher. Moreover, such a publisher may in future count in terms of loyalty and willingness to further co-operation.

2.3 Print Publishing versus Electronic Publishing and the Role of Peer Reviewing in Knowledge Communication

While current printed journals are tremendous in both number and the total volume, the future appears to be in favour of electronic publishing, as trends in Figure 2 (a) and (b) earlier in the paper indicate. Literature source [3] suggested that the preference for electronic publishing is dictated mostly by reductions in cost and storing space, and an ability to publish more articles at a time compared to traditional print publishing. This is obviously an advantage for academics and researchers. In the majority of cases, electronic publishing offers an excellent opportunity to have a paper published in much shorter time compared to conventional print publishing. For example, a paper [8], four months after its submission, was published in a refereed electronic journal. In contrast, it took from about nine months up to about a year to have other articles [6 and 7 and 9 to 12] print published in high impact rated journals.

It needs to be mentioned that there are strong similarities between print and electronic publishing. These similarities relate to high and ever increasing number of submissions and a way of conducting the peer review process. As a consequence, electronic journals also have a high level of rejection rates in order to improve their quality and stay competitive. One example is shown in Table 1 below that was adopted from Lin Chang-dong contribution [13].

Table 1 An example showing ‘reported’ relationship between received and rejected papers in an Asian international refereed journal (adapted from reference [13]).

Papers Received [number] 280 298 436
Papers Rejected [number] 93 130 305
Rejection Rate [%] 33 44 70

Table 1 confirms that publishing in refereed international electronic journals is also challenging. In addition, electronic publishing itself experiences a wide variety of challenges - ranging from minor computer failures to the main one being probably associated with the lack of ability to attract enough subscribers. This struggle puts the pressure on editors and equally affects a writer as shown in the following example.

In September 2005, I corresponded with an editor in chief of an electronic journal ‘Quality Assurance: Good Practice, Regulation, and Law’. He accepted, in October, my paper with minor corrections and recommended it for publishing. In November he informed me that all his networked computer system failed and asked me to resubmit the paper for publication in the following month - December. In January 2006 he e-mailed unexpected news that the journal bankrupted and therefore the paper could not be published. After that I submitted the paper to a Journal of Quality Technology (JQT). Their response was that the ‘paper is well written but manuscript seems to be more adequate for a quality management journal with some statistical content rather than for JQT’. This indicates that even a high quality paper with good references from international referees may encounter some difficulties in electronic publishing.

It appears that with too many journals competing against each other, dealing with increases in publishing costs and decreases in journal sales, most publishers try to improve this situation in the following ways: (a) to increase the journal quality by selecting ‘high quality’ papers fitting into the journal’s scope and (b) limiting a paper’s standard length (up to about 7000 words in most generous cases). This trend, set up originally by print publishing and electronic publishing journals, appears to have been adopted by a wide variety of worldwide conference organizers. The tendency is to convert from printed journal proceedings to CD versions, and most recently to internet publications. Despite moves towards easier way of publishing and knowledge communication the peer reviewing process related to conferences has become tougher and more sophisticated. The following examples were selected to support this statement.

There is a something like a tradition that each year one different university in Western Australia holds a Teaching and Learning (T&L) Forum in order to provide an opportunity for academics to share their ideas and findings with a wider community, as well as to publish their results in a form of research papers, professional practice papers and abstracts. The following Figure 3 was created from data published in sources [14] and [15]. It shows a comparison between accepted and rejected submissions to the most recent (T&L) forums held in 2005 and 2006. The referee panels consisted of thirty four academics from eight universities in 2005, and forty eight academics from five universities in 2006. The rejection rate (2006 against 2005) increased by a factor of: 1.85 (=61/33) for research papers; 4.5 (=54/12) for professional practice papers; and 0.67 (=2/3) for abstracts.

Figure 3	An example showing ‘reported’ relationship between received and rejected papers and abstracts to T&L Forum in Australia in 2005 and 2006; (adapted from references [14 and 15])

Figure 3 An example showing ‘reported’ relationship between received and rejected papers and abstracts to T&L Forum in Australia in 2005 and 2006; (adapted from references [14 and 15]).

While I attended both these forums as a presenter I felt that the referees’ reports in both (2005 and 2006) cases were descriptive and lacked a transparency that would allow an individual to do some comparison of achievements against the standards set-up by the conference organisers or at least against other submitted papers. In addition, conference organisers opted for internet publishing and distributed the book of abstracts only to presenters. I think that an extra CD conference proceeding for each presenter would be more appropriate, as it was done, for example, at a refereed conference [16] co-organised by Edith Cowan University in Thailand in 2004.

With respect to a transparency in peer reviewing I would like to mention one very well organised conference [17] in Morocco last year. Each submitted paper was peer reviewed by three referees. Each referee was asked to assess numerically the following areas: (a) General interest, (b) Scientific quality, (c) Quality of the presentation, (d) Technical skill, and (e) Global overview, giving marks from 0 to 5 for each area. Hence, the maximum mark to be awarded by one referee was 25 (=5 Marks x 5 Areas). The marks were then counted. The papers were linked according to their ranking standard, and the best ones (in this case twenty seven) were selected for presentation at the conference and for publishing in a book, as well as on internet.

This quantitative assessment seems to offer a possible solution to keep the fairness in peer reviewing that would allow ranking the papers according to their quality and standard, when selecting the best ones for presentations and/or publishing either in printed or electronic version. It is quite predictable that a conventional print publishing will be replaced gradually by more flexible and cheaper electronic publishing. The latter, however, as a new form of knowledge communication, is still quite vulnerable to low quality writing and requires the development and application of a sophisticated peer review system. I would anticipate that an electronic system in future would possibly be intelligent enough to process the feedback from readers, in real time, and archive or delete low ranking papers from the system.

3. Conclusions

Reported evidence suggested that despite high rejection rates there is a significant growth in published academic and professional titles. Journals appear to do better than books, and electronic publishing seems to offer a cheaper and more flexible way of knowledge communication than the conventional printing. The electronic form of publishing is a relatively new way of communication and distribution of academic results to a wider community. Because of it, a rigorous peer review process (quantitative rather than qualitative) is needed to be employed in order to prevent low quality contributions to enter the cyberspace. It is suggested that an additional filtering process would probably be applicable in the short future. It would involve interaction by reader comments, in real time, that would result in ranking a paper into a certain ‘qualitative” order, and consequently delete and/or archive the contributions falling into the low rank level.


  1. GREENWOOD, C. Publish or Perish: The Ethics of Publishing in Peer-Reviewed Journals. Media Information Australia. 1993, Vol. 68, pp. 29 to 35.
  2. SOWDEN, P. University Library Spending on Books, Journals and Electronic Resources : A Report for the Council of Academic and Professional Publishers (CCAP) : 2007 Update [online]. The Publishers Association, 2007, pp. 6, 16 to 18, 24, 25, 42. Available at!opendocument.
  3. ROBERTS, P. Scholarly Publishing, Peer Review and the Internet. First Monday : Peer Reviewed Journal on the Internet [online]. 2006, p. 3 of 13. Available at
  4. ODLYZKO, A. M. Tragic loss or good riddance? The impending demise of traditional scholarly journals. Surfaces. 1994, Vol. 4.
  5. FERGUSON, I. Publishing Papers in International Journals. Journal of Zhejiang University Science [online]. 2006, p. 1. Available at
  6. AUDY, J.; CECH, J.; BENO, J. Composition and Microstructure of Middle-Age Bells. Practical Metallography. February 1992, 29.
  7. AUDY, K.; AUDY, J. Analysis of the Bell-Making Process from the Middle Ages to Recent Times. Practical Metallography. 2006, vol. 43, no. 1 , pp.1 to 21.
  8. AUDY, J.; AUDY, K.; HAINES, T. Analysis of Gem-quality and Experimental Estimation of Toleration Ranges in Geometrical Features of Brilliant Type Cut Diamonds. Journal of Minerals and Materials Characterization and Engineering [online]. December 2005, Vol. 4, No.2, pp. 95 to 106. Available at ISSN 1539-2511
  9. STRAFFORD, K.; NEWELL, R.; AUDY, K.; AUDY, J. Analysis of Bell Material from Middle Ages to the Recent Time. Endeavour. March 1996, Vol. 20, No 1, pp. 109-112.
  10. STRAFFORD, K. N.; AUDY, J. Indirect Monitoring of Machinability in Carbon Steels by Measurement of Cutting Forces. Journal of Material Processing Technology. May 1997, Vol. 67, No. 1, pp.150 – 157.
  11. AUDY, K.; AUDY, J. The Structure of Great Frederic. In Structures 1996. Struers, A/S, V. Vang, Rasmussen A/S, 1996.
  12. AUDY, K.; AUDY, J. The Structure of a Gothic Bell of St. John. In Structures 1998. Struers, A/S, V. Vang, Rasmussen A/S, 1998.
  13. CHANG-DONG, Lin. Development of JZUS. An International Journal of Zhejiang University Science. Available at
  14. AUDY, J.; AUDY, K; HAINES, T. Researching Surfboard Breaking Mechanism”: Incorporation of Research and Novel Teaching Ideas into the unit ‘Surf equipment, design, materials, and construction’.In The Reflective Practitioner (Program and Abstracts), Teaching and Learning Forum 2005, 3-4 February 2005 : 14th Annual Teaching and Learning Forum, 2005. Murdoch University, 2005, pp. 3 and 47.
  15. AUDY, J.; AUDY, K.; HAINES, T. Developing Authentic Learning in Surf Science and Technology. In Experience of Learning (Program and Abstracts) Teaching and Learning Forum 2006, 1-2 February 2006 15th Annual Teaching and Learning Forum. The University of Western Australia, 2006, pp. 3 and 63.
  16. Conference on New Challenges for Sustainability and Growth in Higher Education, Khon Kaen, Thailand, November 2004.
  17. HAINES, T.; AUDY, J.; AUDY, K.; KILLEN, P. Incorporation of Novel Ideas into ‘Surf Equipment, Design, Materials and Construction’ Course. AUDY, J.; AUDY, K.; HAINES, T.; KILLEN, P. Students Responses to New Teaching and Learning Approaches Involved in Surf Science and Technology: Making Surf-Craft Fins and Examining Their Performance. Both in New Challenges for Sustainability and Growth in Higher Education. Khon Kaen, November 2004, CD Proceedings.
  18. AUDY, J.; AUDY, K.; HAINES, T. Human Computer Interaction in Designing Surfboard Fins for Optimum Drag Lift Ratio and Hydrodynamic Performance. In The 5th International Conference on Human System Learning Who is in Control? Marrakech, November 22-25, 2005, pp. 187 to 200. ISBN 2-909 285-33-2.


The author wish to thank Dr. Julie Goyder from ECU for proof reading of this article.

Pracovní překlad (jeho autorkou je Linda Skolková):

O autorovi: Dr. Jaromir Audy učí vědu o materiálech na Univerzitě Editha Cowana. Je absolventem Technické univerzity v Košicích, Univerzity v Melbourne a Univerzity v Jižní Austrálii, kde získal bakalářský (s vyznamenáním), magisterský a doktorský titul (v metalurgii). Jeho další vzdělání zahrnuje kurzy vedoucí k získání titulu doktor vzdělávání a terciální stupeň ve vzdělávání na Univerzitě Západní Austrálie a na Univerzitě Editha Cowana. Publikoval řadu prací, jeho výzkumné zájmy zahrnují materiály, výrobní procesy a strojírenství. Má rozsáhlé zkušenosti s vyučováním v oblasti technologií a materiálů. Pracuje jako recenzent pro International Journals of Materials Processing Technology. Obdržel řadu grantů a finanční podporu z vládních, soukromých a průmyslových zdrojů. Zabýval se také rekonstrukcí, restaurací a analýzou materiálů historických artefaktů pro muzea a vlády (v Austrálii a v bývalém Československu). Se svou ženou Katarinou dvěma dcerami v roce 1992 emigroval do Austrálie (podle pravidel australsko-československého imigračního schématu). Jeho kořeny jsou v České (ze strany otce) i Slovenské (ze strany matky) republice. Domnívá se, že lidé z těchto dvou republik mají dostatečně dobré výsledky pro publikování v mezinárodních časopisech. Tento příspěvek byl napsán se záměrem poskytnout stručný pohled na oblast publikování, na vydavatele a recenzenty, aby povzbudil výzkumné a akademické pracovníky ke sdílení jejich myšlenek prostřednictvím publikování.

1. Úvod

Již dlouhou dobu je zřejmé, že úspěch akademických a/nebo výzkumných pracovníků na univerzitách a/nebo ve světě vědy do značné míry závisí na počtu a kvalitě výsledků výzkumu publikovaných v recenzovaných mezinárodních časopisech, ve sbornících z konferencí, v kapitolách z knih či v knihách. Greenwoodovo [1] „Publikuj či zhyň“ jasně podporuje toto tvrzení. Nedávná studie [2] od Snowdena (2007) naznačila, že vzrůstající specializace a publikační horečka (a možná poptávka veřejnosti) vyústily ve výrazný nárůst v oblasti vydávaných akademických a profesních (vědeckých, technických a medicínských) titulů, jak dokumentuje obr. 1 (a). Navíc dochází k neustálému vzrůstu nákladů na vydavatelskou činnosti, viz obr. 1 (b). V obou případech (obr. 1 (a) i (b)) se zdá, že se jedná o jednoznačný - lineární a rostoucí - trend.

Obr. 1 (vlevo (a), vpravo (b)): Zjištěné trendy v oblasti akademických a profesních titulů (a) a odpovídající vzrůst nákladů v průběhu času (upraveno a vytvořeno za využití dat uvedených v [2])

Obr. 1 (vlevo (a), vpravo (b)): Zjištěné trendy v oblasti akademických a profesních titulů (a) a odpovídající vzrůst nákladů v průběhu času (upraveno a vytvořeno za využití dat uvedených v [2])

Podobná zjištění byla publikována v roce 2006 Robertsem [3], který citoval Odlyzkovu (2004) dřívější studii. Roberts [3] a Odlyzko [4] naznačili, že “v některých oblastech nárůst publikovaných příspěvků (paperů) může reprezentovat přibližně exponenciální trend”. Toto tvrzení se zdá být pravdivým – zejména podíváme-li se na obr. 1 (a) na trend od roku 1997 dále. Kvůli vzrůstajícímu počtu vydaných titulů a nákladům na vydávání je na vydavatele neustále kladen tlak, aby byli inovativní a progresivní. Široké rozšíření využívání počítačů v sítí přibližně před dvěma desetiletími umožnilo pokročit od “nákladného” tisku k “levnější” elektronické formě publikování. Sowden (2007) se ve své studii [2] zabýval výdaji knihoven souvisejícími s periodiky, knihami a elektronickým publikováním v oblasti vyššího vzdělávání v Británii. Tyto výdaje ukázaly zajímavý trend, který je znázorněn na obr. 2.

Obr. 2 (vlevo: (a) Univerzity a koleje, uprostřed: (b) Pouze univerzity, vpravo: (c) Vyšší vzdělání jako celek): Trendy ve výdajích knihoven v průběhu času (upraveno a vytvořeno za využití dat uvedených v [2])

Obr. 2 (vlevo: (a) Univerzity a koleje, uprostřed: (b) Pouze univerzity, vpravo: (c) Vyšší vzdělání jako celek): Trendy ve výdajích knihoven v průběhu času (upraveno a vytvořeno za využití dat uvedených v [2])

Z obr. 2 (a) je zřejmé, že na rozdíl od knih se u periodik a elektronického publikování jedná o vzrůstající trend. Naproti tomu obr. 2 (b) a (c) naznačují, že knihovny mají tendenci snižovat předplatné za účelem snižování nákladů. Toto je zřejmé ze silně klesajícího trendu nákupu knih a téměř konstantního trendu v oblasti nákupu periodik. Navíc zároveň elektronické předplatné ukazuje pozitivní a rostoucí trend.

Vezmeme-li v úvahu vysoký počet vydavatelů, kteří si vzájemně konkurují a snaží se uspět, je zřejmé, že jsou nutně pod stálým tlakem na zvyšování kvality svých produktů. Proto v omezeném čase vyhledávají vysoce kvalitní příspěvky mezi vysokým počtem nabízených příspěvků.Výsledkem je vysoké procento příspěvků odmítnutých redaktory.

V této studii byl proveden průzkum slabých a silných stránek procesu recenzování a komunikace poznatků. Do studie byly zahrnuty některé příklady z praxe, které jsou relevantní tématu. Cílem bylo o nich diskutovat a naznačit vztah mezi publikováním a recenzováním a problémy, s nimiž se setkávají autoři a recenzenti.

2. Publikování a recenzování

2.1 Proč publikovat? Některé myšlenky o výhodách a nesnázích publikování ve věhlasných mezinárodních časopisech

Již dlouho je známo, že publikování představuje významný prostředek sdílení poznatků a myšlenek se širší komunitou. Navíc publikační aktivita, jak počet, tak kvalita publikovaných výsledků, poskytuje určité měřítko zásluh a významu konkrétního akademického či výzkumného pracovníka. Samo publikování by pravděpodobně mohlo být považováno za nástroj naplňování osobních potřeb a vnitřního uspokojení, které člověku pomáhá v jeho vlastní kariéře (povýšení) a v získávání vážnosti v akademické a výzkumné sféře.

Zdá se, že na univerzitách po celém světě existuje obecný trend podporovat vědce, aby publikovali výsledky svého výzkumu nejlépe v recenzovaných/věhlasných mezinárodních časopisech. Australské univerzity používají tzv. Index výzkumné aktivity (Research Activity Index, RAI). Tento přístup vyžaduje, aby první autor uvedený v publikaci každoročně vyplnil formulář a dodal relevantní dokumenty, aby údaje mohly být verifikovány. Po verifikaci a auditu je každý výzkumný pracovník či výzkumná pracovnice působící na univerzitě informován či informována o počtu bodů RAI, které byly přiděleny na jeho či její účet. V roce 2006 byl nejvyšší počet bodů (1 000 RAI) udílen za knihu. Za recenzovaný příspěvek bylo možné získat 400 RAI, 200 RAI a 100 RAI, pokud se příspěvek objevil v časopise s vysokým impact factorem/ve významném časopise a ve sborníku z konference. Tyto body RAI byly převedeny na dolarovou hodnotu v závislosti na celkovém množství alokovaném každou univerzitou, a tudíž se vzájemně liší. Každý jednotlivec může využít svůj RAI pro výzkum, např. k zaplacení účasti na konferenci či k zakoupení počítače. Toto dokládá, že publikování může být považováno také za aktivitu s ekonomickým významem, který by zahrnoval cílení na časopisy s vysokým impact factorem/významné časopisy, a to kvůli získání vyššího ohodnocení a více bodů RAI.

Většina významných a kvalitních časopisů je psána v angličtině. Toto představuje určité nesnáze pro výzkumné pracovníky, jejichž mateřským jazykem není angličtina, například pro pracovníky z východní Evropy. Před cca 20 lety jsem na počátku své akademické kariéry pracoval jako učitel na jedné z největších a nejvíce respektovaných univerzit v Československu – na Technické univerzitě v Košicích na Slovensku. V tomto období naše fakulta (KSMaT – Katedra Strojarstva a Materialovej Technologie) měla tři katedry a zaměstnávala max. stovku akademických pracovníků, kteří se podíleli na výuce a výzkumu. Přestože hodně publikovali, většina příspěvků byla zasílána do recenzovaných sborníků a časopisů zemí východního bloku. V této době někteří východoevropští vydavatelé autorům dávali velký honorář za každý přijatý příspěvek (honorář se někdy rovnal měsíčnímu platu). S ohledem na mezinárodní publikování lze konstatovat, že pouze velmi málo příspěvků (jeden či dva ročně za celou fakultu) byly zaslány západním vydavatelům a přijaty. Zdá se, že tento docela alarmující trend v publikování v mezinárodních časopisech může být zapřičiněn jak jazykovou bariérou, tak nedostatkem zkušeností a dovedností, jak psát pro mezinárodní komunitu. Nejnověji Ferguson (2006) [5] zmínil podobné problémy v souvislosti s čínskými akademickými a výzkumnými pracovníky. Jeden z jeho komentářů byl, že většina experimentů byla (a je) obvykle prováděna bez dostatečné (nebo omezené) znalosti publikovaného poznání. Autor tohoto příspěvku by na základě své redakční zkušenosti rozšířil tento komentář na východoevropské země bývalého východního bloku.

Během minulého desetiletí celosvětově dramaticky vzrostl počet akademických a výzkumných pracovníků. Dokonce tak, že celkový objem nyní publikovaných tištěných dokumentů nemusí uspokojit poptávku po místě v recenzovaných časopisech. Očekává se, že zaslané příspěvky podstupují pečlivé recenzní řízení a dosahují určité úrovně kvality, aby mohlo být uvažováno o jejich publikaci. Očekávaná úroveň kvality neustále roste a sklon tohoto nárůstu v průběhu času je diktován vědecko-technickým pokrokem, inovacemi, intelektuální kapacitou akademických pracovníků i konkurenčním bojem mezi vydavateli, kteří se snaží přilákat více zákazníků pro své časopisy.

Následující pasáž byla napsána za účelem pojednání o některých pozitivech a negativech recenzního řízení a jejich významu pro postup výzkumu, komunikaci poznatků a možná i pro vztah mezi autorem a vydavatelem.

2.2 Silné a slabé stránky recenzního řízení a jeho vlivu na postup výzkumu a rozšiřování výsledků

Silné a slabé stránky recenzního řízení závisejí na obou vybraných kritériích, která jsou použita pro posouzení příspěvku pro případnou publikaci a na typu recenzentů podílejících se na redakci.

S ohledem na kritéria se zdá, že ačkoliv vydavatelé a recenzenti se různí, novost se zdá být významným bodem při přijímání či odmítání příspěvku. Výrazný vývoj v oblasti technologie a elektroniky na konci 20. století přispěl k rozvoji výzkumu, poskytl velké množství různých nových přístupů k řešení starých problémů a povzbudil publikování. V této době vznikla řada děl, které byly stejné nebo velmi podobné již publikovaným dílům. Například v letech 1998-2001 jsem na Univerzitě v Melbourne prováděl výzkum vývoje a testování nových materiálů určených pro pokrývání nástrojů na řezání. Provedl jsem rozsáhlý průzkum literatury a vyhledával jsem pět různých časopiseckých témat spojených s pokrýváním a povrchy a přečetl jsem si většinu časopiseckých článků publikovaných na toto téma v letech 1995-2000. Alarmujícím zjištěním byla vysoká míra podobnosti v metodice a ve způsobu práce popsaných v řadě příspěvků bez uvedení referencí. Navíc jsem si náhodou uvědomil, že skupina tří čínských autorů publikovala jeden a tentýž článek dvakrát ve stejném a jednou v jiném velmi významném časopise. Ze zvědavosti jsem se podíval na podobné případy a s překvapením jsem našel přibližně desítku dalších výzkumných pracovníků činících totéž. Několika z nich se dokonce podařilo mít příspěvek publikován pětkrát (bez jakýchkoliv významných modifikací) v různých časopisech.

Za účelem boje s tímto problémem mají nyní vydavatelé politiku, která říká, že příspěvek musí být inovativní a nesmí již být zaslán jinam. Konkurence v oblasti boje za prostor k publikování a novosti je kritériem, které akademické pracovníky ovlivňuje následujícím způsobem. Řada mladých (méně zkušených) učenců začne publikovat v domácích nerecenzovaných časopisech. Zdá se, že starší (zkušenější) akademičtí pracovníci se svými konexemi a dovednostmi mají již vyšlapanou svoji cestičku k publikování. Avšak touha zůstat v popředí pokroku ve vědě spolu se stálým tlakem na neustálé poskytování nových unikátních výsledků donutila i některé ze světových akademických kapacit k nesprávnému počínání a k padělání výsledků. Následují některé příklady. Před několika lety byl významný expert z oblasti medicíny shledán vinným, protože transplantoval – zdravým pacientům – umělá srdce vyvinutá jeho týmem, aby zvýraznil svůj výzkum a posílil sdílené hodnoty. Další mezinárodně uznávaná kapacita v archeologie známá jako ten šťastlivec kvůli své schopnosti najít nejvýznamnější archeologická sídla byla shledána vinnou tím, že archeologické nálezy vkládala a znovu objevovala. Konečně nejnověji vedoucí skupiny zabývající se vývojem umělé lidské buňky musel rezignovat na svůj post, když se ukázalo, že jeho výsledky a publikované příspěvky jsou založeny na falešných důkazech. Z výše uvedeného se zdá, že existuje potřeba silného recenzního řízení, aby byly k publikaci vybrány pouze vysoce kvalitní příspěvky.

S ohledem na recenzenty se lze pravděpodobně shodnout, že typy recenzentů se mohou různit – od 1 – přísného, 2 – spravedlivého, 3 – objektivního, 4 – bezohledného ke kombinacím (1 a 2), (1, 2 a 3) a (1 a 4 nebo 4). Zpráva (pozitivní či negativní) od recenzentů typů (1 a 2) a (1, 2 a 3) bude jistě prospěšná s užitečnými připomínkami, jak by bylo příspěvek možné zlepšit. Zpráva od recenzentů typu (4) bude jistě nepříjemná a frustrující, protože bude obsahovat minimum jakékoliv konstruktivní kritiky. Následují některé příklady z mé vlastní zkušenosti s publikováním.

Recenzent typu (1, 2 a 3): V roce 1991 mi bylo třicet let a měl jsem přibližně dvě desítky technických příspěvků publikovaných u vydavatelů z východního bloku. Rozhodl jsem se nabídnout svůj první příspěvek [6] do mezinárodního časopisu. Napsal jsem ho na stroji lámanou angličtinou a poslal jsem ho německému profesorovi Exnerovi, který byl v této době šéfredaktorem Practishe Metallography. Byl do té míry ohromen kvalitou mikrofotografií a výzkumné práce, že text zredigoval a přeložil do němčiny. Vyměnili jsme si dva dopisy a příspěvek byl publikován. Tento výjimečný lidský přístup od recenzenta takového kalibru pozitivně ovlivnil můj další přístup k publikování a recenzování.

Recenzent typu (4): V roce 2005, kdy jsem v Austrálii žil již patnáct let a měl jsem za sebou publikování přibližně šedesáti příspěvků (jako autor či spoluautor) publikovaných v anglicky mluvících zemích, jsem zaslal příspěvek do technicky/historicky zaměřeného časopisu v Anglii. Tento časopis byl recenzovaný, ale neměl vysoký impact factor. Protože se můj příspěvek sestával (a odkazoval na) vzácnou sadu nepublikovaných fotografií dokumentujících proces výroby zvonů na začátku 20. století, domníval jsem se, že toto se bude do tematického zaměření časopisu dobře hodit. Poté, co jsem osm měsíců čekal na odpověď, jsem kontaktoval šéfredaktorku časopisu a informoval ji o svém záměru stáhnout svůj příspěvek. Za dva týdny jsem obdržel e-mail s vysvětlením, že jeden recenzent zmínil, že jejich časopis vyžaduje jiný styl psaní. Reagoval jsem zasláním příspěvku v originálním znění do mezinárodního časopisu v Německu (s vysokým impact factorem). Příspěvek [7] byl okamžitě přijat k publikaci (s malými opravami). Následně jsem informoval anglického vydavatele a potvrdil zrušení své nabídky. Krátce poté jsem obdržel od stejné redaktorky v Anglii e-mail s omluvou za nedorozumění a s vyjádřením ochoty příspěvek publikovat a (pokud to bude možné) spolupracovat i v budoucnu.

Z výše uvedeného je zřejmé, že kvůli tomu, aby vydavatelé byli konkurenceschopní, musí zaměstnávat zkušené redaktory. Jejich kritika (je-li spravedlivá) většinou vede ke zlepšení; pokud není konstruktivní, může mít neblahé důsledky pro vztah mezi autorem a vydavatelem. Navíc nemusí to být pouze akademický pracovník, kdo je poražen. Příspěvek, je-li dobrý, bude stejně publikován – jiným vydavatelem. Navíc takový vydavatel může v budoucnu počítat s loajálností a ochotou k další spolupráci.

2.3 Tištěné versus elektronické publikování a role recenzování v komunikaci poznatků

Zatímco současných tištěných časopisů je neuvěřitelný počet a celkový objem, budoucnost bude pravděpodobně více přát elektronickému publikování, jak ukázaly trendy na obr. 2 (a) a (b) výše. Literární zdroj [3] naznačil, že preference elektronického publikování je diktována převážně snižováním nákladů a prostorů pro skladování a možností publikovat více článků v čase srovnatelném s tradičním tištěným publikováním. Toto je zřejmě výhoda pro akademické a výzkumné pracovníky. Ve většině případů nabízí elektronické publikování skvělou příležitost pro publikaci příspěvku v o hodně kratším čase (v srovnání s tradičním tištěným publikováním). Například příspěvek [8] byl čtyři měsíce po zaslání publikován v recenzovaném elektronickém časopise. Naproti tomu přibližně devět měsíců až rok trvala publikace dalších článků [6 a 7 a 9-12] v tištěných časopisech s vysokým impact factorem.

Nelze nezmínit, že tištěné a elektronické publikování má řadu podobných rysů. Ty se týkají vysokého a stále rostoucího počtu zaslaných příspěvků a způsobu vedení recenzního řízení. V důsledku toho i elektronické časopisy mají vysoký podíl odmítnutých příspěvků – důvodem je snaha zlepšit kvalitu a zůstat konkurenceschopným. V tab. 1 je uveden příklad, který byl převzat z příspěvku Lin Chang-dong [13].

Tab. 1: Příklad ukazující údajný vztah mezi obdrženými a odmítnutými příspěvky v asijském mezinárodním recenzovaném časopise (upraveno ze zdroje [13])

Obdržené příspěvky [počet] 280 298 436
Odmítnuté příspěvky [počet] 93 130 305
Míra odmítnutí [%] 33 44 70

Tab. 1 potvrzuje, že publikování v recenzovaných mezinárodních elektronických časopisech je rovněž náročné. Navíc samo elektronické publikování se setkává s řadou různých výzev – od nepodstatných selhání počítače k podstatným – spjatým pravděpodobně zejména s nedostatkem schopnosti přilákat dostatek předplatitelů. Tento boj vytváří tlak na redaktory a ovlivňuje i autora, jak dokládá následující příklad.

V září 2005 jsem si dopisoval se šéfredaktorem elektronického časopusu Quality Assurance: Good Practice, Regulation, and Law. V říjnu přijal můj příspěvek s menšími opravami a doporučil jej pro publikaci. V listopadu mě informoval, že celý jeho počítačový systém selhal a v prosinci mě požádal o znovuzaslání příspěvku. V lednu 2006 zaslal nečekanou zprávu, že časopis zbankrotoval a příspěvek tedy nemůže být publikován. Poté jsem jej zaslal do Journal of Quality Technology (JQT). Obdržel jsem odpověď, že příspěvek je dobře napsán, ale rukopis je vhodnější pro časopis o řízení kvality s nějakým statistickým obsahem, ne pro JQT. Toto naznačuje, že i vysoce kvalitní příspěvek s dobrými referencemi od mezinárodních recenzentů se při elektronickém publikování může setkat s určitými problémy.

Zdá se, že s tolika vzájemně si konkurujícími časopisy, které se musejí vyrovnat s rostoucími náklady a snižujícím se počtem zákazníků, se mnozí vydavatelé snaží zlepšit svou situaci následujícími způsoby: (a) zvýšením kvality časopisu tím, že budou vybírat vysoce kvalitní příspěvky spadající do tematického záběru časopisu a (b) omezením standardní délky příspěvku (do sedmi tisíc slov v nejštědřejším případě). Tento trend pocházející z oblasti tištěných a elektronických časopisů byl přijat řadou organizátorů konferencí z celého světa. Tendence je přecházet od tištěných sborníků k verzím na CD a nejnověji na internetu. Přes určitý posun směrem ke zjednodušení způsobu publikování a komunikace poznatků je recenzní řízení ve vztahu ke konferencím stále přísnější a sofistikovanější. Na podporu tohoto tvrzení uvádím následující příklady.

Je již tradicí, že každý rok jedna univerzita v Západní Austrálii pořádá Teaching and Learning (T&L) Forum, a to za účelem poskytnutí příležitosti (akademickým pracovníkům) ke sdílení myšlenek a poznatků se širší komunitou a také k publikování výsledků v podobě výzkumných příspěvků, příspěvků zaměřených na profesní praxi a abstraktů. Následující obr. 3 byl vytvořen z dat publikovaných ve zdrojích [14] a [15]. Ukazuje srovnání mezi přijatými a odmítnutými příspěvky na nejnovějších T&L fórech (z let 2005 a 2006). V roce 2005 provádělo recenzní řízení 34 akademických pracovníků z osmi univerzit, v roce 2006 se recenzování účastnilo 48 akademických pracovníků z pěti univerzit. Míra odmítnutí (v roce 2006 oproti roku 2005) vzrostla 1,85 krát (=61/33) pro výzkumné příspěvky, 4,5 krát (=54/12) u příspěvků zaměřených na profesní praxi a 0,67 krát (=2/3) pro abstrakty.

Obr. 3: Příklad ukazující údajný vztah mezi obdrženými a odmítnutými příspěvky z T&L fór v Austrálii v letech 2005 a 2006 (upraveno ze zdrojů [14] a [15])

Obr. 3: Příklad ukazující údajný vztah mezi obdrženými a odmítnutými příspěvky z T&L fór v Austrálii v letech 2005 a 2006 (upraveno ze zdrojů [14] a [15])

Obou fór jsem se účastnil jako přednášející a měl jsem pocit, že zprávy recenzentů v obou případech (v roce 2005 i v roce 2006) byly popisné a chyběla jim transparentnost, která by jedinci umožnila porovnat dosažené výsledky oproti standardům vymezeným organizátory konference nebo alespoň oproti dalším zaslaným příspěvkům. Navíc organizátoři konference si vybrali publikování na internetu a publikaci s abstrakty poskytli pouze přednášejícím. Domnívám se, že CD s konferenčním sborníkem pro každého přednášejícího by bylo vhodnější, jak to bylo učiněno např. na recenzované konferenci [16] spoluorganizované Univerzitou Editha Cowana v roce 2004 v Thajsku.

V souvislosti s transparentností recenzování bych rád zmínil jednu velmi dobře zorganizovanou konferenci [17], která se konala minulý rok v Maroku. Každý zaslaný příspěvek byl recenzován třemi recenzenty. Každý recenzent byl požádán o číselné hodnocení příspěvku, a to v následujících oblastech: (a) Obecný zájem, (b) Vědecká kvalita, (c) Kvalita prezentace, (d) Technická dovednost a (e) Celkový přehled. Každému příspěvku dávali známky od nuly do pěti. Tj. maximální známka, kterou mohl recenzent dát byla 25 (pět známek krát pět oblastí). Známky pak byly sečteny. Příspěvky byly propojeny podle svého známkování a nejlepší (v tomto případě jich bylo 27) byly vybrány pro prezentaci na konferenci a pro publikaci v knize i na internetu.

Toto kvantitativní vyhodnocení nabízí možné řešení zachování spravedlnosti v recenzování, které by umožnilo řazení příspěvků podle jejich kvality a standardu, jde-li o vybírání nejlepších pro prezentaci a/nebo publikování, ať již v tištěné či elektronické verzi. Je docela předvídatelné, že konvenční tištěné publikování bude čím dál více nahrazováno flexibilnějším a levnějším elektronickým publikováním. To je však jakožto nová forma komunikace poznatků stále dosti zranitelná, pokud se týká nízké kvality psaní, a vyžaduje rozvoj a aplikaci sofistikovaného recenzního systému. Předpokládám, že elektronický systém v budoucnu bude pravděpodobně dostatečně inteligentní, aby uměl v reálném čase zpracovávat zpětnou vazbu od čtenářů a archivovat či mazat příspěvky s nízkým ohodnocením ze systému.

3. Závěry

Uvedené doklady naznačily, že přes vysokou míru odmítnutých příspěvků existuje v oblasti publikovaných akademických a profesních titulů výrazný růst. Časopisy si vedou lépe než knihy a elektronické publikování nabízí levnější a flexibilnější způsob komunikace poznatků než konvenční tisk. Elektronická podoba publikování je relativně novým způsobem komunikace a distribuce akademických výsledků v širší komunitě. Kvůli tomu je nutné zavést přísné recenzování (spíše kvantitativní než kvalitativní), které by zabránilo nedostatečně kvalitním příspěvkům, aby se objevily v kyberprostoru. Je naznačeno, že v blízké budoucnosti bude pravděpodobně uplatněn další filtrační proces. Bude zahrnovat interakci – komentáře čtenářů v reálném čase. Ty by vyústili v určité kvalitativní pořadí a následně by nízko hodnocené příspěvky byly vymazány a/nebo archivovány.

Odkazované zdroje jsou uvedeny pod původní anglickou verzí textu.


Autor děkuje dr. Julii Goyderové z ECU za provedení korektur [anglické verze, pozn. red.] tohoto článku.
Audy, Jaromir. Slabé a silné stránky recenzního řízení a komunikace poznatků. Ikaros [online]. 2007, roč. 11, č. 10 [cit. 23.04.2014]. Dostupný na World Wide Web: <>. urn:nbn:cz:ik‐004350. ISSN 1212-5075.
Průměr: 5 (1 vote)

automaticky generované reklamy