Algunos trabajos

    The rejecting peer review report: microvariation according the type of referee

    Abstract: We analyzed reports in which it was recommended to reject the publication of manuscripts sent to a Chilean humanities journal. We sought to establish whether these reports varied according to two attributes of the referees: the number of publications and the type of participation in the journal. The results show that, regardless of their status, when rejecting an article of scientific research, the referees make evaluations centered on the article as a unit. Descriptions, descriptions of errors, and descriptions of what is missing are the most frequent communicative purposes in this genre.

  • Referencia: Astudillo, C.; Cabezas, P.; Sabaj, O. & Varas, G. (aceptado) The rejecting peer review report: microvariation according the type of referees. Literatura y Lingüística.
  • Sobre la compilación de las obras de M.A.K. Halliday

    Resumen: El trabajo del reconocido lingüista Michael Halliday (1925-2018), fallecido lamentablemente en 2018, es de una riqueza excepcional. Solo para tener una idea, la editorial Bloomsbury publicó en 2009 la serie Collected Works of M.A.K. Halliday, compuesta de diez extensos tomos que incluían artículos sobre gramática, el lenguaje de la ciencia, el lenguaje y la educación, y el lenguaje y la sociedad, entre otros. La compilación que aquí nos ofrecen los profesores Elsa Ghio, Federico Navarro y Annabelle Lukin, que lleva por nombre Obras esenciales de M.A.K. Halliday (Ediciones UNL, 2017), aborda la tarea pendiente de poner a disposición del público de habla hispana parte de los cimientos teóricos, a su juicio, más relevantes de la gramática que Halliday denominó Lingüística Sistémico Funcional (LSF) y que, en la actualidad, continúa desarrollándose de la mano de investigadores de todo el mundo.

  • Referencia: Varas, G. & Flores, L. (2018). Sobre la compilación de las obras de M.A.K. Halliday. Revista Logos, 28(2), 459-466. doi.org/10.15443/RL2833
  • Feedback quality according the type of referees in the peer review process of scientific articles

    We explore the relationship between two relevant but scarcely studied aspects of the Peer Review Process of research articles, i.e., the quality of feedback in referee reports, and the types of evaluators according to their participation in a journal. Our aim was to describe and analyze the quality of feedback in referee reports according to the type of participation of the evaluators, i.e., those who participated in a journal as evaluators only once (EV); those who participated as reviewers in multiple times (EV+); those who played the roles of referee as well as authors only once (A2F); and those who fulfilled both functions in multiple times (A2F+). We analyzed 118 referee reports submitted to a journal of humanities in Chile between 2008 and 2012. The comments of the referee reports were grouped into three increasing levels of quality. The results showed that referees mostly use indirect comments of low quality (Level I); yet EVs were the ones who tended to use them in a greater proportion. A2Fs tended to give more and better feedback (Level III). These results could help us to better understand science as a collective construction as well as to assist editors in the referee selection process.

  • Referencia: Varas, G.; Sabaj, O. & Pina-Stranger, A. (enviado). Feedback quality according the type of referees in the peer review process of scientific articles.
  • Peering into evaluation reports: Good quality reviews of research articles require neither writing too much nor taking too long

    The value of scientific knowledge is highly dependent on the quality of the process used to produce it, namely, the quality of the peer-review process. This process is a pivotal part of science as it works both to legitimize and improve the work of the scientific community. In this context, the present study investigated the relationship between review time, length, and feedback quality of review reports in the peer-review process of research articles. For this purpose, the review time of 313 referee reports from three Chilean international journals were recorded. Feedback quality was determined estimating the rate of direct requests by the total number of comments in each report. Number of words was used to describe the average length in the sample. Results showed that average time and length have little variation across review reports, irrespective of their quality. Low quality reports tended to take longer to reach the editor, so neither time nor length were related to feedback quality. This suggests that referees mostly describe, criticize, or praise the content of the article instead of making useful and direct comments to help authors improve their manuscripts.

  • Referencia: Cabezas, P.; Sabaj, O.; Varas, G. & González, V. (2018). Peering into evaluation reports: Good quality reviews of research articles require neither writing too much nor taking too long. TransInformação, 32(2):209-218.
  • El informe de arbitraje: su variación según la recomendación de publicación y la productividad de los evaluadores

    El informe de arbitraje de artículos de investigación es el género por excelencia en el que se cristaliza la idea de la construcción colectiva del conocimiento científico. Debido a su carácter confidencial, en el ámbito del análisis del discurso existen muy pocos trabajos que describan empíricamente este género. A su vez, esos pocos estudios tienen una serie de limitantes, entre las que se encuentran: a) la carencia de definición de la unidad de análisis, b) la ausencia de procesos de validación, c) la focalización en aspectos particulares del género y, d) la falta de integración de datos discursivos con aspectos sociométricos. En este trabajo, presentamos un modelo que intenta superar, en parte, esas limitantes y lo aplicamos para describir la variación del informe de arbitraje según dos variables extralingüísticas, la recomendación de publicación (aceptar, condicionar o rechazar) y el número de artículos publicados por los evaluadores. Los resultados muestran que ambos atributos extralingüísticos se asocian a variaciones específicas del discurso de este género, siendo la recomendación de publicación más determinante que la productividad de los evaluadores.

  • Referencia: Sabaj, O.; González, C.; Astudillo, C.; Varas, G.; Fuentes, M.; Cabezas, P.; Squadrito, K. & Pina-Stranger, A. (2018). El informe de arbitraje: su variación según la recomendación de publicación y la productividad de los evaluadores. Athenea Digital, 18(2):1-26.
  • Reseña: Maton, K., Hood, S. & Shay, S. (eds.). Knowledge- building: Educational Studies in Legitimation Code Theory.London: Routledge, 2016. ISBN: 978-0-415-69233-5. 264 páginas.

    En 2016, se publicó Knowledge-building: Educational studies in Legitimation Code Theory, editado por los profesores Karl Maton, Susan Hood y Suellen Shay. Esta edición presenta la Teoría de Códigos de Legitimación (TCL) y sus aplicaciones mediante la descripción de una serie de investigaciones en el ámbito educacional. La TCL consiste en una “caja de herramientas” que permite analizar el conocimiento en tanto objeto de estudio con características, propiedades y principios particulares. Esta obra, de aún escasa recepción en Latinoamérica, puede ser particularmente útil para profesores, lingüistas y sociólogos educacionales que deseen, en cierto grado, ampliar su visión con respecto a la construcción social del conocimiento en el campo de la educación.

  • Referencia: Varas, G. (2017). Reseña: Maton, K., Hood, S. & Shay, S. (eds.). Knowledge- building: Educational Studies in Legitimation Code Theory. London: Routledge, 2016. ISBN: 978-0-415-69233-5. 264 páginas. Debates em Educação, 9(19): 145-154.
  • Polaridad de los comentarios y consistencia interna en los informes de arbitraje de artículos de investigación

    El informe de arbitraje en los procesos de revisión por pares de artículos de investigación es un género clave para explicar cómo se construye colectivamente el conocimiento científico. En estos informes los evaluadores emiten, junto con una serie de comentarios, una recomendación de publicación. El análisis de la calidad del proceso de evaluación por pares se ha realizado a partir de indicadores, como las tasas de rechazo o el grado de acuerdo entre los evaluadores. Sin embargo, aún queda pendiente una evaluación cualitativa del proceso. El objetivo de este trabajo fue describir la proporción, según su polaridad (positiva, negativa y neutra), de los comentarios de 56 informes de evaluación de la Revista Onomázein y determinar si esa proporción era consistente con la recomendación de los evaluadores (Aceptado, Aceptado con enmiendas mayores o menores, y Rechazado). Del análisis de 1.472 comentarios se determinó que, independientemente de la decisión, la mayor proporción corresponde a comentarios negativos. Asimismo, podemos afirmar que los procesos analizados presentan un alto grado de consistencia. Mientras más favorable es la recomendación de los árbitros mayor es la proporción de comentarios positivos emitidos y, correspondientemente, menor es la proporción de comentarios negativos.

  • Referencia: Astudillo, C.; Squadrito, K.; Varas, G.; González, C. & Sabaj, O. (2016). Polaridad de los comentarios y consistencia interna en los informes de arbitraje de artículos de investigación. Acta Bioethica, 22 (1):119-128.
  • A new form for the evaluation of scientific articles under peer review

    Resumen: In this article a new form for the evaluation of scientific articles under peer review is presented. This proposal is based on some empirical observations with respect to this process through which scientific knowledge is built. The principles underlying this proposal are simplicity, agility and clarity in the feedback for authors. Some of the weaknesses of peer review could be addressed by applying this form.

  • Referencia: Sabaj, O.; González, C.; Varas, G. & Pina-Stranger, A. (2015). A new form for the evaluation of scientific articles under peer review. Revista Argos, 32 (62):119-129.
  • Tesis de magíster: El informe de arbitraje en el proceso de revisión por pares de artículos de investigación: Niveles de retroalimentación según el tipo de evaluador

    Resumen: El sistema de evaluación por pares de artículos de investigación es un proceso que determina la producción, difusión y consumo del conocimiento científico. Dado su carácter confidencial, los trabajos que analizan el informe de arbitraje son escasos y no consideran las características de los participantes que emiten su retroalimentación a través de este. En la presente tesis se propone que la “calidad” de la retroalimentación puede variar dependiendo, por un lado, de la claridad de los comentarios y, por otro, de la experiencia que el revisor tenga en esta práctica. En este contexto, el objetivo general de esta investigación fue determinar los niveles de retroalimentación de los árbitros según su tipo de participación. Para ello se analizaron 118 informes de arbitraje, correspondientes a los artículos enviados entre los años 2008 a 2012 a la Revista de Lingüística, Filología y Traducción, Onomázein, editada y publicada semestralmente por la Pontificia Universidad Católica de Chile. Operativamente, se identificaron cuatro tipos de árbitros según su participación en esta revista: evaluadores que participaron solo una vez (EV), evaluadores que participaron más de una vez (EV+), evaluadores que participaron una vez como autores y una vez como evaluadores (A2F) y evaluadores que participaron como autores y evaluadores en más de una ocasión (A2F+). Para determinar los niveles de retroalimentación, se analizaron los propósitos comunicativos que aparecían en el corpus de informes de arbitraje. Luego se agruparon los propósitos comunicativos en tres niveles de calidad de la retroalimentación (Nivel I, II y III), donde el más alto es el que proporcionaba comentarios más claros y útiles para el autor. Los resultados demostraron que los A2F fueron los árbitros que entregaron mejor retroalimentación debido a que emitieron una baja cantidad de comentarios de poca utilidad, una baja cantidad de comentarios con riesgo de malinterpretación y una alta cantidad de comentarios directos y claros. En cuanto a los que proporcionaron peor retroalimentación, el EV fue el evaluador que emitió una mayor cantidad de comentarios de poca utilidad mientras que el A2F+ fue el que emitió una mayor cantidad de comentarios ambiguos y una menor cantidad de comentarios directos y claros. Estos resultados permiten comprender de manera más profunda el funcionamiento de la construcción colectiva del conocimiento científico y pueden ser un insumo importante para ayudar a los editores en el proceso de selección de los árbitros de sus revistas.

  • Varas, G. (2015). El informe de arbitraje en el proceso de revisión por pares de artículos de investigación: Niveles de retroalimentación según el tipo de evaluador. Tesis para optar al grado de magíster. Universidad de La Serena, Chile.