To cheat or not to cheat : The dark side of data science

Objectifs

  • This meeting is not a lecture course, but an exchange session dedicated to unorthodox practices in the field of research and more particularly, in the field of data science, but not only.
  • If there is a (very) dark side of research practices, there are also subtle margins within it could be helpful to move forward. And this time, it’s not about tricking. It’s about being more understandable. When cheating is not cheating.

Talks are delivered in English.

Vidéos des interventions

Programme

The event is organized in partnership with the doctoral school “Mathematics and Computing”.

Talks are delivered in English. Contact : Sabrina Granger

This meeting is not a lecture course, but an exchange session dedicated to unorthodox practices in the field of research and more particularly, in the field of data science, but not only.

If there is a (very) dark side of research practices, there are also subtle margins within it could be helpful to move forward. And this time, it’s not about tricking. It’s about being more understandable. When cheating is not cheating.

The point of this workshop is to help you to know where you stand, to give you a compass in a tortured landscape.

Will you meet the challenge of orthodoxe research practices?

To start the fight, first, you should know your enemy : p-hacking, low statistical power, failure to control bias, poor quality control, falsified data, writing your own peer-review, but also working with predatory publishers, keeping your code veiled

Do you see patterns in random data (aka apophenia ; Munafò et al., 2017)? Do you have « the tendency to focus on evidence that is in line with our expectations or favoured explanation » (aka confirmation bias ; Munafò et al., 2017)? Or maybe have you heard of « the tendency to see an event as having been predictable only after it has occurred » (aka hindsight bias ; Munafò et al., 2017)?

But you also should be aware of the wide and sometimes surprising range of possibilities to produce more understandable results and thus, a better research. Get the grip, it’s up to you!

Nicolas Rougier : “Ten Simple Rules for Scientific Fraud & Misconduct”

Abstract : « We obviously do not encourage scientific fraud nor misconduct. The goal of this talk is to alert the audience to problems that have arisen in part due to the Publish or Perish imperative, which has driven a number of researchers to cross the Rubicon without the full appreciation of the consequences. Choosing fraud will hurt science, end careers, and could have impacts on life outside of the lab. If you’re tempted (even slightly) to beautify your results, keep in mind that the benefits are probably not worth the risks », (N. Rougier, J. Timmer 2017)

Nicolas Rougier est chercheur Inria en neurosciences computationelles travaillant à l’institut des maladies neurodégénératives à Bordeaux. Il a co-fondé le journal ReScience qui est spécialisé dans la publication de réplication en sciences computationelles.

Christophe Bontemps : « How To Lie With Graphics? »

Abstract : « According to Mark Twain « There are three kinds of lies: lies, damned lies, and statistics’’.  Today, with the emergence of so-called Data Science and self-proclaimed data scientists, we observe that graphical lies are everywhere.  They are even more powerful than spurious statistics. Many graphics in blogs, newspapers, and TV convey information that is misleading, by mistake or on purpose.  I propose a short tutorial to visual fallacies and lies. My goal here is not to encourage cheating and lying, but on the contrary to highlight the techniques used to elaborate misleading data visualizations.  This introduction should help researchers, citizens, (data) journalists and decision makers to distinguish visual lies from consistent graphics.  » Chr. Bontemps

Christophe Bontemps est ingénieur de recherche à l’INRA au sein de la Toulouse School of Economics. Economètre-Statisticien de formation, il enseigne la visualisation des données depuis plusieurs années et est co-organisateur du Meetup Toulouse Dataviz.

Sources

Munafò, Marcus R., Brian A. Nosek, Dorothy V. M. Bishop, Katherine S. Button, Christopher D. Chambers, Nathalie Percie du Sert, Uri Simonsohn, Eric-Jan Wagenmakers, Jennifer J. Ware, and John P. A. Ioannidis. 2017. ‘A Manifesto for Reproducible Science’. Nature Human Behaviour 1 (1): 0021. https://doi.org/10.1038/s41562-016-0021.

Rougier, Nicolas P., and John Timmer. 2017. “Ten Simple Rules for Scientific Fraud & Misconduct”. https://hal.inria.fr/hal-01562601.

Journées d’étude

La diffusion des supports de présentation sur le site de l’Urfist est soumise aux autorisations accordées par les intervenants.

PROGRAMME 2022

L’Urfist de Bordeaux n’a pas été en mesure, dû à la situation de pandémie, d’organiser de journées d’étude en 2020 et 2021.

PROGRAMME 2019

PROGRAMME 2018

PROGRAMME 2017

PROGRAMME 2016

PROGRAMME 2015

PROGRAMME 2014

PROGRAMME 2013

  • 03/12 : Tablettes et smartphones
  • 09/04 : Les aspects juridiques de la mise en ligne des documents numériques
  • 20/06 : La curation de données
  • 29/10 : L’écriture à l’heure d’Internet

PROGRAMME 2012

  • 07/02 : Valorisation des ressources pédagogiques numériques
  • 03/04 : Évolution des formats de catalogage : RDA, FRBR
  • 14/06 : Bibliothèques et Chercheurs en Sciences Humaines et Sociales
  • 04/12 : Les licences nationales

PROGRAMME 2011

  • 08/02 : Métadonnées et mutualisation des ressources : archives ouvertes, OAI-PMH, portails
  • 05/04 : Évolution des moteurs de recherche sur Internet : moteurs graphiques, visuels, navigation à facettes, recherche sémantique, etc.
  • 16/05 : Économie de l’attention : usages numériques et appropriation des connaissances
  • 06/12 : Nouveaux modes de diffusion de la recherche : publication, échanges d’information et réseaux

PROGRAMME 2010

  • 09/02 : Les Archives ouvertes
  • 10/06 : L’édition électronique, quels modèles économiques ?
  • 09/11 : Catalogues de bibliothèques : quel avenir ?
  • 07/12 : Droits d’auteurs et documents numériques

PROGRAMME 2009

  • 10/02 : Droit d’auteur et documents électroniques
  • 07/04 : ORI-OAI pour le référencement et l’ indexation des ressources numériques
  • 04/06 : Les logiciels libres en bibliothèque : où en sommes-nous ?
  • 06/10 : La numérisation
  • 08/12 : Bibliothèques numériques, XML et métadonnées
  • 05/05 : Journée coorganisée avec l’ADBS et l’ARPIST : Chercheurs et droits d’auteurs ou comment diffuser juridiquement et techniquement ses productions scientifiques

Formateurs

Page mise à jour en mars 2021

Je souhaiterais intervenir pour l’Urfist, comment faire?

Vous pouvez nous transmettre un CV récent ainsi qu’une lettre de motivation.

Qui sont les formateurs de l’Urfist?

L’Urfist fait appel à des enseignants-chercheurs et chercheurs, des personnels d’appui à la recherche, des professionnels de la documentation et des technologies de l’information et de la communication, des formateurs indépendants.

Publié dans FAQ

Citer des références juridiques : guide et style Zotero de l’école doctorale Droit (Université de Bordeaux)

Consulter et emprunter le guide

Version imprimée et empruntable

Version numérique, téléchargeable

Télécharger le style automatisé (Zotero)

Démarrer avec le style

Le style bibliographique permet d’appliquer automatiquement les consignes du guide en utilisant les outils de rédaction bibliographique intégrés au logiciel, que ce soit pour :

  • créer des bibliographies indépendantes
  • gérer les citations dans un document (génération automatique des notes de bas de page et de la bibliographie en fin de document)

Utiliser le style

« Lire la notice d’utilisation? »

Lire une notice d’utilisation n’est généralement pas l’étape préférée quand on prend en main un outil, mais cette étape vous permettra de gagner du temps en adoptant d’emblée les bons réflexes, et en respectant quelques spécificités de saisie dans votre bibliothèque Zotero.
La section « Lisez-moi » comporte des indications pour le paramétrage et l’usage de Zotero, ainsi que des notes d’application générales communes à tous les types de document, à partir notamment des “Recommandations particulières” du guide.

Comment ajouter du texte dans vos notes de bas de page? Comment la génération automatique des mentions latines de renvoi est-elle paramétrée? Comment saisir dans votre bibliothèque Zotero les compléments de titre pour qu’ils soient affichés seulement en bibliographie et non en note de bas de page? C’est dans cette section que vous trouverez la réponse à ces questions.

La section “Modèles de citation des différents types de documents” comporte les indications détaillées pour chaque type de document cité. Elle intègre de plus des notes d’application dans Zotero et pour chaque exemple le lien vers le document correspondant dans la bibliothèque de groupe.
Comment saisir dans votre bibliothèque Zotero les contributeurs tels que les directeurs de thèse, les éditeurs scientifiques, etc.? Comment saisir dans votre bibliothèque Zotero des normes juridiques, des articles de presse ou de magazine? C’est dans cette section que vous trouverez la réponse à ces questions.

Aller + loin avec le style

Besoin d’aide?

Consulter la documentation en ligne

Contacter l’Urfist : urfist@u-bordeaux.fr

FAQ du guide et du style

D’où sont issues les préconisations du guide? Comment le guide a-t-il été conçu?

Les préconisations du guide sont issues d’une collaboration entre l’École doctorale de Droit de l’Université de Bordeaux et l’Urfist. Les auteurs du guide sont des : enseignants-chercheurs, des doctorants, des professionnels de l’information spécialisés dans le domaine du droit.

Vous souhaitez adapter cette démarche pour votre établissement? Consultez : Flamerie de Lachapelle, Frédérique. 2019. « Créer un style pour Zotero correspondant à une norme bibliographique juridique : retour d’expérience bordelais. Billet invité ». Billet. UrfistInfo (blog). 2 juillet 2019. https://urfistinfo.hypotheses.org/3305.

Je suis doctorant.e en droit à l’Université de Bordeaux. Suis-je obligé.e d’appliquer les consignes du guide?

Non. Il s’agit de préconisations, sans caractère obligatoire. S’appuyer sur ces recommandations permet de gagner du temps et de produire une bibliographie homogène et cohérente, plus lisible pour les lecteurs de votre thèse.

Les sites que j’utilise sont peu souvent compatibles avec Zotero. En général, j’ai un gros travail de reprise de données à prévoir. Est-ce la peine d’utiliser Zotero?

Absolument. Certes, le style conçu par l’ED Droit de l’Université de Bordeaux et l’Urfist ne résout pas le problème de la compatibilité entre Zotero et les sites web juridiques notamment. Il s’agit d’une autre question.

Une fois effectué le travail d’adaptation des données bibliographiques importées, vous n’avez pas à y revenir. La référence biblio est prête à l’emploi et réutilisable ad lib.

Utiliser Zotero permet de constituer une base de données personnelle de références bibliographiques interrogeable et facile à gérer sur le long terme. Les outils d’interrogation et d’organisation de Zotero sont puissants et simples à utiliser.

A la différence de l’outil de citation de Word par exemple, Zotero centralise en 1 seul endroit toutes vos références : 1 même référence peut être citée dans plusieurs fichiers sans que vous ayez à la créer de A à Z. Dans l’outil de Word, peu importe si vous avez déjà cité la référence : vous allez devoir la créer si vous ouvrez un nouveau fichier.

Si certains sites d’éditeurs juridiques n’offrent pas un niveau de compatibilité optimal, les données issues des catalogues de bibliothèques s’importent très facilement, sans scories ou lacunes majeures. Ainsi, toutes les références de monographies, de thèses, etc. issues de ces catalogues (ex. catalogue national des BU) s’importent aisément.

Dois-je obligatoirement utiliser la version automatisée des préconisations du guide?

Non, il n’y a aucune obligation. Il est tout à fait possible de traiter ses références manuellement. En effet, si vous avez déjà rédigé la majeure partie de votre manuscrit, il n’est pas forcément opportun de recourir au style automatisé car la reprise des références serait trop fastidieuse.

Si en revanche, vous entamez la rédaction, il est fortement conseillé de recourir au style automatisé. Il vous permettra de gérer plus facilement des volumes importants de sources, de les citer de manière cohérente automatiquement, de créer votre bibliographie finale en un clic, etc.

Je souhaiterais modifier le style. Est-ce possible?

Il convient de distinguer deux cas de figure.

  • Vous souhaitez modifier le style pour qu’il réponde mieux à vos besoins individuels. Vous pouvez alors créer un style dérivé du style « Université de Bordeaux – École doctorale de droit (Français) », en modifiant vous-même le fichier de code informatique CSL. Le billet du blog Zotero francophone « Apporter de petites modifications à un style bibliographique » pourra vous aider dans cette démarche.
  • Vous souhaitez proposer une évolution des consignes de rédaction bibliographique. Vous devez alors soumettre vos propositions à l’Urfist de Bordeaux, qui évaluera votre demande et y répondra au mieux. Il convient d’envisager un délai de plusieurs semaines ou plusieurs mois si la production d’une nouvelle édition du guide « Citer des références bibliographiques juridiques » s’avère nécessaire

Je suis intéressé.e par le style mais par où commencer? j’ai toujours traité mes références manuellement.

Une initiation à Zotero vous permettra de comprendre les finalités de l’outil et ses fonctionnalités principales. L’Urfist de Bordeaux propose régulièrement des formations. Il existe aussi une documentation abondante. Quelle que soit l’option que vous retenez, nous vous invitons fortement à vous former à Zotero pour installer et utiliser facilement le style de l’ED droit de l’Université de Bordeaux. Pas convaincu.e? Comprendre ce que Zotero peut vous apporter.

Inscriptions

Page mise à jour en mars 2021

Le stage qui m’intéresse est complet, il n’est plus possible de s’inscrire. Que faire?

Contactez l’Urfist pour être mis sur liste d’attente. En cas de désistements et en fonction de votre rang dans la liste d’attente, l’Urfist vous contactera pour vous proposer une place. La liste d’attente permet également à l’Urfist de contacter en priorité les personnes recensées lorsqu’un stage similaire est programmé de nouveau.

Il est également possible que le stage soit ré-ouvert en cas de nouvelle capacité ou de forts désistements, n’hésitez pas à nous contacter.

On me demande d’indiquer mon n° de téléphone dans mon compte personnel. Pourquoi est-ce important?

Il est préférable d’indiquer un numéro de téléphone pour pouvoir être joint.e par l’Urfist si une place s’est libérée suite à une annulation de dernière minute. Qui plus est, il se peut que dans le futur, on puisse vous alerter via ce biais pour vous donner toutes sortes d’informations importantes.

Je ne peux plus participer au stage auquel je m’étais inscrit. Comment me désister?

Les désistements s’effectuent depuis le compte personnel. A partir du 5ème désistement enregistré sur une année universitaire, l’Urfist se réserve le droit d’annuler les demandes d’inscriptions validées et/ou de refuser les autres demandes. En cas d’absence non justifiée, par un désistement ou un mail, cela pourra être dans un délais plus court que 5. Nous vous rappelons que d’autres personnes auraient pu bénéficier de votre place et vous remercions de prendre en compte cette information.

Je me suis inscrit(e) à une formation dont l’inscription n’est pas encore validée mais ne suis plus disponible. Comment annuler ma demande?

Vous pouvez annuler votre demande depuis le compte personnel. Vous n’avez pas d’autre démarche à effectuer. Si votre demande est acceptée, nous vous invitons à anticiper et à vous désister le plus rapidement possible, vous permettez ainsi à une personne sur liste d’attente de profiter de votre place. Plus ce désistement est fait en amont, meilleure sera la chance pour une autre personne de bénéficier de cette place.

Comment me tenir facilement informé des nouveaux stages et nouvelles sessions proposés?

Les annonces de stage sont diffusées par mail via les listes de diffusion des universités et des organismes de recherche.

Puis-je m’inscrire aux stages par mail?

Non, les demandes d’inscription doivent être effectuées en ligne. Les demandes adressées par mail ou téléphone ne sont pas prises en compte. En cas de problème pour accéder au compte personnel, contactez-nous.

J’ai fait une demande d’inscription en ligne, ma demande est-elle automatiquement acceptée?

Non. Dès validation définitive de votre demande, vous recevrez une notification automatique. Et à quelques semaines de la date du stage, vous recevrez un mail de convocation.

Les personnels de l’enseignement supérieur et des EPST doivent fournir une autorisation signée par leur supérieur hiérarchique.

Le stage auquel je souhaite assister n’est pas complet et je suis pourtant placé sur liste d’attente. Pourquoi?

2 cas de figure sont possibles : (1) soit l’effectif est complet et le demandeur est placé automatiquement sur la liste d’attente principale. Une fois que la liste d’attente principale est complète, dès lors, il n’est plus possible pour les demandeurs de procéder directement à leur inscription en ligne via la plateforme. Il faut dans ce cas envoyer une demande à l’Urfist qui placera le demandeur sur la liste d’attente complémentaire ; (2) soit le profil du demandeur ne correspond pas aux publics cibles du stage : en effet, certaines formations ciblent particulièrement les doctorants, les chercheurs ou les enseignants-chercheurs ; ou d’autres stages peuvent par exemple concerner en priorité les personnels des bibliothèques.

Afin de garantir la meilleure adéquation entre le contenu proposé et le profil des stagiaires, il est possible d’être mis sur liste d’attente par l’Urfist : la priorité est donnée aux participants correspondant au public cible.

La formation a lieu dans quelques jours, mais je n’ai pas reçu de mail de convocation, que faire?

Vérifiez l’adresse mail renseignée dans le compte utilisateur de la plateforme d’inscription. Si l’adresse mail est valide, contactez l’Urfist par mail dans les plus brefs délais.

Les formations de l’Urfist peuvent-elles être suivies dans le cadre du compte personnel de formation (dispositif ayant remplacé le Droit Individuel à la Formation – DIF)?

Oui, toutes les formations ne relevant pas de l’adaptation immédiate au poste peuvent être prises sur le quota d’heures du compte personnel de formation. Tout dépend de la nature du besoin de formation plus que du thème de la formation.

Publié dans FAQ

Demandes de stages

Page mise à jour en mars 2021

Puis-je faire des demandes de stages?

Oui, s’il s’agit d’une demande individuelle, vous pouvez tout à fait nous transmettre vos attentes.

Les questionnaires de satisfaction remplis par les stagiaires à chaque fin de formation permettent aussi de transmettre des demandes de stages.

Vous pouvez également faire une demande de stage sur mesure s’il s’agit d’une demande collective.

Matériel, accès à la salle

Page mise à jour en mars 2021

Est-il possible d’emprunter la salle de formation de l’Urfist?

La salle de formation peut être réservée par les services de l’université ou des EPST pour des actions de formations.

En raison des travaux en cours sur le campus de Pessac,  la salle ne sera plus accessible à la location jusqu’en 2022.

Pour faire une demande de réservation.

La salle doit être rendue dans l’état de propreté dans lequel elle a été trouvée.

La salle peut aussi être louée à des extérieurs à l’université. Coût de la journée : 300 euros TTC. Pour des informations complémentaires.

Publié dans FAQ

Un environnement numérique de recherche portable et stable : pour une recherche répétable et reproductible

Objectifs

La manifestation est organisée en partenariat avec la délégation Aquitaine du CNRS.

  • Sensibiliser les participants aux enjeux de reproductibilité et de répétabilité de la recherche
  • Améliorer la portabilité et sécuriser la réutilisation de ses outils numériques pour obtenir des résultats fidèles
  • Donner à voir des cas d’utilisation de containers et autres solutions logicielles en recherche, fournir des exemples de workflows dans une perspective utilisateur final et non pas administrateur réseaux

Cette initiation est ouverte à tous publics intéressés par les questions de : répétabilité, reproductibilité de la recherche, travail collaboratif, préservation des environnements numériques scientifiques.

Inscription en ligne obligatoire et gratuite pour toutes catégories de publics.

Programme

« Une seule mise à jour/montée de version effectuée et tout est dépeuplé »

(ancien proverbe informatique librement inspiré de Lamartine)

Vous n’obtenez plus les mêmes résultats alors que vous suivez le même protocole. Vos collègues parviennent encore moins à reproduire votre démarche alors qu’en apparence, leur environnement informatique est similaire au vôtre. Comment s’assurer d’être en mesure de réitérer des démonstrations X semaines, X mois, X années plus tard? Cette introduction aux containers (Docker et Singularity) et au gestionnaire de paquets GNU Guix se veut un panorama critique des solutions techniques, accessible à toute personne intéressée par la question de la portabilité et de la fiabilité de ses outils de recherche. Ces questions sont ici traitées sous l’angle des enjeux pour les chercheurs et chercheuses, et non pas sous l’angle de l’administration de réseaux. La formation prend la forme d’un court workshop.

Introduction, par François Pellegrini, professeur à l’Université de Bordeaux, chercheur Inria-Labri

« Fiabiliser son environnement de recherche : introduction aux containers Docker et Singularity« , Adalbert Arsen

Pourquoi déployer un container plutôt qu’une machine virtuelle? Quels sont les avantages et limites de ce type d’outils? Et surtout, à quels besoins de recherche les containers répondent-ils? Certaines revues intègrent désormais le déploiement de containers à leur workflow. Quelles étapes prévoir? Quelles compétences mobiliser? Quels sont les cas d’usages possibles dans un workflow de recherche?

« Portabilité de R : dockeriser une appli Shiny » : Vincent Guyader

« Lorsque l’on cherche à développer puis à déployer une application R (typiquement une application shiny), plusieurs aspects sont à prendre en compte (Note : Ce qui suit s’adapterait à n’importe quel « produit » basé sur R) : que va devenir cette application? Qui va être en charge de la déployer? À combien d’utilisateurs s’adresse-t-elle? Doit-elle être installée en local sur les postes des utilisateurs, ou accessible en ligne? Sera elle publique ou privée? Les réponses à ces questions vont orienter directement des choix techniques, qu’il faudra parfois mettre en place très tôt dans la phase de développement de l’appli. En effet, il y a un gap énorme entre avoir un app.R qui tourne bien en local sur son poste, et avoir une application shiny en production accessible au plus grand nombre. », V. Guyader (cf. 6èmes Rencontres R, Anglet, 2017)

« Au-delà des conteneurs. Environnements logiciels reproductibles avec GNU Guix » : Ludovic Courtès

« Docker et Singularity peuvent reproduire un environnement logiciel à l’identique mais permettent difficilement d’aller au-delà d’expérimenter. Peut on concilier reproductibilité et expérimentation pour les environnements logiciels? GNU Guix est comparable à apt-get, yum ou CONDA, mais il fournit des binaires reproductibles bit à bit avec un suivi de leur provenance. Il peut aider à la gestion d’environnements à la « module » ou VirtualEnv, ou encore provisionner des conteneurs. J’évoquerai notre expérience avec Guix en calcul intensif (HPC) », L. Courtès

En savoir + sur GNU Guix

Intervenants

Docteur en hydrologie spatiale, Adalbert Arsen a exercé des activités de recherche au seln du laboratoire LEGOS (UMR 5566) à Toulouse. Il se consacre désormais à la formation au traitement des données de recherche (programmation, analyse et traitement des données, notamment données géographiques) et possède également une expertise dans le domaine de la communication scientifique (poster scientifique, rédaction d’article, vulgarisation scientifique).

Ingénieur de recherche au centre Inria Bordeaux Sud-Ouest (Service d’Expérimentation et de Développement), Ludovic Courtès s’est spécialisé dans le calcul intensif.  Il est initiateur et co-mainteneur du projet GNU Guix et une des personnes à l’origine du projet Guix-HPC.  Il est aussi co-mainteneur de GNU Guile qui met en œuvre le langage de programmation fonctionnelle Scheme.

Data scientist, Vincent Guyader est gérant de la société ThinkR,  société spécialisée dans les applications et la formation au logiciel R. ThinkR accompagne les entreprises de tous secteurs (pharma, finance, agronomie…) dans leur problématiques de datascience nécessitant l’usage de R : création et déploiement d’application, migration SAS vers R, installation et maintenance de serveur de calcul, formation et coaching d’équipe.

Ressources

Communiquer : supports de présentation

La diffusion des supports de présentation sur le site de l’Urfist est soumise aux autorisations accordées par les intervenants. Tous les supports ne sont donc pas disponibles.

Le peer review à l’ère de l’open science : enjeux et évolutions

Argumentaire

Les formes traditionnelles du peer review font régulièrement l’objet de critiques de la part des chercheurs eux-mêmes : le processus est jugé lent, coûteux et opaque. L’abondante littérature sur le sujet souligne également d’autres écueils du peer review  (Souder 2011) : les biais en faveur d’auteurs issus de prestigieuses institutions ; un traitement inéquitable selon le niveau de maîtrise d’anglais des auteurs ; le risque de privilégier les résultats au détriment de la méthode, l’application de procédures inadaptées à l’évaluation de manuscrits à fort caractère interdisciplinaire ; et plus généralement, un tropisme pour ce que L. Souder nomme « scientific conservatism » (Souder 2011:55).

Par ailleurs, alors que le nombre d’articles augmente de manière exponentielle, les revues sont confrontées à la difficulté de trouver des rapporteurs. M. Kovanis et ses co-auteurs (Kovanis et al. 2016) alertent sur les atteintes à la qualité du processus engendrées par la sur-sollicitation d’un nombre restreint de rapporteurs. De plus, la pénurie de rapporteurs est aggravée par le fait que l’évaluation ne porte plus seulement sur des manuscrits mais s’étend désormais également à des jeux de données, du code informatique par exemple. Ainsi que le soulignent B. Lawrence et ses co-auteurs (Lawrence et al. 2011:11), le peer review de données sources nécessite de recourir non seulement aux compétences de spécialistes de la discipline, mais aussi de s’appuyer sur des experts techniques.

Autre paradoxe du peer review : alors que la publication d’articles dans des revues considérées comme prestigieuses reste déterminante dans l’attribution de financements et de promotions, l’activité de reviewing s’avère peu ou mal valorisée.

Selon J.P. Tennant et ses co-auteurs (Tennant et al. 2017), grâce aux possibilités offertes par l’édition numérique, nous assistons à une période d’expérimentation et d’innovation dans le domaine du peer review. Or si des outils répondent aux besoins de traçabilité et d’interopérabilité, il s’agit moins d’une évolution technique que culturelle.

Dans quelle mesure le paradigme de l’open science peut-il apporter des réponses à la crise du peer review ? Par ailleurs, de quoi l’open peer review est-il le nom ?

Quels sont les impacts sur le peer review de la logique de décloisonnement inhérente à l’open science?

De quelle manière les institutions de recherche peuvent-elles jouer un rôle plus actif dans un écosystème de la publication dominé par les éditeurs ? La publicisation des évaluations renforce-t-elle ou fragilise-t-elle les reviewers?

La journée d’étude n’est pas filmée.

Programme

8h45-9h : accueil des participants

9h-9h15 : allocution de bienvenue, Nicolas Roussel, directeur du Centre Inria Bordeaux-Sud-Ouest

« Peer Community in : un système de recommandation public et gratuit de preprints » ; Thomas Guillemaud (Inra)

9h15-10h

« Pour offrir une alternative au système actuel de publication – qui est notamment coûteux et peu transparent – nous avons initié le projet Peer Community in (PCI). PCI repose sur la publication d’évaluations critiques et de recommandations d’articles non encore publiés, mais déposés – et gratuitement accessibles – sous forme électronique dans des archives ouvertes disponibles sur internet. Ces évaluations et recommandations sont réalisées bénévolement par les chercheurs sans aucun lien avec des éditeurs privés.

Les frais de publication disparaissent : PCI offre la possibilité de valider, diffuser et consulter gratuitement les articles qui lui sont soumis. Les délais d’accès à l’information sont nuls : les articles scientifiques évalués sont déposés dans les archives ouvertes dès la fin de leur écriture. Le système devient transparent : les critiques, les décisions éditoriales, les réponses des auteurs et les recommandations sont publiées sur le site de la communauté scientifique concernée. » D. Bourguet, T. Guillemaud

10h-10h15 : échanges avec le public

10h15-10h35 : pause café

Valoriser le travail des reviewers : retours d’expérience autour du dépôt en accès libre des avis (Publons, etc.) ; chercheurs invités : Florence Débarre (Centre Interdisciplinaire de Recherche en Biologie, Collège de France) ; Fabien Lotte (équipe Potioc, Inria) ; Nicolas Rougier (équipe Mnemosyne, Inria) ; Olivier Sandre (Laboratoire de Chimie des Polymères Organiques, CNRS). Animateur de la table-ronde : Hervé Maisonneuve (médecin et consultant, rédacteur du blog « Rédaction médicale et scientifique »).

10h35-11h15

Publons a pour ambition de valoriser l’activité des reviewers, encore peu reconnue dans l’évaluation des chercheurs. Chaque rapporteur peut ainsi rendre publique son activité. La plateforme est interfacée avec Orcid pour que l’ensemble de l’activité de recherche soit documentée de manière centralisée. D’autres solutions seront également évoquées.

11h15-11h30 : échanges avec le public

« Le futur du peer review en sciences du vivant et de la santé » ; Hervé Maisonneuve (médecin et consultant, rédacteur du blog « Rédaction médicale et scientifique »)

11h30-12h

« Le peer review est accusé de tous les maux (lent, inefficace, biaisé), mais il n’y a pas mieux ! Le peer review ouvert semble satisfaire certaines communautés, mais il est refusé par d’autres. Valoriser le travail de relecture pourrait améliorer la qualité du peer review, mais cela doit être démontré. Des revues utilisent un modèle appelé ‘Registered Reports’ : les chercheurs soumettent l’introduction et les méthodes et le comité de rédaction donne une acceptation sous réserve. Le chercheur conduit ses expériences, et que les résultats soient positifs ou négatifs, ils seront publiés, après une relecture pour s’assurer de la cohérence de l’article avec les objectifs initiaux. Ce modèle a des variantes. A long terme, l’intelligence artificielle pourrait remplacer des relecteurs, et faire aussi bien voire mieux. » H. Maisonneuve

12h-12h15 : échanges avec le public

12h15-14h : buffet sur place offert

« Emergent Scientist : une initiation par la pratique à la publication scientifique » ; Arnaud Raoux (Ecole Normale Supérieure, Ulm)

14h-14h30

« La publication scientifique est très largement absente des formations universitaires, et les étudiants qui achèvent leurs études avant le doctorat n’ont presque aucune occasion de se familiariser avec la lecture, l’écriture ou l’évaluation d’articles de recherche. Pourtant, il est indispensable de connaitre le fonctionnement de la publication scientifique pour comprendre le fonctionnement des sciences sur lesquelles reposent nos sociétés.

Emergent Scientist (EmSci) est un journal open access créé par la Société Française de Physique et EDP Sciences pour répondre à ce besoin. Lancé en Septembre 2017, EmSci reprend la structure classique d’un journal à comité de lecture, en adaptant ses procédures et critères d’évaluation pour permettre à des étudiants de publier leurs travaux et de s’impliquer à toutes les étapes du journal, de la lecture à l’édition.

Dans cet exposé, je présenterai ce journal, depuis sa conception jusqu’à son lancement, en soulignant les préoccupations pédagogiques de ce projet. » D. Suchet, A. Raoux

14h30-14h45 : échanges avec le public

« Open peer review in DIGITAL.CSIC : analyzing potential roles of institutional repositories in the future of scholarly communication » ; Isabel Bernal (Unit of Information Resources for Research, Spanish National Research Council)

14h45-15h05

« DIGITAL.CSIC, the Open Access repository of the Spanish National Research Council, launched an Open Peer Review Module in April 2016. The module falls within the range of the repository’s activities to advance Open Science and has contributed to open a debate as to opportunities for institutional repositories in a new scholarly evaluation and communication system. The talk will give an overview of how the module has been used thus far and perceptions by scientific community about current peer review crisis. » I. Bernal  

15h05-15h15 : échanges avec le public

15h15-15h30 : pause

« Voir, cacher, se cacher, être vu… Politiques de l’anonymat dans le journal peer review » ; David Pontille (CNRS, CSI-I3) et Didier Torny (CNRS, CSI-I3)

15h30-16h

« Faut-il rendre les auteurs et les évaluateurs d’articles anonymes afin de garantir l’objectivité des jugements ? Faut-il au contraire lever toute forme d’anonymat au nom de la transparence du processus d’évaluation ? Ou bien encore, faut-il que les évaluateurs sachent l’origine des articles afin d’en apprécier la pertinence et la qualité ? Dans cette communication, nous questionnerons l’évaluation par les pairs dans les revues à partir d’une approche diachronique des pratiques en vigueur dans différentes disciplines. Nous verrons que les politiques d’anonymat n’arbitrent pas uniquement les relations de visibilité entre auteurs et évaluateurs, mais revendiquent des valeurs morales contrastées du jugement scientifique.  » D. Pontille et D. Torny

16h-16h15 : échanges avec le public

Synthèse et conclusion de la journée par Nicolas Rougier (Inria)

16h15-16h30

Sources

  • Kovanis, Michail, Raphaël Porcher, Philippe Ravaud, and Ludovic Trinquart.  2016     The Global Burden of Journal Peer Review in the Biomedical Literature: Strong Imbalance in the Collective Enterprise. Lutz Bornmann, ed. PLOS ONE 11(11): e0166387.
  • Lawrence, Bryan, Catherine Jones, Brian Matthews, Sam Pepler, and Sarah Callaghan.  2011     Citation and Peer Review of Data: Moving Towards Formal Data Publication. International Journal of Digital Curation 6(2): 4–37.
  • Souder, Lawrence.  2011     The Ethics of Scholarly Peer Review: A Review of the Literature. Learned Publishing 24(1): 55–72.
  • Tennant, Jonathan P., Jonathan M. Dugan, Daniel Graziotin, et al.  2017     A Multi-Disciplinary Perspective on Emergent and Future Innovations in Peer Review. F1000Research 6: 1151.

Informations pratiques