RAMMS ou le miroir aux alouettes
Dans un article qui a été récemment accepté (septembre 2017) par la revue scientifique Journal of Glaciology [1], trois scientifiques ont décidé de porter l’estocade contre le modèle numérique d’avalanche RAMMS (acronyme pour Rapid Mass Movement) commercialisé par le WSL/SLF depuis le début des années 2010. RAMMS comporte trois modules (avalanche, chutes de pierre, et lave torrentielle). Le module avalanche a connu un certain succès commercial au cours des sept dernières années au point que l’on voit fleurir des affirmations dithyrambiques le citant comme LA référence en la matière. Le présent article revient sur les causes de la polémique et les conséquences pratiques de ce qui s’annonce comme un scandale dans un milieu d’ordinaire bien policé.
Les protagonistes
Plantons le décor. Les trois scientifiques sont
- Dieter Issler, un consultant en avalanche pour le NGI en Norvège, physicien de formation (ETHZ) et ancien du WSL/SLF (il a notamment participé à la mise en place du site de la Sionne),
- Jim Jenkins (prof., université de Cornell, un des pères de la théorie cinétique granulaire), et
- Jim McElwaine (prof., université de Durham, un mathématicien avec une passion coupable pour la neige et les avalanches, et un partenaire de longue date du SLF).
La revue scientifique est Journal of Glaciology, dont un des éditeurs est Perry Bartelt du SLF et papa de RAMMS. Il y a publié l’essentiel des articles consacrés à son modèle numérique.
Hum… cela sent le linge sale qu’on lave en famille d’habitude. Alors qu’en est-il ?
Des tabous en science ?
Il y a en science des frontières que l’on se garde de franchir, des quasi-tabous. Le plus souvent, ce sont des frontières tacites acceptées par la communauté, mais parfois, le législateur est passé par là et met des garde-fous légaux (comme l’interdiction du clonage humain). Comme l’avait anticipé le philosophe français Jacques Ellul, ce type de frontière finit toujours par être franchi :
« parce que tout ce qui est technique, sans distinction de bien et de mal, s’utilise forcément quand on l’a en main. »
Dans le domaine des modèles numériques en général, et en dynamique des fluides géophysiques en particulier, les développeurs (le plus souvent des universitaires) peuvent mettre à disposition leur modèle pour des applications ponctuelles ou des comparaisons avec des données de terrain ou de laboratoire. La diffusion large d’un produit de la recherche nécessite un gros travail d’interface (souvent de pré- et post-traitement de l’information) et de documentation. Et le travail est tellement conséquent qu’il faut des années pour que de petites équipes académiques puissent y parvenir. Dans bien des cas, les outils restent donc sous forme de version beta sans interface et c’est l’utilisateur qui doit se débrouiller. Rendre un code librement accessible ou le commercialiser sous-tend que le produit correspond à un état de l’art accepté par la communauté scientifique et qu’il a été validé à différents niveaux.
Valider un code numérique
Le travail de validation d’un code numérique comporte plusieurs étapes :
- vérifier que les équations utilisées sont pertinentes à décrire le phénomène étudié,
- contrôler que la méthode de résolution numérique est stable et converge vers la bonne solution physique,
- appliquer le code à des cas idéalisés (pour montrer que le code capture la physique du phénomène avec la précision souhaitée) puis des cas réels.
Généralement, le processus de développement et de validation fait l’objet d’articles dans des revues scientifiques. Le travail doit être examiné par des scientifiques (rapporteurs) indépendants. C’est ce qu’on appelle le processus de revue par les pairs (peer-reviewing). Et naturellement, pour éviter les conflits d’intérêt, les auteurs ne soumettent pas leurs articles dans des revues dans lesquelles ils ont des responsabilités éditoriales ou un lien étroit avec les responsables de la publication.
Et alors quel est le problème avec les avalanches ?
Tous les modèles actuels sont fondés sur des équations de Saint-Venant, un jeu d’équations tirées de l’hydraulique pour décrire les rivières en crue. Le premier code numérique moderne d’avalanche a été écrit par Jean-Paul Vila dans les années 1980 [2-3], et tous les codes actuels en sont inspirés à des degrés divers. Cependant, même après 30 ans de tests et développements, les progrès ont été limités. En 2000, dans le cadre d’un programme européen de recherche, différents groupes ont calibré les paramètres de frottement de leur modèle numérique (tous fondés sur le même jeu d’équations de Saint-Venant) et ont abouti à des valeurs très différentes [4]. Cela a souligné la grande sensibilité des résultats aux détails de la résolution numérique.
D’autres problèmes se sont posés et touchent le cœur de l’approche actuelle. Par exemple, depuis Voellmy [5], le frottement de l’avalanche est supposé inclure du frottement solide (de type Coulomb) et du frottement turbulent (fonction de la vitesse quadratique). Avec la multiplication de sites expérimentaux permettant de suivre le mouvement des avalanches dans le détail, il est devenu clair que le modèle de Voellmy ne permet guère de décrire fidèlement le frottement réel [6-7]. Cependant, pour des raisons tant pratiques qu’historiques, le modèle de Voellmy continue à être utilisé par les praticiens. Ceux-ci appliquent donc leur propre technique pour ajuster les paramètres du modèle de Voellmy.
Malgré les progrès, les méthodes numériques peinent parfois à résoudre correctement les équations. Par exemple, la localisation du front pose souvent problème (en effet c’est le point où la hauteur écoulement devient nulle, mais avec des modèles de frottement de type Voellmy, le frottement devient localement infini (car il s’écrit en 1/h avec h la hauteur d’écoulement) et même avec un frottement faible, le front est une singularité qui nécessite un traitement particulier, voir [8-9]). Pour plusieurs codes, l’avalanche ne s’arrête jamais. La vitesse tend vers 0, sans toutefois l’atteindre. Il faut donc des « patches » pour corriger ces erreurs numériques.
Et RAMMS alors ?
Plusieurs groupes dans le monde se sont intéressés à décrire des écoulements de fluides complexes à l’aide d’équations de type Saint-Venant. Il faut prendre conscience que l’étalement d’un fluide ordinaire comme de la mayonnaise sur une table de cuisine est déjà un problème d’une grande complexité, sans solution actuellement ! Alors, des fluides complexes comme la neige offrent un défi considérable.
Le groupe de Perry Bartelt au SLF a tenté de relever le défi en puisant des idées dans la thermodynamique des systèmes hors équilibre de Prigogine et la théorie cinétique des gaz dissipatifs. Le point d’achoppement est que le modèle (ou devrait-on dire « les modèles » tant le modèle initial a subi des évolutions au cours des 10 dernières années) n’est pas cohérent avec ce que l’on sait des fluides complexes tels que les milieux granulaires. Les démonstrations sont par ailleurs émaillées d’erreurs. C’est en substance ce que dit l’article très détaillé d’Issler, Jenkins, et McElwaine. Iverson et George notaient, de leur côté, des problèmes similaires [10].
À l’absence de validation théorique des concepts développés s’est ajouté le manque de validation expérimentale. Indépendamment de toutes autres considérations, un problème de taille surgit pour toute validation avec la neige : il est très difficile de mesurer les propriétés mécaniques de la neige en écoulement par des expériences indépendantes et contrôlées. Les paramètres de tous les modèles sont donc ajustés ou calibrés en faisant correspondre des observations de terrain et des prédictions du modèle. C’est ce qu’on appelle caler un modèle. Mais caler les paramètres d’un modèle sur un événement ne dit rien sur la pertinence du modèle. Cela ne permet pas non plus de dire grand-chose sur un autre événement (même sur le même site) car a priori les valeurs des paramètres changent sans qu’on sache comment. Dans sa dernière version, RAMMS possède 16 paramètres. Avec un modèle sur-paramétré (c.-à-d. qui possède plus de paramètres qu’il n’existe de variables indépendantes que l’on puisse observer et utiliser pour tester le modèle), il est plus facile de caler le modèle, mais il devient quasiment impossible de l’utiliser en pratique de façon rigoureuse. Une erreur de détermination de quelques % sur un paramètre peut se propager et s’amplifier, aboutissant finalement à des erreurs considérables dans la prédiction. Un problème bien connu des hydrologues… [11].
Le miroir aux alouettes
Malgré l’absence de fondement théorique reconnu au sein de la communauté scientifique et l’insuffisance du travail de validation à partir d’observations de terrain, RAMMS a réussi à séduire autorités locales et bureaux d’études. Pourtant, des avertissements sur l’illusion de précision de l’approche numérique ont été émis. En 2004, à la fin de sa carrière au SLF, Bruno Salm (qui a beaucoup contribué aux méthodes quantitatives pour les avalanches et peut être considéré comme un des grands acteurs de la nivologie moderne) a mis en garde contre les voix de sirène : avec l’augmentation croissante de la puissance des ordinateurs, les modèles gagnent en réalisme, mais non en précision [12] :
« tous les modèles présentés sont – jusqu’à présent – d’une façon ou d’une autre entachés d’incertitudes. Un accroissement de la complexité des modèles n’implique pas nécessairement une précision plus grande ou une meilleure stratégie de lutte contre les dangers naturels. »
Pour les autorités locales, le numérique semble offrir non seulement un extraordinaire gain en précision (c.-à-d. prédire les distances d’arrêt pour le zonage d’avalanche avec une précision métrique), mais également un outil objectif permettant un traitement homogène du zonage de risque (implicitement il est supposé que le dire d’expert est subjectif). C’est ainsi qu’en 2011, les deux ingénieurs généraux de l’administration française Le Gallou et Guignard ont préconisé le recours systématique au numérique dans le zonage d’avalanche pour éviter les écarts qu’ils ont notés d’une commune à l’autre [13]. RAMMS est jusqu’à présent le seul candidat en lice, puisque personne d’autre que le SLF n’a commercialisé de code de calcul avec une une large diffusion. Il existe bien un candidat autrichien (SAMOS), mais il a une diffusion confidentielle [14-15], et il y a aussi quelques codes académiques, mais ils sont utilisés par leurs propres développeurs (en France, il y a l’IRSTEA de Grenoble, qui est le pionnier mondial du domaine, mais également l’ENS de Lyon et l’Université de Savoie). Étonnamment, personne dans l’administration ne s’est demandé pourquoi aucun des autres groupes de recherche dans le monde ne s’est lancé dans le créneau du code commercial. Les successeurs de Vila seraient-ils moins bons ou audacieux que leur père spirituel ? Ou bien suffisamment prudents pour ne pas se lancer sur une pente glissante ? Un responsable du RTM évoquait l’idée que, certes, un modèle comme RAMMS n’est pas rigoureux sur le plan scientifique, mais il est socialement acceptable car il répond à un besoin de la société (il veut dire à un besoin d’un groupe de personnes de l’administration, la synecdoque étant une figure de style prisée dans l’administration). La situation n’est pas sans rappeler les financiers qui avant la crise financière de 2007 s’étaient engagés dans des placements hasardeux mais tellement prometteurs en termes de rendement, et qui une fois le crack boursier advenu, se sont écriés que jamais au grand jamais ils n’auraient pu se douter du caractère extravagant des montages financiers. Personne ne les en avait avertis. Pourtant les voix s’étaient bien élevés avant 2007 pour dénoncer l’emballement financier, mais comme le dit le proverbe populaire, il n’y a pas plus sourd que celui qui ne veut pas entendre. Dans la finance, entre des promesses de rendement à 3 % et d’autres à 15 %, le choix a été vite fait, avec les conséquences que l’on mesure encore aujourd’hui. Nous vivons une situation similaire avec les modèles hydrauliques et d’avalanches. L’État a dépensé plus de 450 k€ pour des simulations numériques d’une trentaine de couloirs à Chamonix, simulations réalisées à l’aide de RAMMS, en dépit des remarques sur la faible plus-value de l’exercice. Des rapports ont été rendus récemment par les administrations pour « encadrer » l’usage des modèles numériques. Étonnamment, là encore, aucun scientifique (du développeur de code au mécanicien en passant par le géographe, le sociologue, l’historien ou le spécialiste de terrain) n’a été consulté. On mesure en France et en Suisse le fossé croissant qui sépare milieu académique et administrations en charge de la gestion territoriale.
Pour les bureaux d’études, le numérique est une formidable porte d’entrée à un marché qui pendant longtemps nécessitait des années de formation et de reconnaissance par les pairs. Il suffit désormais d’acquérir la licence d’un code numérique pour du même coup bénéficier d’un savoir numérique. Or, si dans quelques domaines de l’ingénieur (les fluides industriels ou le calcul des structures), une grande partie du travail de calcul est réalisée de nos jours par des ordinateurs, avec une partie humaine réduite à la portion congrue, tant les codes sont fiables, cela n’est pas le cas dans d’autres domaines (dont l’hydraulique torrentielle et les avalanches) où les modèles sont beaucoup plus rustiques et leurs résultats nécessitent un examen critique.
Et demain ?
Comme l’a documenté l’excellent ouvrage de Nicolas Chevassus-au-Louis [16], on note qu’avec la pression croissante qu’ont les scientifiques à publier, il y a en retour un accroissement du nombre d’articles litigieux (selon Chevassus-au-Louis, cela concerne quand même une fraction non négligeable de l’ordre de quelques % de l’ensemble des articles publiés). Cela va d’erreurs d’inadvertance (erreurs de mesure, de calcul, etc.) à des problèmes plus graves de fraude ou de plagiat. Quand les errata ne suffisent pas à corriger des erreurs manifestes, on voit des scientifiques retirer leurs articles. Dans le cas présent, il est encore trop tôt pour savoir quelle position sera adoptée par Bartelt et ses coauteurs, mais une réponse à l’article d’Issler, Jenkins et McElwaine est nécessaire (comme cela a été le cas avec la critique d’Iverson et George [10] sur un autre article de Bartelt). La rétraction est une possibilité ouverte pour clore la polémique. Les conditions d’acceptation des articles de Bartelt dans Journal of Glaciology font planer un doute et ne sont pas sans rappeler le scandale qui a secoué le groupe de Claude Allègre à l’IPGP et leurs articles dans une revue publiée par Elsevier [17].
Si on dépasse cette querelle interne au milieu académique, on peut se demander si le scandale va ébranler la diffusion du code numérique, s’il va être retiré du marché ou gelé dans une version plus cohérente avec l’état de l’art scientifique réel (et non idéalisé). Tout du moins, un sérieux rappel sur les limites de la modélisation s’impose. Dans la méthode dite VSG de 1990 (VSG pour Voellmy Salm Gubler) qui est en quelque sorte l’ancêtre de RAMMS, les auteurs prévenaient l’utilisateur [18]
« Il faut mettre en garde sur l’utilisation de cette méthode comme un « livre de cuisine » (on portera une attention particulière à l’usage des mots « environ » et « valeur indicative »). Bien au contraire, chaque avalanche requiert un traitement propre et une connaissance de la matière dans son ensemble. À cela s’ajoute aussi l’expérience qui joue un rôle important et que chacun doit acquérir. Il faut en dernier lieu avoir à l’esprit que les avalanches échappent aux calculs trop précis. »
C’est un avertissement qui ne mange pas de pain. Toutefois, si on examine les scandales dans le domaine sanitaire, on constate une grande inertie des intervenants. En pratique, il faut beaucoup de temps avant que les choses ne bougent…
Le scandale ne sera pas sans incidence plus large. La probabilité qu’un zonage tout numérique aboutisse prochainement à un accident dans le monde est grande. Comment cela sera-t-il jugé ? Qui sera responsable ? Ne risque-t-on pas une défiance envers les approches scientifiques ? Les sondages d’opinion montrent qu’une part croissante de citoyens éprouve de la défiance envers la science et les « experts » (combien parmi nous font confiance aux experts des OGM ou du nucléaire ?) alors que la fascination technologique est toujours bien présente. Comment redonner de la confiance aux utilisateurs et autorités car si l’approche numérique n’est pas la panacée, elle a ses mérites ?
Pour les maîtres d’ouvrage et maîtres d’œuvre, un regard critique doit être porté sur la plus-value d’une simulation numérique (par rapport à une expertise classique) et sur la capacité du bureau d’études à manipuler un code de type RAMMS. Il faut indiquer qu’un bon praticien saura déjouer la plupart des pièges numériques alors qu’un praticien inexpérimenté prendra les solutions numériques pour argent comptant. Le rendu sera souvent proche (de jolies couleurs sur une carte), mais le diable se cache dans les détails.
Mise à jour (27 janvier 2018)
Perry Bartelt a usé de son droit de réponse en publiant un article pour nier toute erreur dans ses articles [18]. Dans la conclusion, il dit créer une nouvelle mécanique :
« Ici, nous devons être francs : nous n’avons pas négligé les solutions offertes par la mécanique granulaire et l’étude des courants gravitaires de particules. La situation est beaucoup plus grave : nous les avons abandonnées pour la simple raison que nous avons constaté qu’elles ne fonctionnaient pas. Confrontés à la tâche de développer un modèle d’avalanche pour la pratique en ingénierie, nous nous sommes posé une question simple : qu’est-ce que l’application des lois de Newton et Stokes implique lorsqu’on s’attelle à la description des conditions aux limites au fond, du frottement de l’écoulement, et de l’aérosol. Nous voulions éviter les formulations de modèle qui abondent dans le jargon inutile et trompeur, l’inexactitude, la contradiction et l’illogisme général. Nous voulions avant tout un modèle qui puisse être testé en utilisant des mesures expérimentales et qui soit compréhensible pour les ingénieurs et les technologues. [19] »
Références
- [1] Issler, D, J. T. Jenkins, and J. McElwaine, Comments on avalanche flow models based on extensions of the concept of random kinetic energy, à paraître dans Journal of Glaciology. Article accessible depuis le dépôt arxiv : arxiv.org/abs/1710.00524
- [2] Vila, J.-P., Modélisation mathématique et simulation d’écoulements à surface libre . La Houille Blanche, 6/7, 485-489, 1984.
- [3] Vila, J.P., Sur la théorie et l’approximation numérique des problèmes hyperboliques non-linéaires, application aux équations de Saint-Venant et à la modélisation des avalanches denses, Ph.D. thesis thesis, Paris VI, 1986.
- [4] Barbolini, M., U. Gruber, C.J. Keylock, M. Naaim, and F. Savi, Application of statistical and hydraulic-continuum dense-snow avalanche models to five European sites, Cold Regions Science and Technology, 31, 133-149, 2000.
- [5] Voellmy, A., Über die Zerstörungskraft von Lawinen, Schweizerische Bauzeitung, 73, 159–165, 1955.
- [6] Ancey, C., and M. Meunier, Estimating bulk rheological properties of flowing snow avalanches from field data, Journal of Geophysical Research, 109, F01004, 2004.
- [7] Gauer, P., and K. Kristensen, Four decades of observations from NGI’s full-scale avalanche test site Ryggfonn—Summary of experimental results, Cold Regions Science and Technology, 125, 162-176, 2016.
- [8] Ancey, C., S. Cochard, S. Wiederseiner, and M. Rentschler, Existence and features of similarity solutions for supercritical non-Boussinesq gravity currents, Physica D, 226, 32-54, 2007.
- [9] Ancey, C., S. Cochard, S. Wiederseiner, and M. Rentschler, Front dynamics of supercritical non-Boussinesq gravity currents, Water Resources Research, 42, W08424, 2006
- [10] Iverson, R.M., and D.L. George, Discussion of “The relation between dilatancy, effective stress and dispersive pressure in granular avalanches” by P. Bartelt and O. Buser, Acta Geotechnica, 11, 1465–1468, 2016.
- [11] Beven, K., Environmental Modelling: An Uncertain Future, Routledge (Taylor & Francis), Oxon, 2009.
- [12] Salm, B., A short and personal history of snow avalanche dynamics, Cold Regions Science and Technology, 39, 83-92, 2004.
- [12] Le Gallou, J.-Y., and P. Guignard, Modalités de prise en compte des avalanches exceptionnelles pour améliorer la prévention des risques et renforcer la sécurité des personnes, Inspection générale de l’administration, Paris, 2011.
- [14] Fischer, J.-T., A. Kofler, W. Fellin, M. Granig, and K. Kleemayr, Optimization of Computational Snow Avalanche Simulation Tools, in International Snow Science Workshop 2014 Proceedings, pp. 665-669, Banff, Canada, 2014.
- [15] Sampl, P., and M. Granig, Avalanche simulation with SAMOS-AT, in Proceedings of the International Snow Science Workshop, 27 September–2 October 2009, pp. 519-523, Davos, Switzerland, 2009.
- [16] Chevassus-au-Louis, N., Malscience, Éditions du Seuil, Paris, 2016.
- [17] Foucart, S et H. Morin, Petits arrangements entre géologues, Le Monde du 26 décembre 2008.
- [18] Salm, B., A. Burkard, and H. Gubler, Berechnung von Fliesslawinen, eine Anleitung für Praktiker mit Beispielen, Eidgenössisches Institut für Schnee- und Lawinenforschung (Davos), 1990.
- [19] Bartelt, P., and O. Buser, Avalanche dynamics by Newton. Reply to comments on avalanche flow models based on the concept of random kinetic energy, Journal of Glaciology, doi: 10.1017/jog.2018.1, 2018.
- [20] “Here we must be blunt: we have not disregarded the solutions offered by granular mechanics/particulate gravity currents. The situation is far more serious: we have abandoned them for the simple reason we found that they do not work. Confronted with the task of developing an avalanche model for engineering practice we asked ourselves a simple question: what does the consequential application of the laws of Newton and Stokes imply for the all-important descriptions of the basal boundary conditions, avalanche flow friction and the formation of the powder cloud. We wanted to avoid model formulations that abound in needless and misleading jargon, misstatement, contradiction and general illogic. Above all we wanted a model that can be tested using experimental measurements and that is comprehensible to engineers and technologists.” Tiré de la réf. [19], Sec. 5.
