Beau bazar
Quel effet produit l’IA sur le développement open source ? Selon un rapport de la Linux Foundation, il est conséquent, entre augmentation de la production brute, abaissement du ticket d’entrée, obligation plus intense de relecture et épuisement d’une partie des personnes impliquées.
La question de la productivité et des transformations dans les processus est au cœur des questionnements autour de l’IA, les études, rapports et articles étant particulièrement nombreux depuis quelques mois. Dans les grandes lignes, les constats sont les mêmes : la production brute s’envole, mais l’IA impose sa « taxe de vérification », annulant une partie importante de ses bénéfices et ne débouchant pas sur une hausse des livraisons de produits finis dans les mêmes proportions.
La Linux Foundation souhaitait donc faire un point d’étape auprès de mainteneurs de projets open source, pour savoir comment leurs habitudes avaient changé, et surtout quels étaient les problèmes constatés. Une étude a ainsi été réalisée par Sam Boysel de la Linux Foundation et Anni Lai de Generative AI Commons, avec une préface de Brian Proffitt de Red Hat. L’entreprise a d’ailleurs financé le travail.
Un effet direct sur la production
Au cœur du rapport, on trouve un constat significatif : les effets de l’IA dépendent de la taille du projet. Ainsi, 59 % des mainteneurs ont observé une hausse du volume des contributions, le chiffre passant à 69 % dans les projets d’au moins 50 contributeurs. Un quart environ des demandes de fusion reçues sont jugées de faible qualité, 31 % dans les grands projets. C’est le fameux « slop » (ou bouillie) tant décrié, notamment par l’équipe de FFmpeg.
Sans trop de surprise, 52 % des mainteneurs indiquent que leur temps de relecture a augmenté, le chiffre passant à 64 % dans les grands projets. Dans ces derniers, l’épuisement est d’ailleurs devenu la première préoccupation, devant la qualité des contributions. Une nouvelle manifestation de la « taxe de vérification ». La vérification, justement, repose largement sur la confiance et l’inspection mutuelle, les attestations formelles se développant avec la taille du projet : 20 % dans les petits, 41 % dans les grands. Signe des temps : les trois quarts des mainteneurs interrogés ont indiqué recourir au moins partiellement à l’IA pour examiner les contributions reçues.
Une barrière d’entrée plus basse, mais une confiance dégradée
L’utilisation de l’IA au sein des projets est cependant très variable. 35 % seulement ont une politique écrite autorisant l’IA, 10 % l’interdisent, 23 % comptent en adopter une et le tiers restant n’a encore rien de prévu. Les politiques existantes portent surtout sur la divulgation et la responsabilité du contributeur (76 % chacune), beaucoup moins sur les licences (39 %). Les chiffres reflètent un paysage contrasté que nous avons pu voir à plusieurs reprises. Certains projets, dont Debian et le noyau Linux lui-même, n’ont plus aucun problème avec les contributions générées par IA, à condition que la personne qui les soumet soit en mesure de les expliquer. D’autres, comme Zig, Servo, Gentoo ou encore QEMU interdisent toute contribution générée par IA.
D’autres données intéressantes sont présentes dans le rapport. Par exemple, l’IA est utilisée dans toutes les étapes du développement : nouvelles fonctionnalités (83 %), débogage et tests (78 %), refactorisation (71 %), ou encore documentation (69 %). Sans surprise une fois de plus, les principaux gains de temps observés sont à 52 % sur l’écriture du code, mais les mainteneurs évoquent des gains se réduisant avec la complexité du projet. Sur les tâches complexes, 21 % indiquent même mettre plus de temps qu’avant.
Si les mainteneurs estiment à 71 % que l’IA abaisse la barrière d’entrée, elle dégrade aussi la confiance au sein de la communauté pour 53 % d’entre eux, quand 13 % seulement y voient une amélioration. Dans le même domaine, 46 % pensent que le besoin d’accompagnement des nouveaux venus dans un projet est supérieur.
La Linux Foundation avance ses recommandations
Le rapport, fourni très officiellement par la fondation, comporte huit recommandations applicables à tout projet libre. On y retrouve des prises de position déjà observées dans certains projets, qui sont également autant de constats faits par le rapport auprès des mainteneneurs :
- établir une politique claire et écrite sur les contributions assistées par IA et sur le signalement des vulnérabilités ;
- donner la priorité, dans cette politique, aux exigences de transparence et de divulgation. Les contributeurs doivent indiquer clairement et de façon constante aux mainteneurs les outils d’IA générative utilisés ;
- reporter la charge de la vérification sur les contributeurs, en exigeant une attestation sur l’honneur, des tests et une documentation des modifications assistées par IA avant leur soumission ;
- normaliser les pratiques d’attribution des contributions assistées par IA, afin que la divulgation ne reste pas laissée à l’appréciation de chacun. Une solution serait d’adopter et d’imposer le format « Assisted-by: » dans les commits ;
- utiliser l’IA comme outil de maintenance : les outils d’IA peuvent servir à trier, résumer et signaler les problèmes dans les contributions reçues, pour alléger la relecture et réduire l’épuisement des mainteneurs ;
- continuer d’investir dans l’accompagnement humain des nouveaux contributeurs : l’IA générative abaisse la barrière d’entrée, mais elle augmente le besoin d’encadrement une fois ces contributeurs arrivés, au lieu de le réduire ;
- mettre en balance les gains d’accessibilité apportés par l’IA générative et son coût pour la confiance au sein de la communauté, et concevoir des règles de contribution qui accueillent les nouveaux venus sans sacrifier la qualité ni la confiance ;
- une gouvernance de qualité et la confiance comptent davantage que l’amélioration des performances techniques.
En somme, chaque projet devra faire ses propres choix, car ces propositions ne sont pas des obligations. La Linux Foundation n’a d’ailleurs aucun pouvoir en la matière, l’un des principaux buts de la structure étant d’aider et de fournir des ressources, en plus de son effet structurant.
Entre conseils déclaratifs et « combattre le feu par le feu »
Certains points peuvent d’ailleurs faire hausser quelques sourcils. Par exemple, la recommandation d’utiliser le format « Assisted-by: » dans les commits est fait en référence directe au noyau Linux. Or, les mainteneurs de ce dernier ont récemment décidé de ne plus le rendre obligatoire. Linus Torvalds, en particulier, s’est montré très clair sur la question, avec une certaine véhémence face à un mainteneur du noyau qui militait pour préserver cette obligation. Même si le rapport a été clos en juin dernier, il ne tient pas compte de ce changement, qui reste antérieur à la publication de la Linux Foundation.
Cette synthèse affiche également plusieurs faiblesses. Outre son aspect purement déclaratif, le profil des mainteneurs interrogés est particulier, les répondants ayant été recrutés via les canaux de la fondation. 52 % des interrogés ont ainsi 11 ans ou plus d’ancienneté comme contributeurs et 75 % utilisent l’IA quotidiennement, tous usages confondus. En outre, les secteurs d’activité dominants sont les systèmes d’exploitation et l’infrastructure. On est donc plutôt face à un groupe de développeurs expérimentés, loin des contributeurs occasionnels, ce qui éloigne d’autant la vue de synthèse du paysage open source.
Le rapport apporte néanmoins plusieurs bénéfices, notamment des données chiffrées sur un sujet jusqu’ici traité surtout à travers quelques incidents et prises de position. Il montre aussi que la charge se concentre sur les grands projets et les équipes de mainteneurs, qu’il existe un retard manifeste sur la gouvernance des projets, ou encore que les tâches complexes n’affichent aucun gain voire prennent plus de temps.
Surtout, le rapport enfonce un peu plus le clou sur le glissement des coûts de la production de code vers sa vérification. Mais il pose aussi une question sans la trancher : comment préserver la confiance si l’IA élargit le vivier de contributeurs tout en affaiblissant les signaux qui permettaient de juger une contribution avant de la lire en détail ? Le libre se retrouve dans une position inconfortable, assis entre deux chaises, entre relecture systématique et filtrage à l’entrée pour les nouveaux venus.
Enfin, le rapport évoque dans son résumé du début une recommandation qu’il ne reconduit pas dans sa liste finale : « combattre le feu par le feu ». En d’autres termes, les mainteneurs devraient eux aussi utiliser l’IA comme premier maillon de la chaine de vérification, afin de retrouver du temps.
