POC IA générative DSI-DIPSO

  • Enjeu de coordination des initiatives autour de l’IAg au sein de l’appui (DIPSO - DSI - Colab.IA - Diagonal et DAJ)
  • Capacité à travailler avec des partenaires academiques (ISDM, CIRAD...)
  • Mettre en oeuvre une infrastructure agile et scalable souveraine et homologué SSI

Objectifs

  • répondre à deux cas d’usage principaux : chatbot et RAG fulltext ;
  • monter en expertise sur le sujet de l’IAg au niveau de l’établissement ;
  • identifier des solutions (à la fois les modèles et les offres associées) qui nous paraissaient pertinentes ;
  • rendre des préconisations sur les architectures et les structures de données ;
  • à terme et suite à ce POC, réduire le shadow IT à INRAE grâce aux services que l’on proposerait ;
  • identifier des méthodes/solutions pour répondre aux enjeux de sécurisation et pouvoir les réutiliser pour d’autres projets que l’on serait amenés à accompagner ;
  • instruire ce que pourra être la gouvernance ;
  • rendre des préconisations sur les conditions du passage à l’échelle (objectif de fournir le service à l’ensemble de l’établissement).

Périmètre

  • L’approche par hybridation doit être privilégiée. La piste du développement d’un service totalement interne INRAE devra s’étudier au regard des besoins réels.
  • Collaboration privilégiée avec l’ISDM (plus avancés sur la mise à disposition de LLM et disposent de capacité de calcul)
  • Étudier les autres services qui seraient nécessaires (en propre, à l’extérieur d’INRAE, …) pour répondre aux besoins
  • Les conditions de sécurisation font bien partie du périmètre et notamment les risques engendrés par une utilisation de GPU mutualisés

Livrables

  • Un environnement sécurisé pour un utilisateur INRAE (avec SSO) lui permettant de
    travailler sur un ou plusieurs documents confidentiels pour des tâches telles que le résumé,
    l'analyse, le questionnement et la reformulation de textes .
  • Un environnement similaire pour un groupe d’utilisateurs, leur permettant de collaborer
    sur un ensemble de documents partagés .
  • La définition des conditions de passage à l’échelle de cette offre de service .
  • L'établissement des règles d’usage et de gouvernance pour cette plateforme .

Echéances et délais

  • Incertitudes sur la nouvelle infra ISDM
  • Livrables attendus à fin 2025 (pour les demandes budgétaires, il faudrait viser aout/septembre):
  • POC basé sur OpenWebUI interne ouvert en beta test septembre 25
  • Prérequis juridiques nécessaires (notamment imposés par l’IA Act)
  • Estimation budgètaire à l’échelle de l’établissement (pour 10k utilisateurs en cible)
  • Gouvernance : comment sont distribués le service et ses ressources (nombre de documents limité par personne avec une offre ouverte à tous les agents ou restriction du service à certains utilisateurs), en lien avec les aspects budgétaires
  • Compétences nécessaires pour les utilisateurs (actions déjà en cours par la FTLV).

Contraintes

  • budgétaire (calendrier, financements)
  • ressources GPU disponibles
  • nombre de documents interrogeables : idéalement une centaine au maximum
  • nombre d’utilisateurs : pour le POC, une centaine. Le POC devra étudier les ressources de calcul nécessaires à l’ouverture du service à l’ensemble d’INRAE (environ 10 k utilisateurs) et les couts
  • RSE

Avancement

  • Formation du GT et partage de connaissance ISDM / DSI / Collab.IA
  • Mise en place d'un PoC interne sur Orion
  • Benchmark pour choix du/des modèles et implémentation