Les avancées récentes dans le domaine de l'Intelligence Artificielle ont été largement influencées par l'émergence de l'architecture Transformer. Initialement présentée en 2017 par Vaswani et al., cette structure a notamment jeté les bases des LLM (Large Language Model) tels que GPT ou LLAMA. Les Transformers, avec leur mécanisme d'attention, ont révolutionné la capacité des modèles à traiter et à générer du langage naturel avec une précision sans précédent.

Au cours de cette présentation, nous introduirons tout d'abord les principes généraux des modèles de type LLM, notamment en mettant l'accent sur l'architecture Transformer avec les principes de son mécanisme d'attention et l'impact qu'elle a eu sur les avancées récentes dans le traitement du langage naturel. Nous détaillerons le processus par lequel les informations textuelles, notamment celles extraites de documents textuels, peuvent être transformées en embeddings avant d'être traitées par un LLM. Puis dans une seconde partie, nous aborderons un exemple d'application avec le développement d'un agent conversationnel capable de fournir des réponses basées sur un corpus de documents fournis en amont et son intégration au sein d'un SI.