[BDD externe] Ecrire les scripts permettant de transformer les données d'entrée en vecteur

[rprebot]

Pré-requis

• Choisir le modèle d'embedding. 2 modèles d'embeddings sont disponibles via l'API Albert (BAAI/bge-m3 et intfloat/multilingual-e5-large) et Léo recommande BAAI/bge-m3 qui a une fenêtre de contexte beaucoup plus large (8192 token par chunk)

• [BDD externe] Créer des collections sur Albert par typologie de documents #3

Objectif

• Écrire et tester les scripts permettant de convertir les données brutes en données vectorielles

Découpage en issues

• [BDD externe] Ecrire le script permettant de convertir un article du code du travail en vecteur #9
• [BDD externe] Ecrire le script permettant de convertir une fiche service-public en vecteur #10
• [BDD externe] Ecrire le script permettant de convertir une fiche ministère du travail en vecteur #12
• [BDD externe] Ecrire le script permettant de convertir une page infos CDTN en vecteur #11

Critère de succès

• 1 article du code du travail converti en vecteur et envoyé dans la collection 'code_travail' via l'API Albert
• 1 fiche pratique service-public convertie en vecteur et envoyée dans la collection 'fiche_pratique' via l'API Albert
• 1 fiche pratique ministère travail convertie en vecteur et envoyée dans la collection 'fiche_pratique' via l'API Albert
• 1 page infos CDTN convertie en vecteur et envoyée dans la collection 'fiche_pratique' via l'API Albert