Recognizes diagnoses in histopathology reports

[marcottemick]

Hello, I would like to train a model to recognize diagnoses in anatomical pathology operating accounts in French. The reports were generated by an LLM Mistral IA. The texts were generated from 20 examples of diagnoses. I currently have 1600 operating reports. Here is an example of an operating report in which I want to recover 'hémangiome'.

Résumé anatomopathologique
Patient : Mme Denise Briand
Date de naissance : 20 novembre 1994
Adresse : 9, rue de Marion, 19795 Lambert
Numéro de sécurité social : 2 1994 11 19795 060 32
Rappels personnels :
Age : 28 ans
Sexe : Femme
Description macroscopique :
L'échantillon reçu mesure environ 3 cm x 2 cm x 1 cm. La coupe transversale montre une masse bien délimitée, rouge foncé et homogène sans capsule distincte. Aucune calcification ni nécrose apparentes.
Description microscopique :
L'étude histologique révèle une prolifération vasculaire maligne disposée en faisceaux et formant des lobules irréguliers. Les vaisseaux sont constitués par des parois épaissies et hyalinisées, avec des cellules endothéliales plasmodiques et nucléolaires abondantes. Des zones d'hémorragie focales sont présentes. Il y a absence de mitoses atypiques ou de signes inflammatoires marqués. L'immunomarqueur CD34 est fortement exprimé dans les cellules endothéliales.
Conclusion :
Dans son ensemble, cette image histologique correspond à un hémangiome bénin du foie. Cette entité est caractérisée par une prolifération vasculaire bien différenciée, avec des parois vascularisées épaissement hyaline et des cellules endothéliales plasmodiques. L'absence de mitoses atypiques et de signes inflammatoires confirme le diagnostic.
Signature :
Dr Paul Pinto
Anatomopathologiste
Note : Ce rapport est fictif.

I tried both possibilities offered by spacy to generate a ner + tok2vec training pipeline but the results are always the same. Example :
DIAG P : 87.50 R : 9.30 F : 16.82
Whereas in training I obtain a score of 0.98 and he quickly obtains this score with few epochs.
The 20 diagnostic categories are balanced and I tried to do data augmentation to reach 2000 reports per diagnosis. I also try to play with the hyperparameters, but that doesn't change anything either.

I thank in advance any answers that will be given.
(text translated with Google trad from French)