📝(backend) docuemntation

I docuemnt so the feature is documented

CHANGELOG.md

@@ -11,6 +11,8 @@ and this project adheres to
 ## Added
 
 - ✨(backend) add semantic search
+- ✨(backend) add analyzers to full-text search
+- ✨(backend) add evaluation command
 - backend application
 - helm chart
 - 🐛(backend) fix missing index creation in 'index/' view

docs/env.md

@@ -19,6 +19,7 @@ These are the environment variables you can set for the `find-backend` container
 | DB_PASSWORD                                     | Password to authenticate with                                                                                               | pass                                                                    |
 | DB_PORT                                         | Port of the database                                                                                                        | 5432                                                                    |
 | DB_USER                                         | User to authenticate with                                                                                                   | dinum                                                                   |
+| DEFAULT_LANGUAGE_CODE                           | Default language (chose between fr-fr, en-us, de-de, nl-nl)                                                                 | en-us                                                                   |
 | DJANGO_ALLOWED_HOSTS                            | Allowed hosts                                                                                                               | []                                                                      |
 | DJANGO_CELERY_BROKER_TRANSPORT_OPTIONS          | Celery broker transport options                                                                                             | {}                                                                      |
 | DJANGO_CELERY_BROKER_URL                        | Celery broker url                                                                                                           | redis://redis:6379/0                                                    |
@@ -39,10 +40,16 @@ These are the environment variables you can set for the `find-backend` container
 | DJANGO_SECRET_KEY                               | Secret key                                                                                                                  |                                                                         |
 | DJANGO_SERVER_TO_SERVER_API_TOKENS              |                                                                                                                             | []                                                                      |
 | DOCUMENT_IMAGE_MAX_SIZE                         | Maximum size of document in bytes                                                                                           | 10485760                                                                |
+| EMBEDDING_API_PATH                              | URL of the embedding api                                                                                                    | https://albert.api.etalab.gouv.fr/v1/embeddings                         |
+| EMBEDDING_API_KEY                               | API key of the embedding api                                                                                                |                                                                         |
+| EMBEDDING_REQUEST_TIMEOUT                       | time out in seconds of the embedding requests                                                                               | 10                                                                      |
+| EMBEDDING_API_MODEL_NAME                        | Name of the embedding model used on the api                                                                                 | embeddings-small                                                        |
+| EMBEDDING_DIMENSION                             | Size of the embedding vector                                                                                                | 1024                                                                    |
 | FRONTEND_CSS_URL                                | To add a external css file to the app                                                                                       |                                                                         |
 | FRONTEND_HOMEPAGE_FEATURE_ENABLED               | Frontend feature flag to display the homepage                                                                               | false                                                                   |
 | FRONTEND_THEME                                  | Frontend theme to use                                                                                                       |                                                                         |
-| LANGUAGE_CODE                                   | Default language                                                                                                            | en-us                                                                   |
+| HYBRID_SEARCH_ENABLED                           | Flag to enable hybrid (an then semantic) search                                                                             | True                                                                    |
+| HYBRID_SEARCH_WEIGHTS                           | Weights used in the weighted sum of the hybrid search score                                                                 | [0.3, 0.7]                                                              |
 | LOGGING_LEVEL_LOGGERS_APP                       | Application logging level. options are "DEBUG", "INFO", "WARN", "ERROR", "CRITICAL"                                         | INFO                                                                    |
 | LOGGING_LEVEL_LOGGERS_ROOT                      | Default logging level. options are "DEBUG", "INFO", "WARN", "ERROR", "CRITICAL"                                             | INFO                                                                    |
 | LOGIN_REDIRECT_URL                              | Login redirect url                                                                                                          |                                                                         |
@@ -100,13 +107,8 @@ These are the environment variables you can set for the `find-backend` container
 | THEME_CUSTOMIZATION_CACHE_TIMEOUT               | Cache duration for the customization settings                                                                               | 86400                                                                   |
 | THEME_CUSTOMIZATION_FILE_PATH                   | Full path to the file customizing the theme. An example is provided in src/backend/impress/configuration/theme/default.json | BASE_DIR/impress/configuration/theme/default.json                       |
 | TRASHBIN_CUTOFF_DAYS                            | Trashbin cutoff                                                                                                             | 30                                                                      |
+| TRIGRAMS_BOOST                                  | weight boost applied to trigram score in document matching score                                                            | 0.25                                                                    |
+| TRIGRAMS_MINIMUM_SHOULD_MATCH                   | minimal number or proportion of trigrams having to match to score                                                           | 0.75%                                                                   |
 | USER_OIDC_ESSENTIAL_CLAIMS                      | Essential claims in OIDC token                                                                                              | []                                                                      |
 | Y_PROVIDER_API_BASE_URL                         | Y Provider url                                                                                                              |                                                                         |
 | Y_PROVIDER_API_KEY                              | Y provider API key                                                                                                          |                                                                         |
-| HYBRID_SEARCH_ENABLED                           | Flag to enable hybrid (an then semantic) search                                                                             | True                                                                    |
-| HYBRID_SEARCH_WEIGHTS                           | Weights used in the weighted sum of the hybrid search score                                                                 | [0.3, 0.7]                                                              |
-| EMBEDDING_API_PATH                              | URL of the embedding api                                                                                                    | https://albert.api.etalab.gouv.fr/v1/embeddings                         |
-| EMBEDDING_API_KEY                               | API key of the embedding api                                                                                                |                                                                         |
-| EMBEDDING_REQUEST_TIMEOUT                       | time out in seconds of the embedding requests                                                                               | 10                                                                      |
-| EMBEDDING_API_MODEL_NAME                        | Name of the embedding model used on the api                                                                                 | embeddings-small                                                        |
-| EMBEDDING_DIMENSION                             | Size of the embedding vector                                                                                                | 1024                                                                    |

docs/setup-indexer.md

@@ -26,6 +26,20 @@ OPENSEARCH_USE_SSL=True
 OPENSEARCH_INDEX_PREFIX=find
 ```
 
+### Language
+Find supports french, english, german and dutch. 
+
+Language specific operations are applied to document titles and contents to improve search results. 
+The indexing and search endpoints take an optional 'language_code' query param to identify the language.
+If the language is not provided the language will fall-back to the default language. Tha default language can
+be control with a DEFAULT_LANGUAGE_CODE environment variable.
+
+```python
+DEFAULT_LANGUAGE_CODE=en-us
+````
+
+Supported values are 'fr-fr', 'en-us', 'de-de', 'nl-nl'.
+
 ### Semantic search
 
 Find offers a semantic search feature. You can either use pure full-text search or a hybrid full-text + semantic search. To enable the hybrid search, add the fallowing settings. 
@@ -49,6 +63,19 @@ The hybrid search computes a score for full-text and semantic search and combine
 
 You need to use an embedding api similar to https://albert.api.etalab.gouv.fr/documentation#tag/Embeddings/operation/embeddings_v1_embeddings_post. 
 
+## trigrams
+
+Find uses trigrams to improve the robustness of the full text search engine to spelling variations and errors. It ca be configured by to environment variables. 
+
+````
+TRIGRAMS_BOOST=0.25
+TRIGRAMS_MINIMUM_SHOULD_MATCH=0.75%
+````
+
+`TRIGRAMS_BOOST` is weight boost applied to the trigram score in the document matching. 
+`TRIGRAMS_MINIMUM_SHOULD_MATCH`is the minimal number or proportion of trigrams having to match to score. I can be
+either an absolute number or proportion as the default value.
+
 ## Setup indexation API
 
 Other applications can index their files through the **`/index/`** endpoint with a simple token authentication.

src/backend/core/management/commands/create_search_pipeline.py

@@ -40,12 +40,13 @@ def ensure_search_pipeline_exists():
                 "phase_results_processors": [
                     {
                         "normalization-processor": {
+                            "normalization": {"technique": "min_max"},
                             "combination": {
                                 "technique": "arithmetic_mean",
                                 "parameters": {
                                     "weights": settings.HYBRID_SEARCH_WEIGHTS
                                 },
-                            }
+                            },
                         }
                     }
                 ],

src/backend/core/management/commands/data/evaluation/v0/documents/1_a document.txt

@@ -0,0 +1 @@
+a content

src/backend/core/management/commands/data/evaluation/v0/queries.py

@@ -0,0 +1,6 @@
+queries = [
+    {
+        "q": "a query",
+        "expected_document_ids": [1],
+    },
+]

src/backend/core/management/commands/data/evaluation/v1/documents/10_La Conquête Spatiale.txt

@@ -0,0 +1 @@
+La conquête spatiale débute en 1957 avec le satellite soviétique Spoutnik. Youri Gagarine devient le premier homme dans l'espace en 1961. Les Américains répondent avec le programme Apollo : Neil Armstrong marche sur la Lune en 1969. La Station Spatiale Internationale symbolise la coopération internationale depuis 1998. Aujourd'hui, les ambitions incluent Mars, et des entreprises privées comme SpaceX révolutionnent l'accès à l'espace.

src/backend/core/management/commands/data/evaluation/v1/documents/11_Les Métropoles Mondiales.txt

@@ -0,0 +1 @@
+Les métropoles mondiales comme New York, Londres, Tokyo et Paris concentrent pouvoir économique, politique et culturel. Elles abritent sièges sociaux des multinationales, bourses financières et institutions internationales. Ces villes sont des nœuds de transport et communication globaux. Elles attirent flux migratoires et talents créant diversité mais aussi gentrification. Les mégapoles du Sud (Mumbai, São Paulo) connaissent une urbanisation rapide avec des défis d'infrastructures.

src/backend/core/management/commands/data/evaluation/v1/documents/12_La Seconde Guerre Mondiale.txt

@@ -0,0 +1 @@
+La Seconde Guerre mondiale (1939-1945) est le conflit le plus meurtrier de l'histoire avec 60 millions de morts. Hitler envahit la Pologne en septembre 1939, déclenchant la guerre. La France capitule en 1940 tandis que le Royaume-Uni résiste. L'Allemagne attaque l'URSS en 1941 et le Japon Pearl Harbor. Le débarquement en Normandie en 1944 libère l'Europe. La Shoah extermine 6 millions de Juifs. Le conflit se termine avec les bombes atomiques sur Hiroshima et Nagasaki.

src/backend/core/management/commands/data/evaluation/v1/documents/13_Le Développement Durable.txt

@@ -0,0 +1 @@
+Le développement durable vise à concilier croissance économique, protection environnementale et équité sociale. Défini au Sommet de Rio en 1992, il répond aux besoins présents sans compromettre ceux des générations futures. Les 17 Objectifs de Développement Durable de l'ONU incluent éradication de la pauvreté, éducation, égalité des genres et action climatique. Les énergies renouvelables, l'économie circulaire et la consommation responsable sont des leviers essentiels.

src/backend/core/management/commands/data/evaluation/v1/documents/14_La Chine contemporaine.txt

@@ -0,0 +1 @@
+La Chine est devenue la deuxième économie mondiale grâce aux réformes de Deng Xiaoping en 1978. L'ouverture au capitalisme maintient le régime communiste du Parti unique. Le pays est 'l'usine du monde' avec des zones économiques spéciales. Les nouvelles routes de la soie étendent son influence internationale. Avec 1,4 milliard d'habitants, la Chine fait face à des défis environnementaux, démographiques et sociaux majeurs.

src/backend/core/management/commands/data/evaluation/v1/documents/15_Les Grandes Découvertes.txt

@@ -0,0 +1 @@
+Les grandes découvertes (XVe-XVIe siècles) voient les Européens explorer le monde. Christophe Colomb atteint l'Amérique en 1492, croyant trouver les Indes. Vasco de Gama ouvre la route des Indes en 1498. Magellan réalise le premier tour du monde en 1522. Ces expéditions sont motivées par la recherche d'épices, d'or et l'évangélisation. Elles inaugurent la colonisation européenne et l'échange colombien qui transforment les civilisations.

src/backend/core/management/commands/data/evaluation/v1/documents/16_L'Union Européenne.txt

@@ -0,0 +1 @@
+L'Union européenne naît du désir de paix après 1945. Le traité de Rome en 1957 crée la CEE avec six membres fondateurs. L'UE compte aujourd'hui 27 États après le Brexit. Le marché unique permet libre circulation des biens, services, capitaux et personnes. L'euro est adopté par 20 pays. L'UE fait face à des défis : crise migratoire, euroscepticisme et divergences économiques entre Nord et Sud.

src/backend/core/management/commands/data/evaluation/v1/documents/17_La Révolution Industrielle.txt

@@ -0,0 +1 @@
+La révolution industrielle débute en Angleterre au XVIIIe siècle avec la machine à vapeur de Watt. L'industrie textile mécanisée précède la métallurgie et les chemins de fer. Le charbon et la vapeur fournissent l'énergie nécessaire. L'urbanisation s'accélère avec l'exode rural vers les usines. Les conditions ouvrières misérables suscitent les mouvements sociaux et le syndicalisme. Cette révolution transforme radicalement l'économie et la société européennes.

src/backend/core/management/commands/data/evaluation/v1/documents/18_Les Inégalités Nord-Sud.txt

@@ -0,0 +1 @@
+Les inégalités Nord-Sud opposent pays développés et pays en développement. L'Indice de Développement Humain mesure richesse, éducation et santé. Les pays du Nord concentrent richesses et technologies tandis que le Sud subit pauvreté et dépendance économique. L'héritage colonial, l'endettement et les termes de l'échange inégaux perpétuent ces écarts. Les pays émergents (BRICS) remettent en question cette division binaire.

src/backend/core/management/commands/data/evaluation/v1/documents/19_Le Siècle des Lumières.txt

@@ -0,0 +1 @@
+Le Siècle des Lumières (XVIIIe siècle) est un mouvement intellectuel européen promouvant raison, science et progrès. Voltaire critique l'intolérance religieuse, Montesquieu théorise la séparation des pouvoirs, Rousseau défend la souveraineté populaire. L'Encyclopédie de Diderot et d'Alembert diffuse les savoirs. Ces philosophes remettent en cause l'absolutisme et les privilèges. Leurs idées inspirent les révolutions américaine et française.

src/backend/core/management/commands/data/evaluation/v1/documents/1_La Révolution Française 1789.txt

@@ -0,0 +1 @@
+La Révolution française débute le 14 juillet 1789 avec la prise de la Bastille, symbole de l'absolutisme royal. Les causes sont multiples : crise financière, famine, influence des Lumières et inégalités sociales criantes. L'Assemblée Constituante abolit les privilèges le 4 août et adopte la Déclaration des Droits de l'Homme le 26 août. Le roi Louis XVI est exécuté en 1793 après la proclamation de la République. Cette révolution transforme profondément la France et influence l'Europe entière.

src/backend/core/management/commands/data/evaluation/v1/documents/20_Les Ressources Énergétiques.txt

@@ -0,0 +1 @@
+Les ressources énergétiques sont inégalement réparties sur la planète. Les énergies fossiles (pétrole, gaz, charbon) dominent mais sont non renouvelables et polluantes. Le Moyen-Orient concentre 48% des réserves pétrolières mondiales. La Russie utilise le gaz comme arme géopolitique. Les énergies renouvelables (solaire, éolien, hydraulique) progressent face au réchauffement climatique. La transition énergétique est un défi majeur du XXIe siècle pour assurer souveraineté et durabilité.

src/backend/core/management/commands/data/evaluation/v1/documents/21_Le Lion d'Afrique.txt

@@ -0,0 +1 @@
+Le lion est le plus grand félin d'Afrique et vit en groupe social appelé troupe. Les mâles se distinguent par leur majestueuse crinière qui protège leur cou lors des combats. Les lions chassent principalement au crépuscule, les lionnes étant les principales chasseuses. Ils peuvent rugir jusqu'à 8 kilomètres de distance pour marquer leur territoire. Malheureusement, leur population a diminué de 43% en 20 ans.

src/backend/core/management/commands/data/evaluation/v1/documents/22_Le Dauphin.txt

@@ -0,0 +1 @@
+Les dauphins sont parmi les animaux les plus intelligents de la planète. Ils communiquent par des clics et sifflements complexes, chaque individu possédant sa propre signature sonore. Vivant en groupes sociaux sophistiqués, ils chassent en coordination et s'entraident. Les dauphins peuvent nager jusqu'à 30 km/h et plonger à 300 mètres de profondeur. Leur cerveau possède plus de circonvolutions que celui de l'homme.

src/backend/core/management/commands/data/evaluation/v1/documents/23_L'Éléphant d'Asie.txt

@@ -0,0 +1 @@
+L'éléphant d'Asie est légèrement plus petit que son cousin africain mais tout aussi majestueux. Ces herbivores peuvent consommer jusqu'à 150 kg de végétation par jour et boire 140 litres d'eau. Leur trompe contient 40 000 muscles et leur sert à manger, boire, se laver et communiquer. Les éléphants vivent en matriarcat dirigé par la femelle la plus âgée. Leur mémoire exceptionnelle leur permet de se souvenir des points d'eau sur de vastes territoires.

src/backend/core/management/commands/data/evaluation/v1/documents/24_Le Colibri.txt

@@ -0,0 +1 @@
+Le colibri est le plus petit oiseau du monde, certaines espèces ne pesant que 2 grammes. Ses ailes battent jusqu'à 80 fois par seconde, lui permettant de faire du vol stationnaire et même de voler en arrière. Son métabolisme est si rapide qu'il doit manger jusqu'à deux fois son poids en nectar quotidiennement. Le colibri peut visiter 1000 fleurs par jour. Ses couleurs iridescentes changent selon l'angle de la lumière.

src/backend/core/management/commands/data/evaluation/v1/documents/25_L'Ours polaire.txt

@@ -0,0 +1 @@
+L'ours polaire est le plus grand carnivore terrestre, pouvant peser jusqu'à 800 kg. Sa fourrure blanche et sa peau noire lui permettent d'absorber la chaleur du soleil. Son odorat est si développé qu'il peut détecter un phoque sous 1 mètre de glace à 1,5 km. Le réchauffement climatique menace gravement son habitat.

src/backend/core/management/commands/data/evaluation/v1/documents/26_Le Caméléon.txt

@@ -0,0 +1 @@
+Le caméléon possède la capacité extraordinaire de changer de couleur selon son humeur, la température et la communication sociale. Ses yeux peuvent bouger indépendamment l'un de l'autre à 360 degrés. Sa langue peut s'étendre jusqu'à deux fois la longueur de son corps pour capturer des insectes. Certaines espèces mesurent seulement 3 cm tandis que d'autres atteignent 70 cm. Ils se déplacent lentement et de manière saccadée pour imiter le mouvement des feuilles.

src/backend/core/management/commands/data/evaluation/v1/documents/27_Le Manchot Empereur.txt

@@ -0,0 +1 @@
+Le manchot empereur survit aux conditions les plus extrêmes de la planète en Antarctique. Les mâles couvent l'œuf unique pendant 64 jours dans des températures atteignant -40°C sans manger. Ils se regroupent en tortue pour se protéger du froid, tournant régulièrement pour partager la chaleur. Ces oiseaux peuvent plonger jusqu'à 500 mètres de profondeur et retenir leur respiration 22 minutes. Leur parade nuptiale comprend des chants complexes et synchronisés.

src/backend/core/management/commands/data/evaluation/v1/documents/28_Le Requin Blanc.txt

@@ -0,0 +1 @@
+Le grand requin blanc est l'un des prédateurs marins les plus redoutés et fascinants. Il peut atteindre 6 mètres de long et peser plus de 2 tonnes. Ses dents triangulaires et dentelées se renouvellent constamment tout au long de sa vie. Il peut détecter une goutte de sang dans 100 litres d'eau grâce à son odorat exceptionnel. Contrairement à sa réputation, il attaque rarement l'homme, préférant les phoques et les otaries.

src/backend/core/management/commands/data/evaluation/v1/documents/29_L'Abeille.txt

@@ -0,0 +1 @@
+Les abeilles jouent un rôle crucial dans la pollinisation de 80% des plantes à fleurs. Une ruche peut contenir jusqu'à 60 000 abeilles organisées en société matriarcale autour de la reine. Les ouvrières communiquent la localisation des fleurs par une danse complexe en forme de huit. Une abeille produit environ 1/12 de cuillère à café de miel dans sa vie. Leur déclin inquiétant menace notre sécurité alimentaire.

src/backend/core/management/commands/data/evaluation/v1/documents/2_La Première Guerre Mondiale.txt

@@ -0,0 +1 @@
+La Première Guerre mondiale (1914-1918) oppose les Alliés (France, Royaume-Uni, Russie) aux Empires centraux (Allemagne, Autriche-Hongrie). L'assassinat de l'archiduc François-Ferdinand à Sarajevo déclenche le conflit par le jeu des alliances. La guerre de tranchées caractérise le front occidental avec Verdun et la Somme. Les nouvelles armes (gaz, tanks, aviation) causent 18 millions de morts. Le traité de Versailles en 1919 redessine la carte de l'Europe.

src/backend/core/management/commands/data/evaluation/v1/documents/30_Le Guépard.txt

@@ -0,0 +1 @@
+Le guépard est l'animal terrestre le plus rapide, capable d'atteindre 110 km/h en quelques secondes. Contrairement aux autres félins, il ne peut pas rétracter complètement ses griffes, ce qui lui donne une meilleure adhérence. Sa queue longue lui sert de balancier lors des changements de direction. Son corps élancé et ses poumons surdimensionnés sont optimisés pour la course. Il chasse le jour pour éviter les autres prédateurs plus puissants.

src/backend/core/management/commands/data/evaluation/v1/documents/31_La Pieuvre.txt

@@ -0,0 +1 @@
+La pieuvre possède trois cœurs et un sang bleu à base de cuivre. Son intelligence remarquable lui permet de résoudre des problèmes complexes et d'utiliser des outils. Chacun de ses huit bras contient des neurones, lui donnant une forme de pensée décentralisée. Elle peut changer de couleur et de texture instantanément pour se camoufler. Certaines espèces peuvent passer à travers des ouvertures de la taille d'une pièce de monnaie.

src/backend/core/management/commands/data/evaluation/v1/documents/32_Le Koala.txt

@@ -0,0 +1 @@
+Le koala dort jusqu'à 20 heures par jour pour économiser l'énergie nécessaire à digérer l'eucalyptus toxique. Il se nourrit exclusivement de feuilles d'eucalyptus, pouvant distinguer entre 600 espèces différentes. Son système digestif unique contient des bactéries spéciales pour neutraliser les toxines. Les bébés koalas naissent de la taille d'un haricot et restent 6 mois dans la poche maternelle. Ils ne boivent presque jamais, tirant l'eau des feuilles qu'ils consomment.

src/backend/core/management/commands/data/evaluation/v1/documents/33_Le Gorille des Montagnes.txt

@@ -0,0 +1 @@
+Le gorille des montagnes est l'un de nos plus proches parents, partageant 98% de notre ADN. Les mâles silverback peuvent peser jusqu'à 200 kg et sont d'une force exceptionnelle. Malgré leur puissance, ce sont des animaux pacifiques et végétariens. Ils vivent en groupes familiaux dirigés par un mâle dominant et communiquent par 25 vocalisations différentes. Moins de 1000 individus survivent dans les forêts d'Afrique centrale.

src/backend/core/management/commands/data/evaluation/v1/documents/34_Le Papillon Monarque.txt

@@ -0,0 +1 @@
+Le papillon monarque effectue une migration annuelle de 4000 km entre le Canada et le Mexique. Aucun individu ne complète le voyage entier, il faut 4 générations pour accomplir le cycle. Ils utilisent le soleil comme boussole et possèdent une horloge circadienne sophistiquée. Leur couleur orange vif avertit les prédateurs de leur toxicité acquise en mangeant de l'asclépiade. Des millions de papillons se regroupent dans quelques forêts mexicaines en hiver.

src/backend/core/management/commands/data/evaluation/v1/documents/35_Le Loup Gris.txt

@@ -0,0 +1 @@
+Le loup gris vit en meute organisée hiérarchiquement autour d'un couple alpha. Ces chasseurs coopératifs peuvent traquer des proies bien plus grandes qu'eux grâce à leur coordination. Ils communiquent par hurlements pouvant porter jusqu'à 10 km dans les forêts. Un loup peut parcourir 70 km en une nuit à la recherche de nourriture. Leur réintroduction dans certains écosystèmes a démontré leur rôle crucial dans l'équilibre naturel.

src/backend/core/management/commands/data/evaluation/v1/documents/36_Le Kangourou Roux.txt

@@ -0,0 +1 @@
+Le kangourou roux est le plus grand marsupial au monde, pouvant atteindre 2 mètres de haut. Il peut sauter jusqu'à 9 mètres de long et maintenir une vitesse de 50 km/h. Sa queue musclée lui sert de trépied au repos et de balancier en mouvement. Les femelles peuvent retarder le développement d'un embryon si les conditions sont défavorables. Parfaitement adapté au climat aride australien, il peut passer des mois sans boire.

src/backend/core/management/commands/data/evaluation/v1/documents/37_La Baleine à Bosse.txt

@@ -0,0 +1 @@
+Les baleines à bosse produisent des chants complexes pouvant durer 20 minutes et s'entendre à des centaines de kilomètres. Les mâles d'une même région partagent le même chant qui évolue chaque année. Malgré leur masse de 30 tonnes, elles peuvent sauter entièrement hors de l'eau. Elles migrent sur 25 000 km par an entre zones d'alimentation et de reproduction. Leurs nageoires pectorales sont les plus longues de tous les cétacés.

src/backend/core/management/commands/data/evaluation/v1/documents/38_Le Serpent Python.txt

@@ -0,0 +1 @@
+Le python réticulé peut atteindre 9 mètres de long, ce qui en fait l'un des plus longs serpents. Il tue sa proie par constriction, resserrant son étreinte à chaque expiration de la victime. Ces serpents peuvent passer des mois sans manger après avoir avalé une grande proie. Leurs organes sensoriels thermiques leur permettent de détecter la chaleur corporelle dans l'obscurité. Contrairement aux idées reçues, ils ne peuvent pas avaler un humain adulte.

src/backend/core/management/commands/data/evaluation/v1/documents/39_Le Hibou Grand-Duc.txt

@@ -0,0 +1 @@
+Le hibou grand-duc est le plus grand rapace nocturne d'Europe avec une envergure de 2 mètres. Son vol silencieux est rendu possible par la structure spéciale de ses plumes. Il peut tourner sa tête à 270 degrés grâce à 14 vertèbres cervicales. Sa vision nocturne est 100 fois plus sensible que celle de l'humain. Son hululement puissant peut s'entendre jusqu'à 2 km. Il chasse des proies variées, du mulot au renardeau.

src/backend/core/management/commands/data/evaluation/v1/documents/3_La Décolonisation en Afrique.txt

@@ -0,0 +1 @@
+La décolonisation de l'Afrique s'accélère après 1945, affaiblie par la Seconde Guerre mondiale. Le Ghana obtient son indépendance en 1957, suivi de 17 pays en 1960, 'l'année de l'Afrique'. Le processus varie : négociation pacifique (Afrique francophone) ou luttes armées (Algérie, Kenya). Les frontières héritées de la colonisation créent des tensions ethniques. Les nouveaux États font face à des défis économiques et politiques majeurs.

src/backend/core/management/commands/data/evaluation/v1/documents/40_Le Paresseux.txt

@@ -0,0 +1 @@
+Le paresseux se déplace si lentement que des algues poussent sur sa fourrure, lui donnant un camouflage verdâtre. Il descend de son arbre une fois par semaine pour déféquer, moment où il est le plus vulnérable. Son métabolisme est le plus lent de tous les non-hibernants. Il peut tourner sa tête à 270 degrés pour surveiller les prédateurs. Les paresseux passent 90% de leur vie suspendus la tête en bas et peuvent même dormir ainsi.

src/backend/core/management/commands/data/evaluation/v1/documents/41_Bœuf Bourguignon.txt

@@ -0,0 +1 @@
+Le bœuf bourguignon est un plat mijoté emblématique de la cuisine française. Coupez 1,5 kg de bœuf en cubes et faites-les revenir dans du beurre. Ajoutez 2 carottes, 2 oignons, 3 gousses d'ail et un bouquet garni. Versez 75 cl de vin rouge de Bourgogne et 25 cl de bouillon. Laissez mijoter 3 heures à feu doux. Ajoutez 200g de champignons et 150g de lardons dorés. Servez avec des pommes de terre vapeur ou des tagliatelles fraîches.

src/backend/core/management/commands/data/evaluation/v1/documents/42_Ratatouille Provençale.txt

@@ -0,0 +1 @@
+Tranchez finement 2 aubergines, 2 courgettes, 2 poivrons, 4 tomates et 1 oignon. Dans une cocotte, faites revenir l'oignon et l'ail dans de l'huile d'olive. Ajoutez les légumes par couches en alternant. Assaisonnez avec du thym, du romarin, sel et poivre. Couvrez et laissez mijoter 40 minutes à feu doux. La ratatouille peut se déguster chaude ou froide, accompagnée de riz ou de pain grillé.

src/backend/core/management/commands/data/evaluation/v1/documents/43_Coq au Vin.txt

@@ -0,0 +1 @@
+Découpez un coq ou un poulet fermier en morceaux. Faites mariner 12 heures dans 75 cl de vin rouge avec carottes, oignons et aromates. Égouttez et faites dorer les morceaux avec 100g de lardons. Flambez au cognac puis ajoutez la marinade filtrée. Laissez mijoter 1h30. Ajoutez des champignons et des petits oignons grelots. Liez la sauce avec du beurre manié. Servez avec des croûtons aillés.

src/backend/core/management/commands/data/evaluation/v1/documents/44_Tarte Tatin.txt

@@ -0,0 +1 @@
+Dans un moule à tarte, faites fondre 100g de beurre avec 100g de sucre pour créer un caramel. Disposez 6 pommes Reinette coupées en quartiers en rosace serrée. Enfournez 30 minutes à 180°C. Recouvrez de pâte feuilletée et enfournez 25 minutes supplémentaires. Laissez tiédir 10 minutes avant de retourner sur un plat. Servez tiède avec de la crème fraîche ou une boule de glace vanille.

src/backend/core/management/commands/data/evaluation/v1/documents/45_Bouillabaisse Marseillaise.txt

@@ -0,0 +1 @@
+Faites suer dans l'huile d'olive 2 oignons, 4 tomates, 4 gousses d'ail et du fenouil. Ajoutez safran, thym, laurier et zeste d'orange. Versez 2 litres de fumet de poisson et portez à ébullition. Ajoutez 2 kg de poissons variés (rascasse, grondin, rouget) coupés en morceaux. Cuisez 15 minutes à gros bouillons. Servez avec des croûtons, de la rouille et du gruyère râpé.

src/backend/core/management/commands/data/evaluation/v1/documents/46_Quiche Lorraine.txt

@@ -0,0 +1 @@
+Garnissez un moule de pâte brisée. Faites revenir 200g de lardons fumés sans matière grasse. Battez 4 œufs avec 30 cl de crème fraîche, sel, poivre et noix de muscade. Disposez les lardons sur la pâte et versez l'appareil. Ajoutez éventuellement 100g de gruyère râpé. Enfournez 35 minutes à 180°C jusqu'à ce que la garniture soit dorée et gonflée. Servez tiède avec une salade verte.

src/backend/core/management/commands/data/evaluation/v1/documents/47_Blanquette de Veau.txt

@@ -0,0 +1 @@
+Coupez 1,2 kg d'épaule de veau en cubes. Blanchissez-les 5 minutes à l'eau bouillante puis rincez. Remettez dans une cocotte avec carottes, oignons piqués de clous de girofle et bouquet garni. Couvrez d'eau et laissez mijoter 1h30. Préparez un roux avec beurre et farine, ajoutez le bouillon filtré. Liez avec 2 jaunes d'œufs et 20 cl de crème. Ajoutez champignons et oignons grelots. Servez avec du riz.

src/backend/core/management/commands/data/evaluation/v1/documents/48_Crêpes Bretonnes.txt

@@ -0,0 +1 @@
+Mélangez 250g de farine, 4 œufs, 50 cl de lait et une pincée de sel. Ajoutez 50g de beurre fondu et laissez reposer 1 heure. Huilez légèrement une poêle chaude et versez une louche de pâte. Faites cuire 2 minutes de chaque côté jusqu'à ce que la crêpe soit dorée. Garnissez de sucre, confiture, chocolat ou jambon-fromage selon vos envies. Servez immédiatement.

src/backend/core/management/commands/data/evaluation/v1/documents/49_Cassoulet Toulousain.txt

@@ -0,0 +1 @@
+Faites tremper 500g de haricots blancs 12 heures. Cuisez-les 1 heure avec carottes, oignons et bouquet garni. Faites revenir 4 cuisses de canard confites, 400g de saucisse de Toulouse et 200g de poitrine fumée. Mélangez haricots et viandes dans une cocotte avec la graisse de canard. Couvrez de chapelure et enfournez 1 heure à 160°C. Cassez la croûte plusieurs fois pendant la cuisson.

src/backend/core/management/commands/data/evaluation/v1/documents/4_Le Réchauffement Climatique.txt

@@ -0,0 +1 @@
+Le réchauffement climatique désigne l'augmentation de la température moyenne terrestre causée par les émissions de gaz à effet de serre. Depuis l'ère industrielle, la température a augmenté de 1,2°C. Les conséquences incluent fonte des glaciers, montée des eaux, événements météorologiques extrêmes et migrations climatiques. Les accords de Paris en 2015 visent à limiter le réchauffement à 1,5°C. La transition énergétique et les énergies renouvelables sont essentielles.

src/backend/core/management/commands/data/evaluation/v1/documents/50_Soufflé au Fromage.txt

@@ -0,0 +1 @@
+Préparez une béchamel avec 40g de beurre, 40g de farine et 25 cl de lait. Hors du feu, incorporez 150g de gruyère râpé et 4 jaunes d'œufs. Montez 5 blancs en neige ferme avec une pincée de sel. Incorporez délicatement les blancs à la préparation. Versez dans des ramequins beurrés et farinés. Enfournez 20 minutes à 180°C sans ouvrir le four. Servez immédiatement.

src/backend/core/management/commands/data/evaluation/v1/documents/51_Pot-au-feu.txt

@@ -0,0 +1 @@
+Dans une grande marmite, placez 1,5 kg de viande de bœuf (gîte, paleron, plat de côtes). Couvrez d'eau froide et portez à ébullition en écumant. Ajoutez 4 carottes, 4 poireaux, 2 navets, 2 oignons piqués de clous de girofle et un bouquet garni. Laissez mijoter 3 heures à feu doux. Servez le bouillon en entrée puis la viande et les légumes avec cornichons, moutarde et gros sel.

src/backend/core/management/commands/data/evaluation/v1/documents/52_Mousse au Chocolat.txt

@@ -0,0 +1 @@
+Faites fondre 200g de chocolat noir au bain-marie. Séparez 6 œufs et incorporez les jaunes au chocolat fondu tiède. Montez les blancs en neige ferme avec une pincée de sel et 20g de sucre. Incorporez délicatement les blancs au chocolat en trois fois avec une spatule. Répartissez dans des verrines et réfrigérez 4 heures minimum. Décorez de copeaux de chocolat ou de chantilly.

src/backend/core/management/commands/data/evaluation/v1/documents/53_Gratin Dauphinois.txt

@@ -0,0 +1 @@
+Épluchez et émincez finement 1,5 kg de pommes de terre. Frottez un plat à gratin avec une gousse d'ail. Disposez les pommes de terre en couches en assaisonnant de sel, poivre et noix de muscade. Mélangez 50 cl de crème avec 25 cl de lait et versez sur les pommes de terre. Ajoutez quelques noisettes de beurre. Enfournez 1h15 à 160°C jusqu'à obtenir une croûte dorée.

src/backend/core/management/commands/data/evaluation/v1/documents/54_Salade de légumes.txt

@@ -0,0 +1 @@
+Disposez sur un plat 4 tomates en quartiers, 1 concombre émincé, 1 poivron coupé, 200g de haricots verts cuits, 4 œufs durs, 100g d'olives noires et 8 filets d'anchois. Préparez une vinaigrette avec huile d'olive, vinaigre de vin, moutarde, ail et basilic. Arrosez généreusement et servez frais. Certains ajoutent des artichauts ou des fèves.

src/backend/core/management/commands/data/evaluation/v1/documents/55_Tarte au Citron Meringuée.txt

@@ -0,0 +1 @@
+Garnissez un moule de pâte sablée et faites-la cuire à blanc 15 minutes. Préparez une crème avec 4 jaunes d'œufs, 150g de sucre, le zeste et jus de 3 citrons. Cuisez à feu doux en remuant jusqu'à épaississement. Versez sur la pâte. Montez 4 blancs en neige avec 100g de sucre. Couvrez la tarte de meringue en formant des pointes. Enfournez 10 minutes à 150°C pour dorer.

src/backend/core/management/commands/data/evaluation/v1/documents/56_Magret de Canard aux Figues.txt

@@ -0,0 +1 @@
+Quadrillez la peau de 2 magrets sans entamer la chair. Salez et poivrez. Posez-les côté peau dans une poêle froide. Faites cuire 7 minutes puis retournez pour 4 minutes (rosé). Réservez au chaud. Dans la graisse, faites revenir 8 figues coupées en deux avec 2 cuillères de miel et un trait de vinaigre balsamique. Tranchez les magrets et nappez de sauce aux figues.

src/backend/core/management/commands/data/evaluation/v1/documents/57_Clafoutis aux Cerises.txt

@@ -0,0 +1 @@
+Disposez 500g de cerises lavées et équeutées (traditionnellement non dénoyautées) dans un plat beurré. Battez 4 œufs avec 100g de sucre jusqu'à ce que le mélange blanchisse. Ajoutez 100g de farine, 50 cl de lait et une pincée de sel. Versez l'appareil sur les cerises. Enfournez 45 minutes à 180°C. Saupoudrez de sucre glace et servez tiède ou froid.

src/backend/core/management/commands/data/evaluation/v1/documents/58_Fondue Savoyarde.txt

@@ -0,0 +1 @@
+Frottez un caquelon avec une gousse d'ail coupée. Versez 15 cl de vin blanc sec et faites chauffer. Ajoutez 400g de comté, 400g de beaufort et 200g de reblochon râpés. Remuez en forme de 8 jusqu'à ce que le fromage fonde. Ajoutez 5 cl de kirsch et du poivre. Maintenez au chaud sur un réchaud. Trempez des cubes de pain rassis piqués sur des fourchettes.

src/backend/core/management/commands/data/evaluation/v1/documents/59_Crème Brûlée.txt

@@ -0,0 +1 @@
+Faites chauffer 50 cl de crème avec une gousse de vanille fendue. Battez 6 jaunes d'œufs avec 100g de sucre. Versez la crème chaude en remuant puis filtrez. Répartissez dans des ramequins. Cuisez au bain-marie 40 minutes à 150°C. Réfrigérez 4 heures. Saupoudrez généreusement de sucre et caramélisez au chalumeau ou sous le gril. Laissez durcir 2 minutes avant de servir.

src/backend/core/management/commands/data/evaluation/v1/documents/5_L'Empire Romain.txt

@@ -0,0 +1 @@
+L'Empire romain domine le bassin méditerranéen pendant cinq siècles, de 27 avant J.-C. à 476 après J.-C. Auguste, premier empereur, établit la Pax Romana qui apporte prospérité et stabilité. Rome construit routes, aqueducs et monuments grandioses comme le Colisée. Le christianisme devient religion d'État en 380. Les invasions barbares et les crises internes provoquent la chute de l'Empire d'Occident en 476.

src/backend/core/management/commands/data/evaluation/v1/documents/60_Tartare de Bœuf.txt

@@ -0,0 +1 @@
+Hachez finement 600g de filet de bœuf bien frais au couteau. Ajoutez 2 échalotes ciselées, 2 cuillères de câpres, 4 cornichons hachés, persil et ciboulette. Assaisonnez avec moutarde, sauce Worcestershire, Tabasco, sel et poivre. Incorporez 2 jaunes d'œufs et un filet d'huile d'olive. Formez des dômes et servez avec des frites maison et une salade verte. Se prépare au dernier moment.

src/backend/core/management/commands/data/evaluation/v1/documents/61_La Musique.txt

@@ -0,0 +1 @@
+La musique est l'art d'organiser les sons dans le temps selon le rythme, la mélodie et l'harmonie. Présente dans toutes les cultures, elle accompagne les rites, les émotions et les récits humains depuis la préhistoire. Des modes antiques grecs au contrepoint baroque, du jazz à l'électro, elle évolue sans cesse. Les compositeurs explorent les timbres et les structures tandis que l’improvisation garde la spontanéité vivante. La musique relie mathématique, émotion et mouvement.

src/backend/core/management/commands/data/evaluation/v1/documents/62_Le Cinéma.txt

@@ -0,0 +1 @@
+Le cinéma est l'art de raconter des histoires par le mouvement des images et le son. Né à la fin du XIXe siècle avec les frères Lumière, il a rapidement fusionné technique et poésie. Le montage, la lumière et la mise en scène en font un art total mêlant littérature, théâtre et musique. Du muet de Chaplin au cinéma numérique, chaque époque invente un nouveau langage visuel. Le cinéma explore la mémoire, les rêves et la condition humaine à travers l’écran.

src/backend/core/management/commands/data/evaluation/v1/documents/63_La Danse.txt

@@ -0,0 +1 @@
+La danse est l’art du mouvement du corps dans l’espace et le temps, souvent accompagné de musique. Elle exprime des émotions, raconte des histoires ou célèbre des rites. Des danses tribales aux ballets classiques, des danses contemporaines au hip-hop, chaque culture invente ses gestes et son rythme. La chorégraphie unit discipline et liberté, le corps devenant un instrument expressif. La danse relie énergie, esthétique et communication non verbale.

src/backend/core/management/commands/data/evaluation/v1/documents/64_La Peinture à l'Huile.txt

@@ -0,0 +1 @@
+La peinture à l'huile est une technique artistique utilisant des pigments mélangés à de l'huile siccative, généralement de lin. Inventée au XVe siècle et perfectionnée par les maîtres flamands comme Van Eyck, elle permet des glacis subtils et des dégradés lumineux. Le temps de séchage lent offre la possibilité de travailler les transitions et les détails. Les grands maîtres comme Rembrandt, Vermeer et plus tard les impressionnistes ont exploité ses possibilités. Cette technique reste aujourd'hui la plus prisée pour la peinture de chevalet.

src/backend/core/management/commands/data/evaluation/v1/documents/65_La Sculpture sur Pierre.txt

@@ -0,0 +1 @@
+La sculpture sur pierre est l'un des arts les plus anciens de l'humanité, remontant à la préhistoire. Le sculpteur taille directement dans le marbre, le granit ou le calcaire avec des ciseaux et des masses. Michel-Ange considérait que la statue existait déjà dans le bloc, il suffisait de libérer la forme. Cette technique soustractive ne pardonne pas l'erreur. Les œuvres comme le David ou la Pietà démontrent la capacité de donner vie et émotion à la pierre froide.

src/backend/core/management/commands/data/evaluation/v1/documents/66_La Calligraphie.txt

@@ -0,0 +1 @@
+La calligraphie est l'art de former les lettres avec beauté et harmonie. En Occident, les moines copistes médiévaux ont perfectionné l'onciale et la gothique. En Asie, la calligraphie chinoise et japonaise est considérée comme la forme d'art la plus pure, où chaque trait exprime l'énergie et l'esprit de l'artiste. L'outil traditionnel est le pinceau ou le calame. La maîtrise nécessite des années de pratique pour contrôler la pression, la vitesse et le rythme.

src/backend/core/management/commands/data/evaluation/v1/documents/67_La Photographie.txt

@@ -0,0 +1 @@
+La photographie transforme la capture d'images en expression créative depuis le XIXe siècle. Des pionniers comme Ansel Adams et Henri Cartier-Bresson ont élevé le médium au rang d'art majeur. La composition, la lumière, le cadrage et le moment décisif sont essentiels. Le passage au numérique a ouvert de nouvelles possibilités de post-traitement. La photographie d'art explore tous les genres : portrait, paysage, abstrait, documentaire et conceptuel.

src/backend/core/management/commands/data/evaluation/v1/documents/68_La Danse Contemporaine.txt

@@ -0,0 +1 @@
+La danse contemporaine émerge au XXe siècle comme rupture avec le ballet classique. Des chorégraphes comme Martha Graham, Merce Cunningham et Pina Bausch explorent de nouveaux langages corporels. Cette forme privilégie l'expression émotionnelle, la liberté de mouvement et l'improvisation. Le corps devient un outil de questionnement social et politique. Les spectacles intègrent souvent d'autres disciplines comme la vidéo, le théâtre et la musique expérimentale.

src/backend/core/management/commands/data/evaluation/v1/documents/69_L'Origami.txt

@@ -0,0 +1 @@
+L'origami est l'art japonais du pliage de papier, transformant une feuille plane en sculpture tridimensionnelle sans couper ni coller. Pratiqué depuis le VIe siècle au Japon, il était d'abord réservé aux cérémonies religieuses. Les modèles traditionnels incluent la grue (symbole de paix), la grenouille et la fleur. L'origami moderne explore la complexité mathématique avec des créations hyperréalistes. Cette discipline développe patience, précision et compréhension spatiale.

src/backend/core/management/commands/data/evaluation/v1/documents/6_La Renaissance Européenne.txt

@@ -0,0 +1 @@
+La Renaissance (XIVe-XVIe siècles) marque un renouveau artistique, scientifique et intellectuel en Europe. Née en Italie avec Florence et les Médicis, elle redécouvre l'Antiquité gréco-romaine. Léonard de Vinci, Michel-Ange et Raphaël révolutionnent l'art. Gutenberg invente l'imprimerie en 1450, facilitant la diffusion des savoirs. Les grandes découvertes ouvrent le monde avec Colomb et Magellan. L'humanisme place l'homme au centre de la réflexion.

src/backend/core/management/commands/data/evaluation/v1/documents/70_La Mosaïque.txt

@@ -0,0 +1 @@
+La mosaïque assemble de petits fragments colorés (tesselles) de pierre, céramique ou verre pour créer des images et motifs. Les Romains et Byzantins ont porté cet art à son apogée avec les splendeurs de Ravenne et de Constantinople. Chaque tesselle est posée individuellement sur un support avec du mortier. Les jeux de lumière sur les tesselles de verre créent des effets lumineux uniques. Gaudi a réinventé la mosaïque moderne avec le trencadis au Parc Güell.

src/backend/core/management/commands/data/evaluation/v1/documents/71_Le Théâtre.txt

@@ -0,0 +1 @@
+Le théâtre est à la fois un art de la représentation et un lieu de rencontre sociale. Né dans l'Antiquité grecque avec les tragédies d'Eschyle et Sophocle, il explore les grandes questions humaines. Le Moyen Âge voit l'essor des mystères religieux, tandis que la Renaissance célèbre Shakespeare et Molière. Le théâtre moderne expérimente avec le réalisme, l'absurde et le théâtre de l'opprimé. Il combine texte, jeu d'acteur, décor et lumière pour créer une expérience immersive.

src/backend/core/management/commands/data/evaluation/v1/documents/72_Le Vitrail.txt

@@ -0,0 +1 @@
+Le vitrail assemble des morceaux de verre coloré maintenus par des baguettes de plomb pour créer des compositions lumineuses. Au Moyen Âge, les cathédrales gothiques comme Chartres transforment la lumière divine en récits bibliques. Les maîtres verriers maîtrisent la chimie des oxydes métalliques pour obtenir des couleurs intenses. Chaque pièce est taillée selon le carton préparatoire puis sertie. Le XXe siècle voit Chagall et Soulages réinventer cet art millénaire.

src/backend/core/management/commands/data/evaluation/v1/documents/73_La Gravure.txt

@@ -0,0 +1 @@
+La gravure est une technique d'impression où l'artiste incise une matrice (bois, métal, pierre) pour créer des estampes multiples. La xylogravie (bois) est la plus ancienne, utilisée par Dürer et les estampes japonaises ukiyo-e. La taille-douce (métal) comprend l'eau-forte, l'aquatinte et le burin, prisées par Rembrandt et Goya. La lithographie, inventée en 1796, permet des nuances subtiles exploitées par Toulouse-Lautrec. Chaque tirage est numéroté et signé par l'artiste.

src/backend/core/management/commands/data/evaluation/v1/documents/74_L'éléphant.txt

@@ -0,0 +1 @@
+L'éléphant s'est échappé

src/backend/core/management/commands/data/evaluation/v1/documents/75_Foot.txt

@@ -0,0 +1 @@
+Le foot est un sport populaire

src/backend/core/management/commands/data/evaluation/v1/documents/76_Il va courir.txt

@@ -0,0 +1 @@
+Il va courir

src/backend/core/management/commands/data/evaluation/v1/documents/7_La Guerre Froide.txt

@@ -0,0 +1 @@
+La Guerre Froide (1947-1991) oppose les États-Unis capitalistes à l'URSS communiste sans conflit direct. Le rideau de fer divise l'Europe entre blocs occidental et oriental. Les crises majeures incluent Berlin (1948, 1961), Cuba (1962) et le Vietnam. La course aux armements nucléaires menace l'humanité. La détente des années 1970 laisse place aux tensions des années 1980. La chute du mur de Berlin en 1989 symbolise la fin de la Guerre Froide.

src/backend/core/management/commands/data/evaluation/v1/documents/8_L'Égypte Ancienne.txt

@@ -0,0 +1 @@
+L'Égypte ancienne prospère pendant 3000 ans le long du Nil, de 3100 avant J.-C. à 30 avant J.-C. Les pharaons sont considérés comme des dieux vivants. Les pyramides de Gizeh, notamment celle de Khéops, témoignent de prouesses architecturales. L'écriture hiéroglyphique permet l'administration et la transmission des savoirs. Le culte des morts et la momification préparent à la vie après la mort. Cléopâtre VII est la dernière souveraine avant la conquête romaine.

src/backend/core/management/commands/data/evaluation/v1/documents/9_La Mondialisation.txt

@@ -0,0 +1 @@
+La mondialisation désigne l'intégration croissante des économies et sociétés à l'échelle planétaire. Accélérée depuis 1990, elle s'appuie sur les nouvelles technologies, les transports et la libéralisation des échanges. Les firmes multinationales organisent la production mondiale. Les flux commerciaux, financiers et migratoires s'intensifient. Ce processus crée des interdépendances mais accentue aussi les inégalités entre pays développés et en développement.

src/backend/core/management/commands/data/evaluation/v1/queries.py

@@ -0,0 +1,52 @@
+queries = [
+    {
+        "q": "cours d'histoire de l'antiquité",
+        "expected_document_ids": [5, 8],
+    },
+    {
+        "q": "recette salée végétarienne",
+        "expected_document_ids": [42, 54, 58],
+    },
+    {
+        "q": "art dramatique",
+        "expected_document_ids": [71],
+    },
+    {
+        "q": "art de bouger son corps",
+        "expected_document_ids": [63, 68],
+    },
+    {
+        "q": "mammifères aquatiques",
+        "expected_document_ids": [22, 37],
+    },
+    {
+        "q": "insectes pollinisateurs",
+        "expected_document_ids": [29],
+    },
+    {
+        "q": "prédateur félin",
+        "expected_document_ids": [21, 30],
+    },
+    {
+        "q": "elephant",
+        "expected_document_ids": [23, 74],
+    },
+    {
+        "q": "courir",
+        "expected_document_ids": [76],
+    },
+    {
+        # test "football"  -> "foot"
+        "q": "football",
+        "expected_document_ids": [75],
+    },
+    {  # test partial word matching
+        "q": "couri",
+        "expected_document_ids": [76],
+    },
+    {
+        # test fuzzy matching with ngrams
+        "q": "courrir",
+        "expected_document_ids": [76],
+    },
+]

src/backend/core/management/commands/evaluate_search_engine.py

@@ -0,0 +1,264 @@
+"""
+Evaluate search engine performance with test documents and queries.
+"""
+
+import importlib
+import logging
+import math
+import os
+import re
+import unicodedata
+
+from django.conf import settings
+from django.core.management.base import BaseCommand
+
+from core.management.commands.create_search_pipeline import (
+    ensure_search_pipeline_exists,
+)
+from core.management.commands.utils import (
+    bulk_create_documents,
+    delete_search_pipeline,
+    prepare_index,
+)
+from core.services.opensearch import (
+    check_hybrid_search_enabled,
+    opensearch_client,
+    search,
+)
+
+logger = logging.getLogger(__name__)
+
+
+class Command(BaseCommand):
+    """Evaluate search engine performance"""
+
+    help = __doc__
+    opensearch_client_ = opensearch_client()
+    index_name = "evaluation-index"
+    search_params = {
+        "nb_results": 20,
+        "order_by": "relevance",
+        "order_direction": "desc",
+        "search_indices": {index_name},
+        "reach": None,
+        "user_sub": "user_sub",
+        "groups": [],
+        "visited": [],
+    }
+    base_data_path = "core/management/commands/data/evaluation"
+    documents = []
+    queries = []
+    id_to_title = {}
+
+    def add_arguments(self, parser):
+        parser.add_argument(
+            dest="dataset_name",
+            type=str,
+            help="Name of the dataset to use for evaluation",
+        )
+        parser.add_argument(
+            "--min_score",
+            dest="min_score",
+            type=float,
+            default=0.0,
+            help="hits with a score lower than min_score are ignored",
+        )
+        parser.add_argument(
+            "--keep-index",
+            dest="keep_index",
+            type=bool,
+            default=True,
+            help="If True the index is not dropped after evaluation.",
+        )
+        parser.add_argument(
+            "--force-reindex",
+            dest="force_reindex",
+            type=bool,
+            default=False,
+            help="If True the index is dropped and recreated from scratch even if it already exists.",
+        )
+
+    def handle(self, *args, **options):
+        """Launch the search engine evaluation."""
+
+        self.init_evaluation(options["dataset_name"], options["force_reindex"])
+        self.stdout.write(
+            f"[INFO] Starting evaluation with {len(self.documents)} documents and {len(self.queries)} queries"
+        )
+
+        evaluations = [
+            self.evaluate_query(query, options["min_score"]) for query in self.queries
+        ]
+
+        avg_metrics = self.calculate_average_metrics(evaluations)
+        self.stdout.write(
+            f"\n{'=' * 60}\n"
+            f"[SUMMARY] Average Performance\n"
+            f"{'=' * 60}\n"
+            f"  Average NDCG: {avg_metrics['avg_ndcg']:.2%}\n"
+            f"  Average Precision: {avg_metrics['avg_precision']:.2%}\n"
+            f"  Average Recall: {avg_metrics['avg_recall']:.2%}\n"
+            f"  Average F1-Score: {avg_metrics['avg_f1_score']:.2%}\n"
+        )
+
+        self.close_evaluation(options["keep_index"])
+        self.stdout.write(self.style.SUCCESS("\n[SUCCESS] Evaluation completed"))
+
+    def init_evaluation(self, dataset_name, force_reindex):
+        """Initialize evaluation by preparing index and mapping."""
+        self.documents = self.load_documents(dataset_name)
+        self.queries = (
+            importlib.import_module(
+                f"core.management.commands.data.evaluation.{dataset_name}.queries"
+            )
+        ).queries
+        self.overwrite_settings()
+        check_hybrid_search_enabled.cache_clear()
+        delete_search_pipeline()
+        ensure_search_pipeline_exists()
+        if (
+            not opensearch_client().indices.exists(index=self.index_name)
+            or force_reindex
+        ):
+            prepare_index(self.index_name, bulk_create_documents(self.documents))
+
+    def load_documents(self, dataset_name: str):
+        """
+        Load a dataset module containing a `documents` list and return:
+        """
+
+        documents_dir_path = os.path.join(
+            self.base_data_path, dataset_name, "documents"
+        )
+        documents = []
+        for filename in os.listdir(documents_dir_path):
+            if not filename.endswith(".txt"):
+                raise logger.warning(
+                    f"Unexpected file format for document: {filename}. Only .txt files are supported."
+                )
+
+            str_document_id, title_with_extension = filename.split("_", 1)
+            document_id = int(str_document_id)
+            document_title = unicodedata.normalize(
+                "NFC", title_with_extension.rsplit(".", -1)[0]
+            )
+
+            filepath = os.path.join(documents_dir_path, filename)
+            with open(filepath, "r", encoding="utf-8") as f:
+                content = f.read()
+
+            documents.append(
+                {
+                    "id": document_id,
+                    "title": document_title,
+                    "content": content,
+                }
+            )
+            self.id_to_title[document_id] = document_title
+
+        return documents
+
+    def evaluate_query(self, query, min_score=0.0):
+        """Evaluate a single query and return metrics."""
+        results = search(q=query["q"], **self.search_params)
+        expected_titles = [
+            self.id_to_title[document_id]
+            for document_id in query["expected_document_ids"]
+        ]
+        retrieved_ordered_titles = [
+            result["_source"]["title"]
+            for result in results["hits"]["hits"]
+            if result["_score"] >= min_score
+        ]
+
+        metrics = self.calculate_metrics(expected_titles, retrieved_ordered_titles)
+
+        self.stdout.write(
+            f"\n[QUERY EVALUATION]\n"
+            f"  q: {query['q']}\n"
+            f"  expect: {list(expected_titles)}\n"
+            f"  result: {list(retrieved_ordered_titles)}\n"
+            f"  NDCG: {metrics['ndcg']:.2%} \n"
+            f"  PRECISION: {metrics['precision']:.2%} \n"
+            f"  RECALL: {metrics['recall']:.2%} \n"
+            f"  F1-SCORE: {metrics['f1_score']:.2%} \n"
+        )
+        return {
+            "q": query["q"],
+            "expected_titles": expected_titles,
+            "retrieved_titles": retrieved_ordered_titles,
+            "metrics": metrics,
+        }
+
+    def calculate_metrics(self, expected_titles, retrieved_ordered_titles):
+        """Calculate precision, recall, F1-score, DCG and NDCG."""
+
+        dcg = self.calculate_dcg(expected_titles, retrieved_ordered_titles)
+        idcg = self.calculate_dcg(expected_titles, expected_titles)
+        ndcg = dcg / idcg if idcg > 0 else 0
+        nb_true_positives = len(set(expected_titles) & set(retrieved_ordered_titles))
+        precision = (
+            nb_true_positives / len(retrieved_ordered_titles)
+            if retrieved_ordered_titles
+            else 0
+        )
+        recall = nb_true_positives / len(expected_titles) if expected_titles else 0
+        f1_score = (
+            2 * (precision * recall) / (precision + recall)
+            if (precision + recall) > 0
+            else 0
+        )
+
+        return {
+            "ndcg": ndcg,
+            "precision": precision,
+            "recall": recall,
+            "f1_score": f1_score,
+            "true_positives": nb_true_positives,
+        }
+
+    def calculate_dcg(self, expected_titles, retrieved_ordered_titles):
+        """Calculate Discounted Cumulative Gain."""
+        return sum(
+            (1 if title in expected_titles else 0) / math.log2(rank + 2)
+            for rank, title in enumerate(retrieved_ordered_titles)
+        ) / len(expected_titles)
+
+    def calculate_average_metrics(self, evaluations):
+        """Calculate average metrics across all queries."""
+        if not evaluations:
+            return {
+                "avg_ndcg": 0,
+                "avg_precision": 0,
+                "avg_recall": 0,
+                "avg_f1_score": 0,
+            }
+
+        total_ndcg = sum(r["metrics"]["ndcg"] for r in evaluations)
+        total_precision = sum(r["metrics"]["precision"] for r in evaluations)
+        total_recall = sum(r["metrics"]["recall"] for r in evaluations)
+        total_f1 = sum(r["metrics"]["f1_score"] for r in evaluations)
+        nb_evaluations = len(evaluations)
+
+        return {
+            "avg_ndcg": total_ndcg / nb_evaluations,
+            "avg_precision": total_precision / nb_evaluations,
+            "avg_recall": total_recall / nb_evaluations,
+            "avg_f1_score": total_f1 / nb_evaluations,
+        }
+
+    def close_evaluation(self, keep_index):
+        """Delete the evaluation index."""
+        delete_search_pipeline()
+        if not keep_index:
+            self.opensearch_client_.indices.delete(index=self.index_name)
+
+    @staticmethod
+    def overwrite_settings():
+        """Overwrite settings for evaluation purposes."""
+        settings.HYBRID_SEARCH_ENABLED = True
+        settings.HYBRID_SEARCH_WEIGHTS = [0.2, 0.8]
+        settings.EMBEDDING_API_PATH = "https://albert.api.etalab.gouv.fr/v1/embeddings"
+        settings.EMBEDDING_REQUEST_TIMEOUT = 10
+        settings.EMBEDDING_API_MODEL_NAME = "embeddings-small"
+        settings.EMBEDDING_DIMENSION = 1024

src/backend/core/management/commands/utils.py

@@ -0,0 +1,79 @@
+"""Tests Service model for find's core app."""
+
+import base64
+import json
+import logging
+from functools import partial
+from typing import List
+
+from django.conf import settings as django_settings
+
+from cryptography.hazmat.primitives import serialization
+from cryptography.hazmat.primitives.asymmetric import rsa
+from joserfc import jwe as jose_jwe
+from joserfc import jwt as jose_jwt
+from joserfc.jwk import RSAKey
+from jwt.utils import to_base64url_uint
+from opensearchpy.exceptions import NotFoundError
+from opensearchpy.helpers import bulk
+
+from core import factories
+from core.services import opensearch
+from core.services.opensearch import (
+    check_hybrid_search_enabled,
+    embed_text,
+    format_document,
+)
+
+logger = logging.getLogger(__name__)
+
+
+def bulk_create_documents(document_payloads):
+    """Create documents in bulk from payloads"""
+    return [
+        factories.DocumentSchemaFactory.build(**document_payload, users=["user_sub"])
+        for document_payload in document_payloads
+    ]
+
+
+def delete_search_pipeline():
+    """Delete the hybrid search pipeline if it exists"""
+    logger.info(f"Deleting search pipeline {django_settings.HYBRID_SEARCH_PIPELINE_ID}")
+
+    try:
+        opensearch.opensearch_client().transport.perform_request(
+            method="DELETE",
+            url=f"/_search/pipeline/{django_settings.HYBRID_SEARCH_PIPELINE_ID}",
+        )
+    except NotFoundError:
+        logger.info("Search pipeline not found, nothing to delete.")
+
+
+def prepare_index(index_name, documents: List):
+    """Prepare the search index."""
+    logger.info(f"prepare_index {index_name} with {len(documents)} documents")
+    opensearch_client_ = opensearch.opensearch_client()
+
+    actions = []
+    for document in documents:
+        document_dict = {
+            **document,
+            "embedding": embed_text(
+                format_document(document["title"], document["content"])
+            )
+            if check_hybrid_search_enabled()
+            else None,
+            "embedding_model": django_settings.EMBEDDING_API_MODEL_NAME
+            if check_hybrid_search_enabled()
+            else None,
+        }
+        _id = document_dict.pop("id")
+        actions.append({"index": {"_id": _id}})
+        actions.append(document_dict)
+
+    opensearch_client_.bulk(index=index_name, body=actions)
+    count = opensearch_client_.count(index=index_name)["count"]
+    if count != len(documents):
+        raise ValueError(
+            f"Indexing error: expected {len(documents)} documents, but found {count} in index {index_name}"
+        )

src/backend/core/schemas.py

@@ -2,6 +2,7 @@
 
 from typing import Annotated, List, Literal, Optional
 
+from django.conf import settings
 from django.utils import timezone
 from django.utils.text import slugify
 
@@ -109,9 +110,20 @@ class SearchQueryParametersSchema(BaseModel):
     """Schema for validating the querystring on the search API endpoint"""
 
     q: str
+    language_code: Literal[settings.SUPPORTED_LANGUAGE_CODES] = Field(
+        default_factory=lambda: settings.DEFAULT_LANGUAGE_CODE
+    )
     services: StringListParameter = Field(default_factory=list)
     visited: StringListParameter = Field(default_factory=list)
     reach: Optional[enums.ReachEnum] = None
     order_by: Optional[Literal[enums.ORDER_BY_OPTIONS]] = Field(default=enums.RELEVANCE)
     order_direction: Optional[Literal["asc", "desc"]] = Field(default="desc")
     nb_results: Optional[conint(ge=1, le=300)] = Field(default=50)
+
+
+class IndexQueryParametersSchema(BaseModel):
+    """Schema for validating query parameters on the index API endpoint"""
+
+    language_code: Literal[settings.SUPPORTED_LANGUAGE_CODES] = Field(
+        default_factory=lambda: settings.DEFAULT_LANGUAGE_CODE
+    )

src/backend/core/services/opensearch.py

@@ -11,6 +11,11 @@ from opensearchpy.exceptions import NotFoundError
 from rest_framework.exceptions import ValidationError
 
 from core import enums
+from core.services.opensearch_settings import (
+    LANGUAGE_ANALYZERS,
+    LANGUAGE_FILTERS,
+    MAPPINGS,
+)
 
 logger = logging.getLogger(__name__)
 
@@ -49,6 +54,7 @@ def opensearch_client():
 # pylint: disable=too-many-arguments, too-many-positional-arguments
 def search(  # noqa : PLR0913
     q,
+    language_code,
     nb_results,
     order_by,
     order_direction,
@@ -61,6 +67,7 @@ def search(  # noqa : PLR0913
     """Perform an OpenSearch search"""
     query = get_query(
         q=q,
+        language_code=language_code,
         nb_results=nb_results,
         reach=reach,
         visited=visited,
@@ -93,7 +100,7 @@ def search(  # noqa : PLR0913
 
 # pylint: disable=too-many-arguments, too-many-positional-arguments
 def get_query(  # noqa : PLR0913
-    q, nb_results, reach, visited, user_sub, groups
+    q, language_code, nb_results, reach, visited, user_sub, groups
 ):
     """Build OpenSearch query body based on parameters"""
     filter_ = get_filter(reach, visited, user_sub, groups)
@@ -117,13 +124,7 @@ def get_query(  # noqa : PLR0913
         logger.info("Performing full-text search without embedding: %s", q)
         return {
             "bool": {
-                "must": {
-                    "multi_match": {
-                        "query": q,
-                        # Give title more importance over content by a power of 3
-                        "fields": ["title.text^3", "content"],
-                    }
-                },
+                "must": get_full_text_query(q, language_code),
                 "filter": filter_,
             }
         }
@@ -134,13 +135,7 @@ def get_query(  # noqa : PLR0913
             "queries": [
                 {
                     "bool": {
-                        "must": {
-                            "multi_match": {
-                                "query": q,
-                                # Give title more importance over content by a power of 3
-                                "fields": ["title.text^3", "content"],
-                            }
-                        },
+                        "must": get_full_text_query(q, language_code),
                         "filter": filter_,
                     }
                 },
@@ -162,6 +157,37 @@ def get_query(  # noqa : PLR0913
     }
 
 
+def get_full_text_query(q, language_code):
+    """Build OpenSearch full-text query"""
+    return {
+        "bool": {
+            "should": [
+                {
+                    "multi_match": {
+                        "query": q,
+                        "fields": [
+                            f"title.{language_code}.text^3",
+                            f"content.{language_code}",
+                        ],
+                    }
+                },
+                {
+                    "multi_match": {
+                        "query": q,
+                        "fields": [
+                            f"title.{language_code}.text.trigrams^3",
+                            f"content.{language_code}.trigrams",
+                        ],
+                        "boost": settings.TRIGRAMS_BOOST,
+                        "minimum_should_match": settings.TRIGRAMS_MINIMUM_SHOULD_MATCH,
+                    }
+                },
+            ],
+            "minimum_should_match": 1,
+        }
+    }
+
+
 def get_filter(reach, visited, user_sub, groups):
     """Build OpenSearch filter"""
     filters = [
@@ -217,11 +243,6 @@ def get_params(query_keys):
     return {}
 
 
-def embed_document(document):
-    """Get embedding vector for a given document"""
-    return embed_text(format_document(document.title, document.content))
-
-
 def format_document(title, content):
     """Get the embedding input format for a document"""
     return f"<{title}>:<{content}>"
@@ -258,6 +279,31 @@ def embed_text(text):
     return embedding
 
 
+def prepare_document_for_indexing(document, language_code):
+    """Prepare document for indexing using nested language structure and handle embedding"""
+    return {
+        "id": document["id"],
+        f"title.{language_code}": document["title"],
+        f"content.{language_code}": document["content"],
+        "embedding": embed_text(format_document(document["title"], document["content"]))
+        if check_hybrid_search_enabled()
+        else None,
+        "embedding_model": settings.EMBEDDING_API_MODEL_NAME
+        if check_hybrid_search_enabled()
+        else None,
+        "depth": document["depth"],
+        "path": document["path"],
+        "numchild": document["numchild"],
+        "created_at": document["created_at"],
+        "updated_at": document["updated_at"],
+        "size": document["size"],
+        "users": document["users"],
+        "groups": document["groups"],
+        "reach": document["reach"],
+        "is_active": document["is_active"],
+    }
+
+
 def ensure_index_exists(index_name):
     """Create index if it does not exist"""
     try:
@@ -267,44 +313,14 @@ def ensure_index_exists(index_name):
         opensearch_client().indices.create(
             index=index_name,
             body={
-                "settings": {"index.knn": True},
-                "mappings": {
-                    "dynamic": "strict",
-                    "properties": {
-                        "id": {"type": "keyword"},
-                        "title": {
-                            "type": "keyword",
-                            "fields": {"text": {"type": "text"}},
-                        },
-                        "depth": {"type": "integer"},
-                        "path": {
-                            "type": "keyword",
-                            "fields": {"text": {"type": "text"}},
-                        },
-                        "numchild": {"type": "integer"},
-                        "content": {"type": "text"},
-                        "created_at": {"type": "date"},
-                        "updated_at": {"type": "date"},
-                        "size": {"type": "long"},
-                        "users": {"type": "keyword"},
-                        "groups": {"type": "keyword"},
-                        "reach": {"type": "keyword"},
-                        "is_active": {"type": "boolean"},
-                        "embedding": {
-                            # for simplicity, embedding is always present but is empty
-                            # when hybrid search is disabled
-                            "type": "knn_vector",
-                            "dimension": settings.EMBEDDING_DIMENSION,
-                            "method": {
-                                "engine": "lucene",
-                                "space_type": "l2",
-                                "name": "hnsw",
-                                "parameters": {},
-                            },
-                        },
-                        "embedding_model": {"type": "keyword"},
+                "settings": {
+                    "index.knn": True,
+                    "analysis": {
+                        "analyzer": LANGUAGE_ANALYZERS,
+                        "filter": LANGUAGE_FILTERS,
                     },
                 },
+                "mappings": MAPPINGS,
             },
         )
 

src/backend/core/services/opensearch_settings.py

@@ -0,0 +1,252 @@
+"""OpenSearch configuration for multi-language support."""
+
+from django.conf import settings
+
+LANGUAGE_ANALYZERS = {
+    "french_analyzer": {
+        "type": "custom",
+        "tokenizer": "standard",
+        "filter": [
+            "lowercase",
+            "asciifolding",
+            "french_elision",
+            "french_stop",
+            "french_stemmer",
+        ],
+    },
+    "english_analyzer": {
+        "type": "custom",
+        "tokenizer": "standard",
+        "filter": [
+            "lowercase",
+            "asciifolding",
+            "english_stop",
+            "english_stemmer",
+        ],
+    },
+    "german_analyzer": {
+        "type": "custom",
+        "tokenizer": "standard",
+        "filter": [
+            "lowercase",
+            "asciifolding",
+            "german_stop",
+            "german_stemmer",
+        ],
+    },
+    "dutch_analyzer": {
+        "type": "custom",
+        "tokenizer": "standard",
+        "filter": [
+            "lowercase",
+            "asciifolding",
+            "dutch_stop",
+            "dutch_stemmer",
+        ],
+    },
+    "trigram_analyzer": {
+        "type": "custom",
+        "tokenizer": "standard",
+        "filter": [
+            "lowercase",
+            "asciifolding",
+            "trigram_filter",
+        ],
+    },
+}
+
+LANGUAGE_FILTERS = {
+    "french_elision": {
+        "type": "elision",
+        "articles_case": True,
+        "articles": [
+            "l",
+            "m",
+            "t",
+            "qu",
+            "n",
+            "s",
+            "j",
+            "d",
+            "c",
+            "jusqu",
+            "quoiqu",
+            "lorsqu",
+            "puisqu",
+        ],
+    },
+    "french_stop": {
+        "type": "stop",
+        "stopwords": "_french_",
+    },
+    "french_stemmer": {
+        "type": "stemmer",
+        "language": "light_french",
+    },
+    "english_stop": {
+        "type": "stop",
+        "stopwords": "_english_",
+    },
+    "english_stemmer": {
+        "type": "stemmer",
+        "language": "english",
+    },
+    "german_stop": {
+        "type": "stop",
+        "stopwords": "_german_",
+    },
+    "german_stemmer": {
+        "type": "stemmer",
+        "language": "light_german",
+    },
+    "dutch_stop": {
+        "type": "stop",
+        "stopwords": "_dutch_",
+    },
+    "dutch_stemmer": {
+        "type": "stemmer",
+        "language": "dutch",
+    },
+    "trigram_filter": {
+        "type": "ngram",
+        "min_gram": 3,
+        "max_gram": 3,
+    },
+}
+
+MAPPINGS = {
+    "dynamic": "strict",
+    "properties": {
+        "id": {"type": "keyword"},
+        # French
+        "title.fr-fr": {
+            "type": "keyword",
+            "fields": {
+                "text": {
+                    "type": "text",
+                    "analyzer": "french_analyzer",
+                    "fields": {
+                        "trigrams": {
+                            "type": "text",
+                            "analyzer": "trigram_analyzer",
+                        }
+                    },
+                }
+            },
+        },
+        "content.fr-fr": {
+            "type": "text",
+            "analyzer": "french_analyzer",
+            "fields": {
+                "trigrams": {
+                    "type": "text",
+                    "analyzer": "trigram_analyzer",
+                }
+            },
+        },
+        # English
+        "title.en-us": {
+            "type": "keyword",
+            "fields": {
+                "text": {
+                    "type": "text",
+                    "analyzer": "english_analyzer",
+                    "fields": {
+                        "trigrams": {
+                            "type": "text",
+                            "analyzer": "trigram_analyzer",
+                        }
+                    },
+                }
+            },
+        },
+        "content.en-us": {
+            "type": "text",
+            "analyzer": "english_analyzer",
+            "fields": {
+                "trigrams": {
+                    "type": "text",
+                    "analyzer": "trigram_analyzer",
+                }
+            },
+        },
+        # German
+        "title.de-de": {
+            "type": "keyword",
+            "fields": {
+                "text": {
+                    "type": "text",
+                    "analyzer": "german_analyzer",
+                    "fields": {
+                        "trigrams": {
+                            "type": "text",
+                            "analyzer": "trigram_analyzer",
+                        }
+                    },
+                }
+            },
+        },
+        "content.de-de": {
+            "type": "text",
+            "analyzer": "german_analyzer",
+            "fields": {
+                "trigrams": {
+                    "type": "text",
+                    "analyzer": "trigram_analyzer",
+                }
+            },
+        },
+        # Dutch
+        "title.nl-nl": {
+            "type": "keyword",
+            "fields": {
+                "text": {
+                    "type": "text",
+                    "analyzer": "dutch_analyzer",
+                    "fields": {
+                        "trigrams": {
+                            "type": "text",
+                            "analyzer": "trigram_analyzer",
+                        }
+                    },
+                }
+            },
+        },
+        "content.nl-nl": {
+            "type": "text",
+            "analyzer": "dutch_analyzer",
+            "fields": {
+                "trigrams": {
+                    "type": "text",
+                    "analyzer": "trigram_analyzer",
+                }
+            },
+        },
+        "depth": {"type": "integer"},
+        "path": {
+            "type": "keyword",
+            "fields": {"text": {"type": "text"}},
+        },
+        "numchild": {"type": "integer"},
+        "created_at": {"type": "date"},
+        "updated_at": {"type": "date"},
+        "size": {"type": "long"},
+        "users": {"type": "keyword"},
+        "groups": {"type": "keyword"},
+        "reach": {"type": "keyword"},
+        "is_active": {"type": "boolean"},
+        "embedding": {
+            # for simplicity, embedding is always present but is empty
+            # when hybrid search is disabled
+            "type": "knn_vector",
+            "dimension": settings.EMBEDDING_DIMENSION,
+            "method": {
+                "engine": "lucene",
+                "space_type": "l2",
+                "name": "hnsw",
+                "parameters": {},
+            },
+        },
+        "embedding_model": {"type": "keyword"},
+    },
+}

src/backend/core/tests/test_api_documents_index_single.py

@@ -81,8 +81,21 @@ def test_api_documents_index_single_hybrid_enabled_success(settings):
         index=service.index_name, id=str(document["id"])
     )
     assert new_indexed_document["_version"] == 1
-    assert new_indexed_document["_source"]["title"] == document["title"].strip().lower()
-    assert new_indexed_document["_source"]["content"] == document["content"]
+    # the language field was not passed in the query params.
+    # -> Language defaults to settings.DEFAULT_LANGUAGE_CODE.
+    assert (
+        new_indexed_document["_source"][f"title.{settings.DEFAULT_LANGUAGE_CODE}"]
+        == document["title"].strip().lower()
+    )
+    assert (
+        new_indexed_document["_source"][f"content.{settings.DEFAULT_LANGUAGE_CODE}"]
+        == document["content"]
+    )
+    other_language_code = "de-de"
+    assert other_language_code != settings.DEFAULT_LANGUAGE_CODE
+    # only the default language is indexed
+    assert not f"content.{other_language_code}" in new_indexed_document["_source"]
+    # check embedding
     assert (
         new_indexed_document["_source"]["embedding"]
         == albert_embedding_response.response["data"][0]["embedding"]
@@ -93,7 +106,64 @@ def test_api_documents_index_single_hybrid_enabled_success(settings):
     )
 
 
-def test_api_documents_index_single_hybrid_disabled_success():
+def test_api_documents_index_language_params(settings):
+    """language_code query param should control which language is indexed."""
+    service = factories.ServiceFactory()
+    document = factories.DocumentSchemaFactory.build()
+
+    language_code = "de-de"
+    other_language_code = "fr-fr"
+    assert language_code != settings.DEFAULT_LANGUAGE_CODE
+    response = APIClient().post(
+        f"/api/v1.0/documents/index/?language_code={language_code}",
+        document,
+        HTTP_AUTHORIZATION=f"Bearer {service.token:s}",
+        format="json",
+    )
+
+    assert response.status_code == 201
+    assert response.json()["_id"] == str(document["id"])
+
+    new_indexed_document = opensearch.opensearch_client().get(
+        index=service.index_name, id=str(document["id"])
+    )
+    assert (
+        new_indexed_document["_source"][f"title.{language_code}"]
+        == document["title"].strip().lower()
+    )
+    assert (
+        new_indexed_document["_source"][f"content.{language_code}"]
+        == document["content"]
+    )
+    # only the requested language is indexed
+    assert not f"content.{other_language_code}" in new_indexed_document["_source"]
+
+
+def test_api_documents_index_wrong_language_params():
+    """using unrecognised language_code query should through an error."""
+    service = factories.ServiceFactory()
+    document = factories.DocumentSchemaFactory.build()
+
+    language_code = "es-es"  # unsupported language
+    response = APIClient().post(
+        f"/api/v1.0/documents/index/?language_code={language_code}",
+        document,
+        HTTP_AUTHORIZATION=f"Bearer {service.token:s}",
+        format="json",
+    )
+    assert response.status_code == 400
+    assert response.json() == {
+        "errors": [
+            {
+                "msg": "Input should be 'fr-fr', 'en-us', 'de-de' or 'nl'",
+                "type": "literal_error",
+                "loc": ["language_code"],
+            }
+        ]
+    }
+
+
+def test_api_documents_index_single_hybrid_disabled_success(settings):
     """If hybrid search is not enabled, the indexing should have an embedding equal to None."""
     service = factories.ServiceFactory()
     document = factories.DocumentSchemaFactory.build()
@@ -113,8 +183,14 @@ def test_api_documents_index_single_hybrid_disabled_success():
         index=service.index_name, id=str(document["id"])
     )
     assert new_indexed_document["_version"] == 1
-    assert new_indexed_document["_source"]["title"] == document["title"].strip().lower()
-    assert new_indexed_document["_source"]["content"] == document["content"]
+    assert (
+        new_indexed_document["_source"][f"title.{settings.DEFAULT_LANGUAGE_CODE}"]
+        == document["title"].strip().lower()
+    )
+    assert (
+        new_indexed_document["_source"][f"content.{settings.DEFAULT_LANGUAGE_CODE}"]
+        == document["content"]
+    )
     assert new_indexed_document["_source"]["embedding"] is None
 
 
@@ -145,10 +221,100 @@ def test_api_documents_index_single_ensure_index(settings):
         "properties": {
             "id": {"type": "keyword"},
             "title": {
-                "type": "keyword",  # Primary field for exact matches and sorting
-                "fields": {
-                    "text": {"type": "text"}  # Sub-field for full-text search
-                },
+                "properties": {
+                    "de-de": {
+                        "fields": {
+                            "text": {
+                                "analyzer": "german_analyzer",
+                                "fields": {
+                                    "trigrams": {
+                                        "analyzer": "trigram_analyzer",
+                                        "type": "text",
+                                    }
+                                },
+                                "type": "text",
+                            }
+                        },
+                        "type": "keyword",
+                    },
+                    "en-us": {
+                        "fields": {
+                            "text": {
+                                "analyzer": "english_analyzer",
+                                "fields": {
+                                    "trigrams": {
+                                        "analyzer": "trigram_analyzer",
+                                        "type": "text",
+                                    }
+                                },
+                                "type": "text",
+                            }
+                        },
+                        "type": "keyword",
+                    },
+                    "fr-fr": {
+                        "fields": {
+                            "text": {
+                                "analyzer": "french_analyzer",
+                                "fields": {
+                                    "trigrams": {
+                                        "analyzer": "trigram_analyzer",
+                                        "type": "text",
+                                    }
+                                },
+                                "type": "text",
+                            }
+                        },
+                        "type": "keyword",
+                    },
+                    "nl": {
+                        "fields": {
+                            "text": {
+                                "analyzer": "dutch_analyzer",
+                                "fields": {
+                                    "trigrams": {
+                                        "analyzer": "trigram_analyzer",
+                                        "type": "text",
+                                    }
+                                },
+                                "type": "text",
+                            }
+                        },
+                        "type": "keyword",
+                    },
+                }
+            },
+            "content": {
+                "properties": {
+                    "de-de": {
+                        "analyzer": "german_analyzer",
+                        "fields": {
+                            "trigrams": {"analyzer": "trigram_analyzer", "type": "text"}
+                        },
+                        "type": "text",
+                    },
+                    "en-us": {
+                        "analyzer": "english_analyzer",
+                        "fields": {
+                            "trigrams": {"analyzer": "trigram_analyzer", "type": "text"}
+                        },
+                        "type": "text",
+                    },
+                    "fr-fr": {
+                        "analyzer": "french_analyzer",
+                        "fields": {
+                            "trigrams": {"analyzer": "trigram_analyzer", "type": "text"}
+                        },
+                        "type": "text",
+                    },
+                    "nl": {
+                        "analyzer": "dutch_analyzer",
+                        "fields": {
+                            "trigrams": {"analyzer": "trigram_analyzer", "type": "text"}
+                        },
+                        "type": "text",
+                    },
+                }
             },
             "depth": {"type": "integer"},
             "path": {
@@ -156,7 +322,6 @@ def test_api_documents_index_single_ensure_index(settings):
                 "fields": {"text": {"type": "text"}},
             },
             "numchild": {"type": "integer"},
-            "content": {"type": "text"},
             "created_at": {"type": "date"},
             "updated_at": {"type": "date"},
             "size": {"type": "long"},

src/backend/core/tests/test_api_documents_search.py

@@ -13,7 +13,10 @@ import responses
 from rest_framework.test import APIClient
 
 from core import enums, factories
-from core.services.opensearch import check_hybrid_search_enabled, opensearch_client
+from core.services.opensearch import (
+    check_hybrid_search_enabled,
+    opensearch_client,
+)
 
 from .mock import albert_embedding_response
 from .utils import (
@@ -243,7 +246,7 @@ def test_api_documents_full_text_search_query_title(settings):
         "created_at": fox_document["created_at"].isoformat(),
         "updated_at": fox_document["updated_at"].isoformat(),
         "reach": fox_document["reach"],
-        "title": fox_document["title"],
+        f"title.{settings.LANGUAGE_CODE}": fox_document["title"],
     }
     assert fox_response["fields"] == {"number_of_users": [1], "number_of_groups": [3]}
 
@@ -265,7 +268,7 @@ def test_api_documents_full_text_search_query_title(settings):
         "created_at": other_fox_document["created_at"].isoformat(),
         "updated_at": other_fox_document["updated_at"].isoformat(),
         "reach": other_fox_document["reach"],
-        "title": other_fox_document["title"],
+        f"title.{settings.LANGUAGE_CODE}": other_fox_document["title"],
     }
     assert other_fox_response["fields"] == {
         "number_of_users": [1],
@@ -275,7 +278,10 @@ def test_api_documents_full_text_search_query_title(settings):
 
 @responses.activate
 def test_api_documents_full_text_search(settings):
-    """Searching a document by its content should work as expected"""
+    """
+    Searching a document by its content should work as expected.
+    Search, like indexing, defaults to settings.LANGUAGE_CODE.
+    """
     setup_oicd_resource_server(responses, settings, sub="user_sub")
     token = build_authorization_bearer()
 
@@ -312,7 +318,7 @@ def test_api_documents_full_text_search(settings):
         "created_at": fox_document["created_at"].isoformat(),
         "updated_at": fox_document["updated_at"].isoformat(),
         "reach": fox_document["reach"],
-        "title": fox_document["title"],
+        f"title.{settings.LANGUAGE_CODE}": fox_document["title"],
     }
     assert fox_response["fields"] == {"number_of_users": [1], "number_of_groups": [3]}
 
@@ -335,7 +341,7 @@ def test_api_documents_full_text_search(settings):
         "created_at": other_fox_document["created_at"].isoformat(),
         "updated_at": other_fox_document["updated_at"].isoformat(),
         "reach": other_fox_document["reach"],
-        "title": other_fox_document["title"],
+        f"title.{settings.LANGUAGE_CODE}": other_fox_document["title"],
     }
     assert other_fox_response["fields"] == {
         "number_of_users": [1],
@@ -343,6 +349,98 @@ def test_api_documents_full_text_search(settings):
     }
 
 
+@responses.activate
+def test_api_documents_language_code(settings):
+    """
+    Searching a document by its content should work as expected.
+    Search, like indexing, defaults to settings.LANGUAGE_CODE.
+    """
+    setup_oicd_resource_server(responses, settings, sub="user_sub")
+    service = factories.ServiceFactory()
+
+    english_code = "en-us"
+    french_code = "fr-fr"
+    prepare_index(
+        service.index_name,
+        bulk_create_documents(
+            [
+                {"title": "The quick brown fox", "content": "the wolf"},
+                {"title": "The blue fox", "content": "the wolf"},
+                {"title": "The brown goat", "content": "the wolf"},
+            ]
+        ),
+        language_code=english_code,
+    )
+    prepare_index(
+        service.index_name,
+        bulk_create_documents(
+            [
+                {"title": "Le rapide renard brun", "content": "le loup"},
+                {"title": "Le renard bleu", "content": "le loup"},
+                {"title": "La chèvre brune", "content": "le loup"},
+            ]
+        ),
+        language_code=french_code,
+    )
+
+    french_query = "renard"
+
+    # search french documents in french
+    response = APIClient().post(
+        "/api/v1.0/documents/search/",
+        {"q": french_query, "language_code": french_code},
+        format="json",
+        HTTP_AUTHORIZATION=f"Bearer {build_authorization_bearer()}",
+    )
+    # find the corresponding documents
+    assert response.status_code == 200
+    assert len(response.json()) == 2
+
+    # search french documents in english
+    response = APIClient().post(
+        "/api/v1.0/documents/search/",
+        {"q": french_query, "language_code": english_code},
+        format="json",
+        HTTP_AUTHORIZATION=f"Bearer {build_authorization_bearer()}",
+    )
+    # can not find them
+    assert response.status_code == 200
+    assert len(response.json()) == 0
+
+
+@responses.activate
+def test_api_documents_wrong_language_code(settings):
+    """returns an error if the language code is not supported"""
+    setup_oicd_resource_server(responses, settings, sub="user_sub")
+    service = factories.ServiceFactory()
+
+    prepare_index(
+        service.index_name,
+        bulk_create_documents(
+            [
+                {"title": "The brown goat", "content": "the wolf"},
+            ]
+        ),
+    )
+    unsupported_language_code = "es-es"
+
+    response = APIClient().post(
+        "/api/v1.0/documents/search/",
+        {"q": "*", "language_code": unsupported_language_code},
+        format="json",
+        HTTP_AUTHORIZATION=f"Bearer {build_authorization_bearer()}",
+    )
+
+    assert response.status_code == 400
+    assert response.json() == [
+        {
+            "msg": "Input should be 'en-us', 'fr-fr', 'de-de' or 'nl-nl'",
+            "type": "literal_error",
+            "loc": ["language_code"],
+        }
+    ]
+
+
 @responses.activate
 def test_api_documents_hybrid_search(settings):
     """Searching a document by its content should work as expected"""
@@ -392,7 +490,7 @@ def test_api_documents_hybrid_search(settings):
         "created_at": fox_document["created_at"].isoformat(),
         "updated_at": fox_document["updated_at"].isoformat(),
         "reach": fox_document["reach"],
-        "title": fox_document["title"],
+        f"title.{settings.LANGUAGE_CODE}": fox_document["title"],
     }
     assert fox_response["fields"] == {"number_of_users": [1], "number_of_groups": [3]}
 
@@ -415,7 +513,7 @@ def test_api_documents_hybrid_search(settings):
         "created_at": other_fox_document["created_at"].isoformat(),
         "updated_at": other_fox_document["updated_at"].isoformat(),
         "reach": other_fox_document["reach"],
-        "title": other_fox_document["title"],
+        f"title.{settings.LANGUAGE_CODE}": other_fox_document["title"],
     }
     assert other_fox_response["fields"] == {
         "number_of_users": [1],
@@ -440,7 +538,7 @@ def test_api_documents_hybrid_search(settings):
         "created_at": no_fox_document["created_at"].isoformat(),
         "updated_at": no_fox_document["updated_at"].isoformat(),
         "reach": no_fox_document["reach"],
-        "title": no_fox_document["title"],
+        f"title.{settings.LANGUAGE_CODE}": no_fox_document["title"],
     }
     assert no_fox_response["fields"] == {
         "number_of_users": [1],
@@ -466,8 +564,6 @@ def test_api_documents_search_ordering_by_fields(settings):
     prepare_index(service.index_name, documents)
 
     parameters = [
-        (enums.TITLE, "asc"),
-        (enums.TITLE, "desc"),
         (enums.CREATED_AT, "asc"),
         (enums.CREATED_AT, "desc"),
         (enums.UPDATED_AT, "asc"),

src/backend/core/tests/test_opensearch.py

@@ -14,6 +14,8 @@ from core.services import opensearch
 from core.services.opensearch import (
     check_hybrid_search_enabled,
     embed_text,
+    ensure_index_exists,
+    opensearch_client,
     search,
 )
 
@@ -32,12 +34,14 @@ pytestmark = pytest.mark.django_db
 
 
 SERVICE_NAME = "test-service"
+DEFAULT_LANGUAGE_CODE = "en-us"
 
 
 def search_params(service):
     """Build opensearch.search() parameters for tests using the service index name"""
     return {
         "nb_results": 20,
+        "language_code": DEFAULT_LANGUAGE_CODE,
         "order_by": "relevance",
         "order_direction": "desc",
         "search_indices": {service.index_name},
@@ -63,6 +67,7 @@ def clear_caches():
     # is different and must be cleared separately
     check_hybrid_search_enabled_utils.cache_clear()
     delete_search_pipeline()
+    opensearch_client().indices.delete(index="*")
 
 
 @responses.activate
@@ -96,9 +101,10 @@ def test_hybrid_search_success(settings, caplog):
 
     assert result["hits"]["max_score"] > 0.0
     # hybrid search always returns a response of fixed sized sorted and scored by relevance
-    assert {hit["_source"]["title"] for hit in result["hits"]["hits"]} == {
-        doc["title"] for doc in documents
-    }
+    assert {
+        hit["_source"][f"title.{DEFAULT_LANGUAGE_CODE}"]
+        for hit in result["hits"]["hits"]
+    } == {doc["title"] for doc in documents}
 
 
 @responses.activate
@@ -106,9 +112,9 @@ def test_hybrid_search_without_embedded_index(settings, caplog):
     """Test the hybrid search is successful"""
     documents = bulk_create_documents(
         [
-            {"title": "wolf", "content": "wolves live in packs and hunt together"},
-            {"title": "dog", "content": "dogs are loyal domestic animals"},
-            {"title": "cat", "content": "cats are curious and independent pets"},
+            {"title": "wolf", "content": "wolves"},
+            {"title": "dog", "content": "dogs"},
+            {"title": "cat", "content": "cats"},
         ]
     )
     # index is prepared but hybrid search is not yet enable.
@@ -163,7 +169,7 @@ def test_hybrid_search_without_embedded_index(settings, caplog):
 
     assert result["hits"]["max_score"] > 0.0
     assert len(result["hits"]["hits"]) == 1
-    assert result["hits"]["hits"][0]["_source"]["title"] == q
+    assert result["hits"]["hits"][0]["_source"][f"title.{DEFAULT_LANGUAGE_CODE}"] == q
 
 
 def test_fall_back_on_full_text_search_if_hybrid_search_disabled(settings, caplog):
@@ -195,7 +201,9 @@ def test_fall_back_on_full_text_search_if_hybrid_search_disabled(settings, caplo
 
     assert result["hits"]["max_score"] > 0.0
     assert len(result["hits"]["hits"]) == 1
-    assert result["hits"]["hits"][0]["_source"]["title"] == "wolf"
+    assert (
+        result["hits"]["hits"][0]["_source"][f"title.{DEFAULT_LANGUAGE_CODE}"] == "wolf"
+    )
 
 
 @responses.activate
@@ -232,7 +240,9 @@ def test_fall_back_on_full_text_search_if_embedding_api_fails(settings, caplog):
     )
     assert result["hits"]["max_score"] > 0.0
     assert len(result["hits"]["hits"]) == 1
-    assert result["hits"]["hits"][0]["_source"]["title"] == "wolf"
+    assert (
+        result["hits"]["hits"][0]["_source"][f"title.{DEFAULT_LANGUAGE_CODE}"] == "wolf"
+    )
 
 
 @responses.activate
@@ -264,7 +274,9 @@ def test_fall_back_on_full_text_search_if_variable_are_missing(settings, caplog)
     )
     assert result["hits"]["max_score"] > 0.0
     assert len(result["hits"]["hits"]) == 1
-    assert result["hits"]["hits"][0]["_source"]["title"] == "wolf"
+    assert (
+        result["hits"]["hits"][0]["_source"][f"title.{DEFAULT_LANGUAGE_CODE}"] == "wolf"
+    )
 
 
 @responses.activate
@@ -361,6 +373,60 @@ def test_hybrid_search_number_of_matches(settings):
         assert len(result["hits"]["hits"]) == nb_results
 
 
+@responses.activate
+def test_language_code():
+    """
+    Searching a document by its content should work as expected.
+    Search, like indexing, defaults to settings.LANGUAGE_CODE.
+    """
+    service = factories.ServiceFactory(name=SERVICE_NAME)
+    english_code = "en-us"
+    french_code = "fr-fr"
+    prepare_index(
+        service.index_name,
+        bulk_create_documents(
+            [
+                {"title": "The quick brown fox", "content": "the wolf"},
+                {"title": "The blue fox", "content": "the wolf"},
+                {"title": "The brown goat", "content": "the wolf"},
+            ]
+        ),
+        language_code=english_code,
+    )
+    prepare_index(
+        service.index_name,
+        bulk_create_documents(
+            [
+                {"title": "Le rapide renard brun", "content": "le loup"},
+                {"title": "Le renard bleu", "content": "le loup"},
+                {"title": "La chèvre brune", "content": "le loup"},
+            ]
+        ),
+        language_code=french_code,
+    )
+
+    french_query = "renard"
+
+    # search french documents in french
+    result = search(
+        q=french_query, **{**search_params(service), "language_code": french_code}
+    )
+    # find the corresponding documents
+    assert len(result["hits"]["hits"]) == 2
+    assert [
+        document["_source"][f"title.{french_code}"]
+        for document in result["hits"]["hits"]
+    ] == ["Le renard bleu", "Le rapide renard brun"]
+    assert not f"title.{english_code}" in result["hits"]["hits"][0]["_source"]
+
+    # search french documents in english
+    result = search(
+        q=french_query, **{**search_params(service), "language_code": english_code}
+    )
+    # can not find them
+    assert len(result["hits"]["hits"]) == 0
+
+
 @responses.activate
 def test_embed_text_success(settings):
     """Test embed_text retrieval is successful"""
@@ -445,3 +511,166 @@ def test_embed_wrong_format(settings, caplog):
     )
 
     assert embedding is None
+
+
+@pytest.mark.parametrize(
+    "text, analyzer_name, expected_language_analyzer_tokens, expected_trigram_analyzer_tokens",
+    [
+        (
+            "l'éléphant a couru avec les Gens",
+            "french_analyzer",
+            # lowercase is applied ("Gens" -> "gens")
+            # asciifolding is applied ("éléphant" -> "elephant")
+            # stop words are removed ('avec', 'les')
+            # elisions are removed ("l'")
+            # stemming is applied ("gens" -> "gen")
+            ["elephant", "a", "couru", "gen"],
+            # lowercase is applied ("Gens" -> "gens")
+            # asciifolding is applied ("éléphant" -> "elephant")
+            # words smaller than 3 characters are removed ("a")
+            # trigrams are generated
+            [
+                "l'e",
+                "'el",
+                "ele",
+                "lep",
+                "eph",
+                "pha",
+                "han",
+                "ant",
+                "cou",
+                "our",
+                "uru",
+                "ave",
+                "vec",
+                "les",
+                "gen",
+                "ens",
+            ],
+        ),
+        (
+            "The Elephant is running into a café",
+            "english_analyzer",
+            # lowercase is applied ("Elephant" -> "elephant")
+            # asciifolding is applied ("café" -> "cafe")
+            # stop words are removed ("The", "into", "a")
+            # stemming is applied ("running" -> "run", "elephant" -> "eleph")
+            ["eleph", "run", "cafe"],
+            # lowercase is applied ("Gens" -> "gens")
+            # asciifolding is applied ("café" -> "cafe")
+            # trigrams are generated
+            # words smaller than 3 characters are removed ("a")
+            [
+                "the",
+                "ele",
+                "lep",
+                "eph",
+                "pha",
+                "han",
+                "ant",
+                "run",
+                "unn",
+                "nni",
+                "nin",
+                "ing",
+                "int",
+                "nto",
+                "caf",
+                "afe",
+            ],
+        ),
+        (
+            "Der Käfer läuft über die Straße",
+            "german_analyzer",
+            # lowercase is applied ("Der" -> "der", "Käfer" -> "käfer", "Straße" -> "straße")
+            # asciifolding is applied ("käfer" -> "kafer", "straße" -> "strass")
+            # stop words are removed ("Der", "die")
+            # stemming is applied ("kafer" -> "kaf")
+            ["kaf", "lauft", "uber", "strass"],
+            # lowercase is applied
+            # asciifolding is applied ("käfer" -> "kafer", "straße" -> "strasse")
+            # trigrams are generated
+            [
+                "der",
+                "kaf",
+                "afe",
+                "fer",
+                "lau",
+                "auf",
+                "uft",
+                "ube",
+                "ber",
+                "die",
+                "str",
+                "tra",
+                "ras",
+                "ass",
+                "sse",
+            ],
+        ),
+        (
+            "De Kinderen lopen naar de bakkerij",
+            "dutch_analyzer",
+            # lowercase is applied ("De" -> "de", "Kinderen" -> "kinderen")
+            # stop words are removed ("De", "naar", "de")
+            # stemming is applied ("kinderen" -> "kinder", "lopen" -> "lop")
+            ["kinder", "lop", "bakkerij"],
+            # lowercase is applied
+            # words smaller than 3 characters are removed ("de")
+            # trigrams are generated
+            [
+                "kin",
+                "ind",
+                "nde",
+                "der",
+                "ere",
+                "ren",
+                "lop",
+                "ope",
+                "pen",
+                "naa",
+                "aar",
+                "bak",
+                "akk",
+                "kke",
+                "ker",
+                "eri",
+                "rij",
+            ],
+        ),
+    ],
+)
+def test_opensearch_analyzers(
+    settings,
+    text,
+    analyzer_name,
+    expected_language_analyzer_tokens,
+    expected_trigram_analyzer_tokens,
+):
+    """Test the french_analyzer is correctly configured in OpenSearch"""
+    enable_hybrid_search(settings)
+    ensure_index_exists(SERVICE_NAME)
+
+    language_analyzer_response = opensearch_client().indices.analyze(
+        index=SERVICE_NAME,
+        body={
+            "analyzer": analyzer_name,
+            "text": text,
+        },
+    )
+    language_analyzer_tokens = [
+        token_info["token"] for token_info in language_analyzer_response["tokens"]
+    ]
+    response_trigram_analyzer = opensearch_client().indices.analyze(
+        index=SERVICE_NAME,
+        body={
+            "analyzer": "trigram_analyzer",
+            "text": text,
+        },
+    )
+    trigram_analyzer_tokens = [
+        token_info["token"] for token_info in response_trigram_analyzer["tokens"]
+    ]
+
+    assert expected_language_analyzer_tokens == language_analyzer_tokens
+    assert expected_trigram_analyzer_tokens == trigram_analyzer_tokens

src/backend/core/tests/utils.py

@@ -22,7 +22,11 @@ from core.management.commands.create_search_pipeline import (
     ensure_search_pipeline_exists,
 )
 from core.services import opensearch
-from core.services.opensearch import check_hybrid_search_enabled
+from core.services.opensearch import (
+    check_hybrid_search_enabled,
+    embed_text,
+    format_document,
+)
 
 logger = logging.getLogger(__name__)
 
@@ -61,7 +65,9 @@ def delete_search_pipeline():
         logger.info("Search pipeline not found, nothing to delete.")
 
 
-def prepare_index(index_name, documents: List):
+def prepare_index(
+    index_name, documents: List, language_code=django_settings.DEFAULT_LANGUAGE_CODE
+):
     """Prepare the search index before testing a query on it."""
     opensearch.ensure_index_exists(index_name)
 
@@ -72,15 +78,27 @@ def prepare_index(index_name, documents: List):
             "_index": index_name,
             "_id": document["id"],
             "_source": {
-                **{k: v for k, v in document.items() if k != "id"},
-                "embedding": opensearch.embed_text(
-                    opensearch.format_document(document["title"], document["content"])
+                "id": document["id"],
+                f"title.{language_code}": document["title"],
+                f"content.{language_code}": document["content"],
+                "embedding": embed_text(
+                    format_document(document["title"], document["content"])
                 )
                 if check_hybrid_search_enabled()
                 else None,
                 "embedding_model": django_settings.EMBEDDING_API_MODEL_NAME
                 if check_hybrid_search_enabled()
                 else None,
+                "depth": document["depth"],
+                "path": document["path"],
+                "numchild": document["numchild"],
+                "created_at": document["created_at"],
+                "updated_at": document["updated_at"],
+                "size": document["size"],
+                "users": document["users"],
+                "groups": document["groups"],
+                "reach": document["reach"],
+                "is_active": document["is_active"],
             },
         }
         for document in documents
@@ -90,9 +108,6 @@ def prepare_index(index_name, documents: List):
     # Force refresh again so all changes are visible to search
     opensearch.opensearch_client().indices.refresh(index=index_name)
 
-    count = opensearch.opensearch_client().count(index=index_name)["count"]
-    assert count == len(documents), f"Expected {len(documents)}, got {count}"
-
 
 def build_authorization_bearer(token="some_token"):
     """

src/backend/core/views.py

@@ -16,10 +16,9 @@ from .authentication import ServiceTokenAuthentication
 from .models import Service, get_opensearch_index_name
 from .permissions import IsAuthAuthenticated
 from .services.opensearch import (
-    check_hybrid_search_enabled,
-    embed_document,
     ensure_index_exists,
     opensearch_client,
+    prepare_document_for_indexing,
     search,
 )
 
@@ -57,6 +56,13 @@ class IndexDocumentView(views.APIView):
             response body contains information about the success or failure of each individual
             document.
 
+        Query Parameters:
+        ----------------
+        language : str, optional
+            Language code for indexing ("fr-fr", "en-us", "de-de", "nl").
+            Defaults to settings.LANGUAGE_CODE if not provided.
+            This determines which language-specific analyzer and fields are used for indexing.
+
         Methods:
         -------
         post(request, *args, **kwargs):
@@ -86,6 +92,24 @@ class IndexDocumentView(views.APIView):
             - Returns a list of results for all documents, with details of success and indexing
               errors.
         """
+        # Validate query parameters - use .get() to extract single values
+        try:
+            row_language_code = request.query_params.get("language_code", None)
+            parsed_query_params = schemas.IndexQueryParametersSchema(
+                **{
+                    "language_code": row_language_code
+                    if row_language_code
+                    else settings.LANGUAGE_CODE
+                }
+            )
+        except PydanticValidationError as excpt:
+            errors = [
+                {key: error[key] for key in ("msg", "type", "loc")}
+                for error in excpt.errors()
+            ]
+            return Response({"errors": errors}, status=status.HTTP_400_BAD_REQUEST)
+
+        language_code = parsed_query_params.language_code
         index_name = request.auth.index_name
         opensearch_client_ = opensearch_client()
 
@@ -106,15 +130,9 @@ class IndexDocumentView(views.APIView):
                     results.append({"index": i, "status": "error", "errors": errors})
                     has_errors = True
                 else:
-                    document_dict = {
-                        **document.model_dump(),
-                        "embedding": embed_document(document)
-                        if check_hybrid_search_enabled()
-                        else None,
-                        "embedding_model": settings.EMBEDDING_API_MODEL_NAME
-                        if check_hybrid_search_enabled()
-                        else None,
-                    }
+                    document_dict = prepare_document_for_indexing(
+                        document.model_dump(), language_code
+                    )
                     _id = document_dict.pop("id")
                     actions.append({"index": {"_id": _id}})
                     actions.append(document_dict)
@@ -140,15 +158,9 @@ class IndexDocumentView(views.APIView):
 
         # Indexing a single document
         document = schemas.DocumentSchema(**request.data)
-        document_dict = {
-            **document.model_dump(),
-            "embedding": embed_document(document)
-            if check_hybrid_search_enabled()
-            else None,
-            "embedding_model": settings.EMBEDDING_API_MODEL_NAME
-            if check_hybrid_search_enabled()
-            else None,
-        }
+        document_dict = prepare_document_for_indexing(
+            document.model_dump(), language_code
+        )
         _id = document_dict.pop("id")
 
         # Build index if needed.
@@ -251,6 +263,7 @@ class SearchDocumentView(ResourceServerMixin, views.APIView):
 
         response = search(
             q=params.q,
+            language_code=params.language_code,
             nb_results=params.nb_results,
             order_by=params.order_by,
             order_direction=params.order_direction,
@@ -260,5 +273,4 @@ class SearchDocumentView(ResourceServerMixin, views.APIView):
             user_sub=user_sub,
             groups=groups,
         )
-
         return Response(response["hits"]["hits"], status=status.HTTP_200_OK)

src/backend/find/settings.py

@@ -123,16 +123,18 @@ class Base(Configuration):
     # https://docs.djangoproject.com/en/3.1/topics/i18n/
 
     # Languages
-    LANGUAGE_CODE = values.Value("en-us")
-
-    # Careful! Languages should be ordered by priority, as this tuple is used to get
-    # fallback/default languages throughout the app.
+    DEFAULT_LANGUAGE_CODE = values.Value("en-us", environ_name="DEFAULT_LANGUAGE_CODE")
     LANGUAGES = values.SingleNestedTupleValue(
         (
             ("en-us", _("English")),
             ("fr-fr", _("French")),
+            ("de-de", _("German")),
+            ("nl-nl", _("Dutch")),
         )
     )
+    SUPPORTED_LANGUAGE_CODES = tuple(
+        language_code for language_code, _ in LANGUAGES.value
+    )
 
     LOCALE_PATHS = (os.path.join(BASE_DIR, "locale"),)
 
@@ -265,6 +267,14 @@ class Base(Configuration):
 
     AUTH_USER_MODEL = "core.User"
 
+    # Trigrams search settings
+    TRIGRAMS_BOOST = values.Value(
+        default=0.25, environ_name="TRIGRAMS_BOOST", environ_prefix=None
+    )
+    TRIGRAMS_MINIMUM_SHOULD_MATCH = values.Value(
+        default="75%", environ_name="TRIGRAMS_MINIMUM_SHOULD_MATCH", environ_prefix=None
+    )
+
     # Hybrid Search settings
     HYBRID_SEARCH_ENABLED = values.BooleanValue(
         default=False, environ_name="HYBRID_SEARCH_ENABLED", environ_prefix=None