✅(backend) test

i am testing the rescore feature
✨(backend) add enable_rescore params
2026-03-16 09:51:58 +01:00 · 2026-03-16 09:51:58 +01:00 · 2026-03-16 09:51:58 +01:00 · 2026-03-16 09:51:58 +01:00 · 2026-03-16 09:51:58 +01:00 · 2026-03-10 15:05:14 +01:00
162 changed files with 7293 additions and 2291 deletions
@@ -7,5 +7,5 @@ Description...

 Description...

- [] item 1...
- [] item 2...
+- [ ] item 1...
+- [ ] item 2...
@@ -1,52 +0,0 @@
-name: Deploy
-
-on:
-  push:
-    tags:
-      - 'preprod'
-      - 'production'
-
-
-jobs:
-  notify-argocd:
-    runs-on: ubuntu-latest
-    steps:
-      -
-        uses: actions/create-github-app-token@v1
-        id: app-token
-        with:
-          app-id: ${{ secrets.APP_ID }}
-          private-key: ${{ secrets.PRIVATE_KEY }}
-          owner: ${{ github.repository_owner }}
-          repositories: "drive,secrets"
-      -
-        name: Checkout repository
-        uses: actions/checkout@v2
-        with:
-          submodules: recursive
-          token: ${{ steps.app-token.outputs.token }}
-      -
-        name: Load sops secrets
-        uses: rouja/actions-sops@main
-        with:
-          secret-file: secrets/numerique-gouv/drive/secrets.enc.env
-          age-key: ${{ secrets.SOPS_PRIVATE }}
-      -
-        name: Call argocd github webhook
-        run: |
-          data='{"ref": "'$GITHUB_REF'","repository": {"html_url":"'$GITHUB_SERVER_URL'/'$GITHUB_REPOSITORY'"}}'
-          sig=$(echo -n ${data} | openssl dgst -sha1 -hmac ''${ARGOCD_WEBHOOK_SECRET}'' | awk '{print "X-Hub-Signature: sha1="$2}')
-          curl -X POST -H 'X-GitHub-Event:push' -H "Content-Type: application/json" -H "${sig}" --data "${data}" $ARGOCD_WEBHOOK_URL
-          sig=$(echo -n ${data} | openssl dgst -sha1 -hmac ''${ARGOCD_PRODUCTION_WEBHOOK_SECRET}'' | awk '{print "X-Hub-Signature: sha1="$2}')
-          curl -X POST -H 'X-GitHub-Event:push' -H "Content-Type: application/json" -H "${sig}" --data "${data}" $ARGOCD_PRODUCTION_WEBHOOK_URL
-
-  start-test-on-preprod:
-    needs:
-      - notify-argocd
-    runs-on: ubuntu-latest
-    if: startsWith(github.event.ref, 'refs/tags/preprod')
-    steps:
-      -
-        name: Debug
-        run: |
-          echo "Start test when preprod is ready"
@@ -20,7 +20,13 @@ jobs:
    steps:
      -
        name: Checkout repository
-        uses: actions/checkout@v4
+        uses: actions/checkout@v6
+      -
+        name: Set up QEMU
+        uses: docker/setup-qemu-action@v3
+      -
+        name: Set up Docker Buildx
+        uses: docker/setup-buildx-action@v3
      -
        name: Docker meta
        id: meta
@@ -44,6 +50,7 @@ jobs:
        with:
          context: .
          target: backend-production
+          platforms: linux/amd64,linux/arm64
          build-args: DOCKER_USER=${{ env.DOCKER_USER }}:-1000
          push: ${{ github.event_name != 'pull_request' }}
          tags: ${{ steps.meta.outputs.tags }}
@@ -14,7 +14,7 @@ jobs:
    if: github.event_name == 'pull_request' # Makes sense only for pull requests
    steps:
      - name: Checkout repository
-        uses: actions/checkout@v2
+        uses: actions/checkout@v6
        with:
          fetch-depth: 0
      - name: show
@@ -37,7 +37,7 @@ jobs:
      github.event_name == 'pull_request'
    steps:
      - name: Checkout repository
-        uses: actions/checkout@v3
+        uses: actions/checkout@v6
        with:
          fetch-depth: 50
      - name: Check that the CHANGELOG has been modified in the current branch
@@ -47,7 +47,7 @@ jobs:
    runs-on: ubuntu-latest
    steps:
      - name: Checkout repository
-        uses: actions/checkout@v2
+        uses: actions/checkout@v6
      - name: Check CHANGELOG max line length
        run: |
          max_line_length=$(cat CHANGELOG.md | grep -Ev "^\[.*\]: https://github.com" | wc -L)
@@ -63,19 +63,22 @@ jobs:
        working-directory: src/backend
    steps:
      - name: Checkout repository
-        uses: actions/checkout@v2
-      - name: Install Python
-        uses: actions/setup-python@v3
+        uses: actions/checkout@v6
+      - name: Set up Python
+        uses: actions/setup-python@v6
        with:
-          python-version: "3.12"
-      - name: Install development dependencies
-        run: pip install --user .[dev]
+          python-version-file: "src/backend/pyproject.toml"
+      - name: Install uv
+        uses: astral-sh/setup-uv@v6
+      - name: Install the project
+        run: uv sync --locked --all-extras
+
      - name: Check code formatting with ruff
-        run: ~/.local/bin/ruff format . --diff
+        run: uv run ruff format . --diff
      - name: Lint code with ruff
-        run: ~/.local/bin/ruff check .
+        run: uv run ruff check .
      - name: Lint code with pylint
-        run: ~/.local/bin/pylint .
+        run: uv run pylint .

  test-back:
    runs-on: ubuntu-latest
@@ -105,6 +108,11 @@ jobs:
          OPENSEARCH_INITIAL_ADMIN_PASSWORD: find.PASS123
        ports:
          - 9200:9200
+        options: >-
+          --health-cmd "curl -s http://localhost:9200 > /dev/null || exit 1"
+          --health-interval 10s
+          --health-timeout 5s
+          --health-retries 10

    env:
      DJANGO_CONFIGURATION: Test
@@ -123,20 +131,35 @@ jobs:

    steps:
      - name: Checkout repository
-        uses: actions/checkout@v4
+        uses: actions/checkout@v6

      - name: Create writable /data
        run: |
          sudo mkdir -p /data/media && \
          sudo mkdir -p /data/static

-      - name: Install Python
-        uses: actions/setup-python@v3
+      - name: Set up Python
+        uses: actions/setup-python@v6
        with:
-          python-version: "3.12"
+          python-version-file: "src/backend/pyproject.toml"
+      - name: Install uv
+        uses: astral-sh/setup-uv@v6

-      - name: Install development dependencies
-        run: pip install --user .[dev]
+      - name: Wait for OpenSearch to be ready
+        run: |
+          for i in {1..60}; do
+            if curl -s http://localhost:9200 > /dev/null; then
+              echo "OpenSearch is ready"
+              exit 0
+            fi
+            echo "Waiting for OpenSearch... attempt $i"
+            sleep 1
+          done
+          echo "OpenSearch failed to start"
+          exit 1
+
+      - name: Install the dependencies
+        run: uv sync --locked --all-extras

      - name: Run tests
-        run: ~/.local/bin/pytest
+        run: uv run pytest
@@ -20,7 +20,7 @@ jobs:
    runs-on: ubuntu-latest
    steps:
      - name: Checkout
-        uses: actions/checkout@v4
+        uses: actions/checkout@v6
        with:
          fetch-depth: 0

@@ -9,21 +9,39 @@ and this project adheres to
 # Unreleased

 ## Added
-
+- ✨(backend) add rescore on `updated_at`
+- 👷(docker) add arm64 platform support for image builds
 - ✨(backend) add semantic search
+- ✨(backend) add multi-embedding and chunking
 - ✨(backend) add analyzers to full-text search
+- ✨(backend) handle french, english, german and dutch 
 - ✨(backend) add evaluation command
 - backend application
 - helm chart
- 🐛(backend) fix missing index creation in 'index/' view
 - ✨(backend) allow indexation of documents with either empty content or title.
 - ✨(api) new fulltext 'search/' view with OIDC resource server authentication
 - ✨(backend) limit access to documents : public & authenticated with a
-              linkreach & owned ones
- ✨(backend) limit search to the calling app (audience) and a configured
              list of services
 - 🔧(compose) rename docker network 'lasuite-net' as 'lasuite-network'
 - ✨(backend) add demo service for Drive.
- 🐛(backend) Fix parallel test execution issues
- ✨(backend) Add OPENSEARCH_INDEX_PREFIX setting to prevent naming overlaping
+- ✨(backend) add OPENSEARCH_INDEX_PREFIX setting to prevent naming overlaping
              issues if the opensearch database is shared between apps.
+- ✨(backend) add tags
+- ✨(backend) adapt to conversation RAG
+- ✨(backend) add deletion endpoint
+- ✨(backend) add path filter
+- ✨(backend) add search_type param
+
+## Changed
+
+- 🏗️(backend) switch Python dependency management to uv
+- ✨(backend) allow deletion by tags
+- ♻️(backend) improve the evaluation command
+
+## Fixed
+
+- 🐛(backend) fix missing index creation in 'index/' view
+- 🐛(backend) fix parallel test execution issues
+
+## Removed
+- 🗑️(backend) remove sorting
@@ -3,9 +3,6 @@
 # ---- base image to inherit from ----
 FROM python:3.12-slim-bookworm AS base

-# Upgrade pip to its latest release to speed up dependencies installation
-RUN python -m pip install --upgrade pip
-
 # Upgrade system packages to install security updates
 RUN apt-get update && \
  apt-get -y upgrade && \
@@ -14,13 +11,28 @@ RUN apt-get update && \
 # ---- Back-end builder image ----
 FROM base AS back-builder

-WORKDIR /builder
+ENV UV_COMPILE_BYTECODE=1
+ENV UV_LINK_MODE=copy

-# Copy required python dependencies
-COPY ./src/backend /builder
+# Disable Python downloads, because we want to use the system interpreter
+# across both images. If using a managed Python version, it needs to be
+# copied from the build image into the final image;
+ENV UV_PYTHON_DOWNLOADS=0

-RUN mkdir /install && \
-  pip install --prefix=/install .
+# install uv
+COPY --from=ghcr.io/astral-sh/uv:0.9.10 /uv /uvx /bin/
+
+WORKDIR /app
+
+RUN --mount=type=cache,target=/root/.cache/uv \
+    --mount=type=bind,source=src/backend/uv.lock,target=uv.lock \
+    --mount=type=bind,source=src/backend/pyproject.toml,target=pyproject.toml \
+    uv sync --locked --no-install-project --no-dev
+
+COPY ./src/backend /app
+
+RUN --mount=type=cache,target=/root/.cache/uv \
+    uv sync --locked --no-dev

 # ---- static link collector ----
 FROM base AS link-collector
@@ -33,11 +45,10 @@ RUN apt-get update && \
      rdfind && \
    rm -rf /var/lib/apt/lists/*

-# Copy installed python dependencies
-COPY --from=back-builder /install /usr/local
+# Copy the application from the builder
+COPY --from=back-builder /app /app

-# Copy find application (see .dockerignore)
-COPY ./src/backend /app/
+ENV PATH="/app/.venv/bin:$PATH"

 WORKDIR /app

@@ -76,14 +87,13 @@ COPY ./docker/files/usr/local/bin/entrypoint /usr/local/bin/entrypoint
 # docker user (see entrypoint).
 RUN chmod g=u /etc/passwd

-# Copy installed python dependencies
-COPY --from=back-builder /install /usr/local
-
-# Copy find application (see .dockerignore)
-COPY ./src/backend /app/
+# Copy the prepared application (see .dockerignore)
+COPY --from=back-builder /app /app

 WORKDIR /app

+ENV PATH="/app/.venv/bin:$PATH"
+
 # We wrap commands run in this container by the following entrypoint that
 # creates a user on-the-fly with the container user ID (see USER) and root group
 # ID.
@@ -100,10 +110,9 @@ RUN apt-get update && \
    apt-get install -y postgresql-client && \
    rm -rf /var/lib/apt/lists/*

-# Uninstall find and re-install it in editable mode along with development
-# dependencies
-RUN pip uninstall -y find
-RUN pip install -e .[dev]
+# Install development dependencies
+RUN --mount=from=ghcr.io/astral-sh/uv:0.9.10,source=/uv,target=/bin/uv \
+    uv sync --locked --all-extras

 # Restore the un-privileged user running the application
 ARG DOCKER_USER
@@ -173,7 +173,7 @@ superuser: ## Create an admin superuser with password "admin"
 .PHONY: superuser

 back-i18n-compile: ## compile the gettext files
-	@$(MANAGE) compilemessages --ignore="venv/**/*"
+	@$(MANAGE) compilemessages --ignore=".venv/**/*"
 .PHONY: back-i18n-compile

 back-i18n-generate: ## create the .pot files used for i18n
@@ -1,17 +0,0 @@
-# Upgrade
-
-All instructions to upgrade this project from one release to the next will be
-documented in this file. Upgrades must be run sequentially, meaning you should
-not skip minor/major releases while upgrading (fix releases can be skipped).
-
-The format is based on [Keep a Changelog](https://keepachangelog.com/en/1.0.0/),
-and this project adheres to [Semantic Versioning](https://semver.org/spec/v2.0.0.html).
-
-For most upgrades, you just need to run the django migrations with
-the following command inside your docker container:
-
-`python manage.py migrate`
-
-(Note : in your development environment, you can `make migrate`.)
-
-## [Unreleased]
@@ -70,6 +70,7 @@ services:
    volumes:
      - ./src/backend:/app
      - ./data/static:/data/static
+      - /app/.venv
    depends_on:
      postgresql:
        condition: service_started
@@ -90,6 +91,7 @@ services:
    volumes:
      - ./src/backend:/app
      - ./data/static:/data/static
+      - /app/.venv
    depends_on:
      - app

@@ -13,13 +13,14 @@ These are the environment variables you can set for the `find-backend` container
 | API_USERS_LIST_THROTTLE_RATE_SUSTAINED          | Throttle rate for api                                                                                                       | 180/hour                                                                |
 | CACHES_DEFAULT_TIMEOUT                          | Cache default timeout                                                                                                       | 30                                                                      |
 | CACHES_KEY_PREFIX                               | The prefix used to every cache keys.                                                                                        | docs                                                                    |
+| CHUNK_SIZE                                      | approximate number of characters of document content chunks                                                                 | 512                                                                     |
+| CHUNK_OVERLAP                                   | approximate number of characters of document content overlapping                                                            | 50                                                                      |
 | DB_ENGINE                                       | Engine to use for database connections                                                                                      | django.db.backends.postgresql_psycopg2                                  |
 | DB_HOST                                         | Host of the database                                                                                                        | localhost                                                               |
 | DB_NAME                                         | Name of the database                                                                                                        | impress                                                                 |
 | DB_PASSWORD                                     | Password to authenticate with                                                                                               | pass                                                                    |
 | DB_PORT                                         | Port of the database                                                                                                        | 5432                                                                    |
 | DB_USER                                         | User to authenticate with                                                                                                   | dinum                                                                   |
-| DEFAULT_LANGUAGE_CODE                           | Default language (chose between fr-fr, en-us, de-de, nl-nl)                                                                 | en-us                                                                   |
 | DJANGO_ALLOWED_HOSTS                            | Allowed hosts                                                                                                               | []                                                                      |
 | DJANGO_CELERY_BROKER_TRANSPORT_OPTIONS          | Celery broker transport options                                                                                             | {}                                                                      |
 | DJANGO_CELERY_BROKER_URL                        | Celery broker url                                                                                                           | redis://redis:6379/0                                                    |
@@ -40,16 +41,17 @@ These are the environment variables you can set for the `find-backend` container
 | DJANGO_SECRET_KEY                               | Secret key                                                                                                                  |                                                                         |
 | DJANGO_SERVER_TO_SERVER_API_TOKENS              |                                                                                                                             | []                                                                      |
 | DOCUMENT_IMAGE_MAX_SIZE                         | Maximum size of document in bytes                                                                                           | 10485760                                                                |
-| EMBEDDING_API_PATH                              | URL of the embedding api                                                                                                    | https://albert.api.etalab.gouv.fr/v1/embeddings                         |
 | EMBEDDING_API_KEY                               | API key of the embedding api                                                                                                |                                                                         |
-| EMBEDDING_REQUEST_TIMEOUT                       | time out in seconds of the embedding requests                                                                               | 10                                                                      |
 | EMBEDDING_API_MODEL_NAME                        | Name of the embedding model used on the api                                                                                 | embeddings-small                                                        |
+| EMBEDDING_API_PATH                              | URL of the embedding api                                                                                                    |                                                                         |
 | EMBEDDING_DIMENSION                             | Size of the embedding vector                                                                                                | 1024                                                                    |
+| EMBEDDING_REQUEST_TIMEOUT                       | time out in seconds of the embedding requests                                                                               | 10                                                                      |
 | FRONTEND_CSS_URL                                | To add a external css file to the app                                                                                       |                                                                         |
 | FRONTEND_HOMEPAGE_FEATURE_ENABLED               | Frontend feature flag to display the homepage                                                                               | false                                                                   |
 | FRONTEND_THEME                                  | Frontend theme to use                                                                                                       |                                                                         |
 | HYBRID_SEARCH_ENABLED                           | Flag to enable hybrid (an then semantic) search                                                                             | True                                                                    |
 | HYBRID_SEARCH_WEIGHTS                           | Weights used in the weighted sum of the hybrid search score                                                                 | [0.3, 0.7]                                                              |
+| LANGUAGE_DETECTION_CONFIDENCE_THRESHOLD         | Language detection confidence threshold                                                                                     | 0.75                                                                    |
 | LOGGING_LEVEL_LOGGERS_APP                       | Application logging level. options are "DEBUG", "INFO", "WARN", "ERROR", "CRITICAL"                                         | INFO                                                                    |
 | LOGGING_LEVEL_LOGGERS_ROOT                      | Default logging level. options are "DEBUG", "INFO", "WARN", "ERROR", "CRITICAL"                                             | INFO                                                                    |
 | LOGIN_REDIRECT_URL                              | Login redirect url                                                                                                          |                                                                         |
@@ -0,0 +1,32 @@
+# Search Engine Evaluation Command
+
+## Overview 
+
+this Django command atomizes the evaluation of the search engine by computing 4 metrics: Average Discounted Cumulative Gain, Precision, Recall and F1 score. 
+
+## Usage 
+
+```
+python manage.py evaluate_search_engine <dataset_name> [options]
+```
+
+## Required Arguments
+- `dataset_name`: Name of the evaluation dataset to use. Datasets are located in `evaluation/management/commands/data/evaluation/`
+
+## Optional Arguments
+- `--min_score`: Minimum score threshold; hits below this score are ignored
+- `--keep-index`: Preserve the evaluation index after completion
+- `--force-reindex`: Drop and recreate the index even if it exists
+
+## Examples
+
+````
+# Basic evaluation with default settings
+python manage.py evaluate_search_engine my_dataset
+
+# Evaluation with minimum score threshold
+python manage.py evaluate_search_engine my_dataset --min_score 0.5
+
+# Force reindexing and clean up afterward
+python manage.py evaluate_search_engine my_dataset --force-reindex True --keep-index False
+````
@@ -0,0 +1,170 @@
+This file keeps for reference the logs of the last best evaluation of the model.
+
+````
+(venv) ➜  find git:(evaluate) ✗ docker compose exec app python manage.py evaluate_search_engine v1 --min_score 0.5   
+
+2025-11-20 18:44:30,903 core.services.opensearch INFO Hybrid search is disabled via HYBRID_SEARCH_ENABLED setting
+2025-11-20 18:44:31,183 core.management.commands.utils INFO Deleting search pipeline hybrid-search-pipeline
+2025-11-20 18:44:31,201 opensearch INFO DELETE http://opensearch:9200/_search/pipeline/hybrid-search-pipeline [status:200 request:0.018s]
+2025-11-20 18:44:31,202 opensearch WARNING GET http://opensearch:9200/_search/pipeline/hybrid-search-pipeline [status:404 request:0.001s]
+2025-11-20 18:44:31,202 core.management.commands.create_search_pipeline INFO Creating search pipeline: hybrid-search-pipeline
+2025-11-20 18:44:31,221 opensearch INFO PUT http://opensearch:9200/_search/pipeline/hybrid-search-pipeline [status:200 request:0.019s]
+2025-11-20 18:44:31,222 opensearch INFO HEAD http://opensearch:9200/evaluation-index [status:200 request:0.001s]
+[INFO] Starting evaluation with 76 documents and 12 queries
+2025-11-20 18:44:31,222 core.services.opensearch INFO embed: 'cours d'histoire de l'antiquité'
+2025-11-20 18:44:31,302 core.services.opensearch INFO Performing hybrid search with embedding: cours d'histoire de l'antiquité
+2025-11-20 18:44:31,317 opensearch INFO POST http://opensearch:9200/evaluation-index/_search?search_pipeline=hybrid-search-pipeline&ignore_unavailable=true [status:200 request:0.014s]
+
+[QUERY EVALUATION]
+  q: cours d'histoire de l'antiquité
+  expect: ["L'Empire Romain", "L'Égypte Ancienne"]
+  result: ["L'Égypte Ancienne", 'La Sculpture sur Pierre']
+  NDCG: 61.31% 
+  PRECISION: 50.00% 
+  RECALL: 50.00% 
+  F1-SCORE: 50.00% 
+2025-11-20 18:44:31,317 core.services.opensearch INFO embed: 'recette salée végétarienne'
+2025-11-20 18:44:31,392 core.services.opensearch INFO Performing hybrid search with embedding: recette salée végétarienne
+2025-11-20 18:44:31,403 opensearch INFO POST http://opensearch:9200/evaluation-index/_search?search_pipeline=hybrid-search-pipeline&ignore_unavailable=true [status:200 request:0.010s]
+
+[QUERY EVALUATION]
+  q: recette salée végétarienne
+  expect: ['Ratatouille Provençale', 'Salade de légumes', 'Fondue Savoyarde']
+  result: ['Salade de légumes']
+  NDCG: 46.93% 
+  PRECISION: 100.00% 
+  RECALL: 33.33% 
+  F1-SCORE: 50.00% 
+2025-11-20 18:44:31,403 core.services.opensearch INFO embed: 'art dramatique'
+2025-11-20 18:44:31,475 core.services.opensearch INFO Performing hybrid search with embedding: art dramatique
+2025-11-20 18:44:31,486 opensearch INFO POST http://opensearch:9200/evaluation-index/_search?search_pipeline=hybrid-search-pipeline&ignore_unavailable=true [status:200 request:0.011s]
+
+[QUERY EVALUATION]
+  q: art dramatique
+  expect: ['Le Théâtre']
+  result: ['Le Théâtre', 'Le Vitrail']
+  NDCG: 100.00% 
+  PRECISION: 50.00% 
+  RECALL: 100.00% 
+  F1-SCORE: 66.67% 
+2025-11-20 18:44:31,487 core.services.opensearch INFO embed: 'art de bouger son corps'
+2025-11-20 18:44:31,556 core.services.opensearch INFO Performing hybrid search with embedding: art de bouger son corps
+2025-11-20 18:44:31,573 opensearch INFO POST http://opensearch:9200/evaluation-index/_search?search_pipeline=hybrid-search-pipeline&ignore_unavailable=true [status:200 request:0.017s]
+
+[QUERY EVALUATION]
+  q: art de bouger son corps
+  expect: ['La Danse', 'La Danse Contemporaine']
+  result: ['La Danse', 'La Danse Contemporaine']
+  NDCG: 100.00% 
+  PRECISION: 100.00% 
+  RECALL: 100.00% 
+  F1-SCORE: 100.00% 
+2025-11-20 18:44:31,573 core.services.opensearch INFO embed: 'mammifères aquatiques'
+2025-11-20 18:44:31,641 core.services.opensearch INFO Performing hybrid search with embedding: mammifères aquatiques
+2025-11-20 18:44:31,654 opensearch INFO POST http://opensearch:9200/evaluation-index/_search?search_pipeline=hybrid-search-pipeline&ignore_unavailable=true [status:200 request:0.013s]
+
+[QUERY EVALUATION]
+  q: mammifères aquatiques
+  expect: ['Le Dauphin', 'La Baleine à Bosse']
+  result: ['Le Dauphin', 'La Baleine à Bosse', 'Le Manchot Empereur', 'Le Requin Blanc', 'Le Paresseux']
+  NDCG: 100.00% 
+  PRECISION: 40.00% 
+  RECALL: 100.00% 
+  F1-SCORE: 57.14% 
+2025-11-20 18:44:31,654 core.services.opensearch INFO embed: 'insectes pollinisateurs'
+2025-11-20 18:44:31,733 core.services.opensearch INFO Performing hybrid search with embedding: insectes pollinisateurs
+2025-11-20 18:44:31,746 opensearch INFO POST http://opensearch:9200/evaluation-index/_search?search_pipeline=hybrid-search-pipeline&ignore_unavailable=true [status:200 request:0.012s]
+
+[QUERY EVALUATION]
+  q: insectes pollinisateurs
+  expect: ["L'Abeille"]
+  result: ["L'Abeille", 'Le Caméléon', 'Le Papillon Monarque']
+  NDCG: 100.00% 
+  PRECISION: 33.33% 
+  RECALL: 100.00% 
+  F1-SCORE: 50.00% 
+2025-11-20 18:44:31,746 core.services.opensearch INFO embed: 'prédateur félin'
+2025-11-20 18:44:31,820 core.services.opensearch INFO Performing hybrid search with embedding: prédateur félin
+2025-11-20 18:44:31,834 opensearch INFO POST http://opensearch:9200/evaluation-index/_search?search_pipeline=hybrid-search-pipeline&ignore_unavailable=true [status:200 request:0.014s]
+
+[QUERY EVALUATION]
+  q: prédateur félin
+  expect: ["Le Lion d'Afrique", 'Le Guépard']
+  result: ["Le Lion d'Afrique", 'Le Guépard', 'Le Requin Blanc', "L'éléphant", 'Le Hibou Grand-Duc', "L'Ours polaire", 'Le Serpent Python']
+  NDCG: 100.00% 
+  PRECISION: 28.57% 
+  RECALL: 100.00% 
+  F1-SCORE: 44.44% 
+2025-11-20 18:44:31,835 core.services.opensearch INFO embed: 'elephant'
+2025-11-20 18:44:31,906 core.services.opensearch INFO Performing hybrid search with embedding: elephant
+2025-11-20 18:44:31,920 opensearch INFO POST http://opensearch:9200/evaluation-index/_search?search_pipeline=hybrid-search-pipeline&ignore_unavailable=true [status:200 request:0.013s]
+
+[QUERY EVALUATION]
+  q: elephant
+  expect: ["L'Éléphant d'Asie", "L'éléphant"]
+  result: ["L'éléphant", "L'Éléphant d'Asie"]
+  NDCG: 100.00% 
+  PRECISION: 100.00% 
+  RECALL: 100.00% 
+  F1-SCORE: 100.00% 
+2025-11-20 18:44:31,920 core.services.opensearch INFO embed: 'courir'
+2025-11-20 18:44:31,994 core.services.opensearch INFO Performing hybrid search with embedding: courir
+2025-11-20 18:44:32,010 opensearch INFO POST http://opensearch:9200/evaluation-index/_search?search_pipeline=hybrid-search-pipeline&ignore_unavailable=true [status:200 request:0.015s]
+
+[QUERY EVALUATION]
+  q: courir
+  expect: ['Il va courir']
+  result: ['Il va courir']
+  NDCG: 100.00% 
+  PRECISION: 100.00% 
+  RECALL: 100.00% 
+  F1-SCORE: 100.00% 
+2025-11-20 18:44:32,011 core.services.opensearch INFO embed: 'football'
+2025-11-20 18:44:32,082 core.services.opensearch INFO Performing hybrid search with embedding: football
+2025-11-20 18:44:32,089 opensearch INFO POST http://opensearch:9200/evaluation-index/_search?search_pipeline=hybrid-search-pipeline&ignore_unavailable=true [status:200 request:0.007s]
+
+[QUERY EVALUATION]
+  q: football
+  expect: ['Foot']
+  result: ['Foot']
+  NDCG: 100.00% 
+  PRECISION: 100.00% 
+  RECALL: 100.00% 
+  F1-SCORE: 100.00% 
+2025-11-20 18:44:32,089 core.services.opensearch INFO embed: 'couri'
+2025-11-20 18:44:32,156 core.services.opensearch INFO Performing hybrid search with embedding: couri
+2025-11-20 18:44:32,163 opensearch INFO POST http://opensearch:9200/evaluation-index/_search?search_pipeline=hybrid-search-pipeline&ignore_unavailable=true [status:200 request:0.007s]
+
+[QUERY EVALUATION]
+  q: couri
+  expect: ['Il va courir']
+  result: ['Coq au Vin', 'Il va courir', 'Clafoutis aux Cerises']
+  NDCG: 63.09% 
+  PRECISION: 33.33% 
+  RECALL: 100.00% 
+  F1-SCORE: 50.00% 
+2025-11-20 18:44:32,164 core.services.opensearch INFO embed: 'courrir'
+2025-11-20 18:44:32,231 core.services.opensearch INFO Performing hybrid search with embedding: courrir
+2025-11-20 18:44:32,240 opensearch INFO POST http://opensearch:9200/evaluation-index/_search?search_pipeline=hybrid-search-pipeline&ignore_unavailable=true [status:200 request:0.009s]
+
+[QUERY EVALUATION]
+  q: courrir
+  expect: ['Il va courir']
+  result: ['Il va courir']
+  NDCG: 100.00% 
+  PRECISION: 100.00% 
+  RECALL: 100.00% 
+  F1-SCORE: 100.00% 
+
+============================================================
+[SUMMARY] Average Performance
+============================================================
+  Average NDCG: 89.28%
+  Average Precision: 69.60%
+  Average Recall: 90.28%
+  Average F1-Score: 72.35%
+2025-11-20 18:44:32,241 core.management.commands.utils INFO Deleting search pipeline hybrid-search-pipeline
+2025-11-20 18:44:32,258 opensearch INFO DELETE http://opensearch:9200/_search/pipeline/hybrid-search-pipeline [status:200 request:0.017s]
+
+[SUCCESS] Evaluation completed
+````
@@ -27,22 +27,25 @@ OPENSEARCH_INDEX_PREFIX=find
 ```

 ### Language
-Find supports french, english, german and dutch. 

 Language specific operations are applied to document titles and contents to improve search results. 
-The indexing and search endpoints take an optional 'language_code' query param to identify the language.
-If the language is not provided the language will fall-back to the default language. Tha default language can
-be control with a DEFAULT_LANGUAGE_CODE environment variable.
+The language is automatically detected  by Find.
+If the language can not be detected no language specific operation are applied and the indexing process is not affected.
+
+Find supports french, english, german and dutch. 
+
+The search process is not language specific, a query can get documents of any language.
+
+Language detection estimates a confidence between 0 and 1. If the confidence is below a threshold the language is considered unrecognized. 
+This threshold can be controlled with LANGUAGE_DETECTION_CONFIDENCE_THRESHOLD environment variable.

 ```python
-DEFAULT_LANGUAGE_CODE=en-us
-````
-
-Supported values are 'fr-fr', 'en-us', 'de-de', 'nl-nl'.
+LANGUAGE_DETECTION_CONFIDENCE_THRESHOLD=0.75
+```

 ### Semantic search

-Find offers a semantic search feature. You can either use pure full-text search or a hybrid full-text + semantic search. To enable the hybrid search, add the fallowing settings. 
+Find offers a semantic search feature. You can either use pure full-text search or a hybrid full-text + semantic search. To enable the hybrid search, add the following settings. 

 ```python
 # Enable flag
@@ -52,6 +55,8 @@ HYBRID_SEARCH_ENABLED = True
 HYBRID_SEARCH_WEIGHTS = 0.7,0.3

 # Embedding
+CHUNK_SIZE=512
+CHUNK_OVERLAP=50
 EMBEDDING_API_PATH = https://embedding.api.example.com/full/path/
 EMBEDDING_API_KEY = your-embedding-api-key
 EMBEDDING_REQUEST_TIMEOUT = 10
@@ -63,9 +68,17 @@ The hybrid search computes a score for full-text and semantic search and combine

 You need to use an embedding api similar to https://albert.api.etalab.gouv.fr/documentation#tag/Embeddings/operation/embeddings_v1_embeddings_post. 

+### document chunking
+
+The indexing process embeds documents by converting their content into vector representations (embeddings). When a document exceeds the character dimension defined by CHUNK_SIZE, it's divided into smaller segments (chunks), with each chunk embedded independently. Each chunk must be smaller than the embedding model's context window . 
+
+The chunking algorithm works recursively. It attempts to create the largest possible segments first, then subdivides them further if they still exceed the size limit defined by CHUNK_SIZE. Segments can share overlapping content between them (set CHUNK_OVERLAP=0 to disable overlapping). 
+
+During the search, the matching of a document is the matching of its best chunk.
+
 ## trigrams

-Find uses trigrams to improve the robustness of the full text search engine to spelling variations and errors. It ca be configured by to environment variables. 
+Find uses trigrams to improve the robustness of the full text search engine to spelling variations and errors. It can be configured by two environment variables. 

 ````
 TRIGRAMS_BOOST=0.25
@@ -73,8 +86,8 @@ TRIGRAMS_MINIMUM_SHOULD_MATCH=0.75%
 ````

 `TRIGRAMS_BOOST` is weight boost applied to the trigram score in the document matching. 
-`TRIGRAMS_MINIMUM_SHOULD_MATCH`is the minimal number or proportion of trigrams having to match to score. I can be
-either an absolute number or proportion as the default value.
+`TRIGRAMS_MINIMUM_SHOULD_MATCH` is the minimal number or proportion of trigrams having to match to score. It is
+either an absolute number or proportion.

 ## Setup indexation API

@@ -55,3 +55,7 @@ OIDC_RS_ENCRYPTION_KEY_TYPE="RSA"
 HYBRID_SEARCH_ENABLED=True
 EMBEDDING_API_KEY=ThisIsAnExampleKeyForDevPurposeOnly
 EMBEDDING_API_PATH=https://albert.api.etalab.gouv.fr/v1/embeddings
+
+## Multi-embedding: chunk documents and embed each chunk
+CHUNK_SIZE=512
+CHUNK_OVERLAP=50
@@ -7,7 +7,7 @@ extension-pkg-whitelist=

 # Add files or directories to the blacklist. They should be base names, not
 # paths.
-ignore=migrations
+ignore=migrations,.venv

 # Add files or directories matching the regex patterns to the blacklist. The
 # regex matches against base names, not paths.
@@ -31,10 +31,6 @@ persistent=yes
 # Specify a configuration file.
 #rcfile=

-# When enabled, pylint would attempt to guess common misconfiguration and emit
-# user-friendly hints instead of false-positive error messages
-suggestion-mode=yes
-
 # Allow loading of arbitrary C extensions. Extensions are imported into the
 # active Python interpreter and may run arbitrary code.
 unsafe-load-any-extension=no
@@ -1,8 +1,16 @@
 """Admin config for find's core app"""

-from django.contrib import admin
+from django.contrib import admin, messages
+from django.shortcuts import redirect, render
+from django.urls import path, reverse

+from core.management.commands.create_search_pipeline import (
+    ensure_search_pipeline_exists,
+)
+
+from . import selftests_builtin  # pylint: disable=unused-import
 from .models import Service
+from .selftests import registry


@admin.register(Service)
@@ -14,3 +22,79 @@ class ServiceAdmin(admin.ModelAdmin):
    list_filter = ("is_active", "created_at")
    ordering = ("-created_at",)
    readonly_fields = ("created_at", "token")
+    change_list_template = "admin/core/services/change_list.html"
+
+    def get_urls(self):
+        urls = super().get_urls()
+        custom_urls = [
+            path(
+                "ensure-search-pipeline/",
+                self.admin_site.admin_view(self.ensure_search_pipeline_view),
+                name="core_service_ensure_search_pipeline",
+            ),
+        ]
+        return custom_urls + urls
+
+    def ensure_search_pipeline_view(self, request):
+        """Run the management command function to assert the pipeline exists."""
+        changelist_url = reverse("admin:core_service_changelist")
+
+        try:
+            ensure_search_pipeline_exists()
+        except Exception as exc:  # noqa: BLE001# pylint: disable=broad-exception-caught
+            self.message_user(
+                request, f"Failed to ensure search pipeline: {exc}", messages.ERROR
+            )
+        else:
+            self.message_user(
+                request, "Search pipeline presence insured", messages.SUCCESS
+            )
+
+        return redirect(changelist_url)
+
+
+def selftest_view(request):
+    """Display the self-test page and run tests if requested."""
+    # selftests_builtin and registry are imported at module level to ensure tests are registered
+    run_tests = request.GET.get("run", "false").lower() == "true"
+
+    if run_tests:
+        results = registry.run_all()
+        all_passed = all(result.success for result in results)
+    else:
+        results = []
+        all_passed = None
+
+    context = {
+        **admin.site.each_context(request),
+        "title": "System Self-Tests",
+        "results": results,
+        "all_passed": all_passed,
+        "run_tests": run_tests,
+        "available_tests": registry.get_all_tests(),
+    }
+
+    return render(request, "admin/selftest.html", context)
+
+
+# Add custom URL to the default admin site
+def get_admin_urls():
+    """Get URLs with selftest added."""
+
+    def get_urls():
+        urls = get_admin_urls.original_get_urls()
+        custom_urls = [
+            path(
+                "selftest/",
+                admin.site.admin_view(selftest_view),
+                name="selftest",
+            ),
+        ]
+        return custom_urls + urls
+
+    return get_urls
+
+
+# Store original get_urls and override it
+get_admin_urls.original_get_urls = admin.site.get_urls
+admin.site.get_urls = get_admin_urls()
@@ -13,6 +13,16 @@ class ReachEnum(str, Enum):
    RESTRICTED = "restricted"


+# Search type
+
+
+class SearchTypeEnum(str, Enum):
+    """Search type options"""
+
+    HYBRID = "hybrid"
+    FULL_TEXT = "full_text"
+
+
 # Fields

 CREATED_AT = "created_at"
@@ -21,12 +31,22 @@ PATH = "path"
 NUMCHILD = "numchild"
 REACH = "reach"
 SIZE = "size"
+TAGS = "tags"
 TITLE = "title"
+CONTENT = "content"
 UPDATED_AT = "updated_at"
 USERS = "users"
 GROUPS = "groups"

-RELEVANCE = "relevance"
-
-ORDER_BY_OPTIONS = (RELEVANCE, TITLE, CREATED_AT, UPDATED_AT, SIZE, REACH)
-SOURCE_FIELDS = (TITLE, SIZE, DEPTH, PATH, NUMCHILD, CREATED_AT, UPDATED_AT, REACH)
+SOURCE_FIELDS = (
+    TITLE,
+    CONTENT,
+    SIZE,
+    DEPTH,
+    PATH,
+    NUMCHILD,
+    CREATED_AT,
+    UPDATED_AT,
+    REACH,
+    TAGS,
+)
@@ -30,6 +30,7 @@ class DocumentSchemaFactory(factory.DictFactory):
    users = factory.LazyFunction(lambda: [str(uuid4()) for _ in range(3)])
    groups = factory.LazyFunction(lambda: [slugify(fake.word()) for _ in range(3)])
    reach = factory.Iterator(list(enums.ReachEnum))
+    tags = factory.LazyFunction(lambda: [])
    depth = 1
    numchild = 0
    is_active = True
@@ -28,7 +28,7 @@ class Command(BaseCommand):
 def ensure_search_pipeline_exists():
    """Create search pipeline for hybrid search if it does not exist"""
    try:
-        opensearch_client().search_pipeline.get(settings.HYBRID_SEARCH_PIPELINE_ID)
+        opensearch_client().search_pipeline.get(id=settings.HYBRID_SEARCH_PIPELINE_ID)
        logger.info("Search pipeline exists already")
    except NotFoundError:
        logger.info("Creating search pipeline: %s", settings.HYBRID_SEARCH_PIPELINE_ID)
@@ -1 +0,0 @@
-a content
@@ -1 +0,0 @@
-La conquête spatiale débute en 1957 avec le satellite soviétique Spoutnik. Youri Gagarine devient le premier homme dans l'espace en 1961. Les Américains répondent avec le programme Apollo : Neil Armstrong marche sur la Lune en 1969. La Station Spatiale Internationale symbolise la coopération internationale depuis 1998. Aujourd'hui, les ambitions incluent Mars, et des entreprises privées comme SpaceX révolutionnent l'accès à l'espace.
@@ -1 +0,0 @@
-Les métropoles mondiales comme New York, Londres, Tokyo et Paris concentrent pouvoir économique, politique et culturel. Elles abritent sièges sociaux des multinationales, bourses financières et institutions internationales. Ces villes sont des nœuds de transport et communication globaux. Elles attirent flux migratoires et talents créant diversité mais aussi gentrification. Les mégapoles du Sud (Mumbai, São Paulo) connaissent une urbanisation rapide avec des défis d'infrastructures.
@@ -1 +0,0 @@
-La Seconde Guerre mondiale (1939-1945) est le conflit le plus meurtrier de l'histoire avec 60 millions de morts. Hitler envahit la Pologne en septembre 1939, déclenchant la guerre. La France capitule en 1940 tandis que le Royaume-Uni résiste. L'Allemagne attaque l'URSS en 1941 et le Japon Pearl Harbor. Le débarquement en Normandie en 1944 libère l'Europe. La Shoah extermine 6 millions de Juifs. Le conflit se termine avec les bombes atomiques sur Hiroshima et Nagasaki.
@@ -1 +0,0 @@
-Le développement durable vise à concilier croissance économique, protection environnementale et équité sociale. Défini au Sommet de Rio en 1992, il répond aux besoins présents sans compromettre ceux des générations futures. Les 17 Objectifs de Développement Durable de l'ONU incluent éradication de la pauvreté, éducation, égalité des genres et action climatique. Les énergies renouvelables, l'économie circulaire et la consommation responsable sont des leviers essentiels.
@@ -1 +0,0 @@
-La Chine est devenue la deuxième économie mondiale grâce aux réformes de Deng Xiaoping en 1978. L'ouverture au capitalisme maintient le régime communiste du Parti unique. Le pays est 'l'usine du monde' avec des zones économiques spéciales. Les nouvelles routes de la soie étendent son influence internationale. Avec 1,4 milliard d'habitants, la Chine fait face à des défis environnementaux, démographiques et sociaux majeurs.
@@ -1 +0,0 @@
-Les grandes découvertes (XVe-XVIe siècles) voient les Européens explorer le monde. Christophe Colomb atteint l'Amérique en 1492, croyant trouver les Indes. Vasco de Gama ouvre la route des Indes en 1498. Magellan réalise le premier tour du monde en 1522. Ces expéditions sont motivées par la recherche d'épices, d'or et l'évangélisation. Elles inaugurent la colonisation européenne et l'échange colombien qui transforment les civilisations.
@@ -1 +0,0 @@
-L'Union européenne naît du désir de paix après 1945. Le traité de Rome en 1957 crée la CEE avec six membres fondateurs. L'UE compte aujourd'hui 27 États après le Brexit. Le marché unique permet libre circulation des biens, services, capitaux et personnes. L'euro est adopté par 20 pays. L'UE fait face à des défis : crise migratoire, euroscepticisme et divergences économiques entre Nord et Sud.
@@ -1 +0,0 @@
-La révolution industrielle débute en Angleterre au XVIIIe siècle avec la machine à vapeur de Watt. L'industrie textile mécanisée précède la métallurgie et les chemins de fer. Le charbon et la vapeur fournissent l'énergie nécessaire. L'urbanisation s'accélère avec l'exode rural vers les usines. Les conditions ouvrières misérables suscitent les mouvements sociaux et le syndicalisme. Cette révolution transforme radicalement l'économie et la société européennes.
@@ -1 +0,0 @@
-Les inégalités Nord-Sud opposent pays développés et pays en développement. L'Indice de Développement Humain mesure richesse, éducation et santé. Les pays du Nord concentrent richesses et technologies tandis que le Sud subit pauvreté et dépendance économique. L'héritage colonial, l'endettement et les termes de l'échange inégaux perpétuent ces écarts. Les pays émergents (BRICS) remettent en question cette division binaire.
@@ -1 +0,0 @@
-Le Siècle des Lumières (XVIIIe siècle) est un mouvement intellectuel européen promouvant raison, science et progrès. Voltaire critique l'intolérance religieuse, Montesquieu théorise la séparation des pouvoirs, Rousseau défend la souveraineté populaire. L'Encyclopédie de Diderot et d'Alembert diffuse les savoirs. Ces philosophes remettent en cause l'absolutisme et les privilèges. Leurs idées inspirent les révolutions américaine et française.
@@ -1 +0,0 @@
-La Révolution française débute le 14 juillet 1789 avec la prise de la Bastille, symbole de l'absolutisme royal. Les causes sont multiples : crise financière, famine, influence des Lumières et inégalités sociales criantes. L'Assemblée Constituante abolit les privilèges le 4 août et adopte la Déclaration des Droits de l'Homme le 26 août. Le roi Louis XVI est exécuté en 1793 après la proclamation de la République. Cette révolution transforme profondément la France et influence l'Europe entière.
@@ -1 +0,0 @@
-Les ressources énergétiques sont inégalement réparties sur la planète. Les énergies fossiles (pétrole, gaz, charbon) dominent mais sont non renouvelables et polluantes. Le Moyen-Orient concentre 48% des réserves pétrolières mondiales. La Russie utilise le gaz comme arme géopolitique. Les énergies renouvelables (solaire, éolien, hydraulique) progressent face au réchauffement climatique. La transition énergétique est un défi majeur du XXIe siècle pour assurer souveraineté et durabilité.
@@ -1 +0,0 @@
-Le lion est le plus grand félin d'Afrique et vit en groupe social appelé troupe. Les mâles se distinguent par leur majestueuse crinière qui protège leur cou lors des combats. Les lions chassent principalement au crépuscule, les lionnes étant les principales chasseuses. Ils peuvent rugir jusqu'à 8 kilomètres de distance pour marquer leur territoire. Malheureusement, leur population a diminué de 43% en 20 ans.
@@ -1 +0,0 @@
-Les dauphins sont parmi les animaux les plus intelligents de la planète. Ils communiquent par des clics et sifflements complexes, chaque individu possédant sa propre signature sonore. Vivant en groupes sociaux sophistiqués, ils chassent en coordination et s'entraident. Les dauphins peuvent nager jusqu'à 30 km/h et plonger à 300 mètres de profondeur. Leur cerveau possède plus de circonvolutions que celui de l'homme.
@@ -1 +0,0 @@
-L'éléphant d'Asie est légèrement plus petit que son cousin africain mais tout aussi majestueux. Ces herbivores peuvent consommer jusqu'à 150 kg de végétation par jour et boire 140 litres d'eau. Leur trompe contient 40 000 muscles et leur sert à manger, boire, se laver et communiquer. Les éléphants vivent en matriarcat dirigé par la femelle la plus âgée. Leur mémoire exceptionnelle leur permet de se souvenir des points d'eau sur de vastes territoires.
@@ -1 +0,0 @@
-Le colibri est le plus petit oiseau du monde, certaines espèces ne pesant que 2 grammes. Ses ailes battent jusqu'à 80 fois par seconde, lui permettant de faire du vol stationnaire et même de voler en arrière. Son métabolisme est si rapide qu'il doit manger jusqu'à deux fois son poids en nectar quotidiennement. Le colibri peut visiter 1000 fleurs par jour. Ses couleurs iridescentes changent selon l'angle de la lumière.
@@ -1 +0,0 @@
-L'ours polaire est le plus grand carnivore terrestre, pouvant peser jusqu'à 800 kg. Sa fourrure blanche et sa peau noire lui permettent d'absorber la chaleur du soleil. Son odorat est si développé qu'il peut détecter un phoque sous 1 mètre de glace à 1,5 km. Le réchauffement climatique menace gravement son habitat.
@@ -1 +0,0 @@
-Le caméléon possède la capacité extraordinaire de changer de couleur selon son humeur, la température et la communication sociale. Ses yeux peuvent bouger indépendamment l'un de l'autre à 360 degrés. Sa langue peut s'étendre jusqu'à deux fois la longueur de son corps pour capturer des insectes. Certaines espèces mesurent seulement 3 cm tandis que d'autres atteignent 70 cm. Ils se déplacent lentement et de manière saccadée pour imiter le mouvement des feuilles.
@@ -1 +0,0 @@
-Le manchot empereur survit aux conditions les plus extrêmes de la planète en Antarctique. Les mâles couvent l'œuf unique pendant 64 jours dans des températures atteignant -40°C sans manger. Ils se regroupent en tortue pour se protéger du froid, tournant régulièrement pour partager la chaleur. Ces oiseaux peuvent plonger jusqu'à 500 mètres de profondeur et retenir leur respiration 22 minutes. Leur parade nuptiale comprend des chants complexes et synchronisés.
@@ -1 +0,0 @@
-Le grand requin blanc est l'un des prédateurs marins les plus redoutés et fascinants. Il peut atteindre 6 mètres de long et peser plus de 2 tonnes. Ses dents triangulaires et dentelées se renouvellent constamment tout au long de sa vie. Il peut détecter une goutte de sang dans 100 litres d'eau grâce à son odorat exceptionnel. Contrairement à sa réputation, il attaque rarement l'homme, préférant les phoques et les otaries.
@@ -1 +0,0 @@
-Les abeilles jouent un rôle crucial dans la pollinisation de 80% des plantes à fleurs. Une ruche peut contenir jusqu'à 60 000 abeilles organisées en société matriarcale autour de la reine. Les ouvrières communiquent la localisation des fleurs par une danse complexe en forme de huit. Une abeille produit environ 1/12 de cuillère à café de miel dans sa vie. Leur déclin inquiétant menace notre sécurité alimentaire.
@@ -1 +0,0 @@
-La Première Guerre mondiale (1914-1918) oppose les Alliés (France, Royaume-Uni, Russie) aux Empires centraux (Allemagne, Autriche-Hongrie). L'assassinat de l'archiduc François-Ferdinand à Sarajevo déclenche le conflit par le jeu des alliances. La guerre de tranchées caractérise le front occidental avec Verdun et la Somme. Les nouvelles armes (gaz, tanks, aviation) causent 18 millions de morts. Le traité de Versailles en 1919 redessine la carte de l'Europe.
@@ -1 +0,0 @@
-Le guépard est l'animal terrestre le plus rapide, capable d'atteindre 110 km/h en quelques secondes. Contrairement aux autres félins, il ne peut pas rétracter complètement ses griffes, ce qui lui donne une meilleure adhérence. Sa queue longue lui sert de balancier lors des changements de direction. Son corps élancé et ses poumons surdimensionnés sont optimisés pour la course. Il chasse le jour pour éviter les autres prédateurs plus puissants.
@@ -1 +0,0 @@
-La pieuvre possède trois cœurs et un sang bleu à base de cuivre. Son intelligence remarquable lui permet de résoudre des problèmes complexes et d'utiliser des outils. Chacun de ses huit bras contient des neurones, lui donnant une forme de pensée décentralisée. Elle peut changer de couleur et de texture instantanément pour se camoufler. Certaines espèces peuvent passer à travers des ouvertures de la taille d'une pièce de monnaie.
@@ -1 +0,0 @@
-Le koala dort jusqu'à 20 heures par jour pour économiser l'énergie nécessaire à digérer l'eucalyptus toxique. Il se nourrit exclusivement de feuilles d'eucalyptus, pouvant distinguer entre 600 espèces différentes. Son système digestif unique contient des bactéries spéciales pour neutraliser les toxines. Les bébés koalas naissent de la taille d'un haricot et restent 6 mois dans la poche maternelle. Ils ne boivent presque jamais, tirant l'eau des feuilles qu'ils consomment.
@@ -1 +0,0 @@
-Le gorille des montagnes est l'un de nos plus proches parents, partageant 98% de notre ADN. Les mâles silverback peuvent peser jusqu'à 200 kg et sont d'une force exceptionnelle. Malgré leur puissance, ce sont des animaux pacifiques et végétariens. Ils vivent en groupes familiaux dirigés par un mâle dominant et communiquent par 25 vocalisations différentes. Moins de 1000 individus survivent dans les forêts d'Afrique centrale.
@@ -1 +0,0 @@
-Le papillon monarque effectue une migration annuelle de 4000 km entre le Canada et le Mexique. Aucun individu ne complète le voyage entier, il faut 4 générations pour accomplir le cycle. Ils utilisent le soleil comme boussole et possèdent une horloge circadienne sophistiquée. Leur couleur orange vif avertit les prédateurs de leur toxicité acquise en mangeant de l'asclépiade. Des millions de papillons se regroupent dans quelques forêts mexicaines en hiver.
@@ -1 +0,0 @@
-Le loup gris vit en meute organisée hiérarchiquement autour d'un couple alpha. Ces chasseurs coopératifs peuvent traquer des proies bien plus grandes qu'eux grâce à leur coordination. Ils communiquent par hurlements pouvant porter jusqu'à 10 km dans les forêts. Un loup peut parcourir 70 km en une nuit à la recherche de nourriture. Leur réintroduction dans certains écosystèmes a démontré leur rôle crucial dans l'équilibre naturel.
@@ -1 +0,0 @@
-Le kangourou roux est le plus grand marsupial au monde, pouvant atteindre 2 mètres de haut. Il peut sauter jusqu'à 9 mètres de long et maintenir une vitesse de 50 km/h. Sa queue musclée lui sert de trépied au repos et de balancier en mouvement. Les femelles peuvent retarder le développement d'un embryon si les conditions sont défavorables. Parfaitement adapté au climat aride australien, il peut passer des mois sans boire.
@@ -1 +0,0 @@
-Les baleines à bosse produisent des chants complexes pouvant durer 20 minutes et s'entendre à des centaines de kilomètres. Les mâles d'une même région partagent le même chant qui évolue chaque année. Malgré leur masse de 30 tonnes, elles peuvent sauter entièrement hors de l'eau. Elles migrent sur 25 000 km par an entre zones d'alimentation et de reproduction. Leurs nageoires pectorales sont les plus longues de tous les cétacés.
@@ -1 +0,0 @@
-Le python réticulé peut atteindre 9 mètres de long, ce qui en fait l'un des plus longs serpents. Il tue sa proie par constriction, resserrant son étreinte à chaque expiration de la victime. Ces serpents peuvent passer des mois sans manger après avoir avalé une grande proie. Leurs organes sensoriels thermiques leur permettent de détecter la chaleur corporelle dans l'obscurité. Contrairement aux idées reçues, ils ne peuvent pas avaler un humain adulte.
@@ -1 +0,0 @@
-Le hibou grand-duc est le plus grand rapace nocturne d'Europe avec une envergure de 2 mètres. Son vol silencieux est rendu possible par la structure spéciale de ses plumes. Il peut tourner sa tête à 270 degrés grâce à 14 vertèbres cervicales. Sa vision nocturne est 100 fois plus sensible que celle de l'humain. Son hululement puissant peut s'entendre jusqu'à 2 km. Il chasse des proies variées, du mulot au renardeau.
@@ -1 +0,0 @@
-La décolonisation de l'Afrique s'accélère après 1945, affaiblie par la Seconde Guerre mondiale. Le Ghana obtient son indépendance en 1957, suivi de 17 pays en 1960, 'l'année de l'Afrique'. Le processus varie : négociation pacifique (Afrique francophone) ou luttes armées (Algérie, Kenya). Les frontières héritées de la colonisation créent des tensions ethniques. Les nouveaux États font face à des défis économiques et politiques majeurs.
@@ -1 +0,0 @@
-Le paresseux se déplace si lentement que des algues poussent sur sa fourrure, lui donnant un camouflage verdâtre. Il descend de son arbre une fois par semaine pour déféquer, moment où il est le plus vulnérable. Son métabolisme est le plus lent de tous les non-hibernants. Il peut tourner sa tête à 270 degrés pour surveiller les prédateurs. Les paresseux passent 90% de leur vie suspendus la tête en bas et peuvent même dormir ainsi.
@@ -1 +0,0 @@
-Le bœuf bourguignon est un plat mijoté emblématique de la cuisine française. Coupez 1,5 kg de bœuf en cubes et faites-les revenir dans du beurre. Ajoutez 2 carottes, 2 oignons, 3 gousses d'ail et un bouquet garni. Versez 75 cl de vin rouge de Bourgogne et 25 cl de bouillon. Laissez mijoter 3 heures à feu doux. Ajoutez 200g de champignons et 150g de lardons dorés. Servez avec des pommes de terre vapeur ou des tagliatelles fraîches.
@@ -1 +0,0 @@
-Tranchez finement 2 aubergines, 2 courgettes, 2 poivrons, 4 tomates et 1 oignon. Dans une cocotte, faites revenir l'oignon et l'ail dans de l'huile d'olive. Ajoutez les légumes par couches en alternant. Assaisonnez avec du thym, du romarin, sel et poivre. Couvrez et laissez mijoter 40 minutes à feu doux. La ratatouille peut se déguster chaude ou froide, accompagnée de riz ou de pain grillé.
@@ -1 +0,0 @@
-Découpez un coq ou un poulet fermier en morceaux. Faites mariner 12 heures dans 75 cl de vin rouge avec carottes, oignons et aromates. Égouttez et faites dorer les morceaux avec 100g de lardons. Flambez au cognac puis ajoutez la marinade filtrée. Laissez mijoter 1h30. Ajoutez des champignons et des petits oignons grelots. Liez la sauce avec du beurre manié. Servez avec des croûtons aillés.
@@ -1 +0,0 @@
-Dans un moule à tarte, faites fondre 100g de beurre avec 100g de sucre pour créer un caramel. Disposez 6 pommes Reinette coupées en quartiers en rosace serrée. Enfournez 30 minutes à 180°C. Recouvrez de pâte feuilletée et enfournez 25 minutes supplémentaires. Laissez tiédir 10 minutes avant de retourner sur un plat. Servez tiède avec de la crème fraîche ou une boule de glace vanille.
@@ -1 +0,0 @@
-Faites suer dans l'huile d'olive 2 oignons, 4 tomates, 4 gousses d'ail et du fenouil. Ajoutez safran, thym, laurier et zeste d'orange. Versez 2 litres de fumet de poisson et portez à ébullition. Ajoutez 2 kg de poissons variés (rascasse, grondin, rouget) coupés en morceaux. Cuisez 15 minutes à gros bouillons. Servez avec des croûtons, de la rouille et du gruyère râpé.
@@ -1 +0,0 @@
-Garnissez un moule de pâte brisée. Faites revenir 200g de lardons fumés sans matière grasse. Battez 4 œufs avec 30 cl de crème fraîche, sel, poivre et noix de muscade. Disposez les lardons sur la pâte et versez l'appareil. Ajoutez éventuellement 100g de gruyère râpé. Enfournez 35 minutes à 180°C jusqu'à ce que la garniture soit dorée et gonflée. Servez tiède avec une salade verte.
@@ -1 +0,0 @@
-Coupez 1,2 kg d'épaule de veau en cubes. Blanchissez-les 5 minutes à l'eau bouillante puis rincez. Remettez dans une cocotte avec carottes, oignons piqués de clous de girofle et bouquet garni. Couvrez d'eau et laissez mijoter 1h30. Préparez un roux avec beurre et farine, ajoutez le bouillon filtré. Liez avec 2 jaunes d'œufs et 20 cl de crème. Ajoutez champignons et oignons grelots. Servez avec du riz.
@@ -1 +0,0 @@
-Mélangez 250g de farine, 4 œufs, 50 cl de lait et une pincée de sel. Ajoutez 50g de beurre fondu et laissez reposer 1 heure. Huilez légèrement une poêle chaude et versez une louche de pâte. Faites cuire 2 minutes de chaque côté jusqu'à ce que la crêpe soit dorée. Garnissez de sucre, confiture, chocolat ou jambon-fromage selon vos envies. Servez immédiatement.
@@ -1 +0,0 @@
-Faites tremper 500g de haricots blancs 12 heures. Cuisez-les 1 heure avec carottes, oignons et bouquet garni. Faites revenir 4 cuisses de canard confites, 400g de saucisse de Toulouse et 200g de poitrine fumée. Mélangez haricots et viandes dans une cocotte avec la graisse de canard. Couvrez de chapelure et enfournez 1 heure à 160°C. Cassez la croûte plusieurs fois pendant la cuisson.
@@ -1 +0,0 @@
-Le réchauffement climatique désigne l'augmentation de la température moyenne terrestre causée par les émissions de gaz à effet de serre. Depuis l'ère industrielle, la température a augmenté de 1,2°C. Les conséquences incluent fonte des glaciers, montée des eaux, événements météorologiques extrêmes et migrations climatiques. Les accords de Paris en 2015 visent à limiter le réchauffement à 1,5°C. La transition énergétique et les énergies renouvelables sont essentielles.
@@ -1 +0,0 @@
-Préparez une béchamel avec 40g de beurre, 40g de farine et 25 cl de lait. Hors du feu, incorporez 150g de gruyère râpé et 4 jaunes d'œufs. Montez 5 blancs en neige ferme avec une pincée de sel. Incorporez délicatement les blancs à la préparation. Versez dans des ramequins beurrés et farinés. Enfournez 20 minutes à 180°C sans ouvrir le four. Servez immédiatement.
@@ -1 +0,0 @@
-Dans une grande marmite, placez 1,5 kg de viande de bœuf (gîte, paleron, plat de côtes). Couvrez d'eau froide et portez à ébullition en écumant. Ajoutez 4 carottes, 4 poireaux, 2 navets, 2 oignons piqués de clous de girofle et un bouquet garni. Laissez mijoter 3 heures à feu doux. Servez le bouillon en entrée puis la viande et les légumes avec cornichons, moutarde et gros sel.
@@ -1 +0,0 @@
-Faites fondre 200g de chocolat noir au bain-marie. Séparez 6 œufs et incorporez les jaunes au chocolat fondu tiède. Montez les blancs en neige ferme avec une pincée de sel et 20g de sucre. Incorporez délicatement les blancs au chocolat en trois fois avec une spatule. Répartissez dans des verrines et réfrigérez 4 heures minimum. Décorez de copeaux de chocolat ou de chantilly.
@@ -1 +0,0 @@
-Épluchez et émincez finement 1,5 kg de pommes de terre. Frottez un plat à gratin avec une gousse d'ail. Disposez les pommes de terre en couches en assaisonnant de sel, poivre et noix de muscade. Mélangez 50 cl de crème avec 25 cl de lait et versez sur les pommes de terre. Ajoutez quelques noisettes de beurre. Enfournez 1h15 à 160°C jusqu'à obtenir une croûte dorée.
@@ -1 +0,0 @@
-Disposez sur un plat 4 tomates en quartiers, 1 concombre émincé, 1 poivron coupé, 200g de haricots verts cuits, 4 œufs durs, 100g d'olives noires et 8 filets d'anchois. Préparez une vinaigrette avec huile d'olive, vinaigre de vin, moutarde, ail et basilic. Arrosez généreusement et servez frais. Certains ajoutent des artichauts ou des fèves.
@@ -1 +0,0 @@
-Garnissez un moule de pâte sablée et faites-la cuire à blanc 15 minutes. Préparez une crème avec 4 jaunes d'œufs, 150g de sucre, le zeste et jus de 3 citrons. Cuisez à feu doux en remuant jusqu'à épaississement. Versez sur la pâte. Montez 4 blancs en neige avec 100g de sucre. Couvrez la tarte de meringue en formant des pointes. Enfournez 10 minutes à 150°C pour dorer.
@@ -1 +0,0 @@
-Quadrillez la peau de 2 magrets sans entamer la chair. Salez et poivrez. Posez-les côté peau dans une poêle froide. Faites cuire 7 minutes puis retournez pour 4 minutes (rosé). Réservez au chaud. Dans la graisse, faites revenir 8 figues coupées en deux avec 2 cuillères de miel et un trait de vinaigre balsamique. Tranchez les magrets et nappez de sauce aux figues.
@@ -1 +0,0 @@
-Disposez 500g de cerises lavées et équeutées (traditionnellement non dénoyautées) dans un plat beurré. Battez 4 œufs avec 100g de sucre jusqu'à ce que le mélange blanchisse. Ajoutez 100g de farine, 50 cl de lait et une pincée de sel. Versez l'appareil sur les cerises. Enfournez 45 minutes à 180°C. Saupoudrez de sucre glace et servez tiède ou froid.
@@ -1 +0,0 @@
-Frottez un caquelon avec une gousse d'ail coupée. Versez 15 cl de vin blanc sec et faites chauffer. Ajoutez 400g de comté, 400g de beaufort et 200g de reblochon râpés. Remuez en forme de 8 jusqu'à ce que le fromage fonde. Ajoutez 5 cl de kirsch et du poivre. Maintenez au chaud sur un réchaud. Trempez des cubes de pain rassis piqués sur des fourchettes.
@@ -1 +0,0 @@
-Faites chauffer 50 cl de crème avec une gousse de vanille fendue. Battez 6 jaunes d'œufs avec 100g de sucre. Versez la crème chaude en remuant puis filtrez. Répartissez dans des ramequins. Cuisez au bain-marie 40 minutes à 150°C. Réfrigérez 4 heures. Saupoudrez généreusement de sucre et caramélisez au chalumeau ou sous le gril. Laissez durcir 2 minutes avant de servir.
@@ -1 +0,0 @@
-L'Empire romain domine le bassin méditerranéen pendant cinq siècles, de 27 avant J.-C. à 476 après J.-C. Auguste, premier empereur, établit la Pax Romana qui apporte prospérité et stabilité. Rome construit routes, aqueducs et monuments grandioses comme le Colisée. Le christianisme devient religion d'État en 380. Les invasions barbares et les crises internes provoquent la chute de l'Empire d'Occident en 476.
@@ -1 +0,0 @@
-Hachez finement 600g de filet de bœuf bien frais au couteau. Ajoutez 2 échalotes ciselées, 2 cuillères de câpres, 4 cornichons hachés, persil et ciboulette. Assaisonnez avec moutarde, sauce Worcestershire, Tabasco, sel et poivre. Incorporez 2 jaunes d'œufs et un filet d'huile d'olive. Formez des dômes et servez avec des frites maison et une salade verte. Se prépare au dernier moment.
@@ -1 +0,0 @@
-La musique est l'art d'organiser les sons dans le temps selon le rythme, la mélodie et l'harmonie. Présente dans toutes les cultures, elle accompagne les rites, les émotions et les récits humains depuis la préhistoire. Des modes antiques grecs au contrepoint baroque, du jazz à l'électro, elle évolue sans cesse. Les compositeurs explorent les timbres et les structures tandis que l’improvisation garde la spontanéité vivante. La musique relie mathématique, émotion et mouvement.
@@ -1 +0,0 @@
-Le cinéma est l'art de raconter des histoires par le mouvement des images et le son. Né à la fin du XIXe siècle avec les frères Lumière, il a rapidement fusionné technique et poésie. Le montage, la lumière et la mise en scène en font un art total mêlant littérature, théâtre et musique. Du muet de Chaplin au cinéma numérique, chaque époque invente un nouveau langage visuel. Le cinéma explore la mémoire, les rêves et la condition humaine à travers l’écran.
@@ -1 +0,0 @@
-La danse est l’art du mouvement du corps dans l’espace et le temps, souvent accompagné de musique. Elle exprime des émotions, raconte des histoires ou célèbre des rites. Des danses tribales aux ballets classiques, des danses contemporaines au hip-hop, chaque culture invente ses gestes et son rythme. La chorégraphie unit discipline et liberté, le corps devenant un instrument expressif. La danse relie énergie, esthétique et communication non verbale.
@@ -1 +0,0 @@
-La peinture à l'huile est une technique artistique utilisant des pigments mélangés à de l'huile siccative, généralement de lin. Inventée au XVe siècle et perfectionnée par les maîtres flamands comme Van Eyck, elle permet des glacis subtils et des dégradés lumineux. Le temps de séchage lent offre la possibilité de travailler les transitions et les détails. Les grands maîtres comme Rembrandt, Vermeer et plus tard les impressionnistes ont exploité ses possibilités. Cette technique reste aujourd'hui la plus prisée pour la peinture de chevalet.
@@ -1 +0,0 @@
-La sculpture sur pierre est l'un des arts les plus anciens de l'humanité, remontant à la préhistoire. Le sculpteur taille directement dans le marbre, le granit ou le calcaire avec des ciseaux et des masses. Michel-Ange considérait que la statue existait déjà dans le bloc, il suffisait de libérer la forme. Cette technique soustractive ne pardonne pas l'erreur. Les œuvres comme le David ou la Pietà démontrent la capacité de donner vie et émotion à la pierre froide.
@@ -1 +0,0 @@
-La calligraphie est l'art de former les lettres avec beauté et harmonie. En Occident, les moines copistes médiévaux ont perfectionné l'onciale et la gothique. En Asie, la calligraphie chinoise et japonaise est considérée comme la forme d'art la plus pure, où chaque trait exprime l'énergie et l'esprit de l'artiste. L'outil traditionnel est le pinceau ou le calame. La maîtrise nécessite des années de pratique pour contrôler la pression, la vitesse et le rythme.
@@ -1 +0,0 @@
-La photographie transforme la capture d'images en expression créative depuis le XIXe siècle. Des pionniers comme Ansel Adams et Henri Cartier-Bresson ont élevé le médium au rang d'art majeur. La composition, la lumière, le cadrage et le moment décisif sont essentiels. Le passage au numérique a ouvert de nouvelles possibilités de post-traitement. La photographie d'art explore tous les genres : portrait, paysage, abstrait, documentaire et conceptuel.
@@ -1 +0,0 @@
-La danse contemporaine émerge au XXe siècle comme rupture avec le ballet classique. Des chorégraphes comme Martha Graham, Merce Cunningham et Pina Bausch explorent de nouveaux langages corporels. Cette forme privilégie l'expression émotionnelle, la liberté de mouvement et l'improvisation. Le corps devient un outil de questionnement social et politique. Les spectacles intègrent souvent d'autres disciplines comme la vidéo, le théâtre et la musique expérimentale.
@@ -1 +0,0 @@
-L'origami est l'art japonais du pliage de papier, transformant une feuille plane en sculpture tridimensionnelle sans couper ni coller. Pratiqué depuis le VIe siècle au Japon, il était d'abord réservé aux cérémonies religieuses. Les modèles traditionnels incluent la grue (symbole de paix), la grenouille et la fleur. L'origami moderne explore la complexité mathématique avec des créations hyperréalistes. Cette discipline développe patience, précision et compréhension spatiale.
@@ -1 +0,0 @@
-La Renaissance (XIVe-XVIe siècles) marque un renouveau artistique, scientifique et intellectuel en Europe. Née en Italie avec Florence et les Médicis, elle redécouvre l'Antiquité gréco-romaine. Léonard de Vinci, Michel-Ange et Raphaël révolutionnent l'art. Gutenberg invente l'imprimerie en 1450, facilitant la diffusion des savoirs. Les grandes découvertes ouvrent le monde avec Colomb et Magellan. L'humanisme place l'homme au centre de la réflexion.
@@ -1 +0,0 @@
-La mosaïque assemble de petits fragments colorés (tesselles) de pierre, céramique ou verre pour créer des images et motifs. Les Romains et Byzantins ont porté cet art à son apogée avec les splendeurs de Ravenne et de Constantinople. Chaque tesselle est posée individuellement sur un support avec du mortier. Les jeux de lumière sur les tesselles de verre créent des effets lumineux uniques. Gaudi a réinventé la mosaïque moderne avec le trencadis au Parc Güell.
@@ -1 +0,0 @@
-Le théâtre est à la fois un art de la représentation et un lieu de rencontre sociale. Né dans l'Antiquité grecque avec les tragédies d'Eschyle et Sophocle, il explore les grandes questions humaines. Le Moyen Âge voit l'essor des mystères religieux, tandis que la Renaissance célèbre Shakespeare et Molière. Le théâtre moderne expérimente avec le réalisme, l'absurde et le théâtre de l'opprimé. Il combine texte, jeu d'acteur, décor et lumière pour créer une expérience immersive.
@@ -1 +0,0 @@
-Le vitrail assemble des morceaux de verre coloré maintenus par des baguettes de plomb pour créer des compositions lumineuses. Au Moyen Âge, les cathédrales gothiques comme Chartres transforment la lumière divine en récits bibliques. Les maîtres verriers maîtrisent la chimie des oxydes métalliques pour obtenir des couleurs intenses. Chaque pièce est taillée selon le carton préparatoire puis sertie. Le XXe siècle voit Chagall et Soulages réinventer cet art millénaire.
@@ -1 +0,0 @@
-La gravure est une technique d'impression où l'artiste incise une matrice (bois, métal, pierre) pour créer des estampes multiples. La xylogravie (bois) est la plus ancienne, utilisée par Dürer et les estampes japonaises ukiyo-e. La taille-douce (métal) comprend l'eau-forte, l'aquatinte et le burin, prisées par Rembrandt et Goya. La lithographie, inventée en 1796, permet des nuances subtiles exploitées par Toulouse-Lautrec. Chaque tirage est numéroté et signé par l'artiste.
@@ -1 +0,0 @@
-L'éléphant s'est échappé
@@ -1 +0,0 @@
-Le foot est un sport populaire
@@ -1 +0,0 @@
-Il va courir
@@ -1 +0,0 @@
-La Guerre Froide (1947-1991) oppose les États-Unis capitalistes à l'URSS communiste sans conflit direct. Le rideau de fer divise l'Europe entre blocs occidental et oriental. Les crises majeures incluent Berlin (1948, 1961), Cuba (1962) et le Vietnam. La course aux armements nucléaires menace l'humanité. La détente des années 1970 laisse place aux tensions des années 1980. La chute du mur de Berlin en 1989 symbolise la fin de la Guerre Froide.
@@ -1 +0,0 @@
-L'Égypte ancienne prospère pendant 3000 ans le long du Nil, de 3100 avant J.-C. à 30 avant J.-C. Les pharaons sont considérés comme des dieux vivants. Les pyramides de Gizeh, notamment celle de Khéops, témoignent de prouesses architecturales. L'écriture hiéroglyphique permet l'administration et la transmission des savoirs. Le culte des morts et la momification préparent à la vie après la mort. Cléopâtre VII est la dernière souveraine avant la conquête romaine.
@@ -1 +0,0 @@
-La mondialisation désigne l'intégration croissante des économies et sociétés à l'échelle planétaire. Accélérée depuis 1990, elle s'appuie sur les nouvelles technologies, les transports et la libéralisation des échanges. Les firmes multinationales organisent la production mondiale. Les flux commerciaux, financiers et migratoires s'intensifient. Ce processus crée des interdépendances mais accentue aussi les inégalités entre pays développés et en développement.
@@ -1,52 +0,0 @@
-queries = [
-    {
-        "q": "cours d'histoire de l'antiquité",
-        "expected_document_ids": [5, 8],
-    },
-    {
-        "q": "recette salée végétarienne",
-        "expected_document_ids": [42, 54, 58],
-    },
-    {
-        "q": "art dramatique",
-        "expected_document_ids": [71],
-    },
-    {
-        "q": "art de bouger son corps",
-        "expected_document_ids": [63, 68],
-    },
-    {
-        "q": "mammifères aquatiques",
-        "expected_document_ids": [22, 37],
-    },
-    {
-        "q": "insectes pollinisateurs",
-        "expected_document_ids": [29],
-    },
-    {
-        "q": "prédateur félin",
-        "expected_document_ids": [21, 30],
-    },
-    {
-        "q": "elephant",
-        "expected_document_ids": [23, 74],
-    },
-    {
-        "q": "courir",
-        "expected_document_ids": [76],
-    },
-    {
-        # test "football"  -> "foot"
-        "q": "football",
-        "expected_document_ids": [75],
-    },
-    {  # test partial word matching
-        "q": "couri",
-        "expected_document_ids": [76],
-    },
-    {
-        # test fuzzy matching with ngrams
-        "q": "courrir",
-        "expected_document_ids": [76],
-    },
-]
@@ -10,12 +10,9 @@ from django.core.management.base import BaseCommand, CommandError
 from opensearchpy.exceptions import NotFoundError

 from core.models import get_opensearch_index_name
-from core.services.opensearch import (
-    check_hybrid_search_enabled,
-    embed_text,
-    format_document,
-    opensearch_client,
-)
+from core.services.indexing import chunk_document
+from core.services.opensearch import check_hybrid_search_enabled, opensearch_client
+from core.utils import get_language_value

 logger = logging.getLogger(__name__)

@@ -60,7 +57,7 @@ def reindex_with_embedding(index_name, batch_size=500, scroll="10m"):
    returns a dict with the number of successful embeddings and failed embeddings.
    """
    opensearch_client_ = opensearch_client()
-    page = opensearch_client_.search(
+    page = opensearch_client_.search(  # pylint: disable=unexpected-keyword-arg
        index=index_name,
        scroll=scroll,
        size=batch_size,
@@ -69,14 +66,27 @@ def reindex_with_embedding(index_name, batch_size=500, scroll="10m"):
            "query": {
                "bool": {
                    "should": [
-                        {"bool": {"must_not": {"exists": {"field": "embedding"}}}},
                        {
                            "bool": {
-                                "must_not": {
-                                    "term": {
-                                        "embedding_model": settings.EMBEDDING_API_MODEL_NAME
+                                "must_not": [
+                                    {
+                                        "nested": {
+                                            "path": "chunks",
+                                            "query": {"match_all": {}},
+                                        }
                                    }
-                                }
+                                ]
+                            }
+                        },
+                        {
+                            "bool": {
+                                "must_not": [
+                                    {
+                                        "term": {
+                                            "embedding_model": settings.EMBEDDING_API_MODEL_NAME
+                                        }
+                                    }
+                                ]
                            }
                        },
                    ],
@@ -85,17 +95,17 @@ def reindex_with_embedding(index_name, batch_size=500, scroll="10m"):
            }
        },
    )
-
    nb_failed_embedding = 0
    nb_success_embedding = 0
    while len(page["hits"]["hits"]) > 0:
        actions = []
        for hit in page["hits"]["hits"]:
            source = hit["_source"]
-            embedding = embed_text(
-                format_document(source.get("title", ""), source.get("content", ""))
+            chunks = chunk_document(
+                get_language_value(source, "title"),
+                get_language_value(source, "content"),
            )
-            if embedding:
+            if chunks:
                actions.append(
                    {
                        "update": {
@@ -110,7 +120,7 @@ def reindex_with_embedding(index_name, batch_size=500, scroll="10m"):
                actions.append(
                    {
                        "doc": {
-                            "embedding": embedding,
+                            "chunks": chunks,
                            "embedding_model": settings.EMBEDDING_API_MODEL_NAME,
                        }
                    }
@@ -120,7 +130,9 @@ def reindex_with_embedding(index_name, batch_size=500, scroll="10m"):
                nb_failed_embedding += 1

        opensearch_client_.bulk(index=index_name, body=actions)
-        page = opensearch_client_.scroll(scroll_id=page["_scroll_id"], scroll=scroll)
+        page = opensearch_client_.scroll(  # pylint: disable=unexpected-keyword-arg
+            scroll_id=page["_scroll_id"], scroll=scroll
+        )

    opensearch_client_.clear_scroll(scroll_id=page["_scroll_id"])
    return {
--- a/Show More
+++ b/Show More
Author	SHA1	Message	Date
charles	efe12bcefc	✅(backend) test i am testing the rescore feature	2026-03-16 09:51:58 +01:00
charles	bed2bd5203	✨(backend) add enable_rescore params I am making rescore optional.	2026-03-16 09:51:58 +01:00
charles	bd5b5f740f	⚰️(backend) remove sorting sorting is not supported with hybrid search. I should have removed it long ago. It is not supported also with rerank.	2026-03-16 09:51:58 +01:00
charles	997e6f3545	✨(backend) rescore documents on updated_at We hypothesised that users will be interested in most recently updated documents. To improve search results given this hypothesis we want to boost the score of documents based on the `updated_at` field. This commit applies a gaussian boost on the updated_at field	2026-03-16 09:51:58 +01:00
charles	70015e8a7d	🚨(backend) remove dimensions params in embed_text the params dimension is either ignored or crashes the api call depending on the provider	2026-03-16 09:51:58 +01:00
charles	dd197e1f1e	♻️(backend) reorganize evaluation data I am improving the data management of evaluation system	2026-03-10 15:05:14 +01:00
Charles Englebert	0b8bdb08f7	✨ handle search types (#51 ) * ✅(backend) tests I am adding beautiful tests * ✨(backend) add search_type params We want to control the type of search to use at run time to feature flag Docs users with full-test or with hybrid search. I am adding a search_type params on the search route. * 🚨(backend) changelog chaaaaaaaaaangelooooooooooog * ♻️(backend) refactor i compute the actual search_type in the view and make the variable mandatory in the service.	2026-03-10 13:48:54 +01:00
renovate[bot]	437fc0f049	⬆️(dependencies) update django to v5.2.12 [SECURITY]	2026-03-10 13:39:31 +01:00
Stephan Meijer	71744cc264	⬆️(ci) upgrade GitHub Actions workflow steps to latest versions Update all GitHub Actions to their latest major versions for improved performance, security patches, and Node.js runtime compatibility. Signed-off-by: Stephan Meijer <me@stephanmeijer.com>	2026-02-27 13:26:44 +01:00
Quentin BEY	195722b988	🔥(github) drop unused deploy workflow We don't use it, and production should never be deployed this way.	2026-02-27 13:19:24 +01:00
renovate[bot]	35e308f26d	⬆️(dependencies) update django to v5.2.11 [SECURITY]	2026-02-27 13:08:12 +01:00
Stephan Meijer	d676516e86	👷(docker) add arm64 platform support for image builds Signed-off-by: Stephan Meijer <me@stephanmeijer.com>	2026-02-19 22:42:48 +01:00
Charles Englebert	2c090551c0	Filter on path (#53 ) * ✨(backend) add path filter allow search filters on path for Docs compatibility * ✅(backend) test I improve existing and add new tests	2026-02-09 16:45:18 +01:00
Charles Englebert	033bd42bc4	Revert "✨(backend) add path filter (#48 )" (#52 ) This reverts commit `28a3a10c05`.	2026-02-09 16:38:05 +01:00
Charles Englebert	28a3a10c05	✨(backend) add path filter (#48 ) * ✨(backend) add path filter allow search filters on path for Docs compatibility * ✅(backend) test I improve existing and add new tests * ✨(backend) add search_type params We want to control the type of search to use at run time to feature flag Docs users with full-test or with hybrid search. I am adding a search_type params on the search route. * 🚨(backend) linters fiiiiiiiiiix liiiiiinters	2026-02-09 16:18:32 +01:00
Charles Englebert	05aebf564a	✨(backend) allow delete documents by tags (#45 ) * ✨(backend) allow delete documents by tags the assistant does not know the ids. It needs to be able to detele documents by tags. * ♻️(backend) refactor I refactor to have a better code. * 🚨(backend) various fixes I am fixing things for review.	2026-01-20 10:36:03 +01:00
Quentin BEY	f8b87cc1c2	👷(opensearch) wait for service to be up before tests Now we are using `uv` the tests start while the service is not yet ready... We need to check the service readiness.	2026-01-18 23:22:14 +01:00
Quentin BEY	b76dd37d76	🔧(backend) ignore .venv in compile messages command We have to change the ignored files used in the compoilemessages command. uv is using .venv directory and not venv	2026-01-18 22:57:58 +01:00
Quentin BEY	c4ffcbea84	🔥(backend) remove setup.py uv is supporting PEP 517, setup.py file calling setuptools is not needed anymore.	2026-01-18 22:57:58 +01:00
Quentin BEY	ce8869af2f	🔧(actions) migrate from pip to uv Migreate usage of pip to uv in github actions. How python is setup is also changed. Doing like this, we will just have to upgrade the python version requirement in the pyproject file	2026-01-18 22:57:58 +01:00
Quentin BEY	b72779aed2	🏗️(core) migrate from pip to uv We want to migrate our projects from pip to uv to take the benefits of the lock file and have reproducible installations. A first uv.lock file is comitted and the Dockerfile and compose are modified to work with uv	2026-01-18 22:57:58 +01:00
Charles Englebert	b0a14c4c37	✨(backend) add deletion endpoint (#31 ) * ✨(backend) add tags field for result filtering (#29) * 🚨(backend) remove dead files I left files I should have removed * ✨(backend) add tags field I add a tag field in the index and a filtering. A tag is keyword that can be applied to a document. A document can have several tags. Tags allow filtering related documents. The Conversations app needs tags for its rag tool. * ✨(backend) enhance document indexing with error handling and changelog I enhance document indexing with error handling and changelog * 📝(backend) improve docstrings and Changelog Docstrings and Changelog had to be improved. This commit improves them. * 🐛(backend) prevent information lick return user message with less info and log error * 🚨(backend) return undeleted document IDs We need better responses in case of unexpected behaviour. I enhance document deletion API by returning undeleted document IDs	2026-01-15 17:21:42 +01:00
Charles Englebert	1822ee407a	Adapt to conversation (#30 ) * ✨(backend) enhance document indexing with error handling and changelog I enhance document indexing with error handling and changelog * ✨(backend) adapt to conversation RAG the document rag tool of conversation expect a content and a dedicated service with token access is needed. I am also adding loggers. * 🚨(backend) fix tests demo tests are broken. Here is the fix.	2026-01-15 15:17:34 +01:00
Quentin BEY	69374eb789	🎨(pylint) fix issues after update and `__init__` add Fix the pylint errors after the two previous commits.	2026-01-14 14:55:05 +01:00
Quentin BEY	bdd7cce492	🐛(global) add missing `__init__` files Module init files where missing in several places. This prevented pylint to analyse files.	2026-01-14 13:42:50 +01:00
renovate[bot]	b813e6d6c2	⬆️(dependencies) update python dependencies	2026-01-14 13:42:23 +01:00
Quentin BEY	a3b090216c	🔧(settings) update production configuration for HSTS This is based on Docs project settings.	2026-01-13 23:56:22 +01:00
Quentin BEY	7afed6a9b3	🚑️(embedding) remove typo in bearer token header I guess this has nothing to do here...	2026-01-12 22:00:14 +01:00
Quentin BEY	65d83b12ed	🧑‍💻(github) fix the pull request template Add missing empty space for proper checkbox display	2026-01-12 21:47:41 +01:00
Quentin BEY	e56d5f1720	🐛(settings) fix embedding timeout type (str -> int) `Value` type is a string, not an integer, this bug prevents any environment variable definition fot the timeout.	2026-01-12 21:43:57 +01:00
Quentin BEY	77c6233a90	🧑‍💻(admin) add Sentry selftest Add a simple Sentry message exception to check the Sentry configuration.	2026-01-12 11:08:13 +01:00
dependabot[bot]	c55fb696a2	⬆️(django) bump from 5.2.6 to 5.2.9 Bumps [django](https://github.com/django/django) from 5.2.6 to 5.2.9. - [Commits](https://github.com/django/django/compare/5.2.6...5.2.9) --- updated-dependencies: - dependency-name: django dependency-version: 5.2.9 dependency-type: direct:production ... Signed-off-by: dependabot[bot] <support@github.com>	2026-01-09 22:35:46 +01:00
Quentin BEY	ff8a3310a0	🧑‍💻(admin) add vibe coded selftest page Allow devops team to have a quick insight if DB connections are properly set. This is a temporary commit and will be rewritten in a proper way later (work was already started for "people" project).	2026-01-09 22:28:00 +01:00
Quentin BEY	8e3672670c	🧑‍💻(admin) add `create_search_pipeline` button This provides a simple way to insure the pipeline existence without having to run a management command.	2026-01-09 21:12:59 +01:00
Quentin BEY	c2ef4af6b4	🐛(sentry) normalize the setting and update code This commit makes the Sentry setting to be like other project (ie without the DJANGO_ prefix) and update deprecated scope definition.	2026-01-09 20:46:21 +01:00
Jacques ROUSSEL	7cc4954782	📦️(helm) improve helm chart In order to be able to deploy on OPI cluster, we need to be able to specify pod security context and container security context.	2026-01-08 17:27:04 +01:00
Charles Englebert	614928ba42	✨(backend) add tags field for result filtering (#29 ) * 🚨(backend) remove dead files I left files I should have removed * ✨(backend) add tags field I add a tag field in the index and a filtering. A tag is keyword that can be applied to a document. A document can have several tags. Tags allow filtering related documents. The Conversations app needs tags for its rag tool. * ✨(backend) enhance document indexing with error handling and changelog I enhance document indexing with error handling and changelog * 📝(backend) improve docstrings and Changelog Docstrings and Changelog had to be improved. This commit improves them.	2025-12-16 19:38:17 +01:00
Charles Englebert	8e491074ac	multi-embedding and chuncking (#25 ) * ✨(backend) add evaluate-search-engine command I want to automize the search evaluation. This new command computes performance metrics. * ✨(backend) improve evaluation I add more data to my evaluations. * 📝(backend) add changelog add changelog and various fixes. * ✨(backend) add evaluation data from service-public.fr I need better data with longer content to work on chuncking * ✨(backend) handle multi-embedding I breack document content into peaces and embed each peace separatly. Search is them based on the mest match. * 📝(docs) add documentation I add documentation about chunking * 🚨(backend) fix things thigs were broken. I fixed this. * 📝(backend) documentation I document the documentation of it * 🚨(backend) fix rebase the rebase has messed things up. I fixed those things. * ♻️(backend) refactor language code handling and improve test cases I fix things to fix things * ♻️(backend) refactor I am doing refactoooooooooooor	2025-12-08 15:34:42 +01:00
Charles Englebert	8b4566bd46	Handle Multi-language (#24 ) * ✨(backend) add evaluate-search-engine command I want to automize the search evaluation. This new command computes performance metrics. * ✨(backend) improve evaluation I add more data to my evaluations. * 📝(backend) add changelog add changelog and various fixes. * ✨(backend) improve full text I introduce two analyszers to improve the full text search. * 📝(backend) add changelog I update the changelog * 🧪(backend) fix tests and linters I fix tests and linters * ♻️(backend) various fixes I fix a buch of small things * 🔧(backend) define settings I define settings to remove magic numbers * ✨(backend) copy evaluation I copy the evaluation command * ✨(backend) index multi-language I index in multi-language * ✨(backend) flatten the data structure I changed my mind. I want a flat structure. * ♻️(backend) handle search the search must be updated so everything works * 🧪(backend) more tests I add more tests so the feature is tested more * 📝(backend) docuemntation I docuemnt so the feature is documented * ♻️(backend) various fixes I did many mistakes. There are now fixed. * 🚨(backend) fix things things were a bit broken but I ixed them * ✨(backend) detect language I change the logic. I detect the language instead of receiving it as queryparams * 🚨(backend) fix things things are broken and I fixe them here * 📝(backend) better documentation I improve the documentation a little bit * 🧪(backend) test more test is better. I add tests. * 🚨(backend) fix things fiiiiiiiiiiiiiiiiiiiiiiiix things * ♻️(backend) simplify language_code we do not need language variations * ♻️(backend) fix things things are broken. now they are fixed.	2025-12-08 10:08:22 +01:00
Charles Englebert	2333223c1c	Evaluate (#22 ) * ✨(backend) add evaluate-search-engine command I want to automize the search evaluation. This new command computes performance metrics. * ✨(backend) improve evaluation I add more data to my evaluations. * 📝(backend) add changelog add changelog and various fixes. * ✨(backend) add more data I add more data to evaluation * ✨(backend) add index management flags I add --keep-index and --force-reindex flags * ♻️(backend) remove dependences from test/utils I remove dependences from test/utils * 📝(backend) documenting I add documentation of the command * ♻️(backend) break unique documents file into text files I change the data structure of the documents * 🚨(backend) fix things things were broken but here I fix them * ♻️(backend) evaluation app I move the command to an evaluation app * 🧪(backend) add tests I add test on the command * 🚨(backend) fix thing thinghs must be fixed.	2025-12-02 09:35:33 +01:00
				`@@ -1 +0,0 @@`
				`La conquête spatiale débute en 1957 avec le satellite soviétique Spoutnik. Youri Gagarine devient le premier homme dans l'espace en 1961. Les Américains répondent avec le programme Apollo : Neil Armstrong marche sur la Lune en 1969. La Station Spatiale Internationale symbolise la coopération internationale depuis 1998. Aujourd'hui, les ambitions incluent Mars, et des entreprises privées comme SpaceX révolutionnent l'accès à l'espace.`
				`@@ -1 +0,0 @@`
				`Les métropoles mondiales comme New York, Londres, Tokyo et Paris concentrent pouvoir économique, politique et culturel. Elles abritent sièges sociaux des multinationales, bourses financières et institutions internationales. Ces villes sont des nœuds de transport et communication globaux. Elles attirent flux migratoires et talents créant diversité mais aussi gentrification. Les mégapoles du Sud (Mumbai, São Paulo) connaissent une urbanisation rapide avec des défis d'infrastructures.`
				`@@ -1 +0,0 @@`
				`La Seconde Guerre mondiale (1939-1945) est le conflit le plus meurtrier de l'histoire avec 60 millions de morts. Hitler envahit la Pologne en septembre 1939, déclenchant la guerre. La France capitule en 1940 tandis que le Royaume-Uni résiste. L'Allemagne attaque l'URSS en 1941 et le Japon Pearl Harbor. Le débarquement en Normandie en 1944 libère l'Europe. La Shoah extermine 6 millions de Juifs. Le conflit se termine avec les bombes atomiques sur Hiroshima et Nagasaki.`
				`@@ -1 +0,0 @@`
				`Le développement durable vise à concilier croissance économique, protection environnementale et équité sociale. Défini au Sommet de Rio en 1992, il répond aux besoins présents sans compromettre ceux des générations futures. Les 17 Objectifs de Développement Durable de l'ONU incluent éradication de la pauvreté, éducation, égalité des genres et action climatique. Les énergies renouvelables, l'économie circulaire et la consommation responsable sont des leviers essentiels.`
				`@@ -1 +0,0 @@`
				`La Chine est devenue la deuxième économie mondiale grâce aux réformes de Deng Xiaoping en 1978. L'ouverture au capitalisme maintient le régime communiste du Parti unique. Le pays est 'l'usine du monde' avec des zones économiques spéciales. Les nouvelles routes de la soie étendent son influence internationale. Avec 1,4 milliard d'habitants, la Chine fait face à des défis environnementaux, démographiques et sociaux majeurs.`
				`@@ -1 +0,0 @@`
				`Les grandes découvertes (XVe-XVIe siècles) voient les Européens explorer le monde. Christophe Colomb atteint l'Amérique en 1492, croyant trouver les Indes. Vasco de Gama ouvre la route des Indes en 1498. Magellan réalise le premier tour du monde en 1522. Ces expéditions sont motivées par la recherche d'épices, d'or et l'évangélisation. Elles inaugurent la colonisation européenne et l'échange colombien qui transforment les civilisations.`
				`@@ -1 +0,0 @@`
				`L'Union européenne naît du désir de paix après 1945. Le traité de Rome en 1957 crée la CEE avec six membres fondateurs. L'UE compte aujourd'hui 27 États après le Brexit. Le marché unique permet libre circulation des biens, services, capitaux et personnes. L'euro est adopté par 20 pays. L'UE fait face à des défis : crise migratoire, euroscepticisme et divergences économiques entre Nord et Sud.`
				`@@ -1 +0,0 @@`
				`La révolution industrielle débute en Angleterre au XVIIIe siècle avec la machine à vapeur de Watt. L'industrie textile mécanisée précède la métallurgie et les chemins de fer. Le charbon et la vapeur fournissent l'énergie nécessaire. L'urbanisation s'accélère avec l'exode rural vers les usines. Les conditions ouvrières misérables suscitent les mouvements sociaux et le syndicalisme. Cette révolution transforme radicalement l'économie et la société européennes.`
				`@@ -1 +0,0 @@`
				`Les inégalités Nord-Sud opposent pays développés et pays en développement. L'Indice de Développement Humain mesure richesse, éducation et santé. Les pays du Nord concentrent richesses et technologies tandis que le Sud subit pauvreté et dépendance économique. L'héritage colonial, l'endettement et les termes de l'échange inégaux perpétuent ces écarts. Les pays émergents (BRICS) remettent en question cette division binaire.`