Evaluate (#22)
* ✨(backend) add evaluate-search-engine command I want to automize the search evaluation. This new command computes performance metrics. * ✨(backend) improve evaluation I add more data to my evaluations. * 📝(backend) add changelog add changelog and various fixes. * ✨(backend) add more data I add more data to evaluation * ✨(backend) add index management flags I add --keep-index and --force-reindex flags * ♻️(backend) remove dependences from test/utils I remove dependences from test/utils * 📝(backend) documenting I add documentation of the command * ♻️(backend) break unique documents file into text files I change the data structure of the documents * 🚨(backend) fix things things were broken but here I fix them * ♻️(backend) evaluation app I move the command to an evaluation app * 🧪(backend) add tests I add test on the command * 🚨(backend) fix thing thinghs must be fixed.
This commit is contained in:
Charles Englebert
committed by
GitHub
GitHub
parent
377efbaa46
commit
2333223c1c
@@ -11,6 +11,7 @@ and this project adheres to
|
||||
## Added
|
||||
|
||||
- ✨(backend) add semantic search
|
||||
- ✨(backend) add evaluation command
|
||||
- backend application
|
||||
- helm chart
|
||||
- 🐛(backend) fix missing index creation in 'index/' view
|
||||
|
||||
-17
@@ -1,17 +0,0 @@
|
||||
# Upgrade
|
||||
|
||||
All instructions to upgrade this project from one release to the next will be
|
||||
documented in this file. Upgrades must be run sequentially, meaning you should
|
||||
not skip minor/major releases while upgrading (fix releases can be skipped).
|
||||
|
||||
The format is based on [Keep a Changelog](https://keepachangelog.com/en/1.0.0/),
|
||||
and this project adheres to [Semantic Versioning](https://semver.org/spec/v2.0.0.html).
|
||||
|
||||
For most upgrades, you just need to run the django migrations with
|
||||
the following command inside your docker container:
|
||||
|
||||
`python manage.py migrate`
|
||||
|
||||
(Note : in your development environment, you can `make migrate`.)
|
||||
|
||||
## [Unreleased]
|
||||
@@ -0,0 +1,32 @@
|
||||
# Search Engine Evaluation Command
|
||||
|
||||
## Overview
|
||||
|
||||
this Django command atomizes the evaluation of the search engine by computing 4 metrics: Average Discounted Cumulative Gain, Precision, Recall and F1 score.
|
||||
|
||||
## Usage
|
||||
|
||||
```
|
||||
python manage.py evaluate_search_engine <dataset_name> [options]
|
||||
```
|
||||
|
||||
## Required Arguments
|
||||
- `dataset_name`: Name of the evaluation dataset to use. Datasets are located in `evaluation/management/commands/data/evaluation/`
|
||||
|
||||
## Optional Arguments
|
||||
- `--min_score`: Minimum score threshold; hits below this score are ignored
|
||||
- `--keep-index`: Preserve the evaluation index after completion
|
||||
- `--force-reindex`: Drop and recreate the index even if it exists
|
||||
|
||||
## Examples
|
||||
|
||||
````
|
||||
# Basic evaluation with default settings
|
||||
python manage.py evaluate_search_engine my_dataset
|
||||
|
||||
# Evaluation with minimum score threshold
|
||||
python manage.py evaluate_search_engine my_dataset --min_score 0.5
|
||||
|
||||
# Force reindexing and clean up afterward
|
||||
python manage.py evaluate_search_engine my_dataset --force-reindex True --keep-index False
|
||||
````
|
||||
@@ -0,0 +1,170 @@
|
||||
This file keeps for reference the logs of the last best evaluation of the model.
|
||||
|
||||
````
|
||||
(venv) ➜ find git:(evaluate) ✗ docker compose exec app python manage.py evaluate_search_engine v1 --min_score 0.5
|
||||
|
||||
2025-11-20 18:44:30,903 core.services.opensearch INFO Hybrid search is disabled via HYBRID_SEARCH_ENABLED setting
|
||||
2025-11-20 18:44:31,183 core.management.commands.utils INFO Deleting search pipeline hybrid-search-pipeline
|
||||
2025-11-20 18:44:31,201 opensearch INFO DELETE http://opensearch:9200/_search/pipeline/hybrid-search-pipeline [status:200 request:0.018s]
|
||||
2025-11-20 18:44:31,202 opensearch WARNING GET http://opensearch:9200/_search/pipeline/hybrid-search-pipeline [status:404 request:0.001s]
|
||||
2025-11-20 18:44:31,202 core.management.commands.create_search_pipeline INFO Creating search pipeline: hybrid-search-pipeline
|
||||
2025-11-20 18:44:31,221 opensearch INFO PUT http://opensearch:9200/_search/pipeline/hybrid-search-pipeline [status:200 request:0.019s]
|
||||
2025-11-20 18:44:31,222 opensearch INFO HEAD http://opensearch:9200/evaluation-index [status:200 request:0.001s]
|
||||
[INFO] Starting evaluation with 76 documents and 12 queries
|
||||
2025-11-20 18:44:31,222 core.services.opensearch INFO embed: 'cours d'histoire de l'antiquité'
|
||||
2025-11-20 18:44:31,302 core.services.opensearch INFO Performing hybrid search with embedding: cours d'histoire de l'antiquité
|
||||
2025-11-20 18:44:31,317 opensearch INFO POST http://opensearch:9200/evaluation-index/_search?search_pipeline=hybrid-search-pipeline&ignore_unavailable=true [status:200 request:0.014s]
|
||||
|
||||
[QUERY EVALUATION]
|
||||
q: cours d'histoire de l'antiquité
|
||||
expect: ["L'Empire Romain", "L'Égypte Ancienne"]
|
||||
result: ["L'Égypte Ancienne", 'La Sculpture sur Pierre']
|
||||
NDCG: 61.31%
|
||||
PRECISION: 50.00%
|
||||
RECALL: 50.00%
|
||||
F1-SCORE: 50.00%
|
||||
2025-11-20 18:44:31,317 core.services.opensearch INFO embed: 'recette salée végétarienne'
|
||||
2025-11-20 18:44:31,392 core.services.opensearch INFO Performing hybrid search with embedding: recette salée végétarienne
|
||||
2025-11-20 18:44:31,403 opensearch INFO POST http://opensearch:9200/evaluation-index/_search?search_pipeline=hybrid-search-pipeline&ignore_unavailable=true [status:200 request:0.010s]
|
||||
|
||||
[QUERY EVALUATION]
|
||||
q: recette salée végétarienne
|
||||
expect: ['Ratatouille Provençale', 'Salade de légumes', 'Fondue Savoyarde']
|
||||
result: ['Salade de légumes']
|
||||
NDCG: 46.93%
|
||||
PRECISION: 100.00%
|
||||
RECALL: 33.33%
|
||||
F1-SCORE: 50.00%
|
||||
2025-11-20 18:44:31,403 core.services.opensearch INFO embed: 'art dramatique'
|
||||
2025-11-20 18:44:31,475 core.services.opensearch INFO Performing hybrid search with embedding: art dramatique
|
||||
2025-11-20 18:44:31,486 opensearch INFO POST http://opensearch:9200/evaluation-index/_search?search_pipeline=hybrid-search-pipeline&ignore_unavailable=true [status:200 request:0.011s]
|
||||
|
||||
[QUERY EVALUATION]
|
||||
q: art dramatique
|
||||
expect: ['Le Théâtre']
|
||||
result: ['Le Théâtre', 'Le Vitrail']
|
||||
NDCG: 100.00%
|
||||
PRECISION: 50.00%
|
||||
RECALL: 100.00%
|
||||
F1-SCORE: 66.67%
|
||||
2025-11-20 18:44:31,487 core.services.opensearch INFO embed: 'art de bouger son corps'
|
||||
2025-11-20 18:44:31,556 core.services.opensearch INFO Performing hybrid search with embedding: art de bouger son corps
|
||||
2025-11-20 18:44:31,573 opensearch INFO POST http://opensearch:9200/evaluation-index/_search?search_pipeline=hybrid-search-pipeline&ignore_unavailable=true [status:200 request:0.017s]
|
||||
|
||||
[QUERY EVALUATION]
|
||||
q: art de bouger son corps
|
||||
expect: ['La Danse', 'La Danse Contemporaine']
|
||||
result: ['La Danse', 'La Danse Contemporaine']
|
||||
NDCG: 100.00%
|
||||
PRECISION: 100.00%
|
||||
RECALL: 100.00%
|
||||
F1-SCORE: 100.00%
|
||||
2025-11-20 18:44:31,573 core.services.opensearch INFO embed: 'mammifères aquatiques'
|
||||
2025-11-20 18:44:31,641 core.services.opensearch INFO Performing hybrid search with embedding: mammifères aquatiques
|
||||
2025-11-20 18:44:31,654 opensearch INFO POST http://opensearch:9200/evaluation-index/_search?search_pipeline=hybrid-search-pipeline&ignore_unavailable=true [status:200 request:0.013s]
|
||||
|
||||
[QUERY EVALUATION]
|
||||
q: mammifères aquatiques
|
||||
expect: ['Le Dauphin', 'La Baleine à Bosse']
|
||||
result: ['Le Dauphin', 'La Baleine à Bosse', 'Le Manchot Empereur', 'Le Requin Blanc', 'Le Paresseux']
|
||||
NDCG: 100.00%
|
||||
PRECISION: 40.00%
|
||||
RECALL: 100.00%
|
||||
F1-SCORE: 57.14%
|
||||
2025-11-20 18:44:31,654 core.services.opensearch INFO embed: 'insectes pollinisateurs'
|
||||
2025-11-20 18:44:31,733 core.services.opensearch INFO Performing hybrid search with embedding: insectes pollinisateurs
|
||||
2025-11-20 18:44:31,746 opensearch INFO POST http://opensearch:9200/evaluation-index/_search?search_pipeline=hybrid-search-pipeline&ignore_unavailable=true [status:200 request:0.012s]
|
||||
|
||||
[QUERY EVALUATION]
|
||||
q: insectes pollinisateurs
|
||||
expect: ["L'Abeille"]
|
||||
result: ["L'Abeille", 'Le Caméléon', 'Le Papillon Monarque']
|
||||
NDCG: 100.00%
|
||||
PRECISION: 33.33%
|
||||
RECALL: 100.00%
|
||||
F1-SCORE: 50.00%
|
||||
2025-11-20 18:44:31,746 core.services.opensearch INFO embed: 'prédateur félin'
|
||||
2025-11-20 18:44:31,820 core.services.opensearch INFO Performing hybrid search with embedding: prédateur félin
|
||||
2025-11-20 18:44:31,834 opensearch INFO POST http://opensearch:9200/evaluation-index/_search?search_pipeline=hybrid-search-pipeline&ignore_unavailable=true [status:200 request:0.014s]
|
||||
|
||||
[QUERY EVALUATION]
|
||||
q: prédateur félin
|
||||
expect: ["Le Lion d'Afrique", 'Le Guépard']
|
||||
result: ["Le Lion d'Afrique", 'Le Guépard', 'Le Requin Blanc', "L'éléphant", 'Le Hibou Grand-Duc', "L'Ours polaire", 'Le Serpent Python']
|
||||
NDCG: 100.00%
|
||||
PRECISION: 28.57%
|
||||
RECALL: 100.00%
|
||||
F1-SCORE: 44.44%
|
||||
2025-11-20 18:44:31,835 core.services.opensearch INFO embed: 'elephant'
|
||||
2025-11-20 18:44:31,906 core.services.opensearch INFO Performing hybrid search with embedding: elephant
|
||||
2025-11-20 18:44:31,920 opensearch INFO POST http://opensearch:9200/evaluation-index/_search?search_pipeline=hybrid-search-pipeline&ignore_unavailable=true [status:200 request:0.013s]
|
||||
|
||||
[QUERY EVALUATION]
|
||||
q: elephant
|
||||
expect: ["L'Éléphant d'Asie", "L'éléphant"]
|
||||
result: ["L'éléphant", "L'Éléphant d'Asie"]
|
||||
NDCG: 100.00%
|
||||
PRECISION: 100.00%
|
||||
RECALL: 100.00%
|
||||
F1-SCORE: 100.00%
|
||||
2025-11-20 18:44:31,920 core.services.opensearch INFO embed: 'courir'
|
||||
2025-11-20 18:44:31,994 core.services.opensearch INFO Performing hybrid search with embedding: courir
|
||||
2025-11-20 18:44:32,010 opensearch INFO POST http://opensearch:9200/evaluation-index/_search?search_pipeline=hybrid-search-pipeline&ignore_unavailable=true [status:200 request:0.015s]
|
||||
|
||||
[QUERY EVALUATION]
|
||||
q: courir
|
||||
expect: ['Il va courir']
|
||||
result: ['Il va courir']
|
||||
NDCG: 100.00%
|
||||
PRECISION: 100.00%
|
||||
RECALL: 100.00%
|
||||
F1-SCORE: 100.00%
|
||||
2025-11-20 18:44:32,011 core.services.opensearch INFO embed: 'football'
|
||||
2025-11-20 18:44:32,082 core.services.opensearch INFO Performing hybrid search with embedding: football
|
||||
2025-11-20 18:44:32,089 opensearch INFO POST http://opensearch:9200/evaluation-index/_search?search_pipeline=hybrid-search-pipeline&ignore_unavailable=true [status:200 request:0.007s]
|
||||
|
||||
[QUERY EVALUATION]
|
||||
q: football
|
||||
expect: ['Foot']
|
||||
result: ['Foot']
|
||||
NDCG: 100.00%
|
||||
PRECISION: 100.00%
|
||||
RECALL: 100.00%
|
||||
F1-SCORE: 100.00%
|
||||
2025-11-20 18:44:32,089 core.services.opensearch INFO embed: 'couri'
|
||||
2025-11-20 18:44:32,156 core.services.opensearch INFO Performing hybrid search with embedding: couri
|
||||
2025-11-20 18:44:32,163 opensearch INFO POST http://opensearch:9200/evaluation-index/_search?search_pipeline=hybrid-search-pipeline&ignore_unavailable=true [status:200 request:0.007s]
|
||||
|
||||
[QUERY EVALUATION]
|
||||
q: couri
|
||||
expect: ['Il va courir']
|
||||
result: ['Coq au Vin', 'Il va courir', 'Clafoutis aux Cerises']
|
||||
NDCG: 63.09%
|
||||
PRECISION: 33.33%
|
||||
RECALL: 100.00%
|
||||
F1-SCORE: 50.00%
|
||||
2025-11-20 18:44:32,164 core.services.opensearch INFO embed: 'courrir'
|
||||
2025-11-20 18:44:32,231 core.services.opensearch INFO Performing hybrid search with embedding: courrir
|
||||
2025-11-20 18:44:32,240 opensearch INFO POST http://opensearch:9200/evaluation-index/_search?search_pipeline=hybrid-search-pipeline&ignore_unavailable=true [status:200 request:0.009s]
|
||||
|
||||
[QUERY EVALUATION]
|
||||
q: courrir
|
||||
expect: ['Il va courir']
|
||||
result: ['Il va courir']
|
||||
NDCG: 100.00%
|
||||
PRECISION: 100.00%
|
||||
RECALL: 100.00%
|
||||
F1-SCORE: 100.00%
|
||||
|
||||
============================================================
|
||||
[SUMMARY] Average Performance
|
||||
============================================================
|
||||
Average NDCG: 89.28%
|
||||
Average Precision: 69.60%
|
||||
Average Recall: 90.28%
|
||||
Average F1-Score: 72.35%
|
||||
2025-11-20 18:44:32,241 core.management.commands.utils INFO Deleting search pipeline hybrid-search-pipeline
|
||||
2025-11-20 18:44:32,258 opensearch INFO DELETE http://opensearch:9200/_search/pipeline/hybrid-search-pipeline [status:200 request:0.017s]
|
||||
|
||||
[SUCCESS] Evaluation completed
|
||||
````
|
||||
@@ -28,7 +28,7 @@ class Command(BaseCommand):
|
||||
def ensure_search_pipeline_exists():
|
||||
"""Create search pipeline for hybrid search if it does not exist"""
|
||||
try:
|
||||
opensearch_client().search_pipeline.get(settings.HYBRID_SEARCH_PIPELINE_ID)
|
||||
opensearch_client().search_pipeline.get(id=settings.HYBRID_SEARCH_PIPELINE_ID)
|
||||
logger.info("Search pipeline exists already")
|
||||
except NotFoundError:
|
||||
logger.info("Creating search pipeline: %s", settings.HYBRID_SEARCH_PIPELINE_ID)
|
||||
@@ -40,12 +40,13 @@ def ensure_search_pipeline_exists():
|
||||
"phase_results_processors": [
|
||||
{
|
||||
"normalization-processor": {
|
||||
"normalization": {"technique": "min_max"},
|
||||
"combination": {
|
||||
"technique": "arithmetic_mean",
|
||||
"parameters": {
|
||||
"weights": settings.HYBRID_SEARCH_WEIGHTS
|
||||
},
|
||||
}
|
||||
},
|
||||
}
|
||||
}
|
||||
],
|
||||
|
||||
@@ -231,6 +231,8 @@ def embed_text(text):
|
||||
"""
|
||||
Get embedding vector for the given text from any OpenAI-compatible embedding API
|
||||
"""
|
||||
logger.info("embed: '%s'", text)
|
||||
|
||||
response = requests.post(
|
||||
settings.EMBEDDING_API_PATH,
|
||||
headers={"Authorization": f"Bearer {settings.EMBEDDING_API_KEY}>"},
|
||||
|
||||
@@ -38,7 +38,7 @@ def test_create_search_pipeline(settings, caplog):
|
||||
)
|
||||
|
||||
# calling get works without raising NotFoundError
|
||||
opensearch_client().search_pipeline.get(settings.HYBRID_SEARCH_PIPELINE_ID)
|
||||
opensearch_client().search_pipeline.get(id=settings.HYBRID_SEARCH_PIPELINE_ID)
|
||||
|
||||
|
||||
def test_create_search_pipeline_but_it_exists_already(settings, caplog):
|
||||
@@ -75,4 +75,4 @@ def test_create_search_pipeline_but_it_exists_already(settings, caplog):
|
||||
)
|
||||
|
||||
# the pipeline is still here
|
||||
opensearch_client().search_pipeline.get(settings.HYBRID_SEARCH_PIPELINE_ID)
|
||||
opensearch_client().search_pipeline.get(id=settings.HYBRID_SEARCH_PIPELINE_ID)
|
||||
|
||||
@@ -15,7 +15,6 @@ from joserfc import jwt as jose_jwt
|
||||
from joserfc.jwk import RSAKey
|
||||
from jwt.utils import to_base64url_uint
|
||||
from opensearchpy.exceptions import NotFoundError
|
||||
from opensearchpy.helpers import bulk
|
||||
|
||||
from core import factories
|
||||
from core.management.commands.create_search_pipeline import (
|
||||
@@ -29,6 +28,7 @@ logger = logging.getLogger(__name__)
|
||||
|
||||
def enable_hybrid_search(settings):
|
||||
"""Enable hybrid search settings for tests."""
|
||||
logger.info("Enabling hybrid search for tests")
|
||||
settings.HYBRID_SEARCH_ENABLED = True
|
||||
settings.HYBRID_SEARCH_WEIGHTS = [0.3, 0.7]
|
||||
settings.EMBEDDING_API_KEY = "test-api-key"
|
||||
@@ -52,6 +52,10 @@ def bulk_create_documents(document_payloads):
|
||||
|
||||
def delete_search_pipeline():
|
||||
"""Delete the hybrid search pipeline if it exists"""
|
||||
logger.info(
|
||||
"Deleting search pipeline %s", django_settings.HYBRID_SEARCH_PIPELINE_ID
|
||||
)
|
||||
|
||||
try:
|
||||
opensearch.opensearch_client().transport.perform_request(
|
||||
method="DELETE",
|
||||
@@ -63,34 +67,34 @@ def delete_search_pipeline():
|
||||
|
||||
def prepare_index(index_name, documents: List):
|
||||
"""Prepare the search index before testing a query on it."""
|
||||
logger.info("prepare_index %s with %d documents", index_name, len(documents))
|
||||
opensearch_client_ = opensearch.opensearch_client()
|
||||
opensearch.ensure_index_exists(index_name)
|
||||
|
||||
# Index new documents
|
||||
actions = [
|
||||
{
|
||||
"_op_type": "index",
|
||||
"_index": index_name,
|
||||
"_id": document["id"],
|
||||
"_source": {
|
||||
**{k: v for k, v in document.items() if k != "id"},
|
||||
"embedding": opensearch.embed_text(
|
||||
opensearch.format_document(document["title"], document["content"])
|
||||
)
|
||||
if check_hybrid_search_enabled()
|
||||
else None,
|
||||
"embedding_model": django_settings.EMBEDDING_API_MODEL_NAME
|
||||
if check_hybrid_search_enabled()
|
||||
else None,
|
||||
},
|
||||
actions = []
|
||||
for document in documents:
|
||||
document_dict = {
|
||||
**document,
|
||||
"embedding": opensearch.embed_text(
|
||||
opensearch.format_document(document["title"], document["content"])
|
||||
)
|
||||
if check_hybrid_search_enabled()
|
||||
else None,
|
||||
"embedding_model": django_settings.EMBEDDING_API_MODEL_NAME
|
||||
if check_hybrid_search_enabled()
|
||||
else None,
|
||||
}
|
||||
for document in documents
|
||||
]
|
||||
bulk(opensearch.opensearch_client(), actions)
|
||||
_id = document_dict.pop("id")
|
||||
actions.append({"index": {"_id": _id}})
|
||||
actions.append(document_dict)
|
||||
|
||||
# Force refresh again so all changes are visible to search
|
||||
opensearch.opensearch_client().indices.refresh(index=index_name)
|
||||
if not actions:
|
||||
return
|
||||
|
||||
count = opensearch.opensearch_client().count(index=index_name)["count"]
|
||||
opensearch_client_.bulk(index=index_name, body=actions)
|
||||
opensearch_client_.indices.refresh(index=index_name)
|
||||
|
||||
count = opensearch_client_.count(index=index_name)["count"]
|
||||
assert count == len(documents), f"Expected {len(documents)}, got {count}"
|
||||
|
||||
|
||||
|
||||
@@ -143,7 +143,7 @@ def create_demo(stdout):
|
||||
Create a database with demo data for developers to work in a realistic environment.
|
||||
"""
|
||||
opensearch_client_ = opensearch_client()
|
||||
opensearch_client_.indices.delete("*")
|
||||
opensearch_client_.indices.delete(index="*")
|
||||
|
||||
with Timeit(stdout, "Creating services"):
|
||||
services = factories.ServiceFactory.create_batch(
|
||||
|
||||
@@ -0,0 +1 @@
|
||||
a content
|
||||
@@ -0,0 +1,6 @@
|
||||
queries = [
|
||||
{
|
||||
"q": "a query",
|
||||
"expected_document_ids": [1],
|
||||
},
|
||||
]
|
||||
@@ -0,0 +1 @@
|
||||
La conquête spatiale débute en 1957 avec le satellite soviétique Spoutnik. Youri Gagarine devient le premier homme dans l'espace en 1961. Les Américains répondent avec le programme Apollo : Neil Armstrong marche sur la Lune en 1969. La Station Spatiale Internationale symbolise la coopération internationale depuis 1998. Aujourd'hui, les ambitions incluent Mars, et des entreprises privées comme SpaceX révolutionnent l'accès à l'espace.
|
||||
@@ -0,0 +1 @@
|
||||
Les métropoles mondiales comme New York, Londres, Tokyo et Paris concentrent pouvoir économique, politique et culturel. Elles abritent sièges sociaux des multinationales, bourses financières et institutions internationales. Ces villes sont des nœuds de transport et communication globaux. Elles attirent flux migratoires et talents créant diversité mais aussi gentrification. Les mégapoles du Sud (Mumbai, São Paulo) connaissent une urbanisation rapide avec des défis d'infrastructures.
|
||||
@@ -0,0 +1 @@
|
||||
La Seconde Guerre mondiale (1939-1945) est le conflit le plus meurtrier de l'histoire avec 60 millions de morts. Hitler envahit la Pologne en septembre 1939, déclenchant la guerre. La France capitule en 1940 tandis que le Royaume-Uni résiste. L'Allemagne attaque l'URSS en 1941 et le Japon Pearl Harbor. Le débarquement en Normandie en 1944 libère l'Europe. La Shoah extermine 6 millions de Juifs. Le conflit se termine avec les bombes atomiques sur Hiroshima et Nagasaki.
|
||||
@@ -0,0 +1 @@
|
||||
Le développement durable vise à concilier croissance économique, protection environnementale et équité sociale. Défini au Sommet de Rio en 1992, il répond aux besoins présents sans compromettre ceux des générations futures. Les 17 Objectifs de Développement Durable de l'ONU incluent éradication de la pauvreté, éducation, égalité des genres et action climatique. Les énergies renouvelables, l'économie circulaire et la consommation responsable sont des leviers essentiels.
|
||||
@@ -0,0 +1 @@
|
||||
La Chine est devenue la deuxième économie mondiale grâce aux réformes de Deng Xiaoping en 1978. L'ouverture au capitalisme maintient le régime communiste du Parti unique. Le pays est 'l'usine du monde' avec des zones économiques spéciales. Les nouvelles routes de la soie étendent son influence internationale. Avec 1,4 milliard d'habitants, la Chine fait face à des défis environnementaux, démographiques et sociaux majeurs.
|
||||
@@ -0,0 +1 @@
|
||||
Les grandes découvertes (XVe-XVIe siècles) voient les Européens explorer le monde. Christophe Colomb atteint l'Amérique en 1492, croyant trouver les Indes. Vasco de Gama ouvre la route des Indes en 1498. Magellan réalise le premier tour du monde en 1522. Ces expéditions sont motivées par la recherche d'épices, d'or et l'évangélisation. Elles inaugurent la colonisation européenne et l'échange colombien qui transforment les civilisations.
|
||||
@@ -0,0 +1 @@
|
||||
L'Union européenne naît du désir de paix après 1945. Le traité de Rome en 1957 crée la CEE avec six membres fondateurs. L'UE compte aujourd'hui 27 États après le Brexit. Le marché unique permet libre circulation des biens, services, capitaux et personnes. L'euro est adopté par 20 pays. L'UE fait face à des défis : crise migratoire, euroscepticisme et divergences économiques entre Nord et Sud.
|
||||
@@ -0,0 +1 @@
|
||||
La révolution industrielle débute en Angleterre au XVIIIe siècle avec la machine à vapeur de Watt. L'industrie textile mécanisée précède la métallurgie et les chemins de fer. Le charbon et la vapeur fournissent l'énergie nécessaire. L'urbanisation s'accélère avec l'exode rural vers les usines. Les conditions ouvrières misérables suscitent les mouvements sociaux et le syndicalisme. Cette révolution transforme radicalement l'économie et la société européennes.
|
||||
@@ -0,0 +1 @@
|
||||
Les inégalités Nord-Sud opposent pays développés et pays en développement. L'Indice de Développement Humain mesure richesse, éducation et santé. Les pays du Nord concentrent richesses et technologies tandis que le Sud subit pauvreté et dépendance économique. L'héritage colonial, l'endettement et les termes de l'échange inégaux perpétuent ces écarts. Les pays émergents (BRICS) remettent en question cette division binaire.
|
||||
@@ -0,0 +1 @@
|
||||
Le Siècle des Lumières (XVIIIe siècle) est un mouvement intellectuel européen promouvant raison, science et progrès. Voltaire critique l'intolérance religieuse, Montesquieu théorise la séparation des pouvoirs, Rousseau défend la souveraineté populaire. L'Encyclopédie de Diderot et d'Alembert diffuse les savoirs. Ces philosophes remettent en cause l'absolutisme et les privilèges. Leurs idées inspirent les révolutions américaine et française.
|
||||
@@ -0,0 +1 @@
|
||||
La Révolution française débute le 14 juillet 1789 avec la prise de la Bastille, symbole de l'absolutisme royal. Les causes sont multiples : crise financière, famine, influence des Lumières et inégalités sociales criantes. L'Assemblée Constituante abolit les privilèges le 4 août et adopte la Déclaration des Droits de l'Homme le 26 août. Le roi Louis XVI est exécuté en 1793 après la proclamation de la République. Cette révolution transforme profondément la France et influence l'Europe entière.
|
||||
@@ -0,0 +1 @@
|
||||
Les ressources énergétiques sont inégalement réparties sur la planète. Les énergies fossiles (pétrole, gaz, charbon) dominent mais sont non renouvelables et polluantes. Le Moyen-Orient concentre 48% des réserves pétrolières mondiales. La Russie utilise le gaz comme arme géopolitique. Les énergies renouvelables (solaire, éolien, hydraulique) progressent face au réchauffement climatique. La transition énergétique est un défi majeur du XXIe siècle pour assurer souveraineté et durabilité.
|
||||
@@ -0,0 +1 @@
|
||||
Le lion est le plus grand félin d'Afrique et vit en groupe social appelé troupe. Les mâles se distinguent par leur majestueuse crinière qui protège leur cou lors des combats. Les lions chassent principalement au crépuscule, les lionnes étant les principales chasseuses. Ils peuvent rugir jusqu'à 8 kilomètres de distance pour marquer leur territoire. Malheureusement, leur population a diminué de 43% en 20 ans.
|
||||
@@ -0,0 +1 @@
|
||||
Les dauphins sont parmi les animaux les plus intelligents de la planète. Ils communiquent par des clics et sifflements complexes, chaque individu possédant sa propre signature sonore. Vivant en groupes sociaux sophistiqués, ils chassent en coordination et s'entraident. Les dauphins peuvent nager jusqu'à 30 km/h et plonger à 300 mètres de profondeur. Leur cerveau possède plus de circonvolutions que celui de l'homme.
|
||||
@@ -0,0 +1 @@
|
||||
L'éléphant d'Asie est légèrement plus petit que son cousin africain mais tout aussi majestueux. Ces herbivores peuvent consommer jusqu'à 150 kg de végétation par jour et boire 140 litres d'eau. Leur trompe contient 40 000 muscles et leur sert à manger, boire, se laver et communiquer. Les éléphants vivent en matriarcat dirigé par la femelle la plus âgée. Leur mémoire exceptionnelle leur permet de se souvenir des points d'eau sur de vastes territoires.
|
||||
@@ -0,0 +1 @@
|
||||
Le colibri est le plus petit oiseau du monde, certaines espèces ne pesant que 2 grammes. Ses ailes battent jusqu'à 80 fois par seconde, lui permettant de faire du vol stationnaire et même de voler en arrière. Son métabolisme est si rapide qu'il doit manger jusqu'à deux fois son poids en nectar quotidiennement. Le colibri peut visiter 1000 fleurs par jour. Ses couleurs iridescentes changent selon l'angle de la lumière.
|
||||
@@ -0,0 +1 @@
|
||||
L'ours polaire est le plus grand carnivore terrestre, pouvant peser jusqu'à 800 kg. Sa fourrure blanche et sa peau noire lui permettent d'absorber la chaleur du soleil. Son odorat est si développé qu'il peut détecter un phoque sous 1 mètre de glace à 1,5 km. Le réchauffement climatique menace gravement son habitat.
|
||||
@@ -0,0 +1 @@
|
||||
Le caméléon possède la capacité extraordinaire de changer de couleur selon son humeur, la température et la communication sociale. Ses yeux peuvent bouger indépendamment l'un de l'autre à 360 degrés. Sa langue peut s'étendre jusqu'à deux fois la longueur de son corps pour capturer des insectes. Certaines espèces mesurent seulement 3 cm tandis que d'autres atteignent 70 cm. Ils se déplacent lentement et de manière saccadée pour imiter le mouvement des feuilles.
|
||||
@@ -0,0 +1 @@
|
||||
Le manchot empereur survit aux conditions les plus extrêmes de la planète en Antarctique. Les mâles couvent l'œuf unique pendant 64 jours dans des températures atteignant -40°C sans manger. Ils se regroupent en tortue pour se protéger du froid, tournant régulièrement pour partager la chaleur. Ces oiseaux peuvent plonger jusqu'à 500 mètres de profondeur et retenir leur respiration 22 minutes. Leur parade nuptiale comprend des chants complexes et synchronisés.
|
||||
@@ -0,0 +1 @@
|
||||
Le grand requin blanc est l'un des prédateurs marins les plus redoutés et fascinants. Il peut atteindre 6 mètres de long et peser plus de 2 tonnes. Ses dents triangulaires et dentelées se renouvellent constamment tout au long de sa vie. Il peut détecter une goutte de sang dans 100 litres d'eau grâce à son odorat exceptionnel. Contrairement à sa réputation, il attaque rarement l'homme, préférant les phoques et les otaries.
|
||||
@@ -0,0 +1 @@
|
||||
Les abeilles jouent un rôle crucial dans la pollinisation de 80% des plantes à fleurs. Une ruche peut contenir jusqu'à 60 000 abeilles organisées en société matriarcale autour de la reine. Les ouvrières communiquent la localisation des fleurs par une danse complexe en forme de huit. Une abeille produit environ 1/12 de cuillère à café de miel dans sa vie. Leur déclin inquiétant menace notre sécurité alimentaire.
|
||||
@@ -0,0 +1 @@
|
||||
La Première Guerre mondiale (1914-1918) oppose les Alliés (France, Royaume-Uni, Russie) aux Empires centraux (Allemagne, Autriche-Hongrie). L'assassinat de l'archiduc François-Ferdinand à Sarajevo déclenche le conflit par le jeu des alliances. La guerre de tranchées caractérise le front occidental avec Verdun et la Somme. Les nouvelles armes (gaz, tanks, aviation) causent 18 millions de morts. Le traité de Versailles en 1919 redessine la carte de l'Europe.
|
||||
@@ -0,0 +1 @@
|
||||
Le guépard est l'animal terrestre le plus rapide, capable d'atteindre 110 km/h en quelques secondes. Contrairement aux autres félins, il ne peut pas rétracter complètement ses griffes, ce qui lui donne une meilleure adhérence. Sa queue longue lui sert de balancier lors des changements de direction. Son corps élancé et ses poumons surdimensionnés sont optimisés pour la course. Il chasse le jour pour éviter les autres prédateurs plus puissants.
|
||||
@@ -0,0 +1 @@
|
||||
La pieuvre possède trois cœurs et un sang bleu à base de cuivre. Son intelligence remarquable lui permet de résoudre des problèmes complexes et d'utiliser des outils. Chacun de ses huit bras contient des neurones, lui donnant une forme de pensée décentralisée. Elle peut changer de couleur et de texture instantanément pour se camoufler. Certaines espèces peuvent passer à travers des ouvertures de la taille d'une pièce de monnaie.
|
||||
@@ -0,0 +1 @@
|
||||
Le koala dort jusqu'à 20 heures par jour pour économiser l'énergie nécessaire à digérer l'eucalyptus toxique. Il se nourrit exclusivement de feuilles d'eucalyptus, pouvant distinguer entre 600 espèces différentes. Son système digestif unique contient des bactéries spéciales pour neutraliser les toxines. Les bébés koalas naissent de la taille d'un haricot et restent 6 mois dans la poche maternelle. Ils ne boivent presque jamais, tirant l'eau des feuilles qu'ils consomment.
|
||||
@@ -0,0 +1 @@
|
||||
Le gorille des montagnes est l'un de nos plus proches parents, partageant 98% de notre ADN. Les mâles silverback peuvent peser jusqu'à 200 kg et sont d'une force exceptionnelle. Malgré leur puissance, ce sont des animaux pacifiques et végétariens. Ils vivent en groupes familiaux dirigés par un mâle dominant et communiquent par 25 vocalisations différentes. Moins de 1000 individus survivent dans les forêts d'Afrique centrale.
|
||||
@@ -0,0 +1 @@
|
||||
Le papillon monarque effectue une migration annuelle de 4000 km entre le Canada et le Mexique. Aucun individu ne complète le voyage entier, il faut 4 générations pour accomplir le cycle. Ils utilisent le soleil comme boussole et possèdent une horloge circadienne sophistiquée. Leur couleur orange vif avertit les prédateurs de leur toxicité acquise en mangeant de l'asclépiade. Des millions de papillons se regroupent dans quelques forêts mexicaines en hiver.
|
||||
@@ -0,0 +1 @@
|
||||
Le loup gris vit en meute organisée hiérarchiquement autour d'un couple alpha. Ces chasseurs coopératifs peuvent traquer des proies bien plus grandes qu'eux grâce à leur coordination. Ils communiquent par hurlements pouvant porter jusqu'à 10 km dans les forêts. Un loup peut parcourir 70 km en une nuit à la recherche de nourriture. Leur réintroduction dans certains écosystèmes a démontré leur rôle crucial dans l'équilibre naturel.
|
||||
@@ -0,0 +1 @@
|
||||
Le kangourou roux est le plus grand marsupial au monde, pouvant atteindre 2 mètres de haut. Il peut sauter jusqu'à 9 mètres de long et maintenir une vitesse de 50 km/h. Sa queue musclée lui sert de trépied au repos et de balancier en mouvement. Les femelles peuvent retarder le développement d'un embryon si les conditions sont défavorables. Parfaitement adapté au climat aride australien, il peut passer des mois sans boire.
|
||||
@@ -0,0 +1 @@
|
||||
Les baleines à bosse produisent des chants complexes pouvant durer 20 minutes et s'entendre à des centaines de kilomètres. Les mâles d'une même région partagent le même chant qui évolue chaque année. Malgré leur masse de 30 tonnes, elles peuvent sauter entièrement hors de l'eau. Elles migrent sur 25 000 km par an entre zones d'alimentation et de reproduction. Leurs nageoires pectorales sont les plus longues de tous les cétacés.
|
||||
@@ -0,0 +1 @@
|
||||
Le python réticulé peut atteindre 9 mètres de long, ce qui en fait l'un des plus longs serpents. Il tue sa proie par constriction, resserrant son étreinte à chaque expiration de la victime. Ces serpents peuvent passer des mois sans manger après avoir avalé une grande proie. Leurs organes sensoriels thermiques leur permettent de détecter la chaleur corporelle dans l'obscurité. Contrairement aux idées reçues, ils ne peuvent pas avaler un humain adulte.
|
||||
@@ -0,0 +1 @@
|
||||
Le hibou grand-duc est le plus grand rapace nocturne d'Europe avec une envergure de 2 mètres. Son vol silencieux est rendu possible par la structure spéciale de ses plumes. Il peut tourner sa tête à 270 degrés grâce à 14 vertèbres cervicales. Sa vision nocturne est 100 fois plus sensible que celle de l'humain. Son hululement puissant peut s'entendre jusqu'à 2 km. Il chasse des proies variées, du mulot au renardeau.
|
||||
@@ -0,0 +1 @@
|
||||
La décolonisation de l'Afrique s'accélère après 1945, affaiblie par la Seconde Guerre mondiale. Le Ghana obtient son indépendance en 1957, suivi de 17 pays en 1960, 'l'année de l'Afrique'. Le processus varie : négociation pacifique (Afrique francophone) ou luttes armées (Algérie, Kenya). Les frontières héritées de la colonisation créent des tensions ethniques. Les nouveaux États font face à des défis économiques et politiques majeurs.
|
||||
@@ -0,0 +1 @@
|
||||
Le paresseux se déplace si lentement que des algues poussent sur sa fourrure, lui donnant un camouflage verdâtre. Il descend de son arbre une fois par semaine pour déféquer, moment où il est le plus vulnérable. Son métabolisme est le plus lent de tous les non-hibernants. Il peut tourner sa tête à 270 degrés pour surveiller les prédateurs. Les paresseux passent 90% de leur vie suspendus la tête en bas et peuvent même dormir ainsi.
|
||||
@@ -0,0 +1 @@
|
||||
Le bœuf bourguignon est un plat mijoté emblématique de la cuisine française. Coupez 1,5 kg de bœuf en cubes et faites-les revenir dans du beurre. Ajoutez 2 carottes, 2 oignons, 3 gousses d'ail et un bouquet garni. Versez 75 cl de vin rouge de Bourgogne et 25 cl de bouillon. Laissez mijoter 3 heures à feu doux. Ajoutez 200g de champignons et 150g de lardons dorés. Servez avec des pommes de terre vapeur ou des tagliatelles fraîches.
|
||||
@@ -0,0 +1 @@
|
||||
Tranchez finement 2 aubergines, 2 courgettes, 2 poivrons, 4 tomates et 1 oignon. Dans une cocotte, faites revenir l'oignon et l'ail dans de l'huile d'olive. Ajoutez les légumes par couches en alternant. Assaisonnez avec du thym, du romarin, sel et poivre. Couvrez et laissez mijoter 40 minutes à feu doux. La ratatouille peut se déguster chaude ou froide, accompagnée de riz ou de pain grillé.
|
||||
@@ -0,0 +1 @@
|
||||
Découpez un coq ou un poulet fermier en morceaux. Faites mariner 12 heures dans 75 cl de vin rouge avec carottes, oignons et aromates. Égouttez et faites dorer les morceaux avec 100g de lardons. Flambez au cognac puis ajoutez la marinade filtrée. Laissez mijoter 1h30. Ajoutez des champignons et des petits oignons grelots. Liez la sauce avec du beurre manié. Servez avec des croûtons aillés.
|
||||
@@ -0,0 +1 @@
|
||||
Dans un moule à tarte, faites fondre 100g de beurre avec 100g de sucre pour créer un caramel. Disposez 6 pommes Reinette coupées en quartiers en rosace serrée. Enfournez 30 minutes à 180°C. Recouvrez de pâte feuilletée et enfournez 25 minutes supplémentaires. Laissez tiédir 10 minutes avant de retourner sur un plat. Servez tiède avec de la crème fraîche ou une boule de glace vanille.
|
||||
@@ -0,0 +1 @@
|
||||
Faites suer dans l'huile d'olive 2 oignons, 4 tomates, 4 gousses d'ail et du fenouil. Ajoutez safran, thym, laurier et zeste d'orange. Versez 2 litres de fumet de poisson et portez à ébullition. Ajoutez 2 kg de poissons variés (rascasse, grondin, rouget) coupés en morceaux. Cuisez 15 minutes à gros bouillons. Servez avec des croûtons, de la rouille et du gruyère râpé.
|
||||
@@ -0,0 +1 @@
|
||||
Garnissez un moule de pâte brisée. Faites revenir 200g de lardons fumés sans matière grasse. Battez 4 œufs avec 30 cl de crème fraîche, sel, poivre et noix de muscade. Disposez les lardons sur la pâte et versez l'appareil. Ajoutez éventuellement 100g de gruyère râpé. Enfournez 35 minutes à 180°C jusqu'à ce que la garniture soit dorée et gonflée. Servez tiède avec une salade verte.
|
||||
@@ -0,0 +1 @@
|
||||
Coupez 1,2 kg d'épaule de veau en cubes. Blanchissez-les 5 minutes à l'eau bouillante puis rincez. Remettez dans une cocotte avec carottes, oignons piqués de clous de girofle et bouquet garni. Couvrez d'eau et laissez mijoter 1h30. Préparez un roux avec beurre et farine, ajoutez le bouillon filtré. Liez avec 2 jaunes d'œufs et 20 cl de crème. Ajoutez champignons et oignons grelots. Servez avec du riz.
|
||||
@@ -0,0 +1 @@
|
||||
Mélangez 250g de farine, 4 œufs, 50 cl de lait et une pincée de sel. Ajoutez 50g de beurre fondu et laissez reposer 1 heure. Huilez légèrement une poêle chaude et versez une louche de pâte. Faites cuire 2 minutes de chaque côté jusqu'à ce que la crêpe soit dorée. Garnissez de sucre, confiture, chocolat ou jambon-fromage selon vos envies. Servez immédiatement.
|
||||
@@ -0,0 +1 @@
|
||||
Faites tremper 500g de haricots blancs 12 heures. Cuisez-les 1 heure avec carottes, oignons et bouquet garni. Faites revenir 4 cuisses de canard confites, 400g de saucisse de Toulouse et 200g de poitrine fumée. Mélangez haricots et viandes dans une cocotte avec la graisse de canard. Couvrez de chapelure et enfournez 1 heure à 160°C. Cassez la croûte plusieurs fois pendant la cuisson.
|
||||
@@ -0,0 +1 @@
|
||||
Le réchauffement climatique désigne l'augmentation de la température moyenne terrestre causée par les émissions de gaz à effet de serre. Depuis l'ère industrielle, la température a augmenté de 1,2°C. Les conséquences incluent fonte des glaciers, montée des eaux, événements météorologiques extrêmes et migrations climatiques. Les accords de Paris en 2015 visent à limiter le réchauffement à 1,5°C. La transition énergétique et les énergies renouvelables sont essentielles.
|
||||
@@ -0,0 +1 @@
|
||||
Préparez une béchamel avec 40g de beurre, 40g de farine et 25 cl de lait. Hors du feu, incorporez 150g de gruyère râpé et 4 jaunes d'œufs. Montez 5 blancs en neige ferme avec une pincée de sel. Incorporez délicatement les blancs à la préparation. Versez dans des ramequins beurrés et farinés. Enfournez 20 minutes à 180°C sans ouvrir le four. Servez immédiatement.
|
||||
@@ -0,0 +1 @@
|
||||
Dans une grande marmite, placez 1,5 kg de viande de bœuf (gîte, paleron, plat de côtes). Couvrez d'eau froide et portez à ébullition en écumant. Ajoutez 4 carottes, 4 poireaux, 2 navets, 2 oignons piqués de clous de girofle et un bouquet garni. Laissez mijoter 3 heures à feu doux. Servez le bouillon en entrée puis la viande et les légumes avec cornichons, moutarde et gros sel.
|
||||
@@ -0,0 +1 @@
|
||||
Faites fondre 200g de chocolat noir au bain-marie. Séparez 6 œufs et incorporez les jaunes au chocolat fondu tiède. Montez les blancs en neige ferme avec une pincée de sel et 20g de sucre. Incorporez délicatement les blancs au chocolat en trois fois avec une spatule. Répartissez dans des verrines et réfrigérez 4 heures minimum. Décorez de copeaux de chocolat ou de chantilly.
|
||||
@@ -0,0 +1 @@
|
||||
Épluchez et émincez finement 1,5 kg de pommes de terre. Frottez un plat à gratin avec une gousse d'ail. Disposez les pommes de terre en couches en assaisonnant de sel, poivre et noix de muscade. Mélangez 50 cl de crème avec 25 cl de lait et versez sur les pommes de terre. Ajoutez quelques noisettes de beurre. Enfournez 1h15 à 160°C jusqu'à obtenir une croûte dorée.
|
||||
@@ -0,0 +1 @@
|
||||
Disposez sur un plat 4 tomates en quartiers, 1 concombre émincé, 1 poivron coupé, 200g de haricots verts cuits, 4 œufs durs, 100g d'olives noires et 8 filets d'anchois. Préparez une vinaigrette avec huile d'olive, vinaigre de vin, moutarde, ail et basilic. Arrosez généreusement et servez frais. Certains ajoutent des artichauts ou des fèves.
|
||||
@@ -0,0 +1 @@
|
||||
Garnissez un moule de pâte sablée et faites-la cuire à blanc 15 minutes. Préparez une crème avec 4 jaunes d'œufs, 150g de sucre, le zeste et jus de 3 citrons. Cuisez à feu doux en remuant jusqu'à épaississement. Versez sur la pâte. Montez 4 blancs en neige avec 100g de sucre. Couvrez la tarte de meringue en formant des pointes. Enfournez 10 minutes à 150°C pour dorer.
|
||||
@@ -0,0 +1 @@
|
||||
Quadrillez la peau de 2 magrets sans entamer la chair. Salez et poivrez. Posez-les côté peau dans une poêle froide. Faites cuire 7 minutes puis retournez pour 4 minutes (rosé). Réservez au chaud. Dans la graisse, faites revenir 8 figues coupées en deux avec 2 cuillères de miel et un trait de vinaigre balsamique. Tranchez les magrets et nappez de sauce aux figues.
|
||||
@@ -0,0 +1 @@
|
||||
Disposez 500g de cerises lavées et équeutées (traditionnellement non dénoyautées) dans un plat beurré. Battez 4 œufs avec 100g de sucre jusqu'à ce que le mélange blanchisse. Ajoutez 100g de farine, 50 cl de lait et une pincée de sel. Versez l'appareil sur les cerises. Enfournez 45 minutes à 180°C. Saupoudrez de sucre glace et servez tiède ou froid.
|
||||
@@ -0,0 +1 @@
|
||||
Frottez un caquelon avec une gousse d'ail coupée. Versez 15 cl de vin blanc sec et faites chauffer. Ajoutez 400g de comté, 400g de beaufort et 200g de reblochon râpés. Remuez en forme de 8 jusqu'à ce que le fromage fonde. Ajoutez 5 cl de kirsch et du poivre. Maintenez au chaud sur un réchaud. Trempez des cubes de pain rassis piqués sur des fourchettes.
|
||||
@@ -0,0 +1 @@
|
||||
Faites chauffer 50 cl de crème avec une gousse de vanille fendue. Battez 6 jaunes d'œufs avec 100g de sucre. Versez la crème chaude en remuant puis filtrez. Répartissez dans des ramequins. Cuisez au bain-marie 40 minutes à 150°C. Réfrigérez 4 heures. Saupoudrez généreusement de sucre et caramélisez au chalumeau ou sous le gril. Laissez durcir 2 minutes avant de servir.
|
||||
@@ -0,0 +1 @@
|
||||
L'Empire romain domine le bassin méditerranéen pendant cinq siècles, de 27 avant J.-C. à 476 après J.-C. Auguste, premier empereur, établit la Pax Romana qui apporte prospérité et stabilité. Rome construit routes, aqueducs et monuments grandioses comme le Colisée. Le christianisme devient religion d'État en 380. Les invasions barbares et les crises internes provoquent la chute de l'Empire d'Occident en 476.
|
||||
@@ -0,0 +1 @@
|
||||
Hachez finement 600g de filet de bœuf bien frais au couteau. Ajoutez 2 échalotes ciselées, 2 cuillères de câpres, 4 cornichons hachés, persil et ciboulette. Assaisonnez avec moutarde, sauce Worcestershire, Tabasco, sel et poivre. Incorporez 2 jaunes d'œufs et un filet d'huile d'olive. Formez des dômes et servez avec des frites maison et une salade verte. Se prépare au dernier moment.
|
||||
@@ -0,0 +1 @@
|
||||
La musique est l'art d'organiser les sons dans le temps selon le rythme, la mélodie et l'harmonie. Présente dans toutes les cultures, elle accompagne les rites, les émotions et les récits humains depuis la préhistoire. Des modes antiques grecs au contrepoint baroque, du jazz à l'électro, elle évolue sans cesse. Les compositeurs explorent les timbres et les structures tandis que l’improvisation garde la spontanéité vivante. La musique relie mathématique, émotion et mouvement.
|
||||
@@ -0,0 +1 @@
|
||||
Le cinéma est l'art de raconter des histoires par le mouvement des images et le son. Né à la fin du XIXe siècle avec les frères Lumière, il a rapidement fusionné technique et poésie. Le montage, la lumière et la mise en scène en font un art total mêlant littérature, théâtre et musique. Du muet de Chaplin au cinéma numérique, chaque époque invente un nouveau langage visuel. Le cinéma explore la mémoire, les rêves et la condition humaine à travers l’écran.
|
||||
@@ -0,0 +1 @@
|
||||
La danse est l’art du mouvement du corps dans l’espace et le temps, souvent accompagné de musique. Elle exprime des émotions, raconte des histoires ou célèbre des rites. Des danses tribales aux ballets classiques, des danses contemporaines au hip-hop, chaque culture invente ses gestes et son rythme. La chorégraphie unit discipline et liberté, le corps devenant un instrument expressif. La danse relie énergie, esthétique et communication non verbale.
|
||||
@@ -0,0 +1 @@
|
||||
La peinture à l'huile est une technique artistique utilisant des pigments mélangés à de l'huile siccative, généralement de lin. Inventée au XVe siècle et perfectionnée par les maîtres flamands comme Van Eyck, elle permet des glacis subtils et des dégradés lumineux. Le temps de séchage lent offre la possibilité de travailler les transitions et les détails. Les grands maîtres comme Rembrandt, Vermeer et plus tard les impressionnistes ont exploité ses possibilités. Cette technique reste aujourd'hui la plus prisée pour la peinture de chevalet.
|
||||
@@ -0,0 +1 @@
|
||||
La sculpture sur pierre est l'un des arts les plus anciens de l'humanité, remontant à la préhistoire. Le sculpteur taille directement dans le marbre, le granit ou le calcaire avec des ciseaux et des masses. Michel-Ange considérait que la statue existait déjà dans le bloc, il suffisait de libérer la forme. Cette technique soustractive ne pardonne pas l'erreur. Les œuvres comme le David ou la Pietà démontrent la capacité de donner vie et émotion à la pierre froide.
|
||||
@@ -0,0 +1 @@
|
||||
La calligraphie est l'art de former les lettres avec beauté et harmonie. En Occident, les moines copistes médiévaux ont perfectionné l'onciale et la gothique. En Asie, la calligraphie chinoise et japonaise est considérée comme la forme d'art la plus pure, où chaque trait exprime l'énergie et l'esprit de l'artiste. L'outil traditionnel est le pinceau ou le calame. La maîtrise nécessite des années de pratique pour contrôler la pression, la vitesse et le rythme.
|
||||
@@ -0,0 +1 @@
|
||||
La photographie transforme la capture d'images en expression créative depuis le XIXe siècle. Des pionniers comme Ansel Adams et Henri Cartier-Bresson ont élevé le médium au rang d'art majeur. La composition, la lumière, le cadrage et le moment décisif sont essentiels. Le passage au numérique a ouvert de nouvelles possibilités de post-traitement. La photographie d'art explore tous les genres : portrait, paysage, abstrait, documentaire et conceptuel.
|
||||
@@ -0,0 +1 @@
|
||||
La danse contemporaine émerge au XXe siècle comme rupture avec le ballet classique. Des chorégraphes comme Martha Graham, Merce Cunningham et Pina Bausch explorent de nouveaux langages corporels. Cette forme privilégie l'expression émotionnelle, la liberté de mouvement et l'improvisation. Le corps devient un outil de questionnement social et politique. Les spectacles intègrent souvent d'autres disciplines comme la vidéo, le théâtre et la musique expérimentale.
|
||||
@@ -0,0 +1 @@
|
||||
L'origami est l'art japonais du pliage de papier, transformant une feuille plane en sculpture tridimensionnelle sans couper ni coller. Pratiqué depuis le VIe siècle au Japon, il était d'abord réservé aux cérémonies religieuses. Les modèles traditionnels incluent la grue (symbole de paix), la grenouille et la fleur. L'origami moderne explore la complexité mathématique avec des créations hyperréalistes. Cette discipline développe patience, précision et compréhension spatiale.
|
||||
@@ -0,0 +1 @@
|
||||
La Renaissance (XIVe-XVIe siècles) marque un renouveau artistique, scientifique et intellectuel en Europe. Née en Italie avec Florence et les Médicis, elle redécouvre l'Antiquité gréco-romaine. Léonard de Vinci, Michel-Ange et Raphaël révolutionnent l'art. Gutenberg invente l'imprimerie en 1450, facilitant la diffusion des savoirs. Les grandes découvertes ouvrent le monde avec Colomb et Magellan. L'humanisme place l'homme au centre de la réflexion.
|
||||
@@ -0,0 +1 @@
|
||||
La mosaïque assemble de petits fragments colorés (tesselles) de pierre, céramique ou verre pour créer des images et motifs. Les Romains et Byzantins ont porté cet art à son apogée avec les splendeurs de Ravenne et de Constantinople. Chaque tesselle est posée individuellement sur un support avec du mortier. Les jeux de lumière sur les tesselles de verre créent des effets lumineux uniques. Gaudi a réinventé la mosaïque moderne avec le trencadis au Parc Güell.
|
||||
@@ -0,0 +1 @@
|
||||
Le théâtre est à la fois un art de la représentation et un lieu de rencontre sociale. Né dans l'Antiquité grecque avec les tragédies d'Eschyle et Sophocle, il explore les grandes questions humaines. Le Moyen Âge voit l'essor des mystères religieux, tandis que la Renaissance célèbre Shakespeare et Molière. Le théâtre moderne expérimente avec le réalisme, l'absurde et le théâtre de l'opprimé. Il combine texte, jeu d'acteur, décor et lumière pour créer une expérience immersive.
|
||||
@@ -0,0 +1 @@
|
||||
Le vitrail assemble des morceaux de verre coloré maintenus par des baguettes de plomb pour créer des compositions lumineuses. Au Moyen Âge, les cathédrales gothiques comme Chartres transforment la lumière divine en récits bibliques. Les maîtres verriers maîtrisent la chimie des oxydes métalliques pour obtenir des couleurs intenses. Chaque pièce est taillée selon le carton préparatoire puis sertie. Le XXe siècle voit Chagall et Soulages réinventer cet art millénaire.
|
||||
@@ -0,0 +1 @@
|
||||
La gravure est une technique d'impression où l'artiste incise une matrice (bois, métal, pierre) pour créer des estampes multiples. La xylogravie (bois) est la plus ancienne, utilisée par Dürer et les estampes japonaises ukiyo-e. La taille-douce (métal) comprend l'eau-forte, l'aquatinte et le burin, prisées par Rembrandt et Goya. La lithographie, inventée en 1796, permet des nuances subtiles exploitées par Toulouse-Lautrec. Chaque tirage est numéroté et signé par l'artiste.
|
||||
@@ -0,0 +1 @@
|
||||
L'éléphant s'est échappé
|
||||
@@ -0,0 +1 @@
|
||||
Le foot est un sport populaire
|
||||
@@ -0,0 +1 @@
|
||||
Il va courir
|
||||
@@ -0,0 +1 @@
|
||||
La Guerre Froide (1947-1991) oppose les États-Unis capitalistes à l'URSS communiste sans conflit direct. Le rideau de fer divise l'Europe entre blocs occidental et oriental. Les crises majeures incluent Berlin (1948, 1961), Cuba (1962) et le Vietnam. La course aux armements nucléaires menace l'humanité. La détente des années 1970 laisse place aux tensions des années 1980. La chute du mur de Berlin en 1989 symbolise la fin de la Guerre Froide.
|
||||
@@ -0,0 +1 @@
|
||||
L'Égypte ancienne prospère pendant 3000 ans le long du Nil, de 3100 avant J.-C. à 30 avant J.-C. Les pharaons sont considérés comme des dieux vivants. Les pyramides de Gizeh, notamment celle de Khéops, témoignent de prouesses architecturales. L'écriture hiéroglyphique permet l'administration et la transmission des savoirs. Le culte des morts et la momification préparent à la vie après la mort. Cléopâtre VII est la dernière souveraine avant la conquête romaine.
|
||||
@@ -0,0 +1 @@
|
||||
La mondialisation désigne l'intégration croissante des économies et sociétés à l'échelle planétaire. Accélérée depuis 1990, elle s'appuie sur les nouvelles technologies, les transports et la libéralisation des échanges. Les firmes multinationales organisent la production mondiale. Les flux commerciaux, financiers et migratoires s'intensifient. Ce processus crée des interdépendances mais accentue aussi les inégalités entre pays développés et en développement.
|
||||
@@ -0,0 +1,52 @@
|
||||
queries = [
|
||||
{
|
||||
"q": "cours d'histoire de l'antiquité",
|
||||
"expected_document_ids": [5, 8],
|
||||
},
|
||||
{
|
||||
"q": "recette salée végétarienne",
|
||||
"expected_document_ids": [42, 54, 58],
|
||||
},
|
||||
{
|
||||
"q": "art dramatique",
|
||||
"expected_document_ids": [71],
|
||||
},
|
||||
{
|
||||
"q": "art de bouger son corps",
|
||||
"expected_document_ids": [63, 68],
|
||||
},
|
||||
{
|
||||
"q": "mammifères aquatiques",
|
||||
"expected_document_ids": [22, 37],
|
||||
},
|
||||
{
|
||||
"q": "insectes pollinisateurs",
|
||||
"expected_document_ids": [29],
|
||||
},
|
||||
{
|
||||
"q": "prédateur félin",
|
||||
"expected_document_ids": [21, 30],
|
||||
},
|
||||
{
|
||||
"q": "elephant",
|
||||
"expected_document_ids": [23, 74],
|
||||
},
|
||||
{
|
||||
"q": "courir",
|
||||
"expected_document_ids": [76],
|
||||
},
|
||||
{
|
||||
# test "football" -> "foot"
|
||||
"q": "football",
|
||||
"expected_document_ids": [75],
|
||||
},
|
||||
{ # test partial word matching
|
||||
"q": "couri",
|
||||
"expected_document_ids": [76],
|
||||
},
|
||||
{
|
||||
# test fuzzy matching with ngrams
|
||||
"q": "courrir",
|
||||
"expected_document_ids": [76],
|
||||
},
|
||||
]
|
||||
@@ -0,0 +1,263 @@
|
||||
"""
|
||||
Evaluate search engine performance with test documents and queries.
|
||||
"""
|
||||
|
||||
import importlib
|
||||
import logging
|
||||
import math
|
||||
import os
|
||||
import unicodedata
|
||||
|
||||
from django.conf import settings
|
||||
from django.core.management.base import BaseCommand
|
||||
|
||||
from core.management.commands.create_search_pipeline import (
|
||||
ensure_search_pipeline_exists,
|
||||
)
|
||||
from core.services.opensearch import (
|
||||
check_hybrid_search_enabled,
|
||||
opensearch_client,
|
||||
search,
|
||||
)
|
||||
|
||||
from evaluation.management.commands.utils import (
|
||||
bulk_create_documents,
|
||||
delete_index,
|
||||
delete_search_pipeline,
|
||||
prepare_index,
|
||||
)
|
||||
|
||||
logger = logging.getLogger(__name__)
|
||||
|
||||
|
||||
class Command(BaseCommand):
|
||||
"""Evaluate search engine performance"""
|
||||
|
||||
help = __doc__
|
||||
opensearch_client_ = opensearch_client()
|
||||
index_name = "evaluation-index"
|
||||
search_params = {
|
||||
"nb_results": 20,
|
||||
"order_by": "relevance",
|
||||
"order_direction": "desc",
|
||||
"search_indices": {index_name},
|
||||
"reach": None,
|
||||
"user_sub": "user_sub",
|
||||
"groups": [],
|
||||
"visited": [],
|
||||
}
|
||||
base_data_path = "evaluation/data"
|
||||
documents = []
|
||||
queries = []
|
||||
id_to_title = {}
|
||||
|
||||
def add_arguments(self, parser):
|
||||
parser.add_argument(
|
||||
dest="dataset_name",
|
||||
type=str,
|
||||
help="Name of the dataset to use for evaluation",
|
||||
)
|
||||
parser.add_argument(
|
||||
"--min_score",
|
||||
dest="min_score",
|
||||
type=float,
|
||||
default=0.0,
|
||||
help="hits with a score lower than min_score are ignored",
|
||||
)
|
||||
parser.add_argument(
|
||||
"--keep-index",
|
||||
dest="keep_index",
|
||||
type=bool,
|
||||
default=True,
|
||||
help="If True the index is not dropped after evaluation.",
|
||||
)
|
||||
parser.add_argument(
|
||||
"--force-reindex",
|
||||
dest="force_reindex",
|
||||
type=bool,
|
||||
default=False,
|
||||
help="If True the index is dropped and recreated from scratch even if it already exists.",
|
||||
)
|
||||
|
||||
def handle(self, *args, **options):
|
||||
"""Launch the search engine evaluation."""
|
||||
|
||||
self.init_evaluation(options["dataset_name"], options["force_reindex"])
|
||||
self.stdout.write(
|
||||
f"[INFO] Starting evaluation with {len(self.documents)} documents and {len(self.queries)} queries"
|
||||
)
|
||||
|
||||
evaluations = [
|
||||
self.evaluate_query(query, options["min_score"]) for query in self.queries
|
||||
]
|
||||
|
||||
avg_metrics = self.calculate_average_metrics(evaluations)
|
||||
self.stdout.write(
|
||||
f"\n{'=' * 60}\n"
|
||||
f"[SUMMARY] Average Performance\n"
|
||||
f"{'=' * 60}\n"
|
||||
f" Average NDCG: {avg_metrics['avg_ndcg']:.2%}\n"
|
||||
f" Average Precision: {avg_metrics['avg_precision']:.2%}\n"
|
||||
f" Average Recall: {avg_metrics['avg_recall']:.2%}\n"
|
||||
f" Average F1-Score: {avg_metrics['avg_f1_score']:.2%}\n"
|
||||
)
|
||||
|
||||
self.close_evaluation(options["keep_index"])
|
||||
self.stdout.write(self.style.SUCCESS("\n[SUCCESS] Evaluation completed"))
|
||||
|
||||
def init_evaluation(self, dataset_name, force_reindex):
|
||||
"""Initialize evaluation by preparing index and mapping."""
|
||||
self.documents = self.load_documents(dataset_name)
|
||||
self.queries = (
|
||||
importlib.import_module(f"evaluation.data.{dataset_name}.queries")
|
||||
).queries
|
||||
self.overwrite_settings()
|
||||
check_hybrid_search_enabled.cache_clear()
|
||||
delete_search_pipeline()
|
||||
ensure_search_pipeline_exists()
|
||||
if not opensearch_client().indices.exists(index=self.index_name):
|
||||
prepare_index(self.index_name, bulk_create_documents(self.documents))
|
||||
elif force_reindex:
|
||||
delete_index(self.index_name)
|
||||
prepare_index(self.index_name, bulk_create_documents(self.documents))
|
||||
|
||||
def load_documents(self, dataset_name: str):
|
||||
"""
|
||||
Load a dataset module containing a `documents` list and return:
|
||||
"""
|
||||
|
||||
documents_dir_path = os.path.join(
|
||||
self.base_data_path, dataset_name, "documents"
|
||||
)
|
||||
documents = []
|
||||
for filename in os.listdir(documents_dir_path):
|
||||
if not filename.endswith(".txt"):
|
||||
logger.warning(
|
||||
f"Unexpected file format for document: {filename}. Only .txt files are supported."
|
||||
)
|
||||
|
||||
str_document_id, title_with_extension = filename.split("_", 1)
|
||||
document_id = int(str_document_id)
|
||||
document_title = unicodedata.normalize(
|
||||
"NFC", title_with_extension.rsplit(".", -1)[0]
|
||||
)
|
||||
|
||||
filepath = os.path.join(documents_dir_path, filename)
|
||||
with open(filepath, "r", encoding="utf-8") as f:
|
||||
content = f.read()
|
||||
|
||||
documents.append(
|
||||
{
|
||||
"id": document_id,
|
||||
"title": document_title,
|
||||
"content": content,
|
||||
}
|
||||
)
|
||||
self.id_to_title[document_id] = document_title
|
||||
|
||||
return documents
|
||||
|
||||
def evaluate_query(self, query, min_score=0.0):
|
||||
"""Evaluate a single query and return metrics."""
|
||||
results = search(q=query["q"], **self.search_params)
|
||||
expected_titles = [
|
||||
self.id_to_title[document_id]
|
||||
for document_id in query["expected_document_ids"]
|
||||
]
|
||||
retrieved_ordered_titles = [
|
||||
result["_source"]["title"]
|
||||
for result in results["hits"]["hits"]
|
||||
if result["_score"] >= min_score
|
||||
]
|
||||
|
||||
metrics = self.calculate_metrics(expected_titles, retrieved_ordered_titles)
|
||||
|
||||
self.stdout.write(
|
||||
f"\n[QUERY EVALUATION]\n"
|
||||
f" q: {query['q']}\n"
|
||||
f" expect: {list(expected_titles)}\n"
|
||||
f" result: {list(retrieved_ordered_titles)}\n"
|
||||
f" NDCG: {metrics['ndcg']:.2%} \n"
|
||||
f" PRECISION: {metrics['precision']:.2%} \n"
|
||||
f" RECALL: {metrics['recall']:.2%} \n"
|
||||
f" F1-SCORE: {metrics['f1_score']:.2%} \n"
|
||||
)
|
||||
return {
|
||||
"q": query["q"],
|
||||
"expected_titles": expected_titles,
|
||||
"retrieved_titles": retrieved_ordered_titles,
|
||||
"metrics": metrics,
|
||||
}
|
||||
|
||||
def calculate_metrics(self, expected_titles, retrieved_ordered_titles):
|
||||
"""Calculate precision, recall, F1-score, DCG and NDCG."""
|
||||
|
||||
dcg = self.calculate_dcg(expected_titles, retrieved_ordered_titles)
|
||||
idcg = self.calculate_dcg(expected_titles, expected_titles)
|
||||
ndcg = dcg / idcg if idcg > 0 else 0
|
||||
nb_true_positives = len(set(expected_titles) & set(retrieved_ordered_titles))
|
||||
precision = (
|
||||
nb_true_positives / len(retrieved_ordered_titles)
|
||||
if retrieved_ordered_titles
|
||||
else 0
|
||||
)
|
||||
recall = nb_true_positives / len(expected_titles) if expected_titles else 0
|
||||
f1_score = (
|
||||
2 * (precision * recall) / (precision + recall)
|
||||
if (precision + recall) > 0
|
||||
else 0
|
||||
)
|
||||
|
||||
return {
|
||||
"ndcg": ndcg,
|
||||
"precision": precision,
|
||||
"recall": recall,
|
||||
"f1_score": f1_score,
|
||||
"true_positives": nb_true_positives,
|
||||
}
|
||||
|
||||
def calculate_dcg(self, expected_titles, retrieved_ordered_titles):
|
||||
"""Calculate Discounted Cumulative Gain."""
|
||||
return sum(
|
||||
(1 if title in expected_titles else 0) / math.log2(rank + 2)
|
||||
for rank, title in enumerate(retrieved_ordered_titles)
|
||||
) / len(expected_titles)
|
||||
|
||||
def calculate_average_metrics(self, evaluations):
|
||||
"""Calculate average metrics across all queries."""
|
||||
if not evaluations:
|
||||
return {
|
||||
"avg_ndcg": 0,
|
||||
"avg_precision": 0,
|
||||
"avg_recall": 0,
|
||||
"avg_f1_score": 0,
|
||||
}
|
||||
|
||||
total_ndcg = sum(r["metrics"]["ndcg"] for r in evaluations)
|
||||
total_precision = sum(r["metrics"]["precision"] for r in evaluations)
|
||||
total_recall = sum(r["metrics"]["recall"] for r in evaluations)
|
||||
total_f1 = sum(r["metrics"]["f1_score"] for r in evaluations)
|
||||
nb_evaluations = len(evaluations)
|
||||
|
||||
return {
|
||||
"avg_ndcg": total_ndcg / nb_evaluations,
|
||||
"avg_precision": total_precision / nb_evaluations,
|
||||
"avg_recall": total_recall / nb_evaluations,
|
||||
"avg_f1_score": total_f1 / nb_evaluations,
|
||||
}
|
||||
|
||||
def close_evaluation(self, keep_index):
|
||||
"""Delete the evaluation index."""
|
||||
delete_search_pipeline()
|
||||
if not keep_index:
|
||||
delete_index(self.index_name)
|
||||
|
||||
@staticmethod
|
||||
def overwrite_settings():
|
||||
"""Overwrite settings for evaluation purposes."""
|
||||
settings.HYBRID_SEARCH_ENABLED = True
|
||||
settings.HYBRID_SEARCH_WEIGHTS = [0.2, 0.8]
|
||||
settings.EMBEDDING_API_PATH = "https://albert.api.etalab.gouv.fr/v1/embeddings"
|
||||
settings.EMBEDDING_REQUEST_TIMEOUT = 10
|
||||
settings.EMBEDDING_API_MODEL_NAME = "embeddings-small"
|
||||
settings.EMBEDDING_DIMENSION = 1024
|
||||
@@ -0,0 +1,80 @@
|
||||
"""Tests Service model for find's core app."""
|
||||
|
||||
import logging
|
||||
from typing import List
|
||||
|
||||
from django.conf import settings as django_settings
|
||||
|
||||
from opensearchpy.exceptions import NotFoundError
|
||||
|
||||
from core import factories
|
||||
from core.services import opensearch
|
||||
from core.services.opensearch import (
|
||||
check_hybrid_search_enabled,
|
||||
embed_text,
|
||||
format_document,
|
||||
)
|
||||
|
||||
logger = logging.getLogger(__name__)
|
||||
|
||||
|
||||
def bulk_create_documents(document_payloads):
|
||||
"""Create documents in bulk from payloads"""
|
||||
return [
|
||||
factories.DocumentSchemaFactory.build(**document_payload, users=["user_sub"])
|
||||
for document_payload in document_payloads
|
||||
]
|
||||
|
||||
|
||||
def delete_search_pipeline():
|
||||
"""Delete the hybrid search pipeline if it exists"""
|
||||
logger.info(f"Deleting search pipeline {django_settings.HYBRID_SEARCH_PIPELINE_ID}")
|
||||
|
||||
try:
|
||||
opensearch.opensearch_client().transport.perform_request(
|
||||
method="DELETE",
|
||||
url=f"/_search/pipeline/{django_settings.HYBRID_SEARCH_PIPELINE_ID}",
|
||||
)
|
||||
except NotFoundError:
|
||||
logger.info("Search pipeline not found, nothing to delete.")
|
||||
|
||||
|
||||
def delete_index(index_name):
|
||||
"""Delete the hybrid search pipeline if it exists"""
|
||||
logger.info(f"Deleting Index {index_name}")
|
||||
|
||||
try:
|
||||
opensearch.opensearch_client().indices.delete(index=index_name)
|
||||
except NotFoundError:
|
||||
logger.info("Search pipeline %s not found, nothing to delete.", index_name)
|
||||
|
||||
|
||||
def prepare_index(index_name, documents: List):
|
||||
"""Prepare the search index."""
|
||||
logger.info(f"prepare_index {index_name} with {len(documents)} documents")
|
||||
opensearch_client_ = opensearch.opensearch_client()
|
||||
opensearch.ensure_index_exists(index_name)
|
||||
actions = []
|
||||
for document in documents:
|
||||
document_dict = {
|
||||
**document,
|
||||
"embedding": embed_text(
|
||||
format_document(document["title"], document["content"])
|
||||
)
|
||||
if check_hybrid_search_enabled()
|
||||
else None,
|
||||
"embedding_model": django_settings.EMBEDDING_API_MODEL_NAME
|
||||
if check_hybrid_search_enabled()
|
||||
else None,
|
||||
}
|
||||
_id = document_dict.pop("id")
|
||||
actions.append({"index": {"_id": _id}})
|
||||
actions.append(document_dict)
|
||||
|
||||
opensearch_client_.bulk(index=index_name, body=actions)
|
||||
opensearch_client_.indices.refresh(index=index_name)
|
||||
count = opensearch_client_.count(index=index_name)["count"]
|
||||
if count != len(documents):
|
||||
raise ValueError(
|
||||
f"Indexing error: expected {len(documents)} documents, but found {count} in index {index_name}"
|
||||
)
|
||||
@@ -0,0 +1,144 @@
|
||||
"""
|
||||
Test suite for evaluate_search_engine management command
|
||||
"""
|
||||
|
||||
import io
|
||||
import logging
|
||||
from unittest.mock import patch
|
||||
|
||||
from django.core.management import call_command
|
||||
|
||||
import pytest
|
||||
import responses
|
||||
|
||||
from core.services.opensearch import check_hybrid_search_enabled, opensearch_client
|
||||
from core.tests.mock import albert_embedding_response
|
||||
|
||||
from evaluation.management.commands.utils import delete_index, delete_search_pipeline
|
||||
|
||||
logger = logging.getLogger(__name__)
|
||||
|
||||
pytestmark = pytest.mark.django_db
|
||||
|
||||
|
||||
INDEX_NAME = "evaluation-index"
|
||||
|
||||
|
||||
@pytest.fixture(autouse=True)
|
||||
def clear_caches_and_cleanup():
|
||||
"""Clear caches and cleanup before and after each test"""
|
||||
clear()
|
||||
yield
|
||||
clear()
|
||||
|
||||
|
||||
def clear():
|
||||
check_hybrid_search_enabled.cache_clear()
|
||||
delete_search_pipeline()
|
||||
delete_index(INDEX_NAME)
|
||||
|
||||
|
||||
@pytest.fixture
|
||||
def mock_embedding_api(settings):
|
||||
"""Mock the embedding API for tests"""
|
||||
responses.add(
|
||||
responses.POST,
|
||||
settings.EMBEDDING_API_PATH,
|
||||
json=albert_embedding_response.response,
|
||||
status=200,
|
||||
)
|
||||
|
||||
|
||||
def assert_output_successful(output):
|
||||
assert "[INFO] Starting evaluation with 1 documents and 1 queries" in output
|
||||
assert "[QUERY EVALUATION]" in output
|
||||
assert "q: a query" in output
|
||||
assert "[SUMMARY] Average Performance" in output
|
||||
assert "Average NDCG:" in output
|
||||
assert "Average Precision:" in output
|
||||
assert "Average Recall:" in output
|
||||
assert "Average F1-Score:" in output
|
||||
assert "[SUCCESS] Evaluation completed" in output
|
||||
|
||||
|
||||
@responses.activate
|
||||
def test_evaluate_search_engine_command_v0(settings, mock_embedding_api):
|
||||
"""Test running the evaluate_search_engine command with v0 dataset"""
|
||||
out = io.StringIO()
|
||||
|
||||
call_command(
|
||||
"evaluate_search_engine",
|
||||
"v0",
|
||||
stdout=out,
|
||||
)
|
||||
|
||||
assert_output_successful(out.getvalue())
|
||||
|
||||
# Index should still exist because keep-index is True by default
|
||||
assert opensearch_client().indices.exists(index="evaluation-index")
|
||||
|
||||
|
||||
@responses.activate
|
||||
def test_evaluate_search_engine_command_without_keep_index(mock_embedding_api):
|
||||
"""Test that keep-index option False erases index"""
|
||||
out = io.StringIO()
|
||||
|
||||
call_command(
|
||||
"evaluate_search_engine",
|
||||
"v0",
|
||||
keep_index=False,
|
||||
stdout=out,
|
||||
)
|
||||
|
||||
assert_output_successful(out.getvalue())
|
||||
|
||||
# Index should not exist
|
||||
assert not opensearch_client().indices.exists(index="evaluation-index")
|
||||
|
||||
|
||||
@patch("evaluation.management.commands.evaluate_search_engine.delete_index")
|
||||
@responses.activate
|
||||
def test_evaluate_search_engine_command_force_reindex(
|
||||
mock_delete_index, mock_embedding_api
|
||||
):
|
||||
"""Test that force-reindex must delete and recreates the index"""
|
||||
out = io.StringIO()
|
||||
|
||||
# run once to create the index
|
||||
call_command(
|
||||
"evaluate_search_engine",
|
||||
"v0",
|
||||
stdout=out,
|
||||
)
|
||||
|
||||
mock_delete_index.clear()
|
||||
# Run again with force-reindex
|
||||
call_command(
|
||||
"evaluate_search_engine",
|
||||
"v0",
|
||||
force_reindex=True,
|
||||
stdout=out,
|
||||
)
|
||||
|
||||
# Verify delete_index was called once with the correct index name
|
||||
mock_delete_index.assert_called_once_with("evaluation-index")
|
||||
|
||||
|
||||
@responses.activate
|
||||
def test_evaluate_search_engine_min_score_filter(settings, mock_embedding_api):
|
||||
"""Test that min_score filters out low-scoring results"""
|
||||
|
||||
out = io.StringIO()
|
||||
super_hight_score = 1000.0
|
||||
call_command(
|
||||
"evaluate_search_engine",
|
||||
"v0",
|
||||
min_score=super_hight_score,
|
||||
stdout=out,
|
||||
)
|
||||
|
||||
# Assert all scores are null proving all results were filtered out
|
||||
assert (
|
||||
"NDCG: 0.00% \n PRECISION: 0.00% \n RECALL: 0.00% \n F1-SCORE: 0.00%"
|
||||
in out.getvalue()
|
||||
)
|
||||
@@ -187,6 +187,7 @@ class Base(Configuration):
|
||||
# find
|
||||
"core",
|
||||
"demo",
|
||||
"evaluation",
|
||||
# Third party apps
|
||||
"corsheaders",
|
||||
"dockerflow.django",
|
||||
|
||||
@@ -44,7 +44,7 @@ dependencies = [
|
||||
"requests==2.32.4",
|
||||
"sentry-sdk==2.32.0",
|
||||
"url-normalize==1.4.3",
|
||||
"opensearch-py==2.8.0",
|
||||
"opensearch-py==3.1.0",
|
||||
"whitenoise==6.8.2",
|
||||
]
|
||||
|
||||
|
||||
Reference in New Issue
Block a user