feat(pipeline): add imilo as a new data source

[YannickPassa]

Carte associée

[vmttn]

J'ai rebased sur main ;)

[vperron]

Bon pour moi, faut peut etre le verifier sur staging avec Antoine et on merge ensuite ?

[vmttn]

beau boulot !

je n'ai pas réussi à exécuter l'extraction :

...
[2025-01-13, 08:52:44 UTC] {process_utils.py:194} INFO - requests.exceptions.HTTPError: 401 Client Error: Unauthorized for url: https://api-ods.dsiml.org/get_token
...

Est-ce que l'url est la bonne ?

J'ai utilisé le token stocké sur bw, tu confirmes que c'est le bon ?

[vmttn]

Suggested change

from airflow.models import Variable

[vmttn]

Fais l'instanciation du client au runtime (et non au chargement du fichier)

Suggested change

	client = ImiloClient(
	base_url=Variable.get("IMILO_API_URL"),
	secret=Variable.get("IMILO_API_SECRET"),
	)
	def extract(id: str, url: str, token: str, **kwargs) -> bytes:
	data = getattr(client, f"list_{id}")()
	return json.dumps(data).encode()
	def extract(id: str, url: str, token: str, **kwargs) -> bytes:
	client = ImiloClient(base_url=url, secret=token)
	data = getattr(client, f"list_{id}")()
	return json.dumps(data).encode()

[vmttn]

quelle est la durée de vie de ce token ?

[YannickPassa]

1 heure

[vmttn]

merci ! est-ce que tu peux ajouter un petit commentaire pour l'indiquer ?

[vmttn]

si tu veux une version un peu plus compact :

1. réutiliser notre utils.BaseApiClient qui s'occupe de faire raise_for_status
2. pas besoin de mettre le header Content-Type. Pour le POST, il suffit d'utiliser le param json= ce qui a pour effet de te mettre le header.
3. dans tous les cas, pas besoin d'utiliser json.dumps
4. renommer secret en secret_token et token en access_token qui est le nommage classique
5. j'encapsule la récupération de access_token dans une fonction (+ le decorator property pour simuler un attribut). Je récupére l'access token à li'nit, en partant du principe que la durée de vie de l'access_token est largement supérieure à nos besoins.
6. ça simplifie pas mal les choses. Tu peux écrirer tes fonctions list_offres() etc. très directement

Suggested change

	class ImiloClient:
	def __init__(self, base_url: str, secret: str) -> None:
	self.base_url = base_url.rstrip("/")
	self.session = requests.Session()
	self.session.headers.update({"Content-Type": "application/json"})
	self.secret = secret
	def _get_token(self):
	response = self.session.post(
	url=f"{self.base_url}/get_token",
	data=json.dumps(
	{
	"client_secret": self.secret,
	}
	),
	)
	response.raise_for_status()
	self.session.headers.update(
	{"Authorization": f"Bearer {response.json()["access_token"]}"}
	)
	def _get_endpoint(
	self,
	url_path: str,
	) -> list:
	next_url = f"{self.base_url}{url_path}"
	response = self.session.get(next_url)
	if response.status_code == 401:
	self._get_token()
	response = self.session.get(next_url)
	response.raise_for_status()
	return response.json()
	def list_offres(self) -> list:
	return self._get_endpoint("/get_offres")
	from . import utils
	class ImiloClient(utils.BaseApiClient:):
	def __init__(self, base_url: str, secret: str) -> None:
	super().__init__(base_url)
	self.secret_token = secret
	self.session.headers.update(
	{"Authorization": f"Bearer {self.access_token]}"}
	)
	@property
	def access_token(self):
	response = self.session.post(
	url=f"{self.base_url}/get_token",
	data={"client_secret": self.secret_token}
	),
	)
	return response.json()["access_token"]
	def list_offres(self) -> list:
	return self.session.get(f"{self.base_url}/get_offres").json()

[YannickPassa]

ça j'ai repris ce que tu as fait mais je n'ai pas reussi a le faire tourner :(

[vmttn]

Suggested change

import json

[vmttn]

est-ce qu'ils nous ont indiqué que les données n'auraient pas plus de 2 ans ? si oui ok. si non je comprends ta démarche, mais en pratique ça ne fera que du bruit et je pense qu'on peut retirer :/ (same for the others)

[vmttn]

mieux vaut un model dédié pour structures_offres qui matchent au plus près ce qu'ils nous exposent, avec des tests propres

le but de staging c'est de mettre les données au format tabulaire et de faire les nettoyages incontournables, sans changer le model de données à ce stade

le fait de faire le "produit" entre structures et offres, c'est déjà plus ce qu'on considère du mapping

[YannickPassa]

Bien noté, j'ai fait le mapping dans intermediate du coup :)

[vmttn]

pour tous les champs qui sont supposés réutilisés nos référentiels, on peut vérifier que c'est le cas.

e.g.

Suggested change

	- name: thematiques
	- name: thematiques
	data_tests:
	- relationships:
	to: ref('thematiques')
	field: value

[vmttn]

mis à part les métadonnées, est-ce qu'il y a des champs qu'on peut considérer obligatoire chez eux ? dans ce cas on peut ajouter des not_null

[vmttn]

leur modes_orientation_beneficiaire ne contient qu'une chaine de caractères (pas de liste) ??

[YannickPassa]

Pour l'instant oui

[YannickPassa]

beau boulot !

je n'ai pas réussi à exécuter l'extraction :

...
[2025-01-13, 08:52:44 UTC] {process_utils.py:194} INFO - requests.exceptions.HTTPError: 401 Client Error: Unauthorized for url: https://api-ods.dsiml.org/get_token
...

Est-ce que l'url est la bonne ?

J'ai utilisé le token stocké sur bw, tu confirmes que c'est le bon ?

Pardon, j'avais oublié de le mettre à jour. La maintenant c'est bon, il faut mettre la clé secrète (qui est désormais dans la note appelée Secret Key API MILO) car leur token dure 1h.

Merci pour tes retours je regarde ça demain aprèm !
Pour le script d'import des tables via l'API c'est @vperron qui l'a écrit, je vais voir avec lui si je prends en compte tes remarques sur ces fichiers ou si c'est lui.

[vperron]

Je l'ai écrit mais un peu vite, je trouve les remarques de @vmttn pertinentes, donc tu peux les prendre en compte !

Les commentaires que je vois sont plutôt d'ordre technique, je pense que ça vaut le coup de dployer sur staging pour préparer le terrain pour Antoine dès maintenant. Je mets donc le label "deploy-to-staging".

[vmttn]

⚠️ Achtung Yannick. J'avais rebased ta branche, et tu as force-pushed de nouveau l'ancienne branche 😁

ça explique les tests qui cassent. Donc il faut de nouveau rebase ;)

[vperron]

Yes, tu m'avais fait le meme coup l'autre jour ^^ Si tu veux je te refais un petit précis git pour refiger les choses ?

[YannickPassa]

@vmttn En fait ici je me dis que je pars déjà peut etre trop déjà dans le mapping mais ça avait l'avantage de permettre de tester si, lorsque de nouveaux profils seront ajoutés, ils matcheront bien notre référentiel

[vperron]

cc @hlecuyer y a-t-il une petite adaptation à faire pour faire rentrer un profils_precisions ici ?

[vperron]

sieht für mich gut aus