diff --git a/docs/Services/pole-scientifique/Onyxia/docs/stockage.md b/docs/Services/pole-scientifique/Onyxia/docs/stockage.md index 13ca0c6..b8e40c1 100644 --- a/docs/Services/pole-scientifique/Onyxia/docs/stockage.md +++ b/docs/Services/pole-scientifique/Onyxia/docs/stockage.md @@ -47,22 +47,17 @@ L'accès au stockage MinIO est possible via un token (jeton d'accès) personnel, ### Configuration - - - -::: {.panel-tabset} - - === "R" En R, l'interaction avec un système de fichiers compatible S3 est rendu possible par la librairie `aws.s3`. - + ```r library(aws.s3) - + ``` === "Python" En Python, l'interaction avec un système de fichiers compatible S3 est rendu possible par deux librairies : - * Boto3, une librairie créée et maintenue par Amazon ;* S3Fs, une librairie qui permet d'interagir avec les fichiers stockés à l'instar d'un _filesystem_ classique. + -Boto3, une librairie créée et maintenue par Amazon + -S3Fs, une librairie qui permet d'interagir avec les fichiers stockés à l'instar d'un _filesystem_ classique. Pour cette raison et parce que S3Fs est utilisée par défaut par la librairie pandas pour gérer les connections S3, nous allons présenter la gestion du stockage sur MinIO via Python à travers cette librairie. ```python @@ -80,65 +75,27 @@ L'accès au stockage MinIO est possible via un token (jeton d'accès) personnel, Le client MinIO propose les commandes UNIX de base, telles que ls, cat, cp, etc. La liste complète est disponible dans la documentation du client. -#### R - -En R, l'interaction avec un système de fichiers compatible S3 est rendu possible par la librairie `aws.s3`. - -```r -library(aws.s3) -``` - -#### Python (avec Jupyter ou VSCode) - -En Python, l'interaction avec un système de fichiers compatible S3 est rendu possible par deux librairies : - -* Boto3, une librairie créée et maintenue par Amazon ; -* S3Fs, une librairie qui permet d'interagir avec les fichiers stockés à l'instar d'un _filesystem_ classique. - -Pour cette raison et parce que S3Fs est utilisée par défaut par la librairie pandas pour gérer les connections S3, nous allons présenter la gestion du stockage sur MinIO via Python à travers cette librairie. - -```python -import os -import s3fs - -# Create filesystem object -S3_ENDPOINT_URL = "https://" + os.environ["AWS_S3_ENDPOINT"] -fs = s3fs.S3FileSystem(client_kwargs={'endpoint_url': S3_ENDPOINT_URL}) -``` - -#### mc - -MinIO propose un client en ligne de commande (`ùc`) qui permet d’interagir avec le système de stockage à la manière d'un _filesystem_ UNIX classique. Ce client est installé par défaut et accessible via un terminal dans les différents services du Datalab. - -Le client MinIO propose les commandes UNIX de base, telles que ls, cat, cp, etc. La liste complète est disponible dans la documentation du client. - -::: - ### Lister les fichiers d'un *bucket* -::: {.panel-tabset} -#### R +=== "R" + ```r + aws.s3::get_bucket("donnees-insee", region = "") + ``` -```r -aws.s3::get_bucket("donnees-insee", region = "") -``` +=== "Python -#### Python + ```python + fs.ls("donnees-insee") + ``` -```python -fs.ls("donnees-insee") -``` +=== "mc" + Le stockage du Datalab est accessible via l'alias `s3`. Par exemple, pour lister les fichiers du bucket `donnees-insee` : -#### mc + ```bash + mc ls s3/donnees-insee + ``` -Le stockage du Datalab est accessible via l'alias `s3`. Par exemple, pour lister les fichiers du bucket `donnees-insee` : - -```bash -mc ls s3/donnees-insee -``` - -::: ### Importer des données