lbaudin-ensae/documentation-dsit
1
0
Fork 0
forked from DSIT/documentation-dsit
Code Pull Requests Activity

Actualiser docs/Services/pole-scientifique/Onyxia/docs/stockage.md

Browse Source
This commit is contained in:
Alexis GUYOT 2024-01-25 14:34:41 +01:00
parent a18d374262
commit 34912df7d0
1 changed files with 16 additions and 11 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

29
docs/Services/pole-scientifique/Onyxia/docs/stockage.md
View File

@ -55,24 +55,29 @@ L'accès au stockage MinIO est possible via un token (jeton d'accès) personnel,
=== "R" === "R"
``` En R, l'interaction avec un système de fichiers compatible S3 est rendu possible par la librairie `aws.s3`. En R, l'interaction avec un système de fichiers compatible S3 est rendu possible par la librairie `aws.s3`.
library(aws.s3) library(aws.s3)
=== "Python"
En Python, l'interaction avec un système de fichiers compatible S3 est rendu possible par deux librairies :
* <a href="https://boto3.amazonaws.com/v1/documentation/api/latest/index.html" target="_blank">Boto3</a>, une librairie créée et maintenue par Amazon ;* <a href="https://s3fs.readthedocs.io/en/latest/" target="_blank">S3Fs</a>, une librairie qui permet d'interagir avec les fichiers stockés à l'instar d'un _filesystem_ classique.
Pour cette raison et parce que S3Fs est utilisée par défaut par la librairie <a href="https://pandas.pydata.org" target="_blank">pandas</a> pour gérer les connections S3, nous allons présenter la gestion du stockage sur MinIO via Python à travers cette librairie.
```python
import os
import s3fs
# Create filesystem object
S3_ENDPOINT_URL = "https://" + os.environ["AWS_S3_ENDPOINT"]
fs = s3fs.S3FileSystem(client_kwargs={'endpoint_url': S3_ENDPOINT_URL})
``` ```
=== "Python (avec Jupyter ou VSCode)" === "mc"
MinIO propose un client en ligne de commande (`ùc`) qui permet d’interagir avec le système de stockage à la manière d'un _filesystem_ UNIX classique. Ce client est installé par défaut et accessible via un terminal dans les différents services du Datalab.
``` En Python, l'interaction avec un système de fichiers compatible S3 est rendu possible par deux librairies :
* <a href="https://boto3.amazonaws.com/v1/documentation/api/latest/index.html" target="_blank">Boto3</a>, une librairie créée et maintenue par Amazon ;
* <a href="https://s3fs.readthedocs.io/en/latest/" target="_blank">S3Fs</a>, une librairie qui permet d'interagir avec les fichiers stockés à l'instar d'un _filesystem_ classique.
Pour cette raison et parce que S3Fs est utilisée par défaut par la librairie <a href="https://pandas.pydata.org" target="_blank">pandas</a> pour gérer les connections S3, nous allons présenter la gestion du stockage sur MinIO via Python à travers cette librairie.
```
Le client MinIO propose les commandes UNIX de base, telles que ls, cat, cp, etc. La liste complète est disponible dans la <a href="https://docs.min.io/docs/minio-client-complete-guide.html" target="_blank">documentation du client</a>.
#### R #### R