lbaudin-ensae/documentation-dsit
1
0
Fork 0
forked from DSIT/documentation-dsit
Code Pull Requests Activity

Actualiser docs/Services/pole-scientifique/Onyxia/docs/stockage.md

Browse Source
This commit is contained in:
Alexis GUYOT 2024-01-25 14:34:41 +01:00
parent a18d374262
commit 34912df7d0
1 changed files with 16 additions and 11 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

27
docs/Services/pole-scientifique/Onyxia/docs/stockage.md
View File

@ -55,24 +55,29 @@ L'accès au stockage MinIO est possible via un token (jeton d'accès) personnel,
=== "R"
``` En R, l'interaction avec un système de fichiers compatible S3 est rendu possible par la librairie `aws.s3`.
En R, l'interaction avec un système de fichiers compatible S3 est rendu possible par la librairie `aws.s3`.
library(aws.s3)
```
=== "Python"
En Python, l'interaction avec un système de fichiers compatible S3 est rendu possible par deux librairies :
* <a href="https://boto3.amazonaws.com/v1/documentation/api/latest/index.html" target="_blank">Boto3</a>, une librairie créée et maintenue par Amazon ;* <a href="https://s3fs.readthedocs.io/en/latest/" target="_blank">S3Fs</a>, une librairie qui permet d'interagir avec les fichiers stockés à l'instar d'un _filesystem_ classique.
=== "Python (avec Jupyter ou VSCode)"
Pour cette raison et parce que S3Fs est utilisée par défaut par la librairie <a href="https://pandas.pydata.org" target="_blank">pandas</a> pour gérer les connections S3, nous allons présenter la gestion du stockage sur MinIO via Python à travers cette librairie.
```python
import os
import s3fs
``` En Python, l'interaction avec un système de fichiers compatible S3 est rendu possible par deux librairies :
* <a href="https://boto3.amazonaws.com/v1/documentation/api/latest/index.html" target="_blank">Boto3</a>, une librairie créée et maintenue par Amazon ;
* <a href="https://s3fs.readthedocs.io/en/latest/" target="_blank">S3Fs</a>, une librairie qui permet d'interagir avec les fichiers stockés à l'instar d'un _filesystem_ classique.
Pour cette raison et parce que S3Fs est utilisée par défaut par la librairie <a href="https://pandas.pydata.org" target="_blank">pandas</a> pour gérer les connections S3, nous allons présenter la gestion du stockage sur MinIO via Python à travers cette librairie.
```
# Create filesystem object
S3_ENDPOINT_URL = "https://" + os.environ["AWS_S3_ENDPOINT"]
fs = s3fs.S3FileSystem(client_kwargs={'endpoint_url': S3_ENDPOINT_URL})
```
=== "mc"
MinIO propose un client en ligne de commande (`ùc`) qui permet d’interagir avec le système de stockage à la manière d'un _filesystem_ UNIX classique. Ce client est installé par défaut et accessible via un terminal dans les différents services du Datalab.
Le client MinIO propose les commandes UNIX de base, telles que ls, cat, cp, etc. La liste complète est disponible dans la <a href="https://docs.min.io/docs/minio-client-complete-guide.html" target="_blank">documentation du client</a>.
#### R