lbaudin-ensae/documentation-dsit
1
0
Fork 0
forked from DSIT/documentation-dsit
Code Pull Requests Activity

Actualiser docs/Services/pole-scientifique/Onyxia/docs/stockage.md

Browse Source
This commit is contained in:
Alexis GUYOT 2024-01-25 14:25:50 +01:00
parent a5381dcab7
commit a18d374262
1 changed files with 31 additions and 12 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

39
docs/Services/pole-scientifique/Onyxia/docs/stockage.md
View File

@ -20,12 +20,6 @@ Chaque utilisateur dispose par défaut d'un _bucket_ personnel pour stocker ses
* "**créer un répertoire**" : crée un répertoire dans le _bucket_/répertoire courant, de manière hiérarchique, comme dans un système de fichiers traditionnel ;
* "_**uploader**_** un fichier**" : _upload_ un ou plusieurs fichiers dans le répertoire courant.
!!! warning
L'interface graphique du stockage de données sur le Datalab est encore en cours de construction. Elle peut à ce titre présenter des problèmes de réactivité. Pour des opérations fréquentes sur le stockage de fichiers, il peut être préférable d'interagir avec MinIO via le terminal.
!!! warning L'interface graphique du stockage de données sur le Datalab est encore en cours de construction. Elle peut à ce titre présenter des problèmes de réactivité. Pour des opérations fréquentes sur le stockage de fichiers, il peut être préférable d'interagir avec MinIO via le terminal.
!!! warning
L'interface graphique du stockage de données sur le Datalab est encore en cours de construction. Elle peut à ce titre présenter des problèmes de réactivité. Pour des opérations fréquentes sur le stockage de fichiers, il peut être préférable d'interagir avec MinIO via le terminal.
@ -35,15 +29,14 @@ En cliquant sur un fichier dans son _bucket_ personnel, on accède à sa page de
Pour simplifier la mise à disposition en lecture de plusieurs fichiers — dans le cadre d'une formation par exemple — il est possible de créer un **dossier "diffusion"** dans son _bucket_ personnel. Par défaut, tous les fichiers présents dans ce dossier ont un statut de diffusion public.
::: {.callout-note}
!!! note
Dans le cadre de projets collaboratifs, il peut être intéressant pour les différents participants d'avoir accès à un espace de stockage commun. Il est possible pour cet usage de créer des _buckets_ partagés sur MinIO. N'hésitez pas à nous contacter sois sur notre teams <a href="https://teams.microsoft.com/l/team/19%3Ak2a7PAYG-0EO6vmypa7sBdB5hXUR5c3YBDcszO0wCe41%40thread.tacv2/conversations?groupId=050057b4-2f34-4149-9084-5cd8f14b48e5&tenantId=99578065-47e8-4c36-bbf8-4e1228cfb056" target="_blank">ici Datalab - GENES - Teams</a> ou via notre mail support à l’adresse support.informatique@ensae.fr si vous souhaitez porter des projets _open-data_ sur le Datalab.
:::
<a href="https://onyxia.lab.groupe-genes.fr/my-files" target="_blank">
::: {.callout-warning}
!!! warning
Conformément aux <a href="https://www.sspcloud.fr/tos\_fr.md" target="_blank">conditions d'utilisation</a>, seuls des données de type _open data_ ou ne présentant aucune sensibilité peuvent être stockées sur le Datalab. Le fait qu'un fichier ait un statut de diffusion "privé" ne suffit pas à garantir une parfaite confidentialité.
:::
## Utiliser des données stockées sur MinIO
@ -54,8 +47,34 @@ L'accès au stockage MinIO est possible via un token (jeton d'accès) personnel,
### Configuration
::: {.panel-tabset}
=== "R"
``` En R, l'interaction avec un système de fichiers compatible S3 est rendu possible par la librairie `aws.s3`.
library(aws.s3)
```
=== "Python (avec Jupyter ou VSCode)"
``` En Python, l'interaction avec un système de fichiers compatible S3 est rendu possible par deux librairies :
* <a href="https://boto3.amazonaws.com/v1/documentation/api/latest/index.html" target="_blank">Boto3</a>, une librairie créée et maintenue par Amazon ;
* <a href="https://s3fs.readthedocs.io/en/latest/" target="_blank">S3Fs</a>, une librairie qui permet d'interagir avec les fichiers stockés à l'instar d'un _filesystem_ classique.
Pour cette raison et parce que S3Fs est utilisée par défaut par la librairie <a href="https://pandas.pydata.org" target="_blank">pandas</a> pour gérer les connections S3, nous allons présenter la gestion du stockage sur MinIO via Python à travers cette librairie.
```
#### R
En R, l'interaction avec un système de fichiers compatible S3 est rendu possible par la librairie `aws.s3`.