forked from DSIT/documentation-dsit
Actualiser docs/Services/pole-scientifique/Onyxia/docs/stockage.md
This commit is contained in:
parent
a5381dcab7
commit
a18d374262
|
|
@ -23,27 +23,20 @@ Chaque utilisateur dispose par défaut d'un _bucket_ personnel pour stocker ses
|
||||||
!!! warning
|
!!! warning
|
||||||
L'interface graphique du stockage de données sur le Datalab est encore en cours de construction. Elle peut à ce titre présenter des problèmes de réactivité. Pour des opérations fréquentes sur le stockage de fichiers, il peut être préférable d'interagir avec MinIO via le terminal.
|
L'interface graphique du stockage de données sur le Datalab est encore en cours de construction. Elle peut à ce titre présenter des problèmes de réactivité. Pour des opérations fréquentes sur le stockage de fichiers, il peut être préférable d'interagir avec MinIO via le terminal.
|
||||||
|
|
||||||
!!! warning L'interface graphique du stockage de données sur le Datalab est encore en cours de construction. Elle peut à ce titre présenter des problèmes de réactivité. Pour des opérations fréquentes sur le stockage de fichiers, il peut être préférable d'interagir avec MinIO via le terminal.
|
|
||||||
|
|
||||||
|
|
||||||
!!! warning
|
|
||||||
L'interface graphique du stockage de données sur le Datalab est encore en cours de construction. Elle peut à ce titre présenter des problèmes de réactivité. Pour des opérations fréquentes sur le stockage de fichiers, il peut être préférable d'interagir avec MinIO via le terminal.
|
|
||||||
|
|
||||||
### Partager des données
|
### Partager des données
|
||||||
|
|
||||||
En cliquant sur un fichier dans son _bucket_ personnel, on accède à sa page de caractéristiques. Sur celle-ci, il est notamment possible de **changer le statut de diffusion du fichier**. Changer le statut du fichier de "privé" à "public" permet d'obtenir un **lien de diffusion**, qui peut alors être transmis pour téléchargement du fichier. Le statut "public" ne donne aux autres utilisateurs que des droits en lecture, la modification ou la suppression de fichiers personnels par d'autres utilisateurs est impossible.
|
En cliquant sur un fichier dans son _bucket_ personnel, on accède à sa page de caractéristiques. Sur celle-ci, il est notamment possible de **changer le statut de diffusion du fichier**. Changer le statut du fichier de "privé" à "public" permet d'obtenir un **lien de diffusion**, qui peut alors être transmis pour téléchargement du fichier. Le statut "public" ne donne aux autres utilisateurs que des droits en lecture, la modification ou la suppression de fichiers personnels par d'autres utilisateurs est impossible.
|
||||||
|
|
||||||
Pour simplifier la mise à disposition en lecture de plusieurs fichiers — dans le cadre d'une formation par exemple — il est possible de créer un **dossier "diffusion"** dans son _bucket_ personnel. Par défaut, tous les fichiers présents dans ce dossier ont un statut de diffusion public.
|
Pour simplifier la mise à disposition en lecture de plusieurs fichiers — dans le cadre d'une formation par exemple — il est possible de créer un **dossier "diffusion"** dans son _bucket_ personnel. Par défaut, tous les fichiers présents dans ce dossier ont un statut de diffusion public.
|
||||||
|
|
||||||
::: {.callout-note}
|
!!! note
|
||||||
Dans le cadre de projets collaboratifs, il peut être intéressant pour les différents participants d'avoir accès à un espace de stockage commun. Il est possible pour cet usage de créer des _buckets_ partagés sur MinIO. N'hésitez pas à nous contacter sois sur notre teams <a href="https://teams.microsoft.com/l/team/19%3Ak2a7PAYG-0EO6vmypa7sBdB5hXUR5c3YBDcszO0wCe41%40thread.tacv2/conversations?groupId=050057b4-2f34-4149-9084-5cd8f14b48e5&tenantId=99578065-47e8-4c36-bbf8-4e1228cfb056" target="_blank">ici Datalab - GENES - Teams</a> ou via notre mail support à l’adresse support.informatique@ensae.fr si vous souhaitez porter des projets _open-data_ sur le Datalab.
|
Dans le cadre de projets collaboratifs, il peut être intéressant pour les différents participants d'avoir accès à un espace de stockage commun. Il est possible pour cet usage de créer des _buckets_ partagés sur MinIO. N'hésitez pas à nous contacter sois sur notre teams <a href="https://teams.microsoft.com/l/team/19%3Ak2a7PAYG-0EO6vmypa7sBdB5hXUR5c3YBDcszO0wCe41%40thread.tacv2/conversations?groupId=050057b4-2f34-4149-9084-5cd8f14b48e5&tenantId=99578065-47e8-4c36-bbf8-4e1228cfb056" target="_blank">ici Datalab - GENES - Teams</a> ou via notre mail support à l’adresse support.informatique@ensae.fr si vous souhaitez porter des projets _open-data_ sur le Datalab.
|
||||||
:::
|
|
||||||
|
|
||||||
<a href="https://onyxia.lab.groupe-genes.fr/my-files" target="_blank">
|
<a href="https://onyxia.lab.groupe-genes.fr/my-files" target="_blank">
|
||||||
|
|
||||||
::: {.callout-warning}
|
!!! warning
|
||||||
Conformément aux <a href="https://www.sspcloud.fr/tos\_fr.md" target="_blank">conditions d'utilisation</a>, seuls des données de type _open data_ ou ne présentant aucune sensibilité peuvent être stockées sur le Datalab. Le fait qu'un fichier ait un statut de diffusion "privé" ne suffit pas à garantir une parfaite confidentialité.
|
Conformément aux <a href="https://www.sspcloud.fr/tos\_fr.md" target="_blank">conditions d'utilisation</a>, seuls des données de type _open data_ ou ne présentant aucune sensibilité peuvent être stockées sur le Datalab. Le fait qu'un fichier ait un statut de diffusion "privé" ne suffit pas à garantir une parfaite confidentialité.
|
||||||
:::
|
|
||||||
|
|
||||||
## Utiliser des données stockées sur MinIO
|
## Utiliser des données stockées sur MinIO
|
||||||
|
|
||||||
|
|
@ -54,8 +47,34 @@ L'accès au stockage MinIO est possible via un token (jeton d'accès) personnel,
|
||||||
|
|
||||||
### Configuration
|
### Configuration
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
::: {.panel-tabset}
|
::: {.panel-tabset}
|
||||||
|
|
||||||
|
|
||||||
|
=== "R"
|
||||||
|
|
||||||
|
``` En R, l'interaction avec un système de fichiers compatible S3 est rendu possible par la librairie `aws.s3`.
|
||||||
|
|
||||||
|
library(aws.s3)
|
||||||
|
|
||||||
|
```
|
||||||
|
|
||||||
|
=== "Python (avec Jupyter ou VSCode)"
|
||||||
|
|
||||||
|
``` En Python, l'interaction avec un système de fichiers compatible S3 est rendu possible par deux librairies :
|
||||||
|
|
||||||
|
* <a href="https://boto3.amazonaws.com/v1/documentation/api/latest/index.html" target="_blank">Boto3</a>, une librairie créée et maintenue par Amazon ;
|
||||||
|
* <a href="https://s3fs.readthedocs.io/en/latest/" target="_blank">S3Fs</a>, une librairie qui permet d'interagir avec les fichiers stockés à l'instar d'un _filesystem_ classique.
|
||||||
|
|
||||||
|
Pour cette raison et parce que S3Fs est utilisée par défaut par la librairie <a href="https://pandas.pydata.org" target="_blank">pandas</a> pour gérer les connections S3, nous allons présenter la gestion du stockage sur MinIO via Python à travers cette librairie.
|
||||||
|
|
||||||
|
```
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
#### R
|
#### R
|
||||||
|
|
||||||
En R, l'interaction avec un système de fichiers compatible S3 est rendu possible par la librairie `aws.s3`.
|
En R, l'interaction avec un système de fichiers compatible S3 est rendu possible par la librairie `aws.s3`.
|
||||||
|
|
|
||||||
Loading…
Reference in New Issue
Block a user