lbaudin-ensae/documentation-dsit
1
0
Fork 0
forked from DSIT/documentation-dsit
Code Pull Requests Activity

Actualiser docs/Services/pole-scientifique/Onyxia/docs/stockage.md

Browse Source
This commit is contained in:
Alexis GUYOT 2024-01-25 14:51:56 +01:00
parent 09e0683f6c
commit bed3a4be4b
1 changed files with 44 additions and 23 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

37
docs/Services/pole-scientifique/Onyxia/docs/stockage.md
View File

@ -97,31 +97,52 @@ L'accès au stockage MinIO est possible via un token (jeton d'accès) personnel,
``` ```
### Importer des données
=== "R" === "R"
```r ```r
aws.s3::get_bucket("donnees-insee", region = "") BUCKET <- "donnees-insee"
FILE_KEY_S3 <- "diffusion/BPE/2019/BPE_ENS.csv"
df <-
aws.s3::s3read_using(
FUN = readr::read_delim,
# Mettre les options de FUN ici
delim = ";",
object = FILE_KEY_S3,
bucket = BUCKET,
opts = list("region" = "")
)
``` ```
=== "Python === "Python"
Le package S3Fs permet d'interagir avec les fichiers stockés sur MinIO comme s'il s'agissait de fichiers locaux. La syntaxe est donc très familière pour les utilisateurs de Python. Par exemple, pour importer/exporter des données tabulaires via `pandas` :
```python ```python
fs.ls("donnees-insee") import pandas as pd
BUCKET = "donnees-insee"
FILE_KEY_S3 = "diffusion/BPE/2019/BPE_ENS.csv"
FILE_PATH_S3 = BUCKET + "/" + FILE_KEY_S3
with fs.open(FILE_PATH_S3, mode="rb") as file_in:
df_bpe = pd.read_csv(file_in, sep=";")
``` ```
=== "mc" === "mc"
Le stockage du Datalab est accessible via l'alias `s3`. Par exemple, pour lister les fichiers du bucket `donnees-insee` : Pour copier les données d'un bucket sur MinIO vers le service local :
```bash ```bash
mc ls s3/donnees-insee mc cp s3/donnees-insee/diffusion/BPE/2019/BPE_ENS.csv ./BPE_ENS.csv
``` ```
!!! warning
**Copier les fichiers dans le service local n'est généralement pas une bonne pratique** : cela limite la reproductibilité des analyses, et devient rapidement impossible avec des volumes importants de données. Il est donc préférable de prendre l'habitude d'importer les données comme des fichiers directement dans `R`/`Python`.
### Importer des données
::: {.panel-tabset}
#### R #### R