Merge branch 'main' of https://code.groupe-genes.fr/DSIT/documentation-dsit
|
@ -20,7 +20,7 @@ Pour emprunter des documents papier, **les usagers se rendent à l’accueil de
|
|||
|
||||
**Deux boîtes de retour des prêts sont disponibles** :
|
||||
|
||||
- une près de l’accueil de l’école au rez-de-chaussée
|
||||
- une près de l'accueil de l'école au rez-de-chaussée
|
||||
- une à côté d’une des deux portes de la bibliothèque
|
||||
|
||||
Chaque lecteur ou lectrice inscrit·e peut, à tout moment, accéder à son compte pour vérifier ses emprunts, les renouveler, réserver un document sorti, faire une suggestion d’acquisition, etc. via le [portail documentaire](https://bibli.ensae.fr/) – onglets Mon compte.
|
||||
|
|
|
@ -0,0 +1,225 @@
|
|||
CECI EST UNE COPIE DES CONDITIONS D’UTILISATION D'ONYXIA SSPCLOUD NON MODIFIER (https://www.sspcloud.fr/tos_fr.md)
|
||||
|
||||
# Conditions générales d'utilisation (dernière mise à jour : 21 juin 2021)
|
||||
|
||||
## Présentation / Fonctionnalités
|
||||
|
||||
Le datalab "SSP Cloud" est un service (ci après désigné par "le
|
||||
Service") mis en œuvre par l'Institut national de la statistique et des
|
||||
études économiques (ci-après dénommé "l'Insee").
|
||||
|
||||
Le SSP Cloud est une implémentation du logiciel libre
|
||||
[Onyxia](https://www.onyxia.sh/) créé et maintenu par la
|
||||
division innovation et instruction technique de l'Insee (direction du
|
||||
système d'information/unité innovation et stratégie du système
|
||||
d'information). L'hébergement du SSP Cloud est assuré par l'Insee.
|
||||
|
||||
Le SSP Cloud est une plateforme proposant un "datalab" destiné aux
|
||||
expérimentations de _data science_ sur données ouvertes dans lequel les
|
||||
utilisateurs peuvent orchestrer des services dédiés à la pratique de la
|
||||
_data science_ (environnements de développement, bases de données...).
|
||||
Cette offre de services vise ainsi à familiariser les utilisateurs avec
|
||||
de nouvelles méthodes de travail collaboratif mobilisant des langages
|
||||
statistiques _open source_ (R, python, Julia...), des technologies de
|
||||
type _cloud computing_ ainsi qu'à permettre d'expérimenter des
|
||||
traitements statistiques innovants. Les services proposés sont
|
||||
standards.
|
||||
|
||||
Le SSP Cloud s'adresse à des agents publics ainsi qu'aux enseignants et
|
||||
étudiants du Groupe des écoles nationales d'économie et de statistique,
|
||||
permettant une collaboration interservices et la coopération avec leur
|
||||
écosystème. Des accès peuvent également être accordés sur demande et
|
||||
après décision des organes de gouvernance du SSP Cloud à des
|
||||
collaborateurs extérieurs et impliqués dans la réalisation de projets
|
||||
expérimentaux du système statistique public.
|
||||
|
||||
Le SSP Cloud permet :
|
||||
|
||||
- l'orchestration de formations de _data science_
|
||||
- l'accès à des services de _data science_
|
||||
- le stockage sécurisé de données
|
||||
- la gestion de secrets, tels que des clés de chiffrement
|
||||
- l'accès à un service de gestion de code
|
||||
- l'orchestration de flux de traitement de données
|
||||
|
||||
Un compte utilisateur permet également de se connecter à la plateforme
|
||||
de services de la communauté Mutualisation Inter-ministérielle Logiciels
|
||||
Libres (<https://groupes.mim-libre.fr/>).
|
||||
|
||||
## Modalités d'utilisation du Service
|
||||
|
||||
Le datalab SSP Cloud est accessible depuis n'importe quel navigateur
|
||||
connecté à Internet. L'utilisation d'un ordinateur est recommandée.
|
||||
L'utilisation des services du datalab est gratuite.
|
||||
|
||||
La communauté d'utilisateurs est accessible sur :
|
||||
|
||||
- Tchap, salon [SSP
|
||||
Cloud](https://www.tchap.gouv.fr/#/room/#SSPCloudXDpAw6v:agent.finances.tchap.gouv.fr)
|
||||
- Rocket Chat du MIM Libre, salon [SSP
|
||||
Cloud](https://chat.mim-libre.fr/channel/sspcloud)
|
||||
|
||||
## Limites d'utilisation du Service
|
||||
|
||||
Peuvent être traitées sur le datalab les données publiques et données
|
||||
usuelles (données de travail sans sensibilité particulière).
|
||||
|
||||
Le dépôt de toute donnée directement identifiante (noms, prénoms, etc.),
|
||||
même déjà disponible publiquement, est proscrit.
|
||||
|
||||
En l'absence d'autorisation spécifique pour un projet d'expérimentation
|
||||
donné, ne peuvent être traitées sur le datalab les données "protégées"
|
||||
ou "sensibles", avec ou sans marque de confidentialité destinée à
|
||||
restreindre la diffusion à un domaine spécifique (secret statistique,
|
||||
commercial, industriel...).
|
||||
|
||||
Le caractère "protégé" ou "sensible" des informations stockées ou
|
||||
traitées sur le datalab est soumis à l'appréciation de l'utilisateur
|
||||
sous la responsabilité de sa hiérarchie.
|
||||
|
||||
La réalisation de traitements à des fins de contrôle fiscal ou de
|
||||
répression économique est proscrite.
|
||||
|
||||
## Les rôles, engagements et responsabilités associées
|
||||
|
||||
Le Service est mis à disposition par l'Insee sans autres garanties
|
||||
expresses ou tacites que celles qui sont prévues par les présentes. Le
|
||||
Service s'appuie sur des technologies open source de référence.
|
||||
Toutefois, il n'est pas garanti qu'il soit exempt d'anomalies ou
|
||||
erreurs. Le Service est donc mis à disposition **sans garantie sur sa
|
||||
disponibilité et ses performances**. A ce titre, l'Insee ne peut être
|
||||
tenu responsable des pertes et/ou préjudices, de quelque nature qu'ils
|
||||
soient, qui pourraient être causés à la suite d'un dysfonctionnement ou
|
||||
une indisponibilité du Service. De telles situations n'ouvriront droit à
|
||||
aucune compensation financière.
|
||||
|
||||
Chaque utilisateur dispose d'un espace de stockage personnel. Par
|
||||
défaut, toutes les informations déposées dans un espace de stockage d'un
|
||||
utilisateur ne sont accessibles qu'à lui seul. Chaque utilisateur a la
|
||||
possibilité de rendre publics des fichiers stockés dans son espace de
|
||||
stockage personnel. Chaque utilisateur est responsable de la mise à
|
||||
disposition publique de ses fichiers.
|
||||
|
||||
Chaque utilisateur agit sous la responsabilité de sa hiérarchie. Il doit
|
||||
s'assurer auprès de sa hiérarchie qu'en cas de traitement de données à
|
||||
caractère personnel réalisés à l'aide du SSP Cloud, ceux-ci ont bien été
|
||||
déclarés au délégué à la protection des données de sa structure.
|
||||
|
||||
Chaque utilisateur s'engage, lors de l'utilisation qu'il fera de la
|
||||
plateforme, à ne pas contrevenir aux dispositions législatives et
|
||||
réglementaires en vigueur et aux présentes conditions générales
|
||||
d'utilisation. Il est informé que toute violation desdites dispositions
|
||||
est susceptible d'entraîner des poursuites judiciaires et sanctions à
|
||||
son encontre.
|
||||
|
||||
Les ressources du Service étant mutualisées entre utilisateurs, toute
|
||||
utilisation excessive pourra faire l'objet d'une suspension partielle ou
|
||||
totale, sans préavis, de l'accès au Service. Ces mesures, visant au bon
|
||||
fonctionnement du Service, sont laissées à la libre appréciation des
|
||||
administrateurs du Service.
|
||||
|
||||
## La création de compte sur le SSP Cloud
|
||||
|
||||
L'accès au SSP Cloud nécessite une inscription préalable et une
|
||||
authentification.
|
||||
L'inscription et l'authentification peuvent être réalisées grâce au
|
||||
service AgentConnect.
|
||||
|
||||
## Les projets d'expérimentation sur données non ouvertes
|
||||
|
||||
Sur décision des organes de gouvernance du SSP Cloud, des projets
|
||||
d'expérimentation mobilisant des données non ouvertes peuvent être menés
|
||||
sur le SSP Cloud. La décision précise les utilisateurs habilités à
|
||||
participer à ces projets.
|
||||
|
||||
Les participants à un projet d'expérimentation sur données non ouvertes
|
||||
doivent impérativement se conformer aux règles de sécurité spécifiques à
|
||||
ce projet. Ils devront notamment utiliser exclusivement les espaces
|
||||
collaboratifs dédiés à ce projet et à toute procédure d'habilitation
|
||||
préalable qui serait nécessaire en particulier par le comité du secret
|
||||
statistique.
|
||||
|
||||
## Propriété intellectuelle
|
||||
|
||||
### Droits de propriété intellectuelle afférents à la plateforme
|
||||
|
||||
L'Insee est titulaire de l'ensemble des droits de propriété
|
||||
intellectuelle afférents à la plateforme.
|
||||
|
||||
Les utilisateurs s'engagent à ne pas utiliser le Service d'une manière
|
||||
qui serait constitutive d'une violation ou d'une atteinte aux lois et
|
||||
règlements de droit français.
|
||||
|
||||
### Droits de propriété intellectuelle afférents aux marques et logos
|
||||
|
||||
L'Insee est titulaire des droits de propriété intellectuelle des visuels
|
||||
qui figurent sur la plateforme.
|
||||
|
||||
Ces derniers ne peuvent pas être utilisés sans l'autorisation écrite et
|
||||
préalable de l'Insee.
|
||||
|
||||
Tout usage ou apposition totale ou partielle de ces visuels sans
|
||||
l'autorisation expresse et préalable de l'Insee est sanctionnée par
|
||||
l'article L. 716-1 du code de la propriété intellectuelle.
|
||||
|
||||
### Droits de propriété intellectuelle afférents aux contenus de la plateforme
|
||||
|
||||
Certains documents présents sur la plateforme sont susceptibles d'être
|
||||
soumis à des droits de propriété intellectuelle. Leur réutilisation est
|
||||
dans ce cas soumise à l'autorisation préalable des titulaires de ces
|
||||
droits.
|
||||
|
||||
## Obligations relatives aux données que les utilisateurs peuvent déposer sur la plateforme
|
||||
|
||||
Le traitement de données à caractère personnel au sens des articles 9 et
|
||||
10 du règlement général sur la protection des données (origine raciale
|
||||
ou ethnique, opinions politiques, convictions religieuses ou
|
||||
philosophiques, appartenance syndicale, condamnations pénales, état de
|
||||
santé passé, présent ou futur, orientation sexuelle, vie sexuelle...)
|
||||
est proscrit sur ce Service.
|
||||
|
||||
Les données à caractère personnel traitées dans le cadre d'une
|
||||
expérimentation réalisée par un utilisateur, quand il y en a, relèvent
|
||||
de la responsabilité de l'entité administrative dont est issu
|
||||
l'utilisateur. Les dispositions relatives à leur traitement doivent être
|
||||
communiquées par l'utilisateur au délégué à la protection des données de
|
||||
son entité administrative de rattachement.
|
||||
|
||||
Chaque utilisateur s'engage à souscrire aux obligations résultant d'une
|
||||
part de la loi n° 78-17 du 6 janvier 1978 modifiée relative à
|
||||
l'informatique, aux fichiers et aux libertés et d'autre part du
|
||||
règlement (UE) 2016/679 du 27 avril 2016 (règlement général sur la
|
||||
protection des données).
|
||||
|
||||
L'utilisateur s'engage en outre à ne déposer sur la plateforme aucune
|
||||
donnée directement identifiante.
|
||||
Ainsi, seul le dépôt de données après au-moins pseudonymisation est
|
||||
autorisé. Tout utilisateur qui mettrait en œuvre un traitement
|
||||
non-conforme verra son accès au Service immédiatement supprimé.
|
||||
|
||||
## Modification et évolution du Service
|
||||
|
||||
L'Insee se réserve la liberté de faire évoluer, de modifier ou de
|
||||
suspendre, sans préavis, le Service pour des raisons de maintenance ou
|
||||
pour tout autre motif jugé nécessaire. L'information est alors
|
||||
communiquée aux utilisateurs via Tchap. Les termes des présentes
|
||||
conditions d'utilisation peuvent être modifiés ou complétés à tout
|
||||
moment, sans préavis, en fonction des modifications apportées au
|
||||
Service, de l'évolution de la législation ou pour tout autre motif jugé
|
||||
nécessaire. Ces modifications et mises à jour s'imposent à l'utilisateur
|
||||
qui doit, en conséquence, se référer régulièrement à cette rubrique pour
|
||||
vérifier les conditions générales en vigueur (accessible depuis la page
|
||||
d'accueil).
|
||||
|
||||
## Loi applicable - Litiges
|
||||
|
||||
Le Service et les présentes conditions générales d'utilisation sont
|
||||
soumis à la législation française. En cas de litige, les tribunaux
|
||||
français seront compétents.
|
||||
|
||||
## Contact
|
||||
|
||||
Pour les problèmes techniques et/ou fonctionnels rencontrés sur la
|
||||
plateforme, il est conseillé, dans un premier temps de solliciter les
|
||||
communautés de pairs dans les espaces collaboratifs prévus à cet effet
|
||||
sur Tchap et Rocket Chat-MIM Libre.
|
BIN
docs/Services/Datalab/Onyxia/img/favicon.ico
Normal file
After Width: | Height: | Size: 544 KiB |
BIN
docs/Services/Datalab/Onyxia/img/git-genes.png
Normal file
After Width: | Height: | Size: 32 KiB |
BIN
docs/Services/Datalab/Onyxia/img/git-genes2.png
Normal file
After Width: | Height: | Size: 8.7 KiB |
BIN
docs/Services/Datalab/Onyxia/img/git-genes3.png
Normal file
After Width: | Height: | Size: 30 KiB |
BIN
docs/Services/Datalab/Onyxia/img/gitgenes-10.png
Normal file
After Width: | Height: | Size: 21 KiB |
BIN
docs/Services/Datalab/Onyxia/img/gitgenes-5.png
Normal file
After Width: | Height: | Size: 14 KiB |
BIN
docs/Services/Datalab/Onyxia/img/gitgenes-6.png
Normal file
After Width: | Height: | Size: 47 KiB |
BIN
docs/Services/Datalab/Onyxia/img/gitgenes-7.png
Normal file
After Width: | Height: | Size: 13 KiB |
BIN
docs/Services/Datalab/Onyxia/img/gitgenes-8.png
Normal file
After Width: | Height: | Size: 6.6 KiB |
BIN
docs/Services/Datalab/Onyxia/img/gitgenes-9.png
Normal file
After Width: | Height: | Size: 33 KiB |
BIN
docs/Services/Datalab/Onyxia/img/github-token.png
Normal file
After Width: | Height: | Size: 27 KiB |
BIN
docs/Services/Datalab/Onyxia/img/image1.png
Normal file
After Width: | Height: | Size: 100 KiB |
BIN
docs/Services/Datalab/Onyxia/img/image10.png
Normal file
After Width: | Height: | Size: 116 KiB |
BIN
docs/Services/Datalab/Onyxia/img/image11.png
Normal file
After Width: | Height: | Size: 95 KiB |
BIN
docs/Services/Datalab/Onyxia/img/image12.png
Normal file
After Width: | Height: | Size: 106 KiB |
BIN
docs/Services/Datalab/Onyxia/img/image13.png
Normal file
After Width: | Height: | Size: 166 KiB |
BIN
docs/Services/Datalab/Onyxia/img/image14.png
Normal file
After Width: | Height: | Size: 91 KiB |
BIN
docs/Services/Datalab/Onyxia/img/image15.png
Normal file
After Width: | Height: | Size: 59 KiB |
BIN
docs/Services/Datalab/Onyxia/img/image16.png
Normal file
After Width: | Height: | Size: 125 KiB |
BIN
docs/Services/Datalab/Onyxia/img/image17.png
Normal file
After Width: | Height: | Size: 67 KiB |
BIN
docs/Services/Datalab/Onyxia/img/image18.png
Normal file
After Width: | Height: | Size: 48 KiB |
BIN
docs/Services/Datalab/Onyxia/img/image19.png
Normal file
After Width: | Height: | Size: 35 KiB |
BIN
docs/Services/Datalab/Onyxia/img/image2.png
Normal file
After Width: | Height: | Size: 73 KiB |
BIN
docs/Services/Datalab/Onyxia/img/image20.png
Normal file
After Width: | Height: | Size: 33 KiB |
BIN
docs/Services/Datalab/Onyxia/img/image21.png
Normal file
After Width: | Height: | Size: 35 KiB |
BIN
docs/Services/Datalab/Onyxia/img/image22.png
Normal file
After Width: | Height: | Size: 50 KiB |
BIN
docs/Services/Datalab/Onyxia/img/image23.png
Normal file
After Width: | Height: | Size: 33 KiB |
BIN
docs/Services/Datalab/Onyxia/img/image24.png
Normal file
After Width: | Height: | Size: 20 KiB |
BIN
docs/Services/Datalab/Onyxia/img/image25.png
Normal file
After Width: | Height: | Size: 31 KiB |
BIN
docs/Services/Datalab/Onyxia/img/image26.png
Normal file
After Width: | Height: | Size: 60 KiB |
BIN
docs/Services/Datalab/Onyxia/img/image27.png
Normal file
After Width: | Height: | Size: 52 KiB |
BIN
docs/Services/Datalab/Onyxia/img/image28.png
Normal file
After Width: | Height: | Size: 29 KiB |
BIN
docs/Services/Datalab/Onyxia/img/image29.png
Normal file
After Width: | Height: | Size: 56 KiB |
BIN
docs/Services/Datalab/Onyxia/img/image3.png
Normal file
After Width: | Height: | Size: 50 KiB |
BIN
docs/Services/Datalab/Onyxia/img/image31.png
Normal file
After Width: | Height: | Size: 87 KiB |
BIN
docs/Services/Datalab/Onyxia/img/image32.png
Normal file
After Width: | Height: | Size: 53 KiB |
BIN
docs/Services/Datalab/Onyxia/img/image33.png
Normal file
After Width: | Height: | Size: 110 KiB |
BIN
docs/Services/Datalab/Onyxia/img/image4.png
Normal file
After Width: | Height: | Size: 132 KiB |
BIN
docs/Services/Datalab/Onyxia/img/image5.png
Normal file
After Width: | Height: | Size: 110 KiB |
BIN
docs/Services/Datalab/Onyxia/img/image6.png
Normal file
After Width: | Height: | Size: 87 KiB |
BIN
docs/Services/Datalab/Onyxia/img/image7.png
Normal file
After Width: | Height: | Size: 24 KiB |
BIN
docs/Services/Datalab/Onyxia/img/image8.png
Normal file
After Width: | Height: | Size: 93 KiB |
BIN
docs/Services/Datalab/Onyxia/img/image9.png
Normal file
After Width: | Height: | Size: 106 KiB |
1
docs/Services/Datalab/Onyxia/img/minio.svg
Normal file
After Width: | Height: | Size: 15 KiB |
BIN
docs/Services/Datalab/Onyxia/img/onyxia-git-token.png
Normal file
After Width: | Height: | Size: 86 KiB |
BIN
docs/Services/Datalab/Onyxia/img/onyxia-resources.png
Normal file
After Width: | Height: | Size: 100 KiB |
BIN
docs/Services/Datalab/Onyxia/img/rstudio-git-config.png
Normal file
After Width: | Height: | Size: 33 KiB |
BIN
docs/Services/Datalab/Onyxia/img/secret-config.png
Normal file
After Width: | Height: | Size: 138 KiB |
BIN
docs/Services/Datalab/Onyxia/img/secret.png
Normal file
After Width: | Height: | Size: 370 KiB |
BIN
docs/Services/Datalab/Onyxia/img/secrettable.png
Normal file
After Width: | Height: | Size: 37 KiB |
BIN
docs/Services/Datalab/Onyxia/img/toolbarsecret.png
Normal file
After Width: | Height: | Size: 13 KiB |
489
docs/Services/Datalab/Onyxia/index.md
Normal file
|
@ -0,0 +1,489 @@
|
|||
# Qu’est-ce que le Datalab Onyxia du GENES ?
|
||||
|
||||
Le datalab est une application web permettant d'accéder à un environnement de travail disposant de multiples services liés à la Data (Jupyter, RStudio, Mongodb, Kafka, Mlflow etc...) sans avoir à se préoccuper du déploiement de l’infrastructure.
|
||||
|
||||
Au-delà de la simple facilitation d'accès aux outils de traitement de données modernes, le datalab promeut activement les bonnes pratiques en matière de traitement des données et de programmation, en favorisant la reproductibilité des résultats.
|
||||
|
||||
Pour les élèves et chercheurs, le datalab est une opportunité unique d'autoformation. Grâce à son interface intuitive, les étudiants peuvent explorer, expérimenter et approfondir leurs compétences en temps réel, tout en s'adaptant aux standards actuels du monde professionnel.
|
||||
|
||||
le datalab permet de travailler sur des environnements facilement reproductibles, grâces à l’enregistrement de la configuration des services et la capacité de paramétrer des scripts d’initialisation.
|
||||
|
||||
Via le datalab, chaque utilisateur disposera d'un répertoire Git et d'un espace de stockage de type S3, qui seront automatiquement connectés à chaque service que l'utilisateur créera.
|
||||
|
||||
L’utilisation de Git permet de synchroniser le projet local avec un serveur distant, rendant la perte de code quasi impossible. Il permet également de conserver un historique complet des choix et modifications effectuées sur le projet, favorisant ainsi le partage des modifications avec d'autres utilisateurs.
|
||||
|
||||
En ce qui concerne la solution de stockage de fichiers S3, celle-ci est un système de stockage d'objets basé sur le cloud, compatible avec l'API S3 d'Amazon :
|
||||
|
||||
- Les fichiers stockés sont facilement accessibles depuis n'importe quel endroit via une simple URL, pouvant être facilement partagée.
|
||||
- De plus, l'accès aux fichiers stockés est possible directement dans les services de data science (R, Python, etc.) proposés sur le <a href="https://onyxia.lab.groupe-genes.fr/" target="_blank">Datalab</a>, sans nécessiter de copie préalable des fichiers localement, améliorant ainsi considérablement la reproductibilité des analyses.
|
||||
L'avantage du datalab réside dans la possibilité de partager chaque service avec d'autres collaborateurs en un clic.
|
||||
|
||||
## Les fonctionnalités du Datalab en bref :
|
||||
- Accès à un <a href="https://onyxia.lab.groupe-genes.fr/catalog/ide" target="_blank">Catalogue de services</a> déployable en libre-service
|
||||
|
||||
- Les utilisateurs peuvent définir le nombre de <a href="https://code.groupe-genes.fr/aguyot-ensae/image-public/raw/branch/main/images-onyxia/onyxia-resources.png/" target="_blank">RAM, CPU et GPU</a> qu’ils souhaitent allouer à leurs services avec une limitation par utilisateur de : 5 services, 20 CPU, 50Go RAM, et 1 GPU. Ces limitations sont différentes concernant les groupes de projets.
|
||||
|
||||
- Possibilité de faire des demandes auprès du DSIT du GENES pour ajouter de nouveaux services au catalogue selon vos besoins, nous contacter sois sur notre teams <a href="https://teams.microsoft.com/l/team/19%3Ak2a7PAYG-0EO6vmypa7sBdB5hXUR5c3YBDcszO0wCe41%40thread.tacv2/conversations?groupId=050057b4-2f34-4149-9084-5cd8f14b48e5&tenantId=99578065-47e8-4c36-bbf8-4e1228cfb056" target="_blank">ici Datalab - GENES - Teams</a> ou via notre mail support à l’adresse support.informatique@ensae.fr.
|
||||
|
||||
- Capacité de partager l'accès à vos services et ressources du datalab avec un groupe de personnes.
|
||||
|
||||
- Possibilité de spécifier un script init personnalisable exécuté au lancement des services, <a href="#init" target="_blank">plus de détails ici</a>.
|
||||
|
||||
- Enregistrer, restaurer et partager la configuration de vos services avec vos collaborateurs, <a href="#configuration-general-du-catalogue-de-services" target="_blank">plus de détails ici</a>.
|
||||
|
||||
- <a href="https://onyxia.lab.groupe-genes.fr/my-secrets/" target="_blank">Intégration de secrets</a> sous forme de variables d'environnement dans les services du <a href="https://onyxia.lab.groupe-genes.fr/" target="_blank">Datalab</a>, permettant de stocker les informations sensibles de type clés d'API dans Vault et de les rendre accessibles dans les services sous forme de variable. (à rajouter lien vers guide)
|
||||
|
||||
- Possibilités d’accéder et de créé des formations techniques sur différents outils mis à disposition pour vos collaborateurs ou élèves. Cette fonctionnalités sera ajoutée sous peu, dans le cas d'un enseignant par exemple, vous pourrez ajouter une formation/cours sur un sujet. Y ajouter des URLs de configuration de services, sur lequels les élèves pourront cliquées et qui déploiera automatiquement des services sur leurs interface Onyxia sur lequels ils pourront travailler/faire des exercices dans un environnements que vous avez entièrement paramétré. Cette méthode permet ainsi aux élèves d'avoir accès à un environnement stable et reproductibles instantanément. Le datalab Onyxia de l'Insee possède cette fonctionnalités qui est <a href="https://www.sspcloud.fr/formation" target="_blank">visible ici</a>.
|
||||
|
||||
|
||||
|
||||
## Présentation rapide du datalab en vidéo :
|
||||
|
||||
<a href="https://www.youtube.com/watch?v=FvpNfVrxBFM" target="_blank">
|
||||
<img src="https://user-images.githubusercontent.com/6702424/231314534-2eeb1ab5-5460-4caa-b78d-55afd400c9fc.png" alt="IMAGE ALT TEXT HERE">
|
||||
</a>
|
||||
|
||||
|
||||
|
||||
## FAQ
|
||||
|
||||
|
||||
## Liens utiles
|
||||
- <a href="https://documentation-dsit.lab.groupe-genes.fr/Services/Datalab/Onyxia/secrets/" target="_blank">Gestion des secrets</a>
|
||||
- <a href="https://documentation-dsit.lab.groupe-genes.fr/Services/Datalab/Onyxia/stockage/" target="_blank">Stockages de données</a>
|
||||
- <a href="https://documentation-dsit.lab.groupe-genes.fr/Services/Datalab/Onyxia/version/" target="_blank">Contrôle de version</a>
|
||||
- <a href="https://documentation-dsit.lab.groupe-genes.fr/Services/Datalab/Onyxia/terms/" target="_blank">Conditions général d'utilisations</a>
|
||||
|
||||
|
||||
|
||||
# Une plateforme de mutualisation
|
||||
Le projet du datalab part du constat de difficultés communes rencontrées par les datascientists du secteur public :
|
||||
|
||||
- des agents souvent isolés, du fait de la relative rareté des compétences data dans l'administration ;
|
||||
- des infrastructures inadaptées, aussi bien en matière de ressources que de technologies, qui constituent un frein à l'innovation ;
|
||||
- une difficulté à passer de l'expérimentation à la mise en production, du fait de multiples séparations (séparation physique, langage de développement, modes de travail) entre les directions métier et la production informatique.
|
||||
|
||||
Face à ce constat, le Datalab a été construit pour proposer une plateforme de mutualisation à plusieurs niveaux
|
||||
|
||||
- partage d'une infrastructure moderne, centrée autour du déploiement de services via des conteneurs, et dimensionnée pour les usages de data science ;
|
||||
- partage de méthodes, via une mutualisation des services de data science proposés, auxquels chacun peut contribuer ;
|
||||
- partage de connaissances, via des formations associées au Datalab ainsi que la constitution de commaunautés d'entraide centrées sur son utilisation.
|
||||
|
||||
!!! info
|
||||
Onyxia, Datalab du Genes: quelles différences ?
|
||||
|
||||
[Onyxia ](https://github.com/InseeFrLab/onyxia.git)est un projet open-source de l'Insee qui propose une plateforme de services de _data science_, accessible via une application Web. Le [Datalab du Genes](https://onyxia.lab.groupe-genes.fr/) est une instance du projet Onyxia, hébergée au GENES.
|
||||
|
||||
|
||||
# Principes fondamentaux
|
||||
|
||||
L'architecture du Datalab est basée sur un ensemble de principes fondamentaux :
|
||||
|
||||
- une production orientée data science, en proposant une infrastructure dimensionnée à la plupart des usages et un catalogue de services couvrant l'ensemble du cycle de vie des projets data ;
|
||||
- des choix qui favorisent l'autonomie des usagers, en évitant tout enfermement propriétaire et en permettant l'accès aux couches basses de l'infrastructure pour couvrir les besoins avancés et spécifiques ;
|
||||
- un projet 100% cloud-natif, mais également cloud-agnostique, permettant un déploiement simple sur n'importe quelle infrastructure ;
|
||||
- un projet complètement open-source, à la fois du point de vue de ses briques constitutives que de sa diffusion (licence MIT).
|
||||
|
||||
# Offre de services
|
||||
Le Datalab est accessible via une <a href="https://onyxia.lab.groupe-genes.fr/" target="_blank">Interface utilisateur</a> moderne et réactive, centrée sur l'expérience utilisateur. Celle-ci constitue le liant technique entre les différentes composantes du datalab :
|
||||
|
||||
- des technologies open-source qui constituent l'état de l'art du déploiement et de l'orchestration de conteneurs, du stockage et de la sécurité ;
|
||||
- un catalogue de services et d'outils pour accompagner les projets de data science ;
|
||||
- une plateforme de formation et de documentation pour faciliter l'onboarding sur les technologies proposées.
|
||||
|
||||
<div style="text-align:center;">Briques fondamentales du Datalab</div>
|
||||
|
||||
|
||||
<div style="text-align:center;">
|
||||
<img src="img/image2.png" alt="Screenshot">
|
||||
</div>
|
||||
|
||||
|
||||
Le catalogue de services est pensé de manière à accommoder l'essentiel des usages des data scientists, du développement en self-service à la mise en production de traitements ou d'application. L'ensemble du cycle de vie d'un projet data est ainsi couvert, et le catalogue des services est régulièrement étendu pour répondre aux nouveaux besoins des utilisateurs.
|
||||
|
||||
<div style="text-align:center;">Un catalogue de services complet pour les projets de data science</div>
|
||||
|
||||
<div style="text-align:center;">
|
||||
<img src="img/image3.png" alt="Screenshot">
|
||||
</div>
|
||||
|
||||
|
||||
# Un projet ouvert
|
||||
Le projet du Datalab est résolument ouvert, à de multiples niveaux :
|
||||
|
||||
- le Datalab est accessible via son <a href="https://onyxia.lab.groupe-genes.fr/" target="_blank">interface Web</a> à tous les agents du service public ainsi qu'aux élèves des écoles de statistique liées à l'Ensae (Cepe, Ensai, Ensae) ;
|
||||
- le code source ouvert et la modularité du projet rendent possible le déploiement d'une instance du datalab personnalisée sur n'importe quelle infrastructure basée sur un cluster Kubernetes ;
|
||||
- le projet est ouvert aux contributions extérieures, qu'elles concernent le catalogue des services, l'interface graphique ou l'agencement des briques logicielles qui le constituent.
|
||||
|
||||
# Première utilisation
|
||||
Visite guidée du Datalab
|
||||
|
||||
Bienvenue sur le Datalab, plateforme de libre service mutualisée de traitement de données, destinée aux statisticiens et _data scientists_ de l'Etat. Ce tutoriel propose une visite guidée du Datalab pour être rapidement opérationnel dans l'utilisation de ses services.
|
||||
|
||||
Il s’agit d’une présentation sommaire n'expliquant pas de façon détaillé chaques paramétrages possible, ceux-ci sont expliqués point par point plus plus tard dans ce guide. Voici quelques liens de redirection vers les parties détaillées:
|
||||
- <a href="#mon-compte" target="_blank">Mon compte</a>
|
||||
- <a href="#catalogue-de-services" target="_blank">Catalogue de services</a>
|
||||
- <a href="#mes-services" target="_blank">Mes services</a>
|
||||
- <a href="#mes-secrets" target="_blank">Mes secrets</a>
|
||||
- <a href="#mes-fichiers" target="_blank">Mes fichiers</a>
|
||||
|
||||
|
||||
|
||||
!!! warning
|
||||
Les conditions d'utilisation du Datalab sont consultables à <a href="https://documentation-dsit.lab.groupe-genes.fr/Services/Datalab/Onyxia/terms/" target="_blank">ici</a>. Nous rappelons que le Datalab est destiné exclusivement au traitement de **données publiques et non-sensibles**. Des projets d'expérimentation mobilisant des données non ouvertes peuvent être menés en concertation avec l'équipe du Datalab, sous réserve de se conformer aux règles de sécurité spécifiques au projet.
|
||||
|
||||
|
||||
# Le catalogue de services
|
||||
Le <a href="https://onyxia.lab.groupe-genes.fr/catalog/ide" target="_blank">catalogue de services</a> est au centre de l'utilisation du Datalab. Il propose un ensemble de services destinés aux traitements statistiques de données ainsi qu'à la gestion complète des projets de data science.
|
||||
|
||||

|
||||
|
||||
# Lancer un service
|
||||
Pour lancer un service, il suffit de cliquer sur le bouton `Lancer` du service désiré.
|
||||

|
||||
|
||||
Une page centrée sur le service demandé s'ouvre alors, qui offre plusieurs possibilités :
|
||||
|
||||
- cliquer à nouveau sur le bouton `Lancer` pour lancer le service avec sa configuration par défaut ;
|
||||
|
||||
- personnaliser le nom que portera l'instance une fois le service lancé, **Attention**, si vous enregistrer la configuration d’un service et que celui-ci a le même nom d’un service que vous avez déjà enregistré, sa configuration sera écrasée ;
|
||||
|
||||
- dérouler un menu de configuration afin de personnaliser la configuration du service avant de le lancer ;
|
||||
|
||||
- sauvegarder une configuration personnalisée en cliquant sur le signet en haut à droite du service, ce qui vous permettra d’enregistrer l'entièreté de la configuration du service et de le relancer depuis l’onglet <a href="https://onyxia.lab.groupe-genes.fr/my-services" target="_blank">Mes services</a>.
|
||||
|
||||
La configuration précise de S3, Kubernetes, Init etc... sur les services constitue un usage avancé, chaque onglet du site web seront expliqués en détails plus loin à la section <a href="#configuration-avancee-du-catalogue-de-services" target="_blank">Configuration avancée du Catalogue de services</a>.
|
||||
|
||||
# Utiliser un service
|
||||
L'action de lancer un service amène automatiquement sur la page <a href="https://onyxia.lab.groupe-genes.fr/my-services" target="_blank">Mes services</a>, où sont listées toutes les instances en activité sur le compte de l'utilisateur.
|
||||
|
||||

|
||||
|
||||
Une fois le service lancé, un bouton `Ouvrir` apparaît qui permet l'accès au service. Un mot de passe et, selon les services, un nom d'utilisateur est généralement requis pour pouvoir utiliser le service. Ces informations sont disponibles dans le `README` associé au service, auquel on accède en cliquant sur le bouton du même nom.
|
||||
|
||||
# Supprimer une instance
|
||||
Supprimer une instance d'un service s'effectue simplement en cliquant sur l'icône en forme de poubelle en dessous de l'instance.
|
||||
|
||||
|
||||
!!! danger
|
||||
Pour certains services, la suppression d'une instance entraîne la suppression de toutes les données associées, et cette action est irrémédiable. Il est donc nécessaire de toujours bien lire le `README` associé à l'instance, qui précise les conséquences d'une suppression de l'instance. De manière générale, il est très important de s'assurer que les données ainsi que le code utilisés sont sauvegardés avant de supprimer l'instance. L'idéal est de <a href="https://documentation-dsit.lab.groupe-genes.fr/Services/Datalab/Onyxia/version/" target="_blank">versionner son code</a> avec Git et de procéder à des sauvegardes régulières des données à l'aide du <a href="https://documentation-dsit.lab.groupe-genes.fr/Services/Datalab/Onyxia/stockage/" target="_blank">système de stockage S3</a>.
|
||||
|
||||
|
||||
!!! info
|
||||
Les ressources mises à disposition pour l'execution des services sont partagées entre les différents utilisateurs du Datalab. Veuillez à ne pas laisser en cours des services dont vous ne faites plus l'usage. Nous procédons parfois à une suppression systématique des instances inactives depuis un certain temps, afin de libérer des ressources.
|
||||
|
||||
|
||||
|
||||
# Partager un service
|
||||
Il est possible de partager un service à un groupe de personnes en cochant la case "Partager le service" à l'ouverture du service. Les autres membres du groupe verront le service et pourront l'utiliser. La création de groupes se fait en écrivant aux administrateurs sur <a href="https://teams.microsoft.com/l/team/19%3Ak2a7PAYG-0EO6vmypa7sBdB5hXUR5c3YBDcszO0wCe41%40thread.tacv2/conversations?groupId=050057b4-2f34-4149-9084-5cd8f14b48e5&tenantId=99578065-47e8-4c36-bbf8-4e1228cfb056" target="_blank">Teams</a> ou par mail à l'adresse support.informatique@ensae.fr.
|
||||
|
||||
Pour un besoin ponctuel, il est aussi possible de partager un service que l'on a créé à une autre personne, **Attention** via cette méthode, une seule personne à la fois peut se connecter à un service.
|
||||
|
||||
Il vous suffira donc de lui communiquer l'URL lors ce que vous êtes sur votre service (type <https://user-aaaaaaaaaaaaaa-xxxxxxx-x.lab.groupe-genes.fr/>):
|
||||
|
||||

|
||||
|
||||
Ainsi que le mot de passe du service, qui est configurable et récupérable de différentes manières, lors de la création du service dans le sous onglet “Security”:
|
||||
|
||||

|
||||
|
||||
**Cependant attention**, car par défaut lors de la configuration d’un service, le mot de passe sera toujours le mêmes et qui a été spécifié dans l’onglet Mon compte puis <a href="https://onyxia.lab.groupe-genes.fr/account/infos" target="_blank">Information du compte</a>:
|
||||
|
||||
|
||||

|
||||
|
||||
Si vous ne vous rappelez plus du mot de passe que vous avez attribué lors de la configuration d’un service, celui-ci est affiché automatiquement à chaque fois que vous re-lancer votre service via l’onglet <a href="https://onyxia.lab.groupe-genes.fr/my-services" target="_blank">Mes services</a>:
|
||||
|
||||

|
||||
|
||||
|
||||
La meilleure pratique est donc, pour un service que vous souhaitez partager directement en fournissant l’URL du service, de modifier le mot de passe par défaut lors de la création du service comme vu précédemment dans le sous onglet “Security”.
|
||||
|
||||
Le nom d'utilisateur reste **Onyxia**. Par ailleurs il ne faut pas cocher Enable IP protection et Enable network policy dans l'onglet “Security”, par défaut elles ne sont pas cochées. **Pour rappel**, via cette méthode une seule personne à la fois peut se connecter à un service.
|
||||
|
||||
# Groupe de projet
|
||||
Lors ce que vous êtes affectés à un groupe de projet, en haut à gauche de l'interface d'Onyxia vous aurez un mini-menu déroulant "Projet" où vous aurez la possibilité de choisir les projets auquels vous êtes affectés ou votre espace personnel.
|
||||
|
||||
Cela vous permettra de choisir les ressources auxquels vous souhaitez accéder, celle liées à votre groupe de projet ou vos ressources personnels. Cette option est visible uniquement si vous avez accès à un groupe de projet.
|
||||

|
||||
|
||||
Lors ce que vous avez sélectionné un projet, vous verrez uniquement les ressources liées à celui-ci et ne verrez pas les ressources de votre espace personnel, cela concerne les onglets "Mes Services, Mes Fichiers et Mes Secrets":
|
||||

|
||||
|
||||
# Mon compte
|
||||
Dans cet onglet vous pourrez modifier différents paramètres, les plus important étant :
|
||||
|
||||
- Modification des comptes et jetons Gitlab, Github et Kaggle qui seront par lié par défaut a tous les services que vous créérez, disponible dans le sous onglet <a href="https://onyxia.lab.groupe-genes.fr/account/third-party-integration" target="_blank">Services externes</a> ;
|
||||
|
||||
- La capacité de récupérer des scripts d’initialisation dans le language de programmation de votre choix, qui vous permettrons d’accéder au stockage S3 en dehors des services du datalab Onyxia GENES. Disponible dans le sous onglet <a href="https://onyxia.lab.groupe-genes.fr/account/storage" target="_blank">Connexion au stockage</a> (attention, les token fournit dans ces scripts d’initialisation expirent rapidement) ;
|
||||
- Récupérer les identifiants Vault afin de pouvoir l’utiliser dans votre terminal, disponible dans le sous onglet <a href="https://onyxia.lab.groupe-genes.fr/account/vault" target="_blank">Vault</a> ;
|
||||
|
||||
## Information du compte
|
||||
Dans le sous onglet <a href="https://onyxia.lab.groupe-genes.fr/account/infos" target="_blank">Information du compte</a> vous retrouverez les informations générales de votre compte Datalab Onyxia GENES et la capacité de modifier le mot de passe pour accéder aux différents services déployer dans votre espace :
|
||||
|
||||
|
||||
|
||||
## Services externes
|
||||
Dans le sous onglet <a href="https://onyxia.lab.groupe-genes.fr/account/third-party-integration" target="_blank">Services externes</a> vous pourrez récupérer et modifier les informations des comptes et jetons Gitlab, Github et Kaggle qui seront par défaut, lié à tous les services que vous créerez. Par défaut, votre compte datalab est paramétré avec le GitGenes, qui <a href="https://code.groupe-genes.fr/" target="_blank">accessible ici</a>.
|
||||
|
||||
|
||||
Nous vous conseillons donc de laisser ces paramètres par défaut, si vous devez utiliser un dépôt git différent (github, bitbucket...) sur un service spécifique, faite la modification lors de la configuration du service dans le <a href="https://onyxia.lab.groupe-genes.fr/catalog/ide" target="_blank">Catalogue de services</a>, expliquer plus <a href="#git" target="_blank"> en détails ici.</a>:
|
||||
|
||||
Vous retrouverez également un guide complet sur comment créer et retrouver les informations nécessaires pour la configuration de votre <a href="https://documentation-dsit.lab.groupe-genes.fr/Services/Datalab/Onyxia/version/#pourquoi-github" target="_blank">Git sur Github & GitGenes ici</a>.
|
||||
|
||||

|
||||
|
||||
## Connexion au stockage
|
||||
Dans le sous onglet <a href="https://onyxia.lab.groupe-genes.fr/account/storage" target="_blank">Connexion au stockage</a> vous trouverez toutes les informations de votre <a href="https://minio-console.lab.groupe-genes.fr/browser" target="_blank">stockage S3</a> fournit par le GENES et qui sera automatiquement lié à tous les services du datalab que vous créerez. Dans cet onglet vous trouverez également toutes les informations pour connecter vos ressources externes à votre stockage datalab S3.
|
||||
|
||||
!!! warning
|
||||
Cependant Attention, tous les tokens de cet onglet expire et se renouvelle automatiquement toutes les 24 heures. Si vous utiliser un token pour connecter des ressources externes a votre stockage S3 datalab, bien se rappeler que la durée de vie des tokens est courte (24h par défaut) et qu'il faudra mettre à jour le token d'accès pour vos ressources externes.
|
||||
|
||||
**Attention**, concernant l’obtention du Session token S3, il n’est pas affiché dans son entièreté, éviter donc de le copier directement en le sélectionnant puis “copier”. Utiliser bien l'icône “Copier dans le presse-papier" à droite de celui-ci :
|
||||
|
||||

|
||||
|
||||
|
||||
Vous pourrez également générer un script d’initialisation dans le langage de programmation de votre choix (R, Python, shell, MC client, s3cmd, etc...) qui connectera automatiquement vos ressources à votre stockage datalab S3, disponible en bas à gauche via un menu déroulant :
|
||||

|
||||
|
||||
## Vault
|
||||
Dans le sous onglet <a href="https://onyxia.lab.groupe-genes.fr/account/vault" target="_blank">Vault</a>, vous aurez la possibilité de copier les variables d’environnement afin de <a href="https://developer.hashicorp.com/vault/docs/commands" target="_blank">configurer votre Vault CLI local</a> :
|
||||
|
||||

|
||||
|
||||
!!! warning
|
||||
Attention, concernant l’obtention du token Vault, comme pour le token S3, il n’est pas affiché dans son entièreté, éviter donc de le copier directement en le sélectionnant puis “copier”. Utiliser bien l'icône “Copier dans le presse-papier" à droite de celui-ci :
|
||||
|
||||

|
||||
|
||||
## Modes d’interfaces
|
||||
Dans le sous onglet <a href="https://onyxia.lab.groupe-genes.fr/account/user-interface" target="_blank">Modes d’interfaces</a> vous pourrez modifier le thème du datalab, changer la langue, et activer la fonctionnalités “béta-testeur” qui vous ajoutera les fonctionnalitées du datalab qui ne pas encore complètement operationnel.
|
||||
|
||||
|
||||
# Catalogue de services
|
||||
L’onglet <a href="https://onyxia.lab.groupe-genes.fr/catalog/ide" target="_blank">Catalogue de services</a> va vous permettre de lancer, paramétrer et sauvegarder la configuration de vos différents services, qui posséderons plus au moins de sous onglets paramétrables S3, Init, Git etc... qui seront plus détaillé dans la section <a href="#configuration-avancee-du-catalogue-de-services" target="_blank">Configuration avancée du Catalogue de services</a> .
|
||||
|
||||
Pour lancer et paramétrer un service, il suffit de cliquer sur “Lancer”.
|
||||
|
||||
Chaque service son dans différent sous onglet selon leurs catégories (IDE, Databases etc...), par ailleurs sur quasiment chaque pages web du datalab, peu importe la page. Vous trouverez en haut, une redirection en lien avec la page sur laquelle vous vous trouvez et qui peut vous fournir des informations/guide additionnel.
|
||||
|
||||
Par exemple dans le Catalogue de services dans la catégorie <a href="https://onyxia.lab.groupe-genes.fr/catalog/ide" target="_blank">Interactive services</a> vous trouverez une redirection vers un <a href="https://github.com/InseeFrLab/helm-charts-interactive-services" target="_blank">dépôt helm</a> qui rassemble la collection des charts helm qu’utilise le datalab pour déployer ses services:
|
||||

|
||||
|
||||
|
||||
## Configuration général du catalogue de services
|
||||
Dans <a href="https://onyxia.lab.groupe-genes.fr/catalog/ide" target="_blank">Catalogue de services</a> après avoir cliquer sur “lancer” du services que vous souhaitez utiliser, vous pourrez :
|
||||
- Attribué un nom personnalisé au service, une fois le service lancé ou enregistré, celui-ci apparaitra dans l’onglet <a href="https://onyxia.lab.groupe-genes.fr/my-services" target="_blank">Mes services</a>.
|
||||
- Le choix de la version du service.
|
||||
- Sauvegarder l’entièreté de la configuration du service, que vous pourrez redéployer à volonté dans l’onglet <a href="https://onyxia.lab.groupe-genes.fr/my-services" target="_blank">Mes services</a>.
|
||||
- Une extension est cliquable en bas à droite de la page, en parallèle de “Configuration %nom_du_service%”, cela déroulera un menu supplémentaire où vous pourrez configurer beaucoup plus de paramètre qui sont expliqué dans la section suivante <a href="https://documentation-dsit.lab.groupe-genes.fr/Services/Datalab/Onyxia/#configuration-general-du-catalogue-de-services" target="_blank">disponible ici</a>.
|
||||
- Copier l’URL de lancement automatique, cela vous permettra de configurer un service, puis d’obtenir une URL que vous pourrez partager avec des collaborateurs. En cliquant sur cette URL, cela déploiera le service que vous avez configurer dans leurs espace onyxia. Cette option est aussi accessible dans l’onglet <a href="https://onyxia.lab.groupe-genes.fr/my-services" target="_blank">Mes services</a>, sur vos services déjà enregistrés.
|
||||
|
||||
Par ailleurs, l’option de la copie URL de lancement automatique ne s’affiche pas avant que vous ayez modifié un paramètre sur le service. L’option “Enregistrer la configuration” s’élargit également lors d’une quelconque modification, sinon c’est une petite icône de sauvegarde situé en haut à droite.
|
||||
|
||||

|
||||
|
||||
## Configuration avancée du Catalogue de services
|
||||
|
||||
### S3
|
||||
La configuration par défaut est celle de votre <a href="https://minio-console.lab.groupe-genes.fr/browser" target="_blank">stockage S3</a> fournit par le groupe GENES, il vous sera donc possible d'accéder aux fichiers stockés directement dans les services de data science (R, Python, Jupyter...) proposés sur le Datalab, sans avoir besoin de copier les fichiers localement au préalable, ce qui améliore fortement la reproductibilité des analyses.
|
||||
|
||||
Modifier uniquement ces paramètres si vous possédez par exemple un stockage AWS S3 et que vous souhaitez le monter sur un service Onyxia ou que vous avez besoins d’accéder à un stockage S3 GENES autres que celui qui vous a été attribué par défaut.
|
||||

|
||||
|
||||
Pour apprendre à utiliser cet onglet, voir là <a href="https://documentation-dsit.lab.groupe-genes.fr/Services/Datalab/Onyxia/stockage/" target="_blank">page dédiée</a>.
|
||||
|
||||
### Kubernetes
|
||||
Cette option est relativement technique et spécifique, vous ne devriez pas en avoir l’intérêt, hors manipulation direct dans l’environnement Kubernetes. Cependant cette option vous permettra, depuis les différents services que vous avez déployés (pods aux seins de votre namespace Onyxia), de pouvoir effectuer des interactions Kubernetes avec le Master Node et exécuter des commandes kubectl dans un terminal de service (kubectl get pods, kubectl edit deployment etc...).
|
||||
Les interactions seront limitées à ce qui est déployé au sein de votre namespace. Vous avez également la possibilité de modifier le rôle Kubernetes attribué aux services, restreignant les actions possibles : view, edit ou admin.
|
||||
|
||||
### Init
|
||||
Grâce à Init vous allez pouvoir personnaliser les environnements de vos services via des scripts, qui seront exécuté au lancement de votre services, pour automatiser l’installation d’un plugin sur un de vos services IDE ou autres.
|
||||
|
||||
Exemple simple, je souhaite ajouter automatiquement sur mon service datalab Jupyter un fichier .txt avec comme contenu “Hello World” dans le dossier work/hello-onyxia.txt.
|
||||
|
||||
Pour cela je créé un script onyxia-init.sh, dont le contenu est le suivant :
|
||||
|
||||
```bash
|
||||
#!/monscript.sh
|
||||
Echo “Hello World” > work/hello-onyxia.txt
|
||||
```
|
||||
|
||||
!!! warning
|
||||
Le script est exécuté en tant que superutilisateur (*Root*) et les fichiers qu'il crée sont ainsi la propriété du superutilisateur.
|
||||
Ceci génère des erreurs ensuite quand ces fichiers sont appelés, par exemple des fichiers de configuration de RStudio.
|
||||
Pour rendre à l'utilisateur normal (qui s'appelle *onyxia*) les droit sur son dossier personnel :
|
||||
```bash
|
||||
chown -R ${USERNAME}:${GROUPNAME} ${HOME}
|
||||
```
|
||||
|
||||
|
||||
|
||||
Ce script peut être hébergé n’importe où, du moment qu’il possède une URL publique (exemple: <https://git.drees.fr/drees_code_public/ressources/tutos/-/blob/diffusion/contenu/init.sh>) que j’ajoute ensuite dans le Init parameters “PersonalInit” de l’onglet Init:
|
||||

|
||||
|
||||
**PersonalInit**
|
||||
Ajouter un lien vers un script shell (enchaînement de commandes linux) qui est exécuté juste après le lancement du service. Pratique pour automatiser la mise en place de certaines configurations.
|
||||
|
||||
|
||||
|
||||
Ce lien du script doit être accessible sur internet, par exemple sur <https://code.groupe-genes.fr/> ou autres Git avec un projet public.
|
||||
|
||||
<a href="https://git.drees.fr/drees_code_public/ressources/tutos/-/blob/diffusion/contenu/init.sh">Exemple de script d'initialisation</a> qui clone un projet à partir d'une instance Gitlab privée, configure les options globales de RStudio, ouvre automatiquement le projet RStudio cloné, installe et sélectionne la correction orthographique française, personnalise les bribes de codes (snippets).
|
||||
|
||||
!!! warning
|
||||
Le script est exécuté en tant que superutilisateur (*Root*) et les fichiers qu'il crée sont ainsi la propriété du superutilisateur.
|
||||
Ceci génère des erreurs ensuite quand ces fichiers sont appelés, par exemple des fichiers de configuration de RStudio.
|
||||
Pour rendre à l'utilisateur normal (qui s'appelle *onyxia*) les droit sur son dossier personnel :
|
||||
```bash
|
||||
chown -R ${USERNAME}:${GROUPNAME} ${HOME}
|
||||
```
|
||||
|
||||
|
||||
**PersonalInitArgs**
|
||||
Des options à passer au script d'initialisation, séparées par des espaces et que l'on peut ensuite appeler avec `$1`, `$2`...
|
||||
|
||||
Par exemple si on inscrit dans le champ *PersonalInitArgs* `fichier1.txt fichier2.txt`, et qu'on utilise ce script d'initialisation :
|
||||
|
||||
```bash
|
||||
#!/bin/bash
|
||||
touch $1
|
||||
touch $2
|
||||
```
|
||||
|
||||
Le script créera via la commande `touch` deux fichiers `fichier1.txt` et `fichier2.txt`.
|
||||
|
||||
|
||||
### Resources
|
||||
C’est l’endroit où vous allez pouvoir configurer le minimum à maximum de ressource à vos services, pour rappel, vous êtes limités par compte à 5 services, 20 CPU, 50Go RAM et 1 GPU.
|
||||
|
||||

|
||||
|
||||
### Networking
|
||||
Cette option permet d’ouvrir un port en particulier sur votre service.
|
||||
|
||||

|
||||
|
||||
### Security
|
||||
Permet de restreindre l’accès au différent service, filtrer selon IP.
|
||||
|
||||
**Password :**
|
||||
C'est le mot de passe à saisir lorsqu'on ouvre un service, celui donné par "Copier le mot de passage" sur la page des services. Il est fourni par le paramètre général "Mot de passe pour vos services" que l'on trouve dans "Mon Compte" > "Informations du compte", sauf si on en a défini un particulier au niveau du service.
|
||||
|
||||
**Enable IP protection :**
|
||||
Si coché, le service n'est accessible que par une seule IP, à décocher si l'on souhaite travailler de deux endroits différents.
|
||||
|
||||
**Enable network policy :**
|
||||
|
||||
|
||||
### Git config
|
||||
|
||||
Par défaut cette option est activée sur chaque service, ce qui va automatiquement configurer Git et effectuer un clone du dépôt au démarrage du service. Il reprend vos paramètres par défault qui ont été spécifié dans votre compte datalab, voir <a href="#mon-compte" target="_blank">Mon compte</a>. **Attention**, vous devez renseigner manuellement l’URL du dépôt Git dans l’option “Repository”.
|
||||
|
||||

|
||||
|
||||
Un guide complet sur comment créer et trouver les informations d'un dépôt GitHub/GitGenes pour les ajouters sur les services Onyxia est <a href="https://documentation-dsit.lab.groupe-genes.fr/Services/Datalab/Onyxia/version/" target="_blank">disponible ici</a>.
|
||||
|
||||
|
||||
**Repository :**
|
||||
**Attention**, l’option “Repository” est L'URL à renseigner obligatoirement et qui est obtenue sur la plateforme git que vousutilisée (Gitlab, Github...) en cliquant sur "Cloner" > HTTPS:
|
||||
|
||||
Par exemple, pour le Github du GENES qui est paramétré par défaut sur votre compte, cette URL sera obtenu sur le lien <https://code.groupe-genes.fr/aguyot-ensae/test-gitop> puis en cliquant sur l’icône “Copier l’URL”. Vous obtiendrez l’URL <https://code.groupe-genes.fr/aguyot-ensae/test-gitop.git> à renseigner dans l’option “Repository”, ce qui clonera ce dépôt automatiquement sur votre service :
|
||||
|
||||

|
||||
|
||||
Exemple sur un service Jupyter où l’URL du dépôt a été renseigné et donc cloné au démarrage :
|
||||

|
||||
|
||||
**Name :**
|
||||
Le nom qui apparaîtra dans les commits (pas le nom d'utilisateur du compte Gitlab ou Github).
|
||||
|
||||
**Email :**
|
||||
L'adresse email qui apparaîtra dans les commits (pas forcément le mail associé au compte Gitlab ou Github).
|
||||
|
||||
**Token :**
|
||||
Jeton d'accès défini sur la plateforme utilisée (Gitlab, Github...).
|
||||
|
||||
Pour apprendre à utiliser plus en détails cette partie de Git, voir là <a href="https://documentation-dsit.lab.groupe-genes.fr/Services/Datalab/Onyxia/secrets/" target="_blank">page dédiée</a>.
|
||||
|
||||
Il n'est pas possible de cloner automatiquement un projet privé d'une instance privée (c'est-à-dire autre que gitlab.com et github.com). Pour le faire, il faudra recourir à un script shell comme indiqué <a href="#init" target="_blank">plus de détails ici</a>.
|
||||
|
||||
|
||||
### Service
|
||||
Ici vous pouvez sélectionner l'image docker qui sera utilisé pour la configuration du service et également en spécifier une custom. Cependant les fonctionnalitées de cet onglet sont actuellement limitées et l'utilisation d'une image custom ne marchera pas, vous avez uniquement le choix de sélectionner des images utilisés par le datalab dans le menu déroulant **Version**
|
||||
|
||||

|
||||
|
||||
**PullPolicy**
|
||||
Politique de déploiement de l'image du service, vous avez le choix entre 3 options:
|
||||
- IfNotPresent: le service utilisera l'image sélectionnée dans cet onglet uniquement si l'image par défaut utilisé par le datalab n'est pas récupérable
|
||||
- Always: le service utilisera l'image sélectionnée dans cet onglet
|
||||
- Never: le service n'utilisera pas l'image sélectionnée dans cet onglet
|
||||
|
||||
**Version**
|
||||
Permet de sélectionner la version d'image qu'utilisera le service, ces images sont les officiels utilisées par le datalab.
|
||||
|
||||
**Custom image**
|
||||
Permet de spécifié l'utilisation d'une image custom, cependant cette fonctionnalitée est actuellement désactivée.
|
||||
|
||||
### Discovery
|
||||
Les différentes options du discovery sont activées, elles permettent de détecter si vous avez un service Hive metastore, mlflow ou metaflow de lancer et d’automatiquement les rattacher à votre service.
|
||||

|
||||
|
||||
### Persistence
|
||||
Vous permet de modifier la taille du disque alloué à votre service.
|
||||
|
||||
### Vault
|
||||
Pour apprendre à utiliser cet onglet, voir la <a href="https://documentation-dsit.lab.groupe-genes.fr/Services/Datalab/Onyxia/secrets/" target="_blank">page dédiée</a> et <a href="#vault" target="_blank">Vault</a>.
|
||||
|
||||
|
||||
# Mes services
|
||||
Dans l'onglet <a href="https://onyxia.lab.groupe-genes.fr/my-services" target="_blank">Mes services</a> vous retrouverez tous vos services en cours, lesquels vous pourrez ré-accéder ou les supprimers.
|
||||
Vous retrouvez aussi les configurations des services que vous avez enregistrer que vous pourrez relancer, modifier ou partager via URL leurs configuration.
|
||||
Par exemple dans le cas d'un enseignant, cela lui permettra de configurer un service comme il le souhaite, pour ensuite partager l'URL à ces étudiants, ce qui va leurs permettre de déployer automatiquement dans leurs services un environnement de travail entièrement pré-configurer, stable et reproductible.
|
||||
|
||||
|
||||
Dans l'onglet <a href="https://onyxia.lab.groupe-genes.fr/my-services" target="_blank">"Mes services"</a> de la plateforme Onyxia, vous avez accès à la liste complète de vos services actifs, que vous pouvez ré-ouvrir ou supprimer à votre convenance. De plus, vous pouvez modifier et relancer les configurations enregistrées de services que vous avez sauvegarder et pouvez les relancer, modifier, ou partager via une URL spécifique.
|
||||
|
||||

|
||||
|
||||
Le partage de l'URL va permettre, par exemple, pour un enseignant, de personnaliser un service selon ses besoins pour un cours, puis de partager l'URL de la configuration avec les étudiants. Ces derniers peuvent ainsi déployer automatiquement un environnement de travail préconfiguré, stable et reproductible dans leurs environnement datalab respectifs.
|
||||
|
||||
!!! warning
|
||||
Penser à supprimer vos services une fois que vous ne les utilisez plus. Un service lancé sur notre infrastructure Onyxia alloue des ressources, et en libérant ces ressources lorsque le service n'est plus nécessaire, vous contribuez à une utilisation plus efficace et responsable de l'infrastructure du datalab.
|
||||
|
||||
## Grafana
|
||||
|
||||
Grafana est un outil de surveillance et de visualisation des données qui offre la possibilité de suivre et d'analyser les performances des différents services que vous avez lancés dans votre espace personnel ou groupe projet sur le datalab.
|
||||
|
||||

|
||||
|
||||
|
||||
# Mes secrets
|
||||
Les variables d’environnement, il arrive que certaines informations doivent être mise à disposition d’un grand nombre d’applications, ou ne doivent pas figurer en clair dans votre code (jetons d’accès, mots de passe, etc.). L’utilisation de variables d’environnement permet de pouvoir accéder à ces informations depuis n’importe quel service.
|
||||
|
||||
Pour apprendre à utiliser cet onglet, voir la <a href="https://documentation-dsit.lab.groupe-genes.fr/Services/Datalab/Onyxia/secrets/" target="_blank">page dédiée</a>.
|
||||
|
||||
# Mes fichiers
|
||||
La page <a href="https://onyxia.lab.groupe-genes.fr/my-files/aguyot-ensae" target="_blank">Mes fichiers</a> du Datalab prend la forme d'un explorateur de fichiers présentant les différents buckets (dépôts) auxquels l’utilisateur a accès.
|
||||
Chaque utilisateur dispose par défaut d'un bucket personnel pour stocker ses fichiers, l'interface de stockage S3 est également <a href="https://minio-console.lab.groupe-genes.fr/login" target="_blank">accessible ici</a>.
|
||||
|
||||
Il est possible de lire directement vos fichiers depuis cette interface en double cliquant simplement dessus (.mp4, .parquet, .csv etc...), si le format n'est pas lisible depuis l'interface du datalab, cela vous téléchargement automatiquement le fichier.
|
||||
|
||||
Pour apprendre à utiliser cet onglet, voir la <a href="https://documentation-dsit.lab.groupe-genes.fr/Services/Datalab/Onyxia/stockage/" target="_blank">page dédiée</a>.
|
||||
|
||||
|
||||
# Explorateur de Données
|
||||
L'explorateur de données vous permet de prévisualisez vos fichiers parquet et CSV directement depuis le navigateur du datalab, afin d'éviter de devoir passer par un service jupyter ou autres.
|
||||
|
||||
Vous pourrez ainsi lire des données qui sont stockées sur votre <a href="https://minio-console.lab.groupe-genes.fr/browser" target="_blank">stockage S3</a> également accessible dans votre onglet <a href="https://onyxia.lab.groupe-genes.fr/my-files" target="_blank">Mes fichiers</a> ou en utilisant une URL publique d'un fichier donnée pour le prévisualiser, ci dessous deux exemples pour importer des données:
|
||||
|
||||
**Depuis mon stockage S3**:
|
||||
Rien de plus simple, si votre fichier est stocké dans <a href="https://onyxia.lab.groupe-genes.fr/my-files" target="_blank">Mes fichiers</a>, il vous suffira de double cliquer directement dessus et celui-ci s'ouvrira automatiquement:
|
||||

|
||||
|
||||
**Depuis une URL**
|
||||
Il faut que vous stocker votre fichier et que celui-ci soit partageable via une adresse URL https://, de l'ajouter dans "DATA SOURCE" de l'onglet <a href="https://onyxia.lab.groupe-genes.fr/data-explorer" target="_blank">Explorateur de données</a> et de cliquer sur "LOAD". Par exemple pour le fichier parquet disponible depuis l'URL: https://static.data.gouv.fr/resources/recensement-de-la-population-fichiers-detail-individus-localises-au-canton-ou-ville-2020-1/20231023-122841/fd-indcvi-2020.parquet
|
||||

|
||||
|
58
docs/Services/Datalab/Onyxia/secrets.md
Normal file
|
@ -0,0 +1,58 @@
|
|||
# Gestion des secrets
|
||||
|
||||
### Les variables d'environnement;
|
||||
|
||||
Il arrive que certaines informations doivent être mise à disposition d'un grand nombre d'applications, ou ne doivent pas figurer en clair dans votre code (jetons d'accès, mots de passe, etc.). L'utilisation de **variables d'environnement** permet de pouvoir accéder à ces informations depuis n'importe quel service.
|
||||
|
||||
Au lancement d'un service, plusieurs variables d'environnement sont déjà injectées automatiquement — par exemple, les tokens d'accès à <a href="https://documentation-dsit.lab.groupe-genes.fr/Services/Datalab/Onyxia/version/" target="_blank">GitHub</a> et <a href="https://documentation-dsit.lab.groupe-genes.fr/Services/Datalab/Onyxia/stockage/" target="_blank">MinIO</a>.
|
||||
|
||||
|
||||

|
||||
|
||||
### Création et gestion de secrets
|
||||
|
||||
Sur la plateforme, les variables d'environnement sont des secrets écrits dans <a href="https://www.vaultproject.io" target="_blank">Vault</a> <a href="https://onyxia.lab.groupe-genes.fr/my-secrets/" target="_blank">(le coffre fort du Datalab)</a> et sont chiffrées. Cela vous permet d'y stocker des jetons, des identifiants et des mots de passe. La page <a href="https://onyxia.lab.groupe-genes.fr/my-secrets/" target="_blank">Mes secrets</a> prends la forme d'un explorateur de fichiers où vous pouvez trier et hiérarchiser vos variables dans des dossiers.
|
||||
|
||||
#### Pour commencer :
|
||||
|
||||
* Créez un nouveau dossier `+ Nouveau dossier`
|
||||
* Puis dans ce dossier, créez un nouveau secret `+ Nouveau secret`
|
||||
* Ouvrez votre secret
|
||||
|
||||

|
||||
|
||||
Chaque secret peut contenir plusieurs variables, composés de paires de clés-valeurs.
|
||||
|
||||
* `+ Ajouter une variable`
|
||||
|
||||

|
||||
|
||||
!!! warning
|
||||
Les clés (nom de la variable) commencent toujours par`$`et contiennent uniquement des lettres, des chiffres et le caractère de soulignement (`_`). Par convention, les clefs s'écrivent en MAJUSCULE.
|
||||
|
||||
|
||||
Remplissez le champ du nom de la clef puis sa valeur.
|
||||
|
||||
### Convertir des secrets en variables d'environnement
|
||||
|
||||
Une fois votre secret édité, avec ses différentes variables, vous êtes prêt à l'utiliser dans votre service.
|
||||
|
||||
* Copiez le chemin du secret en cliquant sur le bouton `Utiliser dans un service`
|
||||
* Puis au moment de la configuration de votre service, allez dans l'onglet `Vault`et collez le chemin du secret dans le champ dédié
|
||||
|
||||

|
||||
|
||||
* Créez et ouvrez votre service
|
||||
|
||||
Pour vérifier que vos variables d'environnement ont bien été créés, vous pouvez lancer les commandes suivantes dans le terminal du service :
|
||||
|
||||
```bash
|
||||
# Lister toutes les variables d'environnement disponibles
|
||||
env
|
||||
|
||||
# Afficher la valeur d'une variable d'environnement
|
||||
echo $MA_VARIABLE
|
||||
|
||||
# Trouver toutes les variables d'environnement qui contiennent un pattern donné
|
||||
env | grep -i "<PATTERN>"
|
||||
```
|
187
docs/Services/Datalab/Onyxia/stockage.md
Normal file
|
@ -0,0 +1,187 @@
|
|||
# Stockage de données
|
||||
|
||||
## Principes
|
||||
|
||||
La solution de stockage de fichiers associée au Datalab est <a href="https://min.io" target="_blank">MinIO</a>, un système de stockage d'objets basé sur le cloud, compatible avec l'API S3 d'Amazon. Concrètement, cela a plusieurs avantages :
|
||||
|
||||
* les fichiers stockés sont accessibles facilement et à n'importe quel endroit : un fichier est accessible directement via une simple URL, qui peut être partagée ;
|
||||
* il est possible d'accéder aux fichiers stockés directement dans les services de _data science_ (R, Python...) proposés sur le Datalab, sans avoir besoin de copier les fichiers localement au préalable, ce qui améliore fortement la reproductibilité des analyses.
|
||||
|
||||

|
||||
|
||||
## Gérer ses données
|
||||
|
||||
### Importer des données
|
||||
|
||||
La page <a href="https://onyxia.lab.groupe-genes.fr/my-files" target="_blank">Mes fichiers</a> du Datalab prend la forme d'un explorateur de fichiers présentant les différents _buckets_ (dépôts) auxquels l’utilisateur a accès.
|
||||
|
||||
Chaque utilisateur dispose par défaut d'un _bucket_ personnel pour stocker ses fichiers. Au sein de ce _bucket_, deux options sont possibles :
|
||||
|
||||
* "**créer un répertoire**" : crée un répertoire dans le _bucket_/répertoire courant, de manière hiérarchique, comme dans un système de fichiers traditionnel ;
|
||||
* "_**uploader**_** un fichier**" : _upload_ un ou plusieurs fichiers dans le répertoire courant.
|
||||
|
||||
!!! warning
|
||||
L'interface graphique du stockage de données sur le Datalab est encore en cours de construction. Elle peut à ce titre présenter des problèmes de réactivité. Pour des opérations fréquentes sur le stockage de fichiers, il peut être préférable d'interagir avec MinIO via le terminal.
|
||||
|
||||
### Partager des données
|
||||
|
||||
En cliquant sur un fichier dans son _bucket_ personnel, on accède à sa page de caractéristiques. Sur celle-ci, il est notamment possible de **changer le statut de diffusion du fichier**. Changer le statut du fichier de "privé" à "public" permet d'obtenir un **lien de diffusion**, qui peut alors être transmis pour téléchargement du fichier. Le statut "public" ne donne aux autres utilisateurs que des droits en lecture, la modification ou la suppression de fichiers personnels par d'autres utilisateurs est impossible.
|
||||
|
||||
Pour simplifier la mise à disposition en lecture de plusieurs fichiers — dans le cadre d'une formation par exemple — il est possible de créer un **dossier "diffusion"** dans son _bucket_ personnel. Par défaut, tous les fichiers présents dans ce dossier ont un statut de diffusion public.
|
||||
|
||||
!!! note
|
||||
Dans le cadre de projets collaboratifs, il peut être intéressant pour les différents participants d'avoir accès à un espace de stockage commun. Il est possible pour cet usage de créer des _buckets_ partagés sur MinIO. N'hésitez pas à nous contacter sois sur notre teams <a href="https://teams.microsoft.com/l/team/19%3Ak2a7PAYG-0EO6vmypa7sBdB5hXUR5c3YBDcszO0wCe41%40thread.tacv2/conversations?groupId=050057b4-2f34-4149-9084-5cd8f14b48e5&tenantId=99578065-47e8-4c36-bbf8-4e1228cfb056" target="_blank">ici Datalab - GENES - Teams</a> ou via notre mail support à l’adresse support.informatique@ensae.fr si vous souhaitez porter des projets _open-data_ sur le Datalab.
|
||||
|
||||
|
||||
!!! warning
|
||||
Conformément aux <a href="https://documentation-dsit.lab.groupe-genes.fr/Services/Datalab/Onyxia/terms/" target="_blank">conditions d'utilisation</a>, seuls des données de type _open data_ ou ne présentant aucune sensibilité peuvent être stockées sur le Datalab. Le fait qu'un fichier ait un statut de diffusion "privé" ne suffit pas à garantir une parfaite confidentialité.
|
||||
|
||||
## Utiliser des données stockées sur MinIO
|
||||
|
||||
Les identifiants d'accès nécessaires pour accéder à des données sur MinIO sont pré-configurés dans les différents services du Datalab, accessibles sous la forme de <a href="https://documentation-dsit.lab.groupe-genes.fr/Services/Datalab/Onyxia/secrets/" target="_blank">variables d'environnement</a>. Ainsi, l'import et l'export de fichiers à partir des services est grandement facilité.
|
||||
|
||||
|
||||
|
||||
|
||||
L'accès au stockage MinIO est possible via un token (jeton d'accès) personnel, valide 7 jours, et automatiquement régénéré à échéances régulières sur le SSP Cloud. Lorsqu'un token a expiré, les services créés avant la date d'expiration (avec le précédent token) ne peuvent plus accéder au stockage ; le service concerné apparaît alors marqué en rouge dans la page Mes Services. Il est donc primordial de renouveler régulièrement les services en cours d'exécution, en prenant soin de sauvegarder au préalable son code et ses données.
|
||||
|
||||
|
||||
### Configuration
|
||||
|
||||
=== "R"
|
||||
|
||||
En R, l'interaction avec un système de fichiers compatible S3 est rendu possible par la librairie `aws.s3`.
|
||||
```r
|
||||
library(aws.s3)
|
||||
```
|
||||
|
||||
=== "Python"
|
||||
En Python, l'interaction avec un système de fichiers compatible S3 est rendu possible par deux librairies :
|
||||
-<a href="https://boto3.amazonaws.com/v1/documentation/api/latest/index.html" target="_blank">Boto3</a>, une librairie créée et maintenue par Amazon
|
||||
-<a href="https://s3fs.readthedocs.io/en/latest/" target="_blank">S3Fs</a>, une librairie qui permet d'interagir avec les fichiers stockés à l'instar d'un _filesystem_ classique.
|
||||
|
||||
Pour cette raison et parce que S3Fs est utilisée par défaut par la librairie <a href="https://pandas.pydata.org" target="_blank">pandas</a> pour gérer les connections S3, nous allons présenter la gestion du stockage sur MinIO via Python à travers cette librairie.
|
||||
```python
|
||||
import os
|
||||
import s3fs
|
||||
|
||||
# Create filesystem object
|
||||
S3_ENDPOINT_URL = "https://" + os.environ["AWS_S3_ENDPOINT"]
|
||||
fs = s3fs.S3FileSystem(client_kwargs={'endpoint_url': S3_ENDPOINT_URL})
|
||||
```
|
||||
|
||||
=== "mc"
|
||||
MinIO propose un client en ligne de commande (`ùc`) qui permet d’interagir avec le système de stockage à la manière d'un _filesystem_ UNIX classique. Ce client est installé par défaut et accessible via un terminal dans les différents services du Datalab.
|
||||
|
||||
Le client MinIO propose les commandes UNIX de base, telles que ls, cat, cp, etc. La liste complète est disponible dans la <a href="https://docs.min.io/docs/minio-client-complete-guide.html" target="_blank">documentation du client</a>.
|
||||
|
||||
|
||||
### Lister les fichiers d'un *bucket*
|
||||
|
||||
|
||||
=== "R"
|
||||
|
||||
```r
|
||||
aws.s3::get_bucket("donnees-insee", region = "")
|
||||
```
|
||||
|
||||
=== "Python"
|
||||
```python
|
||||
fs.ls("donnees-insee")
|
||||
```
|
||||
|
||||
=== "mc"
|
||||
Le stockage du Datalab est accessible via l'alias `s3`. Par exemple, pour lister les fichiers du bucket `donnees-insee` :
|
||||
|
||||
```bash
|
||||
mc ls s3/donnees-insee
|
||||
```
|
||||
|
||||
### Importer des données
|
||||
|
||||
=== "R"
|
||||
|
||||
```r
|
||||
BUCKET <- "donnees-insee"
|
||||
FILE_KEY_S3 <- "diffusion/BPE/2019/BPE_ENS.csv"
|
||||
|
||||
df <-
|
||||
aws.s3::s3read_using(
|
||||
FUN = readr::read_delim,
|
||||
# Mettre les options de FUN ici
|
||||
delim = ";",
|
||||
object = FILE_KEY_S3,
|
||||
bucket = BUCKET,
|
||||
opts = list("region" = "")
|
||||
)
|
||||
```
|
||||
|
||||
=== "Python"
|
||||
Le package S3Fs permet d'interagir avec les fichiers stockés sur MinIO comme s'il s'agissait de fichiers locaux. La syntaxe est donc très familière pour les utilisateurs de Python. Par exemple, pour importer/exporter des données tabulaires via `pandas` :
|
||||
|
||||
```python
|
||||
import pandas as pd
|
||||
|
||||
BUCKET = "donnees-insee"
|
||||
FILE_KEY_S3 = "diffusion/BPE/2019/BPE_ENS.csv"
|
||||
FILE_PATH_S3 = BUCKET + "/" + FILE_KEY_S3
|
||||
|
||||
with fs.open(FILE_PATH_S3, mode="rb") as file_in:
|
||||
df_bpe = pd.read_csv(file_in, sep=";")
|
||||
```
|
||||
|
||||
=== "mc"
|
||||
Pour copier les données d'un bucket sur MinIO vers le service local :
|
||||
|
||||
```bash
|
||||
mc cp s3/donnees-insee/diffusion/BPE/2019/BPE_ENS.csv ./BPE_ENS.csv
|
||||
```
|
||||
|
||||
!!! warning
|
||||
**Copier les fichiers dans le service local n'est généralement pas une bonne pratique** : cela limite la reproductibilité des analyses, et devient rapidement impossible avec des volumes importants de données. Il est donc préférable de prendre l'habitude d'importer les données comme des fichiers directement dans `R`/`Python`.
|
||||
|
||||
|
||||
### Exporter des données vers MinIO
|
||||
|
||||
=== "R"
|
||||
|
||||
```r
|
||||
BUCKET_OUT = "<mon_bucket>"
|
||||
FILE_KEY_OUT_S3 = "mon_dossier/BPE_ENS.csv"
|
||||
|
||||
aws.s3::s3write_using(
|
||||
df,
|
||||
FUN = readr::write_csv,
|
||||
object = FILE_KEY_OUT_S3,
|
||||
bucket = BUCKET_OUT,
|
||||
opts = list("region" = "")
|
||||
)
|
||||
```
|
||||
|
||||
=== "Python"
|
||||
```python
|
||||
BUCKET_OUT = "<mon_bucket>"
|
||||
FILE_KEY_OUT_S3 = "mon_dossier/BPE_ENS.csv"
|
||||
FILE_PATH_OUT_S3 = BUCKET_OUT + "/" + FILE_KEY_OUT_S3
|
||||
|
||||
with fs.open(FILE_PATH_OUT_S3, 'w') as file_out:
|
||||
df_bpe.to_csv(file_out)
|
||||
```
|
||||
|
||||
=== "mc"
|
||||
Pour copier les données du service local vers un bucket sur MinIO:
|
||||
|
||||
```bash
|
||||
mc cp chemin/local/vers/mon/fichier.csv s3/<mon_bucket>/chemin/distant/vers/mon/fichier.csv
|
||||
```
|
||||
|
||||
### Renouveler des jetons d'accès (*tokens*) périmés
|
||||
|
||||
L'accès au stockage MinIO est possible via un _token_ (jeton d'accès) personnel, valide 24h, et automatiquement régénéré à échéances régulières sur le SSP Cloud. Lorsqu'un token a expiré, les services créés avant la date d'expiration (avec le précédent token) ne peuvent plus accéder au stockage ; le service concerné apparaît alors marqué en rouge dans la page <a href="https://onyxia.lab.groupe-genes.fr/my-services" target="_blank">Mes Services</a>. Dans ce cas, deux possibilités :
|
||||
- ouvrir un nouveau service sur le Datalab, qui aura par défaut un nouveau token à jour
|
||||
- remplacer manuellement les jetons périmés par des nouveaux. Des scripts indiquant la manière de faire pour les différentes utilisations de MinIO (`R`/`Python`/`mc`) sont disponibles <a href="https://onyxia.lab.groupe-genes.fr/account/storage" target="_blank">ici</a>. Il suffit de choisir le script pertinent et de l'exécuter dans son environnement de travail courant.
|
||||
|
||||
|
||||
|
||||
|
||||
|
120
docs/Services/Datalab/Onyxia/terms.md
Normal file
|
@ -0,0 +1,120 @@
|
|||
# Conditions générales d'utilisation (dernière mise à jour : 05/02/2024)
|
||||
|
||||
## Présentation / Fonctionnalités
|
||||
|
||||
Le datalab du Genes est un service (ci-après désigné par "le
|
||||
datalab") mis en oeuvre par le département du système d'information et télécommunication (DSIT) du Groupe des Écoles Nationales d'Économie et Statistique (GENES) à destination des utilisateurs des entités du GENES (ENSAE, CREST, ENSAI, ENSAE-ENSAI-Formation Continue).
|
||||
|
||||
le datalab est une implémentation du logiciel libre
|
||||
[Onyxia](https://www.onyxia.sh/) créé et maintenu par la division innovation et instruction technique de l'Insee (direction du système d'information/unité innovation et stratégie du système d'information). L'hébergement et la maintenance du datalab est assuré par le DSIT.
|
||||
|
||||
Le datalab est une plateforme proposant un laboratoire de traitement de données destiné aux expérimentations de _data science_ sur données ouvertes dans lequel les utilisateurs peuvent orchestrer des services dédiés à la pratique de la _data science_ (environnements de développement, bases de données...). Cette offre de services vise ainsi à familiariser les utilisateurs avec de nouvelles méthodes de travail collaboratif mobilisant des langages statistiques _open source_ (R, python, Julia...), des technologies de type _cloud computing_ ainsi qu'à permettre d'expérimenter des traitements statistiques innovants. Les services proposés sont standards.
|
||||
|
||||
Le datalab s'adresse aux chercheurs ainsi qu'aux enseignants et étudiants du Groupe des écoles nationales d'économie et de statistique,
|
||||
permettant une collaboration interservices et la coopération avec leur écosystème. Des accès peuvent également être accordés sur demande et après validation par le responsable du DSIT à des collaborateurs extérieurs et impliqués dans la réalisation de projets expérimentaux du système statistique public.
|
||||
|
||||
Le datalab permet :
|
||||
|
||||
- l'orchestration de formations de _data science_
|
||||
- l'accès à des services de _data science_
|
||||
- le stockage sécurisé de données
|
||||
- la gestion de secrets, tels que des clés de chiffrement
|
||||
- l'accès à un service de gestion de code
|
||||
- l'orchestration de flux de traitement de données
|
||||
|
||||
|
||||
## Modalités d'utilisation du Service
|
||||
|
||||
Le datalab est accessible depuis n'importe quel navigateur connecté à Internet. L'utilisation d'un ordinateur est recommandée.
|
||||
L'utilisation des services du datalab est gratuite.
|
||||
|
||||
|
||||
## Limites d'utilisation du Service
|
||||
|
||||
Peuvent être traitées sur le datalab les données publiques et données usuelles (données de travail sans sensibilité particulière).
|
||||
|
||||
Le dépôt de toute donnée directement identifiante (noms, prénoms, etc.), même déjà disponible publiquement, est proscrit.
|
||||
|
||||
En l'absence d'autorisation spécifique pour un projet d'expérimentation donné, ne peuvent être traitées sur le datalab les données "protégées" ou "sensibles", avec ou sans marque de confidentialité destinée à restreindre la diffusion à un domaine spécifique (secret statistique, commercial, industriel...).
|
||||
|
||||
Le caractère "protégé" ou "sensible" des informations stockées ou traitées sur le datalab est soumis à l'appréciation de l'utilisateur
|
||||
sous la responsabilité de sa hiérarchie.
|
||||
|
||||
La réalisation de traitements à des fins de contrôle fiscal ou derépression économique est proscrite.
|
||||
|
||||
Les limitations de ressource par utilisateur sont de :
|
||||
|
||||
- 5 Services
|
||||
|
||||
- 50 Go de RAM
|
||||
|
||||
- 20 CPU
|
||||
|
||||
- 1 GPU
|
||||
|
||||
## Suppression automatique des services
|
||||
|
||||
En raison de ressources limitées et pour permettre une utilisation optimale pour tous, un nettoyage automatique des services du catalogue intéractif est effectué toutes les semaines. L'ensemble des services de ce catalogue lancé il y a plus de 15 jours seront supprimés ainsi que les volumes de données associés.
|
||||
Il est recommandé d'utiliser l'espace de stockage personnel (S3) ainsi que les dépots de code pour éviter toutes perte de données.
|
||||
|
||||
De même, les ressources GPU étant en nombre contraints, toute utilisation abusive (réservation sans allocations) conduit à une suppression du service sans préavis.
|
||||
|
||||
## Les rôles, engagements et responsabilités associées
|
||||
|
||||
Le datalab est mis à disposition par le DSIT sans autres garanties expresses ou tacites que celles qui sont prévues par les présentes. Le Service s'appuie sur des technologies open source de référence.
|
||||
Toutefois, il n'est pas garanti qu'il soit exempt d'anomalies ou erreurs. Le Service est donc mis à disposition **sans garantie sur sa
|
||||
disponibilité et ses performances**. A ce titre, le Genes ne peut être tenu responsable des pertes et/ou préjudices, de quelque nature qu'ils soient, qui pourraient être causés à la suite d'un dysfonctionnement ou une indisponibilité du Service. De telles situations n'ouvriront droit à aucune compensation financière.
|
||||
|
||||
Chaque utilisateur dispose d'un espace de stockage personnel. Par défaut, toutes les informations déposées dans un espace de stockage d'un utilisateur ne sont accessibles qu'à lui seul. Chaque utilisateur a la possibilité de rendre publics des fichiers stockés dans son espace de stockage personnel. Chaque utilisateur est responsable de la mise à disposition publique de ses fichiers.
|
||||
|
||||
Chaque utilisateur agit sous la responsabilité de sa hiérarchie. Il doit s'assurer auprès de sa hiérarchie qu'en cas de traitement de données à caractère personnel réalisés à l'aide du datalab, celui ci s'effectue dans un cadre légal.
|
||||
|
||||
Chaque utilisateur s'engage, lors de l'utilisation qu'il fera de la plateforme, à ne pas contrevenir aux dispositions législatives et
|
||||
réglementaires en vigueur et aux présentes conditions générales d'utilisation. Il est informé que toute violation desdites dispositions
|
||||
est susceptible d'entraîner des poursuites judiciaires et sanctions à son encontre.
|
||||
|
||||
Les ressources du datalab étant mutualisées entre utilisateurs, toute utilisation excessive pourra faire l'objet d'une suspension partielle ou totale, sans préavis, de l'accès au datalab. Ces mesures, visant au bon fonctionnement du datalab, sont laissées à la libre appréciation du DSIT.
|
||||
|
||||
## La création de compte sur Onyxia Genes
|
||||
|
||||
L'accès au datalab nécessite de disposer d'un compte informatique GENES (ENSAE, CREST, Ensae-Ensai Formation Continue, ENSAI).
|
||||
|
||||
|
||||
## Les projets d'expérimentation sur données non ouvertes
|
||||
|
||||
Sur décision du DSIT, des projets d'expérimentation mobilisant des données non ouvertes peuvent être menés sur le datalab. La décision précise les utilisateurs habilités à participer à ces projets.
|
||||
|
||||
Les participants à un projet d'expérimentation sur données non ouvertes doivent impérativement se conformer aux règles de sécurité spécifiques à ce projet. Ils devront notamment utiliser exclusivement les espaces collaboratifs dédiés à ce projet et à toute procédure d'habilitation préalable qui serait nécessaire en particulier par le comité du secret statistique.
|
||||
|
||||
|
||||
|
||||
## Obligations relatives aux données que les utilisateurs peuvent déposer sur la plateforme
|
||||
|
||||
Le traitement de données à caractère personnel au sens des articles 9 et 10 du règlement général sur la protection des données (origine raciale ou ethnique, opinions politiques, convictions religieuses ou philosophiques, appartenance syndicale, condamnations pénales, état de santé passé, présent ou futur, orientation sexuelle, vie sexuelle...) est proscrit sur ce Service.
|
||||
|
||||
Les données à caractère personnel traitées dans le cadre d'une expérimentation réalisée par un utilisateur, quand il y en a, relèvent
|
||||
de la responsabilité de l'entité administrative dont est issu l'utilisateur. Les dispositions relatives à leur traitement doivent être
|
||||
communiquées par l'utilisateur au délégué à la protection des données de son entité administrative de rattachement.
|
||||
|
||||
|
||||
Chaque utilisateur s'engage à souscrire aux obligations résultant d'une part de la loi n° 78-17 du 6 janvier 1978 modifiée relative à
|
||||
l'informatique, aux fichiers et aux libertés et d'autre part du règlement (UE) 2016/679 du 27 avril 2016 (règlement général sur la
|
||||
protection des données).
|
||||
|
||||
L'utilisateur s'engage en outre à ne déposer sur la plateforme aucune donnée directement identifiante. Ainsi, seul le dépôt de données après au-moins pseudonymisation est autorisé. Tout utilisateur qui mettrait en œuvre un traitement non-conforme verra son accès au Service immédiatement supprimé.
|
||||
|
||||
## Modification et évolution du Service
|
||||
|
||||
Le DSIT se réserve la liberté de faire évoluer, de modifier ou de suspendre, sans préavis, le Service pour des raisons de maintenance ou pour tout autre motif jugé nécessaire. L'information est alors communiquée aux utilisateurs via Mail. Les termes des présentes
|
||||
conditions d'utilisation peuvent être modifiés ou complétés à tout moment, sans préavis, en fonction des modifications apportées au
|
||||
Service, de l'évolution de la législation ou pour tout autre motif jugé nécessaire. Ces modifications et mises à jour s'imposent à l'utilisateur qui doit, en conséquence, se référer régulièrement à cette rubrique pour vérifier les conditions générales en vigueur (accessible depuis la page d'accueil).
|
||||
|
||||
## Loi applicable - Litiges
|
||||
|
||||
Le Service et les présentes conditions générales d'utilisation sont soumis à la législation française. En cas de litige, les tribunaux
|
||||
français seront compétents.
|
||||
|
||||
## Contact
|
||||
|
||||
Pour les problèmes techniques et/ou fonctionnels rencontrés sur la plateforme, il est conseillé, dans un premier temps de solliciter les communautés de pairs dans les espaces collaboratifs prévus à cet effet sur Teams disponible [Datalab - GENES - Teams](https://teams.microsoft.com/l/team/19%3Ak2a7PAYG-0EO6vmypa7sBdB5hXUR5c3YBDcszO0wCe41%40thread.tacv2/conversations?groupId=050057b4-2f34-4149-9084-5cd8f14b48e5&tenantId=99578065-47e8-4c36-bbf8-4e1228cfb056).
|
||||
Un support mail est également disponible à l'adresse support@groupe-genes.fr ou en ouvrant un ticket sur [assistance.ensae.fr](https://assistance.ensae.fr).
|
190
docs/Services/Datalab/Onyxia/version.md
Normal file
|
@ -0,0 +1,190 @@
|
|||
# Contrôle de version
|
||||
|
||||
Sur cette page, vous trouverez des explications sur ce qu'est un contrôleur de version Git, comment créer vos propres dépôts Git sur les plateformes GitHub et GitGenes, ainsi que la manière de les paramétrer pour les associer à vos services datalab Onyxia.
|
||||
|
||||
Cela vous permettra entre autres de cloner, sauvegarder vos données stockées sur vos services, et ainsi garantir une gestion efficace de vos travaux.
|
||||
|
||||
## Mise en garde
|
||||
|
||||
Avant de vous détailler tout sur le contrôleur de version Git, nous voulons vous rappeler via ce paragraphe que quand vous créez un service sur le datalab Onyxia, aucunes des données que vous importer sur les services n'est persistantes, sauf pour les services de bases de données (Postgresql, Mongodb, etc…) qui eux, disposent d'un stockage persistant.
|
||||
|
||||
Les services du Datalab fonctionnent sur le modèle des conteneurs éphémères : dans un usage standard, l'utilisateur lance un service, réalise des traitements de données, sauvegarde le code qui a permis de réaliser ces traitements, et supprime l'instance du service.
|
||||
|
||||
Vous avez donc deux choix, celle que nous préconisons aux utilisateurs est d'automatiser ce processus d'import/export/synchronisation de données en utilisant un contrôleur de version Git qui vous sera entièrement expliqué sur cette page à la suite de ce paragraphe de mise en garde.
|
||||
|
||||
Ou d'importer manuellement vos données à la création de votre service puis de télécharger les données stockées sur vos services avant chaque arrêt d'utilisation.
|
||||
|
||||
Git, qui est la méthode que nous préconisons, est un système de gestion de version qui permet aux utilisateurs de suivre l'évolution de leurs fichiers au fil du temps, le plus connu étant GitHub.
|
||||
|
||||
Dans le cadre de nos services, nous simplifions ce processus : tous les utilisateurs ayant un compte ENSAE se voient automatiquement attribuer un compte GitGenes.
|
||||
|
||||
GitGenes est notre système Git hébergé en interne, utilisant la solution Gitea et offrant des fonctionnalités similaires à celles de GitHub ou GitLab. Il facilite la création, la gestion et la collaboration autour de dépôts Git, <a href="https://code.groupe-genes.fr/ " target="_blank">celui-ci est disponible ici</a>.
|
||||
Sacher que par défaut, le datalab Onyxia est préconfiguré avec votre compte <a href="https://code.groupe-genes.fr/ " target="_blank">GitGenes</a>.
|
||||
|
||||
Les utilisateurs n'ont plus qu'à créer un dépôt sur leur compte GitGenes, puis, spécifier l'URL de ce dépôt dans nos services datalab Onyxia. Cela permettra qu'à la création d'un service, les données stockées sur votre dépôt seront automatiquement clonées sur votre service datalab Onyxia.
|
||||
|
||||
Liens utiles :
|
||||
|
||||
- <a href="https://documentation-dsit.lab.groupe-genes.fr/Services/Datalab/Onyxia/#git-config" target="_blank">Où ajouter l'URL d'un dépôt Git lors de la configuration de vos services du datalab Onyxia</a>
|
||||
|
||||
- <a href="https://documentation-dsit.lab.groupe-genes.fr/Services/Datalab/Onyxia/version/#creation-recuperation-de-lurl-dun-depot" target="_blank">Comment créer et récupérer l'URL d'un dépôt sur GitGenes ou Github</a>
|
||||
|
||||
|
||||
## Pourquoi utiliser le contrôle de version ?
|
||||
|
||||
Le Datalab est une plateforme mutualisée : les ressources utilisées par les services sont partagées entre les différents utilisateurs. A ce titre, les services du Datalab fonctionnent sur le modèle des conteneurs éphémères : dans un usage standard, l'utilisateur lance un service, réalise des traitements de données, sauvegarde le code qui a permis de réaliser ces traitements, et supprime l'instance du service. Cette sauvegarde du code est grandement facilitée par l'usage du contrôle de version.
|
||||
|
||||
Cette considération de performance ne doit cependant pas être vue comme une contrainte : le contrôle de version est une bonne pratique essentielle de développement. Les bénéfices sont nombreux, aussi bien à titre individuel :
|
||||
|
||||
* le projet local est synchronisé avec un serveur distant, rendant la perte de code quasi impossible ;
|
||||
* l'historique complet des choix et modifications effectuées sur le projet est conservé ;
|
||||
* l'utilisateur peut parcourir cet historique pour rechercher les modifications qui ont pu créer des erreurs, et décider à tout moment de revenir à une version précédente du projet, ou bien de certains fichiers.
|
||||
|
||||
Dans le cadre de projets collaboratifs :
|
||||
|
||||
* le travail simultané sur un même projet est possible, sans risque de perte ;
|
||||
* l'utilisateur peut partager ses modifications tout en bénéficiant de celles des autres ;
|
||||
* il devient possible de contribuer à des projets open-source, pour lesquels l'usage de Git est très largement standard.
|
||||
|
||||
!!! warning
|
||||
Ce tutoriel vise à présenter comment le contrôle de version peut être facilement implémenté grâce aux outils présents sur le Datalab. Il ne présente pas le fonctionnement de Git et présuppose donc une certaine familiarité avec l'outil. De nombreuses ressources en ligne peuvent servir d'introduction ; l'utilisateur de R pourra par exemple consulter <a href="https://linogaliana.gitlab.io/collaboratif/git.html" target="_blank">ce guide</a>. Une formation complète à Git sera bientôt proposée dans l'espace formation du Datalab qui sera bientôt ajouter sur notre Datalab Onyxia.
|
||||
|
||||
|
||||
## Intégration de Git avec le Datalab
|
||||
|
||||
### Pourquoi Git ?
|
||||
|
||||
Bien qu'une utilisation hors-ligne de Git soit possible, tout l'intérêt du contrôle de version réside dans la synchronisation de la copie locale d'un projet (_clone_) avec un dépôt distant (_remote_). Différents services de forge logicielle permettent cette synchronisation des projets Git, dont les plus connus sont <a href="https://github.com" target="_blank">Github</a> et <a href="https://about.gitlab.com" target="_blank">GitLab</a>. Dans la mesure où le premier dispose aujourd'hui de beaucoup plus de visibilité — par exemple, les dépôts du Genes, sont hébergé en interne via Gitea <a href="https://code.groupe-genes.fr/" target="_blank">accessible ici</a>.
|
||||
|
||||
Vous disposer donc automatiquement d'un dépôt <a href="https://code.groupe-genes.fr/" target="_blank">GitGenes</a>, que vous pouvez accéder en utilisant votre compte ENSAE. Celui-ci est également automatiquement intégré sur votre compte du datalab comme <a href="https://documentation-dsit.lab.groupe-genes.fr/Services/Datalab/Onyxia/#services-externes" target="_blank">décrit ici</a>.
|
||||
|
||||
|
||||
le Datalab propose une intégration facilitée avec Git, que nous vous présentons à travers ce tutoriel. La suite du guide vous permettra de configurer GitHub & GitGenes sur le datalab à deux endroits:
|
||||
- Dans l'onglet <a href="https://onyxia.lab.groupe-genes.fr/account/third-party-integration" target="_blank">Services externes</a> qui ajoutera la configuration de votre dépôt git automatiquement sur chaques service qui vous créé (plus d'information sur notre <a href="https://documentation-dsit.lab.groupe-genes.fr/Services/Datalab/Onyxia/#services-externes" target="_blank">guide principal ici</a> )
|
||||
- Lors de la création d'un <a href="https://onyxia.lab.groupe-genes.fr/my-services" target="_blank">Services</a>
|
||||
|
||||
Le guide montre en détail comment récupérer les informations suivantes sur Github & GitGenes:
|
||||
- Nom d'utilisateur pour Git
|
||||
- Email pour Git
|
||||
- Jeton d'accès personnel (Token)
|
||||
- URL Repository
|
||||
|
||||
|
||||
!!! tip
|
||||
La suite du tutoriel nécessite de disposer d'un <a href="https://github.com/join" target="_blank">compte GitHub</a> ou <a href="https://code.groupe-genes.fr/" target="_blank">GitGenes</a>.
|
||||
|
||||
|
||||
!!! info
|
||||
Si l'utilisation du Datalab avec la plateforme GitHub & GitGenes est facilitée, elle n'est en aucun cas obligatoire : il reste tout à fait possible d'utiliser la forge logicielle de son choix pour la synchronisation des projets.
|
||||
|
||||
|
||||
### Récuperer votre nom d'utilisateur et email
|
||||
|
||||
|
||||
|
||||
=== "Github"
|
||||
|
||||
Votre nom d'utilisateur et email sont directement récupérable sur <a href="https://github.com/settings/emails" target="_blank">ce lien</a> (paramètres utilisateur puis "Email").
|
||||
|
||||

|
||||
|
||||
|
||||
=== "GitGenes"
|
||||
Vous retrouverez automatiquement votre nom d'utilisateur dans votre <a href="https://code.groupe-genes.fr/user/settings" target="_blank">compte GitGenes disponible ici</a> (paramètres utilisateur).
|
||||

|
||||
|
||||
Votre nom d'utilisateur sera systématiquement composé tout attaché de la première lettre de votre prénom + votre nom + "-ensae" exemple:
|
||||
- Nom: Houdin ; Prenom: Christophe
|
||||
- Nom d'utilisateur: hchristophe-ensae
|
||||
|
||||
|
||||
### Créer un jeton d'accès (_token_)
|
||||
|
||||
Le jeton d'accès n'est affiché q'une seul fois après sa création et n'est plus récupérable par la suite. Si vous perdez votre token vous devrer simplement en recréé un :
|
||||
|
||||
=== "Github"
|
||||
|
||||
La synchronisation avec un dépôt distant nécessite une authentification auprès de GitHub. Celle-ci s'effectue à l'aide d'un jeton d'accès personnel, qui doit être généré à partir du compte GitHub de l'utilisateur. Le service de génération est accessible à <a href="https://github.com/settings/tokens" target="_blank">cette adresse</a>. La <a href="https://docs.github.com/en/authentication/keeping-your-account-and-data-secure/creating-a-personal-access-token" target="_blank">documentation GitHub</a>(en Anglais) propose des illustrations pour guider le processus.
|
||||
|
||||
|
||||
Pour générer un jeton, il est nécessaire de choisir un nom de jeton, un délai d'expiration et des droits d'accès (_scope_). Il est recommandé de choisir un délai court (30 jours) et un accès restreint (_repo_ seulement) afin de limiter les risques de sécurité en cas de diffusion malveillante du jeton.
|
||||
|
||||
<div style="text-align:center;">Configuration recommandée pour la génération d’un jeton d’accès GitHub</div>
|
||||

|
||||
|
||||
=== "GitGenes"
|
||||
Rendez vous sur directement sur le lien: <a href="https://code.groupe-genes.fr/user/settings/applications" target="_blank">https://code.groupe-genes.fr/user/settings/applications</a>
|
||||
Vous retrouverez un block "Générer un nouveau jeton", vous devrez:
|
||||
- Ajouter un nom au jeton
|
||||
- Spécifier si le token peu accéder soit à vos dépôts publique uniquement ou tout (public, privé et limité)
|
||||
- Sélectionner les autorisations liées au token
|
||||

|
||||
|
||||
Voici la configuration recommandée pour la génération d’un jeton d’accès GitGenes (modifier l'accès uniquement au "repository"):
|
||||

|
||||
|
||||
|
||||
|
||||
Une fois le jeton généré, ce dernier apparaît à l'écran. Un jeton ne peut être visualisé qu'une seule fois ; en cas de perte, il faudra en générer un nouveau.
|
||||
|
||||
### Création & récupération de l'URL d'un dépôt
|
||||
|
||||
L'URL de vos dépôt vous sera demander lors de la configuration de vos service du datalab, celui-ci doit être spécifié afin que le service clone automatiquement votre dépôt sur votre service.
|
||||
|
||||
|
||||
=== "Github"
|
||||
|
||||
Rendez vous sur <a href="https://github.com/" target="_blank">Github</a>, cliquer en haut à droite sur l'image de votre profile et sélectionner "Your repositories"
|
||||

|
||||
|
||||
Ici vous retrouver tous vos dépôts et pourrez en créer de nouveau en cliquant sur l'icône verte "new".
|
||||
|
||||
Pour récuperer l'URL, cliquer sur le dépôts que vous souhaitez cloner sur vos services du datalab vu précédemment. Sur la nouvelle page, cliquer sur le menu déroulant vert "<> code" puis copier l'URL https:
|
||||

|
||||
|
||||
|
||||
=== "GitGenes"
|
||||
Pour la création d'un dépôt, rendez vous sur <a href="https://code.groupe-genes.fr/" target="_blank">GitGenes</a>, cliquer en haut à droite sur l'icône "+" puis "Nouveau dépôt"
|
||||

|
||||
|
||||
Pour la création d'un dépôt, rendez vous sur <a href="https://code.groupe-genes.fr/" target="_blank">GitGenes</a>, cliquer en haut à droite sur l'image de votre profile puis sur "Profil":
|
||||

|
||||
|
||||
Ici vous retrouverez vos différents dépôt personnel, cliquer sur le dépôt que vous souhaitez cloner sur vos services du datalab, sur la nouvelle page cliquer sur "copier l'URL" HTTPS:
|
||||

|
||||
|
||||
|
||||
|
||||
### Ajouter les informations Git sur le Datalab
|
||||
Nous avons vu précédemment les différentes informations nécessaires pour la configuration d'un dépôt GitHub & GitGenes sur le datalab. Nous allons maintenant voir où ajouter ces informations sur le datalab pour que vos dépôt soient clonés automatiquement sur vos services du datalab.
|
||||
|
||||
#### Nom d'utilisateur, email & jeton d'accès (token)
|
||||
|
||||
Ces informations peuvent être ajoutées à deux endroits différents:
|
||||
- Sur l'onglet "Mon compte" qui va permettre d'ajouter un Git qui sera ensuite configuré par défaut sur chaque nouveau service que vous créerez, <a href="https://documentation-dsit.lab.groupe-genes.fr/Services/Datalab/Onyxia/#services-externes" target="_blank">plus d'information ici</a>.
|
||||
- Individuellement sur chaques services que vous créerez dans le sous onglet "Git" lors de la configuration du service, <a href="https://documentation-dsit.lab.groupe-genes.fr/Services/Datalab/Onyxia/#git" target="_blank">plus d'information ici</a>.
|
||||
|
||||
|
||||
#### Ajout de l'URL de dépôt
|
||||
|
||||
Pour que vos dépôt soit ajouter sur vos services, il faudra le spécifié l'URL de dépôt à chaque création d'un nouveau service L'URL de dépôt <a href="https://documentation-dsit.lab.groupe-genes.fr/Services/Datalab/Onyxia/#git" target="_blank">détaillé ici</a>, penser donc à enregistrer la configuration de vos services afin de facilité la création récurente de vos services, plus de détails sur comment enregistrer et configurer un <a href="https://documentation-dsit.lab.groupe-genes.fr/Services/Datalab/Onyxia/#configuration-general-du-catalogue-de-services" target="_blank">service ici</a>.
|
||||
|
||||
|
||||
### Git via le terminal
|
||||
|
||||
Le jeton d'accès GitHub est disponible dans le terminal des différents services via la variable d'environnement `$GIT_PERSONAL_ACCESS_TOKEN`. Afin d'éviter de devoir s'authentifier à chaque opération impliquant le dépôt distant (_clone_, _push_ & _pull_), il est recommandé de cloner celui-ci en incluant le jeton d'accès dans le lien HTTPS, à l'aide de la commande suivante :
|
||||
```git
|
||||
git clone https://${GIT_PERSONAL_ACCESS_TOKEN}@github.com/<owner>/<repo>.git
|
||||
```
|
||||
où \<owner> et \<repo> sont à remplacer respectivement par le nom d'utilisateur et le nom du dépôt GitHub.
|
||||
|
||||
### Git via des interfaces graphiques intégrées
|
||||
|
||||
Les principaux services de production de code disponibles sur le Datalab disposent d'une interface graphique pour faciliter l'utilisation de Git :
|
||||
|
||||
* RStudio : RStudio propose une interface graphique pour Git native et assez complète. La <a href="https://www.book.utilitr.org/03_fiches_thematiques/fiche_git_utilisation" target="_blank">documentation utilitR</a> présente son fonctionnement en détail ;
|
||||
* Jupyter : le plugin <a href="https://github.com/jupyterlab/jupyterlab-git" target="_blank">jupyterlab-git</a> permet un interfaçage (assez sommaire) de Jupyter avec Git ;
|
||||
* VSCode : VSCode propose nativement une interface graphique très bien intégrée avec Git et GitHub. Une <a href="https://code.visualstudio.com/docs/editor/versioncontrol" target="_blank">documentation détaillée</a>(en Anglais) présente les possibilités de l'outil.
|
||||
|
||||
!!! warning
|
||||
Les interfaces graphiques facilitent la prise en main de Git, mais ne remplacent jamais complètement l'usage de l'outil via un terminal du fait d'une intégration nécessairement imparfaite. Il est donc utile de se familiariser avec l'usage de Git via le terminal le plus tôt possible.
|
|
@ -1,7 +1,8 @@
|
|||
# FileSender
|
||||
|
||||
Équivalent de WeTransfer, il s'agit d'une plateforme permettant l'envoi de fichiers volumineux qui est accessible via le lien suivant :
|
||||
[**filesender.ensae.fr**](https://filesender.ensae.fr/).
|
||||
Équivalent de WeTransfer, il s'agit d'une plateforme permettant l'envoi de fichiers volumineux (jusqu'à 100.0 Go) tant vers l'intérieur que vers l'extérieur de l'établissement. Ce service est accessible via le lien suivant : [**filesender.ensae.fr**](https://filesender.ensae.fr/).
|
||||
|
||||
**A noter** : Les fichiers sont automatiquement supprimés 14 jours après leur dépôt.
|
||||
|
||||
## 1. Publics concernés
|
||||
|
||||
|
@ -25,7 +26,17 @@ Une fois connecté, l'utilisateur aura accès à un menu composé des onglets su
|
|||
|
||||
### 1.2 Utilisateur non GENES
|
||||
|
||||
**Connexion** :
|
||||
**Connexion** : Pour un utilisateur GENES, vous pouvez vous connecter avec votre nom d'utilisateur et votre mot de passe pour envoyer des fichiers à n'importe qui, qu'ils soient internes ou externes à l'établissement.
|
||||
|
||||
**Actions possibles** :
|
||||
- Déposer : Vous pouvez déposer un ou plusieurs fichiers pour un utilisateur GENES. Une vérification de l'adresse e-mail est nécessaire, ou vous pouvez utiliser un code de demande.
|
||||
|
||||
**Actions possibles** :
|
||||
## 2. Comment GENES est-il sécurisé ?
|
||||
- Tous les fichiers sont transférés de manière sécurisée et chiffrée à travers le réseau.
|
||||
- Si vous envoyez des données personnelles ou confidentielles, sélectionnez l'option "Encrypt every file". Vous devrez utiliser le passphrase pour décrypter le fichier, le passphrase n'est pas stocké et ne peut pas être restauré. Personne d'autre que vous n'y a accès.
|
||||
- Tous les fichiers téléchargés et stockés temporairement sur GENES sont conservés sur du matériel appartenant à GENES et exploité par l'établissement.
|
||||
- Toutes les données sont soumises aux réglementations et lois sur la protection des données de l'établissement public et du pays d'hébergement.
|
||||
- Ce service n'est en aucun cas un service "cloud". Tout est stocké (même temporairement) sur un équipement appartenant directement à GENES et géré par son propre service informatique.
|
||||
- Tous les accès aux données sont strictement contrôlés par GENES. Tous les accès aux données sur GENES sont enregistrés et peuvent être facilement vérifiés en cas de doute sur un accès tiers.
|
||||
- Les données téléchargées ne sont conservées que pendant un maximum de 14 jours, après quoi elles sont automatiquement supprimées. Il n'y a pas de corbeille ou de possibilité de récupération. Aucune sauvegarde des données téléchargées n'est effectuée (il s'agit uniquement d'un point de dépôt temporaire). Par conséquent, aucune donnée téléchargée ne sortira de l'établissement vers d'autres équipements ou supports tels que des bandes de sauvegarde. Après qu'un fichier téléchargé ait été supprimé, il n'y a aucun moyen de le récupérer.
|
||||
- La récupération d'un dépôt par un destinataire ne peut être effectuée qu'avec le 'Claim ID' et le 'Passcode' du dépôt. Lorsque vous déposez des fichiers, vous pouvez choisir de ne pas envoyer automatiquement l'une ou l'autre de ces informations, ou les deux, au destinataire. Vous devrez alors envoyer vous-même le 'Claim ID' et le 'Passcode' par un autre moyen.
|
After Width: | Height: | Size: 90 KiB |
After Width: | Height: | Size: 157 KiB |
After Width: | Height: | Size: 71 KiB |
After Width: | Height: | Size: 184 KiB |
After Width: | Height: | Size: 60 KiB |
After Width: | Height: | Size: 62 KiB |
41
docs/Services/Logiciels Scientifiques/Mathematica/index.md
Normal file
|
@ -0,0 +1,41 @@
|
|||
# Procédures Mathematica
|
||||
|
||||
## Ajout du serveur de licence suite à une demande de clée d'activation
|
||||
|
||||
Si après le lancement de Mathematica celui-ci vous demande une clée d'activation, il va falloir simplement rajouter notre serveur de licence manuellement:
|
||||
|
||||
|
||||
Pour cela, cliquer sur le 2èmes boutons en bas à gauche **Other ways to activate**:
|
||||

|
||||
|
||||
|
||||
Sélectionner **Connect to a network license server**:
|
||||

|
||||
|
||||
|
||||
Saisissez le nom du server **sv-mathematica.ensae.fr** puis cliquer sur **Activate** en bas à droite:
|
||||

|
||||
|
||||
Cocher la case **I accept the terms of this agreement** puis sur **ok**:
|
||||

|
||||
|
||||
|
||||
Vous pouvez maintenant commencer vos travaux !
|
||||
|
||||
!!! information
|
||||
La version affichée est **12.1**, cependant la version réel est en **13.1**
|
||||
|
||||
Voici un exemple de calcul de développement limité de cos(x) autour de x = 0 à l'ordre 10:
|
||||

|
||||
|
||||
|
||||
## Utilisation de Mathematica sur le Cloud
|
||||
|
||||
Pour les utilisateurs ne souhaitant pas installer Mathématica physiquement sur leurs PC, une version cloud est [disponible directement ici](https://account.wolfram.com/login/saml/login?idp=https%3A%2F%2Fidp.ensae.fr%2Fsaml2%2Fidp%2Fmetadata.php&redirectUrl=https%3A%2F%2Fwww.wolframcloud.com%2Fsignin):
|
||||
|
||||
|
||||
Les identifiants qui vous sont demandés sont vos logins ENSAE (première lettre de votre prenom suivi de votre nom attaché):
|
||||
|
||||

|
||||
|
||||
|
3
docs/Services/Logiciels Scientifiques/Miktex/index.md
Normal file
|
@ -0,0 +1,3 @@
|
|||
#
|
||||
|
||||
##
|
78
docs/Services/Logiciels Scientifiques/SAS/sas.md
Normal file
|
@ -0,0 +1,78 @@
|
|||
# SAS (Academic Use)
|
||||
|
||||
## Introduction
|
||||
SAS est un logiciel statistique conçu pour l'analyse de données et la génération de rapports. Le produit comprend SAS/Base et SAS/STAT. SAS/Base est un outil de gestion de données polyvalent, de récupération et de rédaction de rapports, doté d'une fonctionnalité de fenêtrage en plein écran.
|
||||
|
||||
Exigences : Pour installer SAS sur votre ordinateur portable personnel, vous devez remplir les conditions suivantes :
|
||||
- être étudiant/professeur à l'ENSAE-ParisTech
|
||||
- avoir un compte ENSAE valide
|
||||
- votre ordinateur portable doit avoir accès au WiFi de l'ENSAE
|
||||
- votre ordinateur portable doit répondre à toutes les exigences de SAS 9.4 -> (Exigences système pour SAS 9.4)
|
||||
- votre ordinateur portable doit être sur un des systèmes d'exploitations Windows
|
||||
|
||||
## Premiers pas
|
||||
|
||||
- Étape 1 : Veuillez remplir le formulaire disponible <a href="https://www.sas.com/fr_fr/academic/form-licence-gratuite-domicile/register.html" target="_blank">en cliquant ici</a>
|
||||
- Étape 2 : Imprimez le reçu, signez-le, numérisez-le et envoyez-le à support.informatique@ensae.fr
|
||||
- Étape 3 : Connectez votre ordinateur portable au WiFi de l'ENSAE
|
||||
- Étape 4 : Le dépôt est situé sur le réseau, copiez l'adresse suivante et collez-la dans votre Explorateur de fichiers
|
||||
``` Lien :
|
||||
\\ulysse\Ulysse_Prod_Apps\Sas\SAS_Software_Depot_2019
|
||||
```
|
||||
|
||||
Si Windows vous demande d'entrer des informations d'identification réseau, entrez simplement ENSAE\<votre_login> et le mot de passe associé.
|
||||
|
||||
## Installation
|
||||
|
||||
Si des informations d'identification vous sont demandées, saisissez les informations d'identification de votre ENSAE.
|
||||
Nom d'utilisateur : ENSAE\<votre_login>
|
||||
Mot de passe : <votre_mot_de_passe>
|
||||
Une fois que vous avez accès au dépôt, lancez "Setup.exe" et suivez les instructions.
|
||||
|
||||
!!! warning
|
||||
Il est impératif que vous nous renvoyiez le formulaire rempli à support.informatique@ensae.fr en spécifiant votre demande d'accès au logiciel SAS.
|
||||
|
||||
## Documentation
|
||||
La documentation du logiciel SAS est disponible <a href="https://www.sas.com/content/dam/SAS/fr_fr/doc/academic/document-installation-sas-9.4-v4.pdf" target="_blank">en cliquant ici</a>.
|
||||
|
||||
## Clause de non-responsabilité
|
||||
SAS (utilisation académique) ne doit être utilisé qu'à des fins éducatives, la redistribution ou la revente n'est pas autorisée. Vous devez être conscient que le service informatique de GENES-ENSAE n'est pas responsable de votre ordinateur portable personnel et ne vous assistera en aucune circonstance.
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
|
||||
Pour les demandes d'utilisateurs souhaitant accéder au logiciel SAS, il n'y a pas d'actions particulières à faire pour leurs donner accès, l'installation de SAS est un peu en libre accès, cependant il faut qu'ils nous renvoient un formulaire signée.
|
||||
|
||||
Donc suite à une demande utilisateur, leurs envoyer la procédure suivante:
|
||||
https://genes.sharepoint.com/sites/intraensae/Documents%20partages/Forms/AllItems.aspx?id=%2Fsites%2Fintraensae%2FDocuments%20partages%2FInformatique%20%26%20logiciels%2FSAS%5FAcademic%5FUse%2Epdf&parent=%2Fsites%2Fintraensae%2FDocuments%20partages%2FInformatique%20%26%20logiciels&p=true&ga=1&isSPOFile=1&OR=Teams%2DHL&CT=1708503167705&clickparams=eyJBcHBOYW1lIjoiVGVhbXMtRGVza3RvcCIsIkFwcFZlcnNpb24iOiI0OS8yNDAxMDQxOTEyOCIsIkhhc0ZlZGVyYXRlZFVzZXIiOmZhbHNlfQ%3D%3D
|
||||
|
||||
Dans cette procédure ils auront à:
|
||||
- remplir un formulaire, nous le renvoyer
|
||||
- se connecter impérativement sur le réseau ENSAE WiFi
|
||||
- Accéder au répertoire "\\ulysse\Ulysse_Prod_Apps\Sas\SAS_Software_Depot_2019" pour lancer le "setup.exe" de SAS.
|
||||
|
||||
En théorie l'utilisateur doit tout faire de lui mêmes, ci-dessous un mail type à envoyer à l'utilisateur suite à un ticket de demande d'installation du logiciel SAS:
|
||||
```
|
||||
Bonjour,
|
||||
|
||||
Vous trouverez ci-dessous le lien vers les différentes étapes à suivres pour l'installation du logiciel SAS:
|
||||
https://genes.sharepoint.com/sites/intraensae/Documents%20partages/Forms/AllItems.aspx?id=%2Fsites%2Fintraensae%2FDocuments%20partages%2FInformatique%20%26%20logiciels%2FSAS%5FAcademic%5FUse%2Epdf&parent=%2Fsites%2Fintraensae%2FDocuments%20partages%2FInformatique%20%26%20logiciels&p=true&ga=1
|
||||
|
||||
Pour les deux premières étapes vous devrez impérativement compléter, signer et nous renvoyer le formulaire par mail.
|
||||
|
||||
Attention, SAS n'est compatible qu'avec les sytèmes d'exploitations Windows.
|
||||
|
||||
Cordialement,
|
||||
```
|
||||
|
||||
!!! warning
|
||||
**Attention** SAS est compatible uniquement avec les systèmes d'exploitations Windows
|
3
docs/Services/Logiciels Scientifiques/index.md
Normal file
|
@ -0,0 +1,3 @@
|
|||
# Catalogue de Logiciels scientifiques
|
||||
|
||||
## TO DO LIST
|
After Width: | Height: | Size: 504 KiB |
After Width: | Height: | Size: 3.1 KiB |
After Width: | Height: | Size: 44 KiB |
After Width: | Height: | Size: 2.8 KiB |
After Width: | Height: | Size: 37 KiB |
After Width: | Height: | Size: 62 KiB |
After Width: | Height: | Size: 20 KiB |
After Width: | Height: | Size: 24 KiB |
After Width: | Height: | Size: 56 KiB |
After Width: | Height: | Size: 75 KiB |
After Width: | Height: | Size: 26 KiB |
|
@ -0,0 +1,74 @@
|
|||
|
||||
# Procédure première connexion au serveurs de calcul Labostat & Labostat2
|
||||
|
||||
Vous venez d'obtenir l'accès aux serveurs de calcul Labostat & Labostat2, accessible depuis l'interface web: http://labostat.ensae.fr:8000/
|
||||
|
||||
**Cependant** avant de pouvoir y accéder vous devez effectuer quelques manipulations afin de créer vos dossiers utilisateur sur ces serveurs.
|
||||
|
||||
Pour ces manipulations il faut que vous soyez connecté sur le réseau interne du GENES ou connecté en Bureau à distance si vous êtes à l'extérieur (https://rdsgw.ensae.fr/RDWeb/Pages/fr-FR/Default.aspx).
|
||||
|
||||
Pour les utilisateurs MacOS voir la procédure [téléchargeable ici.](https://code.groupe-genes.fr/DSIT/documentation-dsit/raw/branch/main/docs/Services/Serveurs%20de%20calculs/Labostat/img/remote%20desktop%20macos.one)
|
||||
|
||||
Pour les membres du CREST, le moyen d'accès à votre bureau à distance peu être différent (la page rdsgw.ensae.fr sera vide), normalement celle-ci vous a été communiqué lors de votre arrivée.
|
||||
|
||||
Sinon, suivre la procédure suivante (pour les membres du CREST uniquement):
|
||||
- Appuyer sur la touche 'Windows'
|
||||
- Chercher l'application "Connexion bureau à distance" et appuyer sur entrer
|
||||
- Puis ajouter les informations dans 'Ordinateur': "RDS.ENSAE.FR" puis dans 'Nom d'utilisateur' "ensae\" suivie de votre login de connexion ENSAE (première lettre de votre nom suivi de votre prénom) exemple:
|
||||

|
||||
- Appuyer sur connexion et entrer votre mot de passe de session ENSAE
|
||||
|
||||
Si vous n'arrivez pas à vous connecter en bureau à distance et que vous ne pouvez pas vous déplacer sur le site de Palaiseau pour vos connecter sur le réseau interne afin d'effecter cette procédure, nous contacter par mail à support@groupe-genes.fr.
|
||||
|
||||
Cette procédure est à faire uniquement une seul fois au seins du réseau interne du GENES, vous pourrez ensuite accéder à l'interface web Labostat tout en étant à l'extérieur.
|
||||
|
||||
|
||||
## Création d'un dossier utilisateur sur les serveurs
|
||||
|
||||
Pour créer vos répertoires utilisateur il faut que vous vous connectez sur Labostat & Labostat2 en SSH. La procédure suivante est faite via CMD sur Windows, mais vous pouvez le faire via n'importe quel logiciel type ssh (putty etc...),
|
||||
|
||||
Pour cela, lancer une console CMD:
|
||||
- Appuyer sur la touche Windows de votre clavier
|
||||
- Dans la barre de recherche écrivez "CMD" et appuyer sur entrer
|
||||
|
||||

|
||||
|
||||
Une fenêtre d'invite de commande va s'ouvrir, vous aller devoir vous connecter au deux serveurs de calcul via ssh en utilisant vos identifiants ENSAE.
|
||||
|
||||
Nous allons commencer par le labostat2 dont l'adresse ip est 172.16.200.17, pour cela écrivez la commande "%votre_nom_d'utilisateur_ensae%@172.16.200.17", appuyer sur la touche entrer, puis écrivez votre mot de passe ENSAE.
|
||||
Exemple:
|
||||
ssh aguyot@172.16.200.17
|
||||
|
||||

|
||||
|
||||
|
||||
Si la connexion s'est bien effectuée, vous devriez avoir comme l'image suivante et avoir en texte vert sur la console "votrelogin@labostat2":
|
||||
|
||||

|
||||
|
||||
Vous devez refaire la manipulation suivante mais sur le serveur labostat dont l'adresse ip est 172.16.200.72 (attention, la connexion en ssh peu parfois s'annuler pour ce serveur, recommencer jusqu'à réussir à vous connecter au minimum une fois):
|
||||
Exemple:
|
||||
ssh aguyot@172.16.200.72
|
||||
|
||||
|
||||

|
||||
|
||||
## Connexion à l'interface jupyter
|
||||
|
||||
Maintenant vos répertoires personnel créés, vous pouvez désormais utiliser l'interface web jupyter du serveur de calcul via le lien suivant: http://labostat.ensae.fr:8000/. Pour vous connecter, utiliser de nouveau vos identifiants ENSAE (les mêmes que vous avez utilisés précédemment), il peu y avoir de temps en temps une erreur de connexion, essayer plusieurs fois de vous reconnecter:
|
||||

|
||||
|
||||
|
||||
Une fois connecter vous avez accès au cluster:
|
||||

|
||||
|
||||
Vous pouvez désormais faire vos travaux, exemple de création d'une matrice aléatoire de paramètre (n,p) avec le package torch:
|
||||

|
||||
|
||||
L'installation des packages se fait en local (c'est à dire sur le notebook) en utilisant la formule "pip install %nom_du_package%", voir la capture suivante pour une exponentielle avec le package scipy en utilisant "pip install scipy":
|
||||

|
||||
|
||||
Il est important de se déconnecter une fois que vous ne travaillez plus sur le cluster, cliquer sur l'onglet "File" en haut à gauche et cliquer sur "Log Out":
|
||||

|
||||
|
||||
Pour réaccéder au cluster, il suffit simplement de vous connecter via l'adresse: http://labostat.ensae.fr:8000/
|
BIN
docs/Services/Serveurs de calculs/img/charte utilisation.doc
Normal file
1
docs/Services/Serveurs de calculs/index.md
Normal file
|
@ -0,0 +1 @@
|
|||
# Descriptif des serveurs
|
BIN
docs/assets/logo.png
Normal file
After Width: | Height: | Size: 5.1 KiB |
BIN
docs/assets/logo_seul_blanc.png
Normal file
After Width: | Height: | Size: 12 KiB |
5
docs/stylesheets/extra.css
Normal file
|
@ -0,0 +1,5 @@
|
|||
:root {
|
||||
--md-primary-fg-color: #873763;
|
||||
--md-primary-fg-color--light: #66135e;
|
||||
--md-primary-fg-color--dark: #ac76be;
|
||||
}
|
34
mkdocs.yml
|
@ -7,9 +7,33 @@ edit_uri: src/branch/main/docs/
|
|||
theme:
|
||||
name: material
|
||||
features:
|
||||
- navigation.instant
|
||||
- content.action.edit
|
||||
- navigation.sections
|
||||
- toc.integrate
|
||||
- navigation.top
|
||||
- search.suggest
|
||||
- search.highlight
|
||||
- content.tabs.link
|
||||
- content.code.copy
|
||||
language: fr
|
||||
palette:
|
||||
- scheme: default
|
||||
toggle:
|
||||
icon: material/toggle-switch-off-outline
|
||||
name: Switch to dark mode
|
||||
primary: custom
|
||||
- scheme: slate
|
||||
toggle:
|
||||
icon: material/toggle-switch
|
||||
name: Switch to light mode
|
||||
primary: custom
|
||||
accent: purple
|
||||
logo: assets/logo_seul_blanc.png
|
||||
|
||||
extra_css:
|
||||
- stylesheets/extra.css
|
||||
|
||||
extra:
|
||||
generator: false
|
||||
|
||||
markdown_extensions:
|
||||
- pymdownx.superfences:
|
||||
|
@ -17,7 +41,9 @@ markdown_extensions:
|
|||
- name: mermaid
|
||||
class: mermaid
|
||||
format: !!python/name:pymdownx.superfences.fence_code_format
|
||||
- admonition
|
||||
- pymdownx.details
|
||||
|
||||
- admonition
|
||||
- pymdownx.tabbed:
|
||||
alternate_style: true
|
||||
combine_header_slug: true
|
||||
|
||||
|
|