diff --git a/docs/Services/pole-scientifique/Onyxia/docs/index.md b/docs/Services/pole-scientifique/Onyxia/docs/index.md index 01fdbcb..7ad9921 100644 --- a/docs/Services/pole-scientifique/Onyxia/docs/index.md +++ b/docs/Services/pole-scientifique/Onyxia/docs/index.md @@ -1,14 +1,14 @@ -# Qu’est-ce que Datalab Onyxia GENES ? +# Qu’est-ce que le Datalab Onyxia du GENES ? -Onyxia est une application web permettant d'accéder à un environnement de travail disposant de multiples services liés à la Data (Jupyter, RStudio, Mongodb, Kafka, Mlflow etc...) sans avoir à se préoccuper du déploiement de l’infrastructure. +Le datalab est une application web permettant d'accéder à un environnement de travail disposant de multiples services liés à la Data (Jupyter, RStudio, Mongodb, Kafka, Mlflow etc...) sans avoir à se préoccuper du déploiement de l’infrastructure. -Au-delà de la simple facilitation d'accès aux outils de traitement de données modernes, Onyxia promeut activement les bonnes pratiques en matière de traitement des données et de programmation, en favorisant la reproductibilité des résultats. +Au-delà de la simple facilitation d'accès aux outils de traitement de données modernes, le datalab promeut activement les bonnes pratiques en matière de traitement des données et de programmation, en favorisant la reproductibilité des résultats. -Pour les élèves et chercheurs, Onyxia est une opportunité unique d'autoformation. Grâce à son interface intuitive, les étudiants peuvent explorer, expérimenter et approfondir leurs compétences en temps réel, tout en s'adaptant aux standards actuels du monde professionnel. +Pour les élèves et chercheurs, le datalab est une opportunité unique d'autoformation. Grâce à son interface intuitive, les étudiants peuvent explorer, expérimenter et approfondir leurs compétences en temps réel, tout en s'adaptant aux standards actuels du monde professionnel. -Onyxia permet de travailler sur des environnements facilement reproductibles, grâces à l’enregistrement de la configuration des services et la capacité de paramétrer des scripts d’initialisation. +le datalab permet de travailler sur des environnements facilement reproductibles, grâces à l’enregistrement de la configuration des services et la capacité de paramétrer des scripts d’initialisation. -Via Onyxia, chaque utilisateur disposera d'un répertoire Git et d'un espace de stockage de type S3, qui seront automatiquement connectés à chaque service que l'utilisateur créera. +Via le datalab, chaque utilisateur disposera d'un répertoire Git et d'un espace de stockage de type S3, qui seront automatiquement connectés à chaque service que l'utilisateur créera. L’utilisation de Git permet de synchroniser le projet local avec un serveur distant, rendant la perte de code quasi impossible. Il permet également de conserver un historique complet des choix et modifications effectuées sur le projet, favorisant ainsi le partage des modifications avec d'autres utilisateurs. @@ -16,16 +16,16 @@ En ce qui concerne la solution de stockage de fichiers S3, celle-ci est un syst - Les fichiers stockés sont facilement accessibles depuis n'importe quel endroit via une simple URL, pouvant être facilement partagée. - De plus, l'accès aux fichiers stockés est possible directement dans les services de data science (R, Python, etc.) proposés sur le Datalab, sans nécessiter de copie préalable des fichiers localement, améliorant ainsi considérablement la reproductibilité des analyses. -L'avantage d'Onyxia réside dans la possibilité de partager chaque service avec d'autres collaborateurs en un clic. +L'avantage du datalab réside dans la possibilité de partager chaque service avec d'autres collaborateurs en un clic. -## Les fonctionnalités du Datalab Onyxia GENES en bref : +## Les fonctionnalités du Datalab en bref : - Accès à un Catalogue de services déployable en libre-service - Les utilisateurs peuvent définir le nombre de RAM, CPU et GPU qu’ils souhaitent allouer à leurs services avec une limitation par utilisateur de : 5 services, 20 CPU, 50Go RAM, et 1 GPU. Ces limitations sont différentes concernant les groupes de projets. - Possibilité de faire des demandes auprès du DSIT du GENES pour ajouter de nouveaux services au catalogue selon vos besoins, nous contacter sois sur notre teams ici Datalab - GENES - Teams ou via notre mail support à l’adresse support.informatique@ensae.fr. -- Capacité de partager l'accès à vos services et ressources d'Onyxia avec un groupe de personnes. +- Capacité de partager l'accès à vos services et ressources du datalab avec un groupe de personnes. - Possibilité de spécifier un script init personnalisable exécuté au lancement des services, plus de détails ici. @@ -33,11 +33,11 @@ L'avantage d'Onyxia réside dans la possibilité de partager chaque service avec - Intégration de secrets sous forme de variables d'environnement dans les services du Datalab, permettant de stocker les informations sensibles de type clés d'API dans Vault et de les rendre accessibles dans les services sous forme de variable. (à rajouter lien vers guide) -- Possibilités d’accéder et de créé des formations techniques sur différents outils mis à disposition pour vos collaborateurs ou élèves. Cette fonctionnalités sera ajoutée sous peu, dans le cas d'un enseignant par exemple, vous pourrez ajouter une formation/cours sur un sujet. Y ajouter des URLs de configuration de services, sur lequels les élèves pourront cliquées et qui déploiera automatiquement des services sur leurs interface Onyxia sur lequels ils pourront travailler/faire des exercices dans un environnements que vous avez entièrement paramétré. Cette méthode permet ainsi aux élèves d'avoir accès à un environnement stable et reproductibles instantanément. L'Onyxia de l'Insee possède cette fonctionnalités qui est visible ici. +- Possibilités d’accéder et de créé des formations techniques sur différents outils mis à disposition pour vos collaborateurs ou élèves. Cette fonctionnalités sera ajoutée sous peu, dans le cas d'un enseignant par exemple, vous pourrez ajouter une formation/cours sur un sujet. Y ajouter des URLs de configuration de services, sur lequels les élèves pourront cliquées et qui déploiera automatiquement des services sur leurs interface Onyxia sur lequels ils pourront travailler/faire des exercices dans un environnements que vous avez entièrement paramétré. Cette méthode permet ainsi aux élèves d'avoir accès à un environnement stable et reproductibles instantanément. Le datalab Onyxia de l'Insee possède cette fonctionnalités qui est visible ici. -## Présentation rapide d’Onyxia en vidéo : +## Présentation rapide du datalab en vidéo : IMAGE ALT TEXT HERE @@ -57,22 +57,22 @@ L'avantage d'Onyxia réside dans la possibilité de partager chaque service avec # Une plateforme de mutualisation -Le projet Onyxia part du constat de difficultés communes rencontrées par les datascientists du secteur public : +Le projet du datalab part du constat de difficultés communes rencontrées par les datascientists du secteur public : - des agents souvent isolés, du fait de la relative rareté des compétences data dans l'administration ; - des infrastructures inadaptées, aussi bien en matière de ressources que de technologies, qui constituent un frein à l'innovation ; - une difficulté à passer de l'expérimentation à la mise en production, du fait de multiples séparations (séparation physique, langage de développement, modes de travail) entre les directions métier et la production informatique. -Face à ce constat, le Datalab Onyxia GENES a été construit pour proposer une plateforme de mutualisation à plusieurs niveaux +Face à ce constat, le Datalab a été construit pour proposer une plateforme de mutualisation à plusieurs niveaux - partage d'une infrastructure moderne, centrée autour du déploiement de services via des conteneurs, et dimensionnée pour les usages de data science ; - partage de méthodes, via une mutualisation des services de data science proposés, auxquels chacun peut contribuer ; - partage de connaissances, via des formations associées au Datalab ainsi que la constitution de commaunautés d'entraide centrées sur son utilisation. !!! info - Onyxia, Datalab Onyxia GENES : quelles différences ? + Onyxia, Datalab du Genes: quelles différences ? - [Onyxia ](https://github.com/InseeFrLab/onyxia.git)est un projet open-source de l'Insee qui propose une plateforme de services de _data science_, accessible via une application Web. Le [Datalab Onyxia Genes](https://onyxia.lab.groupe-genes.fr/) est une instance du projet Onyxia, hébergée au GENES. + [Onyxia ](https://github.com/InseeFrLab/onyxia.git)est un projet open-source de l'Insee qui propose une plateforme de services de _data science_, accessible via une application Web. Le [Datalab du Genes](https://onyxia.lab.groupe-genes.fr/) est une instance du projet Onyxia, hébergée au GENES. # Principes fondamentaux @@ -85,13 +85,13 @@ L'architecture du Datalab est basée sur un ensemble de principes fondamentaux : - un projet complètement open-source, à la fois du point de vue de ses briques constitutives que de sa diffusion (licence MIT). # Offre de services -Le Datalab est accessible via une Interface utilisateur moderne et réactive, centrée sur l'expérience utilisateur. Celle-ci constitue le liant technique entre les différentes composantes d'Onyxia : +Le Datalab est accessible via une Interface utilisateur moderne et réactive, centrée sur l'expérience utilisateur. Celle-ci constitue le liant technique entre les différentes composantes du datalab : - des technologies open-source qui constituent l'état de l'art du déploiement et de l'orchestration de conteneurs, du stockage et de la sécurité ; - un catalogue de services et d'outils pour accompagner les projets de data science ; - une plateforme de formation et de documentation pour faciliter l'onboarding sur les technologies proposées. -
Briques fondamentales du Datalab Onyxia
+
Briques fondamentales du Datalab
@@ -109,16 +109,16 @@ Le catalogue de services est pensé de manière à accommoder l'essentiel des us # Un projet ouvert -Le projet du Datalab Onyxia est résolument ouvert, à de multiples niveaux : +Le projet du Datalab est résolument ouvert, à de multiples niveaux : - le Datalab est accessible via son interface Web à tous les agents du service public ainsi qu'aux élèves des écoles de statistique liées à l'Ensae (Cepe, Ensai, Ensae) ; -- le code source ouvert et la modularité du projet rendent possible le déploiement d'une instance Onyxia personnalisée sur n'importe quelle infrastructure basée sur un cluster Kubernetes ; +- le code source ouvert et la modularité du projet rendent possible le déploiement d'une instance du datalab personnalisée sur n'importe quelle infrastructure basée sur un cluster Kubernetes ; - le projet est ouvert aux contributions extérieures, qu'elles concernent le catalogue des services, l'interface graphique ou l'agencement des briques logicielles qui le constituent. # Première utilisation Visite guidée du Datalab -Bienvenue sur le Datalab Onyxia, plateforme de libre service mutualisée de traitement de données, destinée aux statisticiens et _data scientists_ de l'Etat. Ce tutoriel propose une visite guidée du Datalab pour être rapidement opérationnel dans l'utilisation de ses services. +Bienvenue sur le Datalab, plateforme de libre service mutualisée de traitement de données, destinée aux statisticiens et _data scientists_ de l'Etat. Ce tutoriel propose une visite guidée du Datalab pour être rapidement opérationnel dans l'utilisation de ses services. Il s’agit d’une présentation sommaire n'expliquant pas de façon détaillé chaques paramétrages possible, ceux-ci sont expliqués point par point plus plus tard dans ce guide. Voici quelques liens de redirection vers les parties détaillées: - Mon compte @@ -224,7 +224,7 @@ Dans le sous onglet Services externes vous pourrez récupérer et modifier les informations des comptes et jetons Gitlab, Github et Kaggle qui seront par défaut, lié à tous les services que vous créerez. Par défaut, votre compte Onyxia est paramétré avec le GitGenes, qui accessible ici. +Dans le sous onglet Services externes vous pourrez récupérer et modifier les informations des comptes et jetons Gitlab, Github et Kaggle qui seront par défaut, lié à tous les services que vous créerez. Par défaut, votre compte datalab est paramétré avec le GitGenes, qui accessible ici. Nous vous conseillons donc de laisser ces paramètres par défaut, si vous devez utiliser un dépôt git différent (github, bitbucket...) sur un service spécifique, faite la modification lors de la configuration du service dans le Catalogue de services, expliquer plus en détails ici.: @@ -234,17 +234,17 @@ Vous retrouverez également un guide complet sur comment créer et retrouver les ![Screenshot](img/image11.png) ## Connexion au stockage -Dans le sous onglet Connexion au stockage vous trouverez toutes les informations de votre stockage S3 fournit par le GENES et qui sera automatiquement lié à tous les services du Datalab Onyxia GENES que vous créerez. Dans cet onglet vous trouverez également toutes les informations pour connecter vos ressources externes à votre stockage Onyxia S3. +Dans le sous onglet Connexion au stockage vous trouverez toutes les informations de votre stockage S3 fournit par le GENES et qui sera automatiquement lié à tous les services du datalab que vous créerez. Dans cet onglet vous trouverez également toutes les informations pour connecter vos ressources externes à votre stockage datalab S3. !!! warning - Cependant Attention, tous les tokens de cet onglet expire et se renouvelle automatiquement toutes les 24 heures. Si vous utiliser un token pour connecter des ressources externes a votre stockage S3 Onyxia, bien se rappeler que la durée de vie des tokens est courte (24h par défaut) et qu'il faudra mettre à jour le token d'accès pour vos ressources externes. + Cependant Attention, tous les tokens de cet onglet expire et se renouvelle automatiquement toutes les 24 heures. Si vous utiliser un token pour connecter des ressources externes a votre stockage S3 datalab, bien se rappeler que la durée de vie des tokens est courte (24h par défaut) et qu'il faudra mettre à jour le token d'accès pour vos ressources externes. **Attention**, concernant l’obtention du Session token S3, il n’est pas affiché dans son entièreté, éviter donc de le copier directement en le sélectionnant puis “copier”. Utiliser bien l'icône “Copier dans le presse-papier" à droite de celui-ci : ![Screenshot](img/image12.png) -Vous pourrez également générer un script d’initialisation dans le langage de programmation de votre choix (R, Python, shell, MC client, s3cmd, etc...) qui connectera automatiquement vos ressources à votre stockage Onyxia S3, disponible en bas à gauche via un menu déroulant : +Vous pourrez également générer un script d’initialisation dans le langage de programmation de votre choix (R, Python, shell, MC client, s3cmd, etc...) qui connectera automatiquement vos ressources à votre stockage datalab S3, disponible en bas à gauche via un menu déroulant : ![Screenshot](img/image13.png) ## Vault @@ -258,7 +258,7 @@ Dans le sous onglet Modes d’interfaces vous pourrez modifier le thème d’Onyxia, changer la langue, et activer la fonctionnalités “béta-testeur” qui vous ajoutera les fonctionnalitées d'Onyxia qui ne pas encore complètement operationnel. +Dans le sous onglet Modes d’interfaces vous pourrez modifier le thème du datalab, changer la langue, et activer la fonctionnalités “béta-testeur” qui vous ajoutera les fonctionnalitées du datalab qui ne pas encore complètement operationnel. # Catalogue de services @@ -266,9 +266,9 @@ L’onglet Interactive services vous trouverez une redirection vers un dépôt helm qui rassemble la collection des charts helm qu’utilise Onyxia pour déployer les services: +Par exemple dans le Catalogue de services dans la catégorie Interactive services vous trouverez une redirection vers un dépôt helm qui rassemble la collection des charts helm qu’utilise le datalab pour déployer ses services: ![Screenshot](img/image16.png) @@ -301,7 +301,7 @@ Les interactions seront limitées à ce qui est déployé au sein de votre names ### Init Grâce à Init vous allez pouvoir personnaliser les environnements de vos services via des scripts, qui seront exécuté au lancement de votre services, pour automatiser l’installation d’un plugin sur un de vos services IDE ou autres. -Exemple simple, je souhaite ajouter automatiquement sur mon service onyxia Jupyter un fichier .txt avec comme contenu “Hello World” dans le dossier work/hello-onyxia.txt. +Exemple simple, je souhaite ajouter automatiquement sur mon service datalab Jupyter un fichier .txt avec comme contenu “Hello World” dans le dossier work/hello-onyxia.txt. Pour cela je créé un script onyxia-init.sh, dont le contenu est le suivant : @@ -377,7 +377,7 @@ Si coché, le service n'est accessible que par une seule IP, à décocher si l'o **Enable network policy :** ### Git -Par défaut cette option est activée sur chaque service, ce qui va automatiquement configurer Git et effectuer un clone du dépôt au démarrage du service. Il reprend vos paramètres par défault qui ont été spécifié dans votre compte Onyxia, voir Mon compte. **Attention**, vous devez renseigner manuellement l’URL du dépôt Git dans l’option “Repository”. +Par défaut cette option est activée sur chaque service, ce qui va automatiquement configurer Git et effectuer un clone du dépôt au démarrage du service. Il reprend vos paramètres par défault qui ont été spécifié dans votre compte datalab, voir Mon compte. **Attention**, vous devez renseigner manuellement l’URL du dépôt Git dans l’option “Repository”. ![Screenshot](img/image22.png) @@ -409,18 +409,18 @@ Il n'est pas possible de cloner automatiquement un projet privé d'une instance ### Service -Ici vous pouvez sélectionner l'image docker qui sera utilisé pour la configuration du service et également en spécifier une custom. Cependant les fonctionnalitées de cet onglet sont actuellement limitées et l'utilisation d'une image custom ne marchera pas, vous avez uniquement le choix de sélectionner des images utilisés par le datalab Onyxia genes dans le menu déroulant **Version** +Ici vous pouvez sélectionner l'image docker qui sera utilisé pour la configuration du service et également en spécifier une custom. Cependant les fonctionnalitées de cet onglet sont actuellement limitées et l'utilisation d'une image custom ne marchera pas, vous avez uniquement le choix de sélectionner des images utilisés par le datalab dans le menu déroulant **Version** ![Screenshot](img/image31.png) **PullPolicy** Politique de déploiement de l'image du service, vous avez le choix entre 3 options: - - IfNotPresent: le service utilisera l'image sélectionnée dans cet onglet uniquement si l'image par défaut utilisé par onyxia n'est pas récupérable + - IfNotPresent: le service utilisera l'image sélectionnée dans cet onglet uniquement si l'image par défaut utilisé par le datalab n'est pas récupérable - Always: le service utilisera l'image sélectionnée dans cet onglet - Never: le service n'utilisera pas l'image sélectionnée dans cet onglet **Version** -Permet de sélectionner la version d'image qu'utilisera le service, ces images sont les officiels utilisées par le datalab Onyxia Genes +Permet de sélectionner la version d'image qu'utilisera le service, ces images sont les officiels utilisées par le datalab. **Custom image** Permet de spécifié l'utilisation d'une image custom, cependant cette fonctionnalitée est actuellement désactivée. @@ -446,14 +446,14 @@ Dans l'onglet Mes fichiers du Datalab prend la forme d'un explorateur de fichiers présentant les différents buckets (dépôts) auxquels l’utilisateur a accès. Chaque utilisateur dispose par défaut d'un bucket personnel pour stocker ses fichiers, l'interface de stockage S3 est également accessible ici. -Il est possible de lire directement vos fichiers depuis cette interface en double cliquant simplement dessus (.mp4, .parquet, .csv etc...), si le format n'est pas lisible depuis l'interface Onyxia, cela vous téléchargement automatiquement le fichier. +Il est possible de lire directement vos fichiers depuis cette interface en double cliquant simplement dessus (.mp4, .parquet, .csv etc...), si le format n'est pas lisible depuis l'interface du datalab, cela vous téléchargement automatiquement le fichier. Pour apprendre à utiliser cet onglet, voir la page dédiée. # Explorateur de Données -L'explorateur de données vous permet de prévisualisez vos fichiers parquet et CSV directement depuis le navigateur Onyxia, afin d'éviter de devoir passer par un service jupyter ou autres. +L'explorateur de données vous permet de prévisualisez vos fichiers parquet et CSV directement depuis le navigateur du datalab, afin d'éviter de devoir passer par un service jupyter ou autres. Vous pourrez ainsi lire des données qui sont stockées sur votre stockage S3 également accessible dans votre onglet Mes fichiers ou en utilisant une URL publique d'un fichier donnée pour le prévisualiser, ci dessous deux exemples pour importer des données: