Rencontre passée
Échange sur le métier de data engineer

1.Le métier de data engineer et le Data Warehouse
très rapide. Il y a plusieurs modélisations pour pouvoir permettre cela. Et des fois, le métier demande à écrire, que ce soit dans des fichiers Excel. Et donc le task ici, c'est de pouvoir les déposer dans un fichier Excel pour que puissent l'utiliser et fassent ce qu'ils ont à faire derrière. Donc ça, c'est ce que moi je fais aujourd'hui, en tant que data engineer. OK. J'ai encore quelques… En tout cas, j'ai un peu compris. Après, il y a des termes quand même un peu compliqués. Ah oui. Alors, je vais utiliser Data Warehouse. Data Warehouse, c'est quoi ? C'est un entrepôt de données. C'est une base de données comme ce que vous connaissez. C'est une base de données comme ce que vous connaissez, mais le type de modélisation est différent. Ici, dans le type de modélisation, on va parler d'utilisation de tables de faits, tables de dimensions. Et en fait, ce genre de modélisation, pourquoi on le fait ? Parce que, dans le monde de la data, on a besoin que les données arrivent très rapidement. Voilà. Et donc, en fait, cette modélisation a été pensée pour que les requêtes que feront ceux qui vont requêter sur ce type de base de données soient assez rapides. Vous voyez ? Et donc, ça peut… et il faut aussi dire que la caractéristique de ce type de base de données, c'est une base de données qui doit être capable d'avoir… une très très grande volumétrie de données. Donc du coup, on ne partira pas forcément sur du MySQL. Enfin, pardon, pas sur du MySQL. Comment on l'appelle, ouais, c'est du MySQL. On partira plus sur d'autres types de SGBD comme... comment on l'appelle, Oracle ou SQL Server, ou même des bases sur le cloud, comme Cassandra ou MongoDB, des trucs comme ça. OK, OK, OK. Donc on passe une base de données comme tous les autres, mais c'est le type de modélisation qui est différent. Et donc son but, c'est vraiment de s'assurer que les requêtes seront, comment on l'appelle, pourront être rapides. Donc le temps de réponse sera rapide. D'accord. OK, ça marche. Je sais pas si vous, Gérald, tu as des questions ? Ça va. sentez-vous libre.
2.Langages et outils : Python, Jupyter, Databricks, Scala
OK, bah en fait, un ingénieur va beaucoup plus travailler sur du Python, va plus travailler avec du Python. Justement le cours de modélisation, on avait étudié à peu près la même chose, surtout les data du coup. Et on utilisait justement pour traiter ces données. D'accord. Oui, effectivement. Je suis intéressé en local, c'est ce que tu vas utiliser. Mais en entreprise, généralement beaucoup d'entreprises, surtout des grandes boîtes, ils travaillent sur le cloud. Et donc du coup, tu as peut-être entendu Azure Databricks, sur lequel il y a quelque chose qui ressemble à Jupyter Notebook. C'est toujours Notebook, c'est le même principe. Et d'autres, ils appellent ça Zeppelin. Mais ça aussi, c'est toujours le format de Jupyter. Tu vas pas travailler directement sur Jupyter, mais il y a des représentations avec Jupyter. Voilà, c'est ça. Exactement. Après, le Databricks, généralement, peut travailler sur Jupyter, des fois, généralement d'autres, surtout dans les banques. On va leur demander de travailler avec du Scala. Je sais pas si tu connais. Oui, on a. Ouais, voilà, c'est ça, du Scala. Et généralement, c'est ces deux langages-là, mais beaucoup plus Jupyter, à la connaissance. Beaucoup plus Jupyter. Et pour savoir, vous faites du OCaml ou pas ? OCaml, tu vas pas l'utiliser. Mais si tu fais du Scala après, bah en fait OCaml, tu vas mieux comprendre. Grâce à OCaml, tu vas comprendre Scala. Après faut dire que la licence, c'est très général. Mais je t'avoue que si tu arrives à le finir, ouais, tu l'as fini déjà, ouais.
3.Capacité d'adaptation et expérience en C++
Donc en gros, tout ce que tu as appris, tu verras que ça va t'aider d'une certaine manière. Peut-être tu feras pas exactement la même chose, mais pour comprendre d'autres technologies. Voilà, en fait, tu as cette aptitude-là à vite comprendre les choses, tu vois. Il faut dire que je l'ai peut-être pas précisé, mais dans la deuxième mission que je fais en parallèle, c'est que l'outil que je dois migrer était fait en C++. Et moi, je l'avais jamais fait. J'avais jamais fait. Mais du fait que j'avais déjà fait du Java à l'UPEC, j'avais déjà vu du C. Bon, je me suis déjà déjà vu de toutes les couleurs, quoi. Et aussi un peu, voilà, le côté où tu as quand même développé pas mal de programmes un peu dans ta vie. Il y a une certaine intuition qui se développe et en fait t'arrives à comprendre un peu qu'est-ce que ce code il fait, quoi. Même si c'est pas total, tu comprends généralement ce qui se passe, quoi. Donc voilà. Donc voilà, c'est un peu ça. Ça aide toujours quand même.
4.Le background informatique nécessaire pour devenir data engineer
Et Omar, tu avais une question, je crois, non ? Non, pas spécialement. Je voulais savoir, data engineer, c'est plus orienté vers quel langage, mais tu y as répondu. OK, c'est ça. Voilà, c'est tout Python, du Scala et tout. Et j'avais pas précisé, mais pour être vraiment data engineer, faut vraiment avoir un background informatique. Faut vraiment avoir ce background informatique. C'est pour ça, en fait. Généralement, celui qui fait du data engineering et du data analyst, c'est quelqu'un qui avait déjà un background informatique. Mais quelqu'un qui n'avait jamais fait du... Qui n'a pas de background informatique ne peut pas. Enfin, il aura du mal. On se forme toujours, on se forme toujours, mais il aura quand même du mal à rentrer, par défaut, dans le data engineering. Par exemple, moi, si j'ai fait du coup là, moi, comme on fait, j'ai fait deux années de BUT, et là, je suis de faire un BTS. Est-ce qu'on peut dire que j'ai quand même des bases assez solides pour devenir data engineer ? J'ai pas bien entendu, après le BUT, je suis fait quoi ? Non, avant le BUT, j'ai fait deux années de informatique. BUT ? Oui. OK. Et ensuite, t'as fait maintenant un BTS. Ouais. Ouais, c'est déjà une bonne base. Forcément, si tu as fait un BUT, surtout que c'est un peu plus dense par rapport à la licence, donc je pense que t'as déjà une bonne base en informatique. Je suppose que vous avez fait tout ce qui est langage au niveau bas niveau, tout ça, C, Java, tout ce qui est algorithmie. Oui. Ouais, voilà, en fait. Ouais, t'as déjà les bonnes bases. Les bonnes pratiques de Dev, ça viendra avec l'expérience. Et ouais, t'as déjà une bonne base. T'as déjà une bonne base. Donc en vrai, si tu viens dans le monde du data engineering, il y aura juste à compléter la culture data. Donc une culture data, c'est très important pour pouvoir mettre en place une architecture dans une entreprise, une architecture, pouvoir proposer une architecture data. Pour une équipe et tout, c'est important, et aussi quelques petites notions à connaître, quelques petits outils à connaître par-ci par-là, et le tout est joué. OK, c'est déjà un bon début, t'es sur la bonne voie.
5.Arrivée et présentation de Guy
Je vois qu'il y a Guy qui nous a rejoints. Exactement. Guy qui nous a rejoints. Si tu peux te présenter. Guy, présente-toi. Bonjour, je m'appelle Guy, du coup, je suis en première dans la classe 3 d'informatique, orienté plutôt développement d'applications, tout ça, mais comme mobile plutôt web. OK. Et cette année, je vais faire un master, mais j'ai pas eu de bachelor, du coup, j'ai pas fait de master. Donc je vais faire une formation en ligne sur OpenClassrooms en tant que développeur Java, mais c'est pas ce que je préfère manipuler le plus, Java, c'est plus tout ce qui est script, avec React et tout ça. Et ouais, ça me challenge de faire du Java, parce que ça m'intéresse un peu, on va dire. Et comment dire, je cherche une alternance pour faire cette formation-là. OK. OK, super. Mais sur OpenClassrooms, il y a pas des formations en web et tout ? J'ai regardé, mais c'est pas au niveau que je veux faire, parce que moi, c'est au niveau bac+5, du coup. Et la seule formation au niveau bac+5, c'est développeur Java, du coup. D'accord, je vois. Je vois, je vois, je vois. OK.
6.Présentation de Mouritha Débo et parcours universitaires (programmation fonctionnelle, UPEC)

Enchanté, moi c'est Mouritha Débo, data engineer avec une licence info et un master data architect. Donc voilà, je travaille, je suis consultant. Je suis actuellement consultant dans une boîte d'assurance, en tant que data engineer slash développeur Python. Ouais, parce que moi, il y a une partie Python, il y a une partie architecture aussi. Donc voilà. Et il n'y a pas que du Python, il y a aussi d'autres langages que tu peux utiliser comme Scala. Je connais pas comment on travaille avec, c'est comme syntaxe et tout. Si tu as fait de la programmation fonctionnelle, t'as travaillé du public ou privé ? Du public, j'étais à l'UPL. Ah ok, ok. Bah, j'étais à l'UPL aussi. Du coup, t'as fait du OCaml et tout ? Non, nous on a fait, par exemple, pendant maintenant, on a fait du C, vraiment, on a fait du C, PHP, base de données, SQL, tout ça. Et vous avez fait de la programmation fonctionnelle, non ? Pas vraiment. On a pas fait de OCaml, des choses comme ça. D'accord, ok. Bon ben, jusqu'à là, c'était basé sur quelque chose comme ça. Plus c'est une école d'ingénieurs, j'ai l'impression OCaml. C'est une école d'ingénieurs. Bah moi, je l'avais fait à l'UPL dans le temps. Ah mais ça fait longtemps, je pense. Parce qu’à l’XPEC, avant, ils faisaient de l’assembleur, mais maintenant, ils n’en font plus. Ouais, j’avais aussi de l’assembleur. Donc peut-être ils ont changé le programme. Ils ont changé relativement le programme, et je pense ils ont dit les types sont trop nuls, du coup. Je vois, je vois. Ils ont dit : Mais ils sont trop nuls, donc on va réduire la difficulté. Parce que l’assembleur, c’est pas évident à faire. Bah, c’est vrai que, bah moi, j’utilise plus de l’assembleur aujourd’hui, mais en fait, en vrai, moi finalement, ma licence, c’était compliqué, mais ça aide après. C’est sûr, c’est sûr, ça développe… t’as vu de toutes les couleurs. Après, ça va quoi. Tu arrives à gérer face à d’autres difficultés. C’est vrai. C’est un vaccin. C’est ça.
7.Les missions d'un data engineer (mission chez AXA)
Super, super. Bah, en fait, je suis dans une boîte de conseil et je travaille, je suis en mission chez AXA. Ah, d’accord. Mais c’est quoi la mission exactement, pour m’en parler ? C’est trier des données ? Bah en fait, quand tu es data ingénieur, il n’y a pas que ça. Des fois, tu peux être amené à mettre en place une architecture ou gérer les données des utilisateurs. Comme tu peux faire que du traitement de données, parce que l’achi qui permet de mettre en place, en fait de gérer les données, est déjà mis en place. Ou des fois, tu es chargé de faire de la migration. On a des outils cloud destinés aux data engineers.
8.Salaires
Ça fait bien. En tout cas, ce que je veux te dire, c'est que quand tu es nouveau diplômé, quand tu viens de sortir d'école, vos salaires sont identiques. Maintenant, tout va dépendre de votre évolution et de ce que tu apportes en plus de ton diplôme. OK. Mais ça tourne généralement autour de 2 000, genre dans les… Bah, quand tu sors de… quand tu as un master, tu peux avoir un salaire de 2 500 à tes débuts, mais c'est difficile. C'est difficile. Bon, on va revenir à Paris. Ça peut être difficile, sauf que tu as le verbe, un peu. Bien sûr que c'est dur. Parce que des entreprises vont te dire… comment on appelle… ils vont te proposer des 35, des 36, des 38. Le plus grand barème, tu vois. Mais pour avoir 2 500, ça peut être un peu compliqué. Donc il faut avoir un peu le verbe.
9.Conseils sur l'alternance et le recrutement
Et aussi, il faut s'assurer surtout que durant son parcours, d'accord. C'est pas facile des fois parce que des fois on a pas trop le choix et quoi et tout ça. Mais s'assurer que ce que vous avez fait comme… enfin, à chaque fois que vous trouvez une alternance, essayez de penser à comment je peux me vendre demain après et je peux me vendre demain dans une autre entreprise. Est-ce que ça m'a rapporté ceci ou pas. Ouais, toujours le futur. Voilà, regardez surtout le futur. Est-ce que… Ce que je devais faire là, lorsque j'aurais le poste dans une entreprise en tant que data engineer, ça pourra passer ou pas. C'est très important aussi de regarder ça aussi quand vous cherchez l'alternance ou les stages. Et surtout, si vous avez la possibilité de faire une alternance avant votre master, donc je vais parler de Oumar. Généralement, je crois que tu avais dit que tu voulais te lancer sur le marché de l'emploi, c'est ça ? Oui, c'est ça. Avant, tu avais déjà eu des expériences ou pas du tout ? Non, aucune expérience. Ce que tu peux faire dans ce cas, dans les deux cas, si vous avez la chance de faire une alternance pour le master, vraiment, voilà, fais tout possible pour avoir cette alternance de deux ans au moins. Et comme ça, en fait, vous avez les chances d'être pris par les boîtes de conseil. Parce qu'en fait les boîtes, c'est les boîtes de conseil qui recrutent beaucoup actuellement. Les grandes boîtes ou les startups. Les grandes boîtes déjà, quand tu as fait un stage chez eux, ils vont te prendre, peut-être. Généralement ils te prennent, généralement. ou bien une alternance, ils te prennent directement. Mais en fait, pour recruter directement en CDI, c'est les expérimentés qu'ils vont prendre. D'accord. Les startups, voilà, on a des startups, donc ils vont toujours chercher ce qui est bon marché, c'est compétitif. Donc ils vont toujours se tourner autour des alternants, des stagiaires, etc. et peut-être prendre des gens en CDI, etc. aussi. Donc le gros, c'est. Mais les boîtes de conseil, eux recrutent beaucoup, parce qu'en fait... Les grandes boîtes proposent pas mal de missions et donc ils ont besoin de consultants. Ouais. Et donc quand vous sortez avec deux ans d'expérience après master, enfin en alternance et tout, après votre master, vous avez des chances de vous vendre. Et surtout rassurez-vous que pour cette alternance, vous avez trouvé quelque chose qui est lié au métier pour lequel vous postulez et que vous avez pu faire quelque chose de concret. Dès que vous voyez que ça ne passe pas, quittez, enfin essayez de trouver en parallèle une autre entreprise, et voilà, pour que ça puisse correspondre.
10.Conseils pour Gérald : développement web, cybersécurité, certifications et GitHub
Et pour toi, Gérald, ce que tu peux faire, c'est... là, du coup, tu sais déjà vers quoi t'orienter comme formation, enfin comme métier, pardon. Principalement le développement web ou la cybersécurité, mais ça, pour un ingénieur. Bah si, c'est ça, si c'est ça. Cybersécu, il y a pas mal de... il y a certaines certifications qu'il faut avoir, de ce que je sais, dans ce domaine. Que tu peux faire déjà, les certifications. Les boîtes te conseillent MSA. Et par rapport au salaire, pour répondre un peu à Abdel, en fait, quand tu as une certification, tu peux mieux, comment on appelle, mieux négocier ton salaire au tout début. Donc comme ça, tu sens du lourd en fait, comme tu as une certification. Donc Gérald, si tu as des certifications en cybersécu, si tu as des certifications en cybersécu, ça peut t'aider. Et aussi, si tu arrives à faire des projets en dev, et surtout la partie dev en fait, ce que les gens regardent, c'est quoi, c'est ton GitHub. C'est tant qu'ils t'aiment. Quand tu es dev, ils aiment trop regarder ça. Donc tant qu'ils t'aiment, faudrait qu'il y ait eu pas mal de commits. Et ça les rassure d'un côté. Et ensuite, voilà, plein de projets. Je pense qu'il y a pas mal de projets que tu peux trouver sur Udemy, 10 euros, 15 euros, généralement, les petites formations, avec les projets que tu peux faire en parallèle pour bien remplir ton Git. Et normalement, ça, ça pourra t'aider pour ta recherche d'emploi. Ça pourra t'aider.
11.Le freelance
Et aussi, tu peux te proposer aussi en freelance. Tu peux te proposer en freelance, tu mets un prix de recherche. Potentiellement, il y aura des gens qui vont t'appeler. Franchement, moi, je veux me lancer en freelance. Mais comme je t'ai dit, j'ai pas encore assez d'expérience. J'aurais juste dit qu'il y a des trucs que je dois apprendre encore. Parce que moi, je fais beaucoup de projets solo. Ouais. Enfin, j'ai beaucoup d'idées, par exemple, mais je fais pas vraiment beaucoup de choses. Et par exemple, les choses que je fais, je sais que c'est pas des gros trucs. C'est vraiment des trucs infimes, dans le sens où il y a pas vraiment des... je sais pas comment dire, mais par exemple des systèmes de paiement, des conneries comme ça, des trucs assez... Parce que par exemple, si je vais en freelance, je sais que c'est des conneries comme ça qu'ils vont demander, tu vois. Du coup, je sais que j'ai pas assez d'expérience. Je suis pas allé très loin parce que je dois connaître. Parfois, des fois, dire que c'est la pression qui permet de faire d'apprendre. C'est vrai, dans le freelance. Si tu lances en freelance, vu que tu as déjà un engagement à ces clients-là, cette pression va te pousser à aller faire ça. Et si tu te mets en freelance, tu auras potentiellement l'occasion, si par exemple le système de paiement... C'est un truc pénible à faire, etc. Mais peut-être n'as pas de hébergeur pour payer tout ce que tu fais. Mais le client, vu que lui il a besoin, il a les ressources.

