Since 6 years in Infrastructure and Services Maintenance Team where he takes care of technical support for the scrum teams and maintenance of multiple services included in the Allegro Group’s portfolio. He is now developing big data solutions. Passionate about web technologies and open source. Now he is Senior Data Platform Engineer and deals with Hadoop ecosystem in Allegro Group. His responsibilities include maintenance private and public Hadoop clusters.
Prelekcje:
Cluster Hadoop na Fizemkach
Podczas prezentacji opowiemy jak udało się zautomatyzować proces stawiania klastrów Hadoopa w oparciu o takie technologie jak:
- openstack
- terraform
- puppet
Dzięki takiej automatyzacji udało się skrócić czas przygotowania środowiska z ok. tygodnia do jednej godziny niezależnie od skali skomplikowania ekosystemu Hadoopa.Opowiemy również o zmianach w OpenStack IRONIC jakie zostały wykonane od pierwszej generacji do teraz ( zmiany pod naszych wewnętrznych klientów, proces budowania obrazu, proces dodawania nowych serwerów)