Budapest

Irodai munkavégzés

A NIX, szoftverfejlesztők és IT szakemberek globális közvetítője munkatársat keres

Senior Data Engineer Python

Feladatok

Együttműködés a terméktulajdonosokkal és a csapatvezetőkkel az új funkciók azonosítása, tervezése és bevezetése, és a növekvő adatszükségletek támogatása érdekében.

Optimális architektúra kialakítása és karbantartása az adatok kinyeréséhez, átalakításához és betöltéséhez számos adatforrásból, beleértve a külső API-kat, adatfolyamokat és adatforrásokat.

Az adatvédelmi és adatbiztonsági követelmények implementációja, hogy a megoldások továbbra is megfeleljenek a biztonsági szabványoknak és keretrendszereknek.

Adatkezelési trendek nyomonkövetése és alkalmazása, vátoztatási javaslatok a szervezeti célokhoz és szükségletekhez igazodva.

Tudásmegosztás más csapatokkal különböző adatmérnöki vagy projektekkel kapcsolatos témákban.

Együttműködés és döntéshozatal a csapattal a szükséges eszközök és stratégiák használatát illetően az egyes adatintegrációs forgatókönyvekben.

Elvárások

5+ év kereskedelmi tapasztalat adatmérnöki területen.
Erős programozási ismeretek Pythonban.
Szilárd ismeretek az elosztott számítástechnikai megközelítésekkel, mintákkal és technológiákkal kapcsolatban (PySpark).
Tapasztalat bármilyen felhőplatformmal (GCP, AWS, Azure) és annak adatorientált összetevőivel.
SQL lekérdezésekben és fejlesztésében való jártasság.
Az adattárolási elvek és modellezési koncepciók megértése (pl. adatmodell-típusok és terminológia ismerete, beleértve az OLTP/OLAP-ot, SCD-t, (de)normalizálást, dimenziós, star/snowflake modellezést stb.).
Magas szintű tudás a felsorolt relációs adatbázisok valamelyikének (PostgreSQL, MSSQL vagy MySQL) használatában.
Tapasztalat bármilyen adatfolyam (pl. Apache Airflow, Prefect, Glue, Azure Data Factory) irányításában.
Kiváló együttműködési készséggel rendelkező csapatjátékos.
Minimum középfokú angol nyelvtudás (B2).

Előnyt jelent

Tapasztalat a jelenlegi ipari szabványok (pl. AWS Kinesis, Kafka streamek, Spark/PySpark stb.) segítségével történő adatfolyam-feldolgozásban.

Jártasság az adattárolás tervezési elveiben. Az SQL/NoSQL megoldások előnyeinek és hátrányainak, típusainak és konfigurációinak ismerete (önálló/fürt, oszlop/sor orientált, kulcs-érték/dokumentumtárolók).

Modern adattárházépítésben szerzett tapasztalat Snowflake, AWS Redshift vagy BigQuery használatával.

A Spark belső részeinek alapos ismerete (tuning, lekérdezés optimalizálás).

Adatintegrációs és üzleti intelligencia architektúrában szerzett tapasztalat.

Tapasztalat data lakes és lake-houses területen (Azure Data Lake, Apache Hudi, Apache Iceberg, Delta Lake).

Konténeres (Docker, ECS, Kubernetes) vagy szerver nélküli (Lambda) telepítésben szerzett tapasztalat.

A népszerű adatszabványok és -formátumok (pl. JSON, XML, Proto, Parquet, Avro, ORC stb.) alapos ismerete.

Platformokkal kapcsolatos tapasztalat: Informatica, Databricks, Talend, Fivetran vagy hasonló.

Data science és maching learning területen szerzett tapasztalat, Machine Learning modellek felépítése.

A NIX egy szoftvermérnöki és IT-outsourcing szolgáltatásokat nyújtó vállalat

Mely innovatív megoldásokkal áll elő a világ legnagyobb cégei számára, beleértve a Fortune 500-as listán szereplőket is. Szakembereink több éves tapasztalattal rendelkeznek az innovatív projektek fejlesztésében – az e-kereskedelemtől kezdve a felhő alapú megoldásokig egyaránt.