Душное собеседование Data Engineer в X5. ОФФЕР 370к
0:00 — Вступление 0:32 — Самопрезентация 7:47 — Качество данных и dbt 11:38 — S3 и DWH. Зачем тут Spark 13:06 — Кластер ClickHouse: шарды и реплики 15:51 — Python: опыт, SOLID, книги 17:13 — staticmethod и classmethod в Python 19:51 — Магические методы и сборка мусора 20:58 — Многопоточность: asyncio, потоки, процессы 23:51 — Типы данных, генераторы, тесты 25:53 — Airflow: DAG, сенсоры, XCom, catchup 29:30 — Паттерны и декораторы 31:19 — Промежуточный итог 31:43 — Spark: трансформации и партиционирование 32:58 — Broadcast в Spark 35:08 — RDD, DataFrame и Dataset 36:19 — ClickHouse: MergeTree и первичные ключи 37:39 — ReplacingMergeTree и дедупликация 40:58 — Distributed, шардирование и партиции 43:00 — Репликация: почему отстаёт реплика 46:03 — Мелкие инсерты, MV и проекции 47:33 — JOIN в ClickHouse и оптимизация 50:33 — Словари, физические JOIN, EXPLAIN 53:06 — UNION, IN и NULL, DELETE и TRUNCATE 56:23 — Партиции: DROP, DETACH, ATTACH, REPLACE 58:38 — dbt: инкрементальность, SCD, конфиг модели 1:01:26 — TTL и охлаждение данных 1:03:01 — Модели данных и нормальные формы 1:05:21 — Data Vault 1:08:11 — Конец
Название:
Душное собеседование Data Engineer в X5. ОФФЕР 370к
Категория:
Разное