17.Разбор систем Google Dremel / BigQuery. System Analysis (Google Dremel / BigQuery)
Lecture #17: System Analysis (Google Dremel / BigQuery) Краткое содержание: Архитектурный анализ Google Dremel и эволюция коммерческого сервиса Google BigQuery: - Задачи и концепция Dremel: - Предоставление интерактивного SQL-анализа веб-масштаба над триллионами строк без предварительной загрузки (in-situ data processing). - Оригинальное хранение и обработка вложенных и повторяющихся данных (nested & repeated records) через уровни определения и повторения (Definition/Repetition levels), легшие в основу Apache Parquet. - Эволюция архитектуры Dremel за 10 лет: - Переход от иерархических деревьев серверов к полному разделению вычислений и хранилища (Shared-Disk поверх распределенной файловой системы Colossus). - Внедрение векторизованного движка исполнения и колоночного формата Capacitor. - Распределенное выполнение на основе персистентного шаффла (Shuffle Persistence Layer): - Децентрализованное перераспределение промежуточных данных через специализированный сервис памяти/дисков, позволяющее динамически распределять ресурсы и масштабировать воркеры пулами Borg. Дата лекции: 08 April 2024 Слайды: https://15721.courses.cs.cmu.edu/spring2024/slides/17-bigquery.pdf Конспект: https://15721.courses.cs.cmu.edu/spring2024/notes/17-bigquery.pdf Статьи: - https://15721.courses.cs.cmu.edu/spring2024/papers/17-bigquery/p3461-melnik.pdf - https://15721.courses.cs.cmu.edu/spring2024/papers/17-bigquery/melnik-vldb10.pdf - https://15721.courses.cs.cmu.edu/spring2024/papers/17-bigquery/p1131-afrati.pdf Rutube плейлист: https://rutube.ru/plst/1923067 Автор: Andy Pavlo (https://www.cs.cmu.edu/~pavlo/) Курс: CMU Advanced Database Systems (15-721 / Spring 2024) https://15721.courses.cs.cmu.edu/spring2024/ YouTube_Playlist: https://youtube.com/playlist?list=PLSE8ODhjZXjYa_zX-KeMJui7pcN1rIaIJ&si=_JzW6pE0nsACv-Zo YouTube: https://www.youtube.com/watch?v=VOZax1tbvxw 00:00:00 — Цель семестра: изучение реальных систем на основе изученных технологий. 00:01:00 — Применение знаний на практике, формирование «внутреннего каталога» решений. 00:03:00 — Модель озера данных Lakehouse и проблема отсутствия статистики. 00:04:00 — Роль Google в развитии масштабных систем. 00:05:00 — Эволюция систем в конце 2010‑х — начале 2020‑х. 00:15:00 — Работа с распределённым хранилищем: поиск данных в месте их расположения. 00:18:00 — Чтение данных без предварительного определения схемы. 00:19:00 — Основные компоненты систем: сводные таблицы, дисковое хранилище, векторизованная обработка. 00:20:00 — Оптимизация запросов: хэш‑соединения, евристический оптимизатор. 00:21:00 — Детерминированность и потокобезопасность задач. 00:22:00 — Роль координатора и планировщика в распределении задач. 00:24:00 — Работа с распределённой файловой системой и воркеры. 00:25:00 — Перемешивание данных в памяти как посредник между этапами. 00:27:00 — Управление данными и масштабируемость системы. 00:30:00 — Преимущества параллельной обработки данных. 00:32:00 — Эффективность коммуникационного трафика. 00:34:00 — Отказоустойчивость за счёт контрольных точек в плане запроса. 00:36:00 — Управление отстающими узлами, переназначение задач. 00:37:00 — Повторное использование структур данных (хэш‑таблиц). 00:40:00 — Анализ данных и принятие решений на основе статистики. 00:42:00 — Правила оптимизации запросов и распространение ограничений. 00:45:00 — Динамическое перераспределение данных при «горячем» разделе. 00:47:00 — Динамическое секционирование и рекурсивное разделение. 00:48:00 — Варианты соединения таблиц: случайный порядок и широковещательное соединение. 00:49:00 — Переход с GFS на Colossus для масштабирования. 00:50:00 — Оптимизация работы с длинными данными и атрибутами. 00:53:00 — Развитие проектов и сложности стандартизации (Google SQL, Zeta SQL). 00:54:00 — Влияние PostgreSQL на современные системы. 00:56:00 — Новые проекты для передачи данных: Юнифулл, Юба. 00:57:00 — История технологических команд (CloudAo, Horton Works, Map Air). 00:59:00 — Проекты Facebook и переход на Velox. 01:01:00 — Механизм Hive: преобразование SQL‑запросов в задания MapReduce. 01:03:00 — Выполнение запросов в распределённой файловой системе. 01:04:00 — Успех Spark и популярность проекта Dremel. 01:05:00 — Кадогенерация на Java и сервис перемещения данных между этапами запросов. 01:06:00 — Влияние перемешивания данных на архитектуру системы. 01:07:00 — Современный подход к созданию новых систем.
Название:
17.Разбор систем Google Dremel / BigQuery. System Analysis (Google Dremel / BigQuery)
Категория:
Технологии и интернет