Как распределённо обрабатывать более 100 ГБ/с в реальном времени без потерь / Егор Хайруллин

100 подписчиков

12+
12+

1 просмотр

день назад

ПожаловатьсяНарушение авторских прав

100 подписчиков

12+
12+

1 просмотр

день назад

ПожаловатьсяНарушение авторских прав
12+
12+

1 просмотр

день назад

На конференции «Я про бэкенд» Егор Хайруллин, руководитель отдела инфраструктуры рекомендательных систем Рекламных технологий Яндекса, рассказал о потоковой обработке данных с сохранением состояния в экосистеме YTsaurus. Он разобрал, как обеспечивать семантику exactly-once без потерь и дублей даже при падении серверов и датацентров, автоматически балансировать партиции при меняющейся нагрузке и определять, все ли данные на нужный момент обработаны. Доклад показал, как сосредоточиться на бизнес-логике обработки событий в реальном времени, от которой зависит актуальность контента и рекомендаций. #ЯПроБэкенд #Бэкенд #AI #LLM #Архитектура #Яндекс #ВысокиеНагрузки #ML #Инфраструктура #Поиск #Алиса #РазработкаПО #ITКонференция #Нейросети #СистемнаяАрхитектура

Название:

Как распределённо обрабатывать более 100 ГБ/с в реальном времени без потерь / Егор Хайруллин

Категория:

Разное