Всем угодить: когда каждому хочется иметь своё число консьюмеров для топика Kafka | Павел Агалецкий

Павел Агалецкий, ведущий инженер команды PaaS, расскажет про создание консьюмеров для топика Kafka, опираясь на кейс Авито. Павел покажет возможные варианты выбора оптимального числа партиций, а ещё поделится решением, которое придумали внутри Авито, и расскажет про результаты его внедрения.

00:00 | Вступление
01:07 | Кейс Авито
02:52 | Ключевое в Kafka
05:32 | В чём проблема?
08:48 | Итого
09:06 | Варианты решения «в лоб»
12:29 | «Хитрые» варианты
19:42 | Решили создать собственное решение
21:00 | Общая идея
21:40 | Чуть больше деталей
23:44 | Деплой сервиса
26:01 | Итог
26:47 | Вопросы


AvitoTech — это команда инженеров Авито. Подпишитесь на наш канал, соцсети и блоги, чтобы узнавать больше о технологиях Авито 👇🏻
ВК: https://vk.com/avitotech
Телеграм: https://t.me/+wU3vnNnqr7JlZDIy
Хабр: https://habr.com/ru/company/avito
Медиум (eng): https://medium.com/avitotech
Гитхаб: https://github.com/avito-tech
RuTube: https://rutube.ru/channel/30462632/
Дзен: https://dzen.ru/avitotech
Сайт: https://avito.tech