Дайджест по Data Engineering


Около месяца назад запустил дайджест по двум темам: Data engineering & Distributed Systems. Для тех, кто не знает, дайджест это еженедельная авторская подборка интересного материала, вышедшего недавно. Еженедельно каждый понедельник приходит email рассылка с отобранным мною материалом + мои комментарии к ним.

Область работы с большими данными стремительно развивается, специалисты в этой сфере на вес золота. Средняя заработная плата таких инженеров в США, по данным glassdoor, около $140k в год. Я чаще стал замечать вакансии специалистов Data Engineer на сайте по поиску удалённой работы. В ближайшее время спрос будет только увеличиваться, ведь количество данных стремительно растёт и их необходимо эффективно обрабатывать. Директор по искусственному интеллекту компании Tesla, Andrej Karpathy, в своей статье Software 2.0, рассказал, что в будущем ПО будет создаваться нейронными сетями, а задача инженеров будет заключаться в эффективном хранении, обработке и разметке больших данных. Самый что ни на есть классический data engineering.

Что касается распределённых систем (distributed systems), то эта сфера для меня является фундаментом для эффективного data engineering. Без понимания основ будет сложно создать действительно мощную data-driven систему.

Если вам также как и мне интересны эти сферы, то подписывайтесь на мою еженедельную рассылку.

Telegram канал

Не так давно я открыл канал в Telegram на тему разработки программного обеспечения, называется он DevBrain. На канале я делюсь своими мыслями , а также ресурсами (статьями, видео, презентациями, книжными рекомендациями и т.д.) о кодинге, методологиях разработки и многом другом с чем нам, разработчикам, приходится сталкиваться каждый день в работе.

На канале уже более 3000 участников, поэтому присоединяйтесь и Вы — DevBrain

Интересные записи: