Всем привет, меня зовут Игорь Горбенко, и я системный аналитик в компании М2.Отчёты, которые обновляются раз в сутки, хорошо подходят для стратегической аналитики. Но в какой-то момент бизнесу становится важно понимать, что происходит в течение дня, а не только по итогам ночной загрузки.В М2 мы столкнулись с этим, когда от продуктовых команд и службы поддержки начали приходить запросы на внутридневную отчётность и почти real-time метрики. Наш основной подход — ежедневная батчевая загрузка данных — перестал закрывать такие сценарии, и нам понадобился другой способ работы с изменениями в продуктовых базах.В этой статье я расскажу, как мы внедряли Change Data Capture (CDC) с использованием Apache Flink, какие задачи это помогло решить, с какими ограничениями мы столкнулись и почему CDC — полезный, но не универсальный инструмент.CDC и Apache Flink: кратко о технологии и нашем подходеДавайте начнем разбираться. Некоторые из вас наверняка знакомы с понятием CDC, Change Data Capture — техника захвата изменений в базах данных. Для контекста стоит отметить Apache Flink — движок для загрузки и обработки батчей и стриминговых данных в реальном времени. В статье речь пойдет про Flink CDC —   фреймворк с открытым исходным кодом для отслеживания изменений данных в базах данных в реальном времени.В проектах нашего отдела в М2 основной метод загрузки — это ежедневное ночноекопирование продуктовых баз данных (PostgreSQL, MongoDB) в аналитическое хранилище на базе Apache Iceberg и последующая их обработка с помощью движка Trino. Читать далее

Привет Хабр! Меня зовут Алексей и я занимаюсь беспроводными технологиями. В прошлой статье (Опрос 100 тысяч абонентов или почему люди недовольны своими провайдерами — результаты 3-летнего исследования) я рассказывал о том, как мы проводили большое исследование, связанное с опросом абонентов провайдеров. В результате этого исследования мы выявили одну аномалию и решили собрать решение, которое бы позволяло провайдерам без затрат привлекать новых абонентов. Но обо всём по порядку. Читать далее

Помните времена, когда за 30 тысяч можно было купить приличную видеокарту? Ну вот они, собственно, никуда и не делись. Вопрос только в том, что именно вы считаете приличной картой и на какой фреймрейт рассчитываете. Благо, что недостатка в выборе на рынке сегодня практически нет. Хотите – берите RTX 5080 за 170 тысяч рублей. А не хотите – покупайте Arc A380 за 11. И это мы еще не говорим про промежуточные варианты в разных исполнениях, которых насчитываются десятки, если не сотни. Но есть ли смысл переплачивать за более дорогую карточку, когда есть почти такая же, только дешевле? Попробуем посчитать.Дисклеймер: в этой статье мы считаем только цену каждого кадра, который выдают конкретные видеокарты, не затрагивая другие аспекты. Но ведь все знают, что fps – это далеко не единственный фактор, на который стоит обращать внимание. Читать далее

Как я делал базу знаний для подготовки к frontend-собеседованиям на Notion и в процессе выяснил, где у no-code заканчивается магия. Делюсь реальным опытом, ошибками и выводами. Читать далее

Принес вам разбор подкаста Губермана с необычным гостем — Алексом Хоннольдом, скалолазом, покорившим одну из крупнейших горных вершин Северной Америки, Эль-Капитан. К тому же, без страховки. В разговоре с Губерманом он объясняет не как быть бесстрашным, а как строить масштабные цели на основе простых решений, чтобы получить грандиозный результат. Читать далее

Так сложилось, что программируя микроконтроллеры, разработчик балансирует между двумя крайностями. Все ресурсы под твоим полным контролем — и это кайф (думаю, многие в embedded за этим и идут). Но платой становится сложность встраивания базовых инструментов, которые стали де-факто стандартом в других областях разработки. Сложность хотя бы в том, что они не идут из коробки. Возьмём обычную задачу: включить фару на устройстве.На практике наша железка должна загрузиться, зарегистрироваться в LTE-сети, поднять TLS-соединение с MQTT-брокером, синхронизировать состояние и пройти ещё кучу слоёв бизнес-логики. С другой стороны — мобильное приложение и бэкенд для управления этой лампочкой (уже целая система собралась!). Там не меньше логики: от авторизации до “да кто блин так дизайн спроектировал?”. Пока дотапаешься до кнопки, пройдёт вечность.В итоге, любое простое действие требует либо полного рабочего стека, либо моков с тестовыми сборками и отключёнными проверками. Либо дебагера с брейкпоинтами и ручными правками памяти. Всё работает, но каждый раз жрёт уйму времени и внимания.Хотелось бы проще. Нужен способ аккуратно вмешаться в работу устройства — без отключения основной логики, без специальных сборок и независимо от режима. Не просто физическая кнопка, а полноценный интерфейс: настраивать параметры, включать/выключать функции, забирать данные.И стало ясно: нам не хватает shell-интерфейса. Или CLI. Или терминала — называйте как угодно (разницу можно глянуть здесь). Но не просто не хватает — его придётся писать самим. Меня зовут Сергей Шилин, я руковожу разработкой электроники и встроенного ПО в Whoosh. Почему не взяли готовое и чем наш велосипед лучше — расскажу под катом! user@habr > article start --full

Приветствую друзья, как ни странно, но оказывается, что мои статьи кто-то критикует, что имеет право на жизнь и это мне лично пойдет на пользу, поскольку я в душе не чаю, насколько сложный проект я решил на себя взвалить. С одной стороны игровой движок, с другой стороны - профессиональная радиоэлектроника, поскольку вы планах еще сделать систему 3Д моделирования ЭМ полей и совместно с движком создать динамическую систему расчетов. в которых будет ни только ЭМ, но радиоэлектроника и рендеринг физики на уровне взаимодействия масс, с чем активно справиться игровой движок типа UNITY (на Unreal Engine может не хватить сил/моли страхи и опасения). поскольку сам проект на старте, хотелось бы правильного восприятия - это диалоги с ИИ, элементы ручного текста присутствуют, но все это на уровне черновиков с целью найти увлеченных шибзиков, которые могли бы заинтересоваться проектом и совместно поработать. так что сейчас скучная часть для тех, кто ждет отсутствие эмоций и больше тех-вопросов, чем... Читать далее

Быть выгнанной из отеля полицией, пережить шок и стресс, но выжить. Чуть не сойти с ума от буквально безумных цен, бешеного трафика, вечного шума и океана людей, и при этом все же умудриться посмотреть Стамбул и округу и получить настоящее удовольствие от путешествия... Да, это все про меня. Всем привет! Я Лилия. В моем багаже 19 стран и немного больше мест по России. Еще ни об одном из своих путешествий я не писала такого подробного материала, но сейчас чувствую, что просто обязана. Хочу поделиться опытом и советами с теми, кто ещё не был в Стамбуле, но в ближайшее время туда собирается. Не считаю себя суперкрутым путешественником и всезнайкой, но хочу рассказать обо всём максимально подробно, чтобы вы знали, к чему нужно готовиться, где можно сэкономить, чего можно избежать и чего ожидать от этого города, чтобы действительно получить радость и удовольствие, а не разочарование. Читать далее

Долгое время моим основным рабочим окружением был Linux. Там, как известно, «из коробки» (или через легкий тюнинг конфигов) можно повесить смену раскладки на любую клавишу. Я привык использовать для этого CapsLock. Это эргономично: мизинец лежит рядом, не нужно выкручивать пальцы в аккорды типа Alt+Shift или тянуться к Win+Space.Но обстоятельства сложились так, что мне пришлось переехать на Windows. И тут начались фантомные боли. Стандартными средствами повесить смену языка на CapsLock — задача нетривиальная, а сторонний софт часто перегружен лишним функционалом. Читать далее

Ни для кого не секрет, что вот уже несколько лет в некоторых регионах нашей страны имеются проблемы с навигацией. И если раньше мы всецело могли полагаться на спутниковые навигаторы, то сейчас приходится справляться без привычного «через сто метров поверните направо».На связи Фарук, с некоторых пор я отвечаю за RnD в Whoosh, и сегодня я хотел бы рассказать вам о том, как мы справлялись с проблемами определения местоположения наших самокатов. Читать далее

Продолжая серию разборов в рамках сезонного ивента Season of the Gacha на HackTheBox, хочу поделиться прохождением MonitorsFour. Машина оказалась не самой сложной, но с неочевидным подвохом: Windows-хост с Docker Desktop, что добавило головной боли на этапе повышения привилегий. Признаюсь, меня поначалу сбило с толку, почему Nmap показывает Windows, а shell получается Linux, но об этом чуть позже.В машине реализованы IDOR, актуальные CVE и побег из Docker-контейнера, и на мой взгляд, отличный набор для отработки навыков. Давайте разбираться! Читать далее

Привет Хабр! Я Виктор, в Хайстекс руковожу отделом разработки. Сегодня расскажу про фичу, которая снимает ложную дилемму «API или универсальность», потому что оба сценария можно применять параллельно. При переносе виртуальных машин между облаками и частными контурами API-интеграция обычно даёт максимум автоматизации. Но как только целевых площадок становится больше одной-двух или появляется «собранная на коленке» платформа, выясняется, что у этой автоматизации есть цена. Миграция через API превращается в отдельный проект на недели разработки и тестирования. Этот пост — для инженеров и архитекторов, которые занимаются миграциями ВМ и упираются в стоимость и сроки поддержки API-интеграций под каждую новую целевую площадку.Под катом — как сделать целевую сторону миграции воспроизводимой без зависимости от API конкретного облака и без ожидания поддержки со стороны платформы. API vs D2T

Всем известно, что злые корпорации собирают о нас данные, но как именно они это делают?Трекинг курсора, рейтинг номера который вы используете, Email трекеры, скорость печати и даже... определения дрожит ваша рука или нет.А также как сайты легко вычисляют ВПН-щиковВ этой статье мы разберемся во всем этом и составим портрет человека на основе собранных данных. Читать далее

Хотите увидеть нечто любопытное? Вот, как устранили проблему «антеннагейта» на iPhone в 2010 году. 20 байт.iOS 4.0: 8d ff ff ff 91 ff ff ff 95 ff ff ff 99 ff ff ff 9d ff ff ff iOS 4.0.1: 86 ff ff ff 98 ff ff ff 9e ff ff ff a7 ff ff ff b0 ff ff ffКонтекст: в 2010 году, когда выпустили iPhone 4, пользователи заметили, что если взять телефон определённым образом, то количество полосок сигнала сети падает с 5 до примерно 2. Спустя насколько недель компания опубликовала письмо, в котором свалила вину за это на неправильную формулу: https://www.apple.com/newsroom/2010/07/02Letter-from-Apple-Regarding-iPhone-4/ Читать далее

ПД — персональные данные.Одни бизнесы пользуются услугами других бизнесов или частных исполнителей. Это база. Пример: обучающий центр хранит данные работников и учащихся в CRM.Другой пример: флористическая студия пользуется услугами курьерской компании (или самозанятого курьера) для доставки букетов.В этих и подобных случаях организации, ИП или самозанятые, исполняющие поручения компании — это третьи лица, обрабатывающие ПД. Разобраться, с кем заключать соглашения

Принимая архитектурные решения, часто так или иначе приходится идти на компромисс: между качеством и скоростью разработки, сложностью реализации и удобством поддержки, быстротой решения бизнес-задачи и гибкостью. Со временем небольшие уступки накапливаются и проект покрывается легаси. Даже если исправно разгребать техдолг, то в любом случае на достаточно длинной дистанции решения и технологии устареют, и станет невозможно обойтись «генеральной уборкой» — потребуется смена архитектуры.  В статье расскажу, как мы столкнулись с неизбежной необходимостью переделки веб-плеера RUTUBE — сервиса, который существует с 2006 года, пережил несколько смен команд и парадигм разработки и при этом достаточно большой и высоконагруженный, чтобы нельзя было «просто так взять и всё переписать».  Читать далее

Привет, Хабр! На связи Иван Жирнов и Степан Рыбалов, тимлид и QA группы разработки чат-ботов в компании «Передовые Платежные Решения». В работе мы используем чат-боты собственной разработки. До AI-революции чат-боты были сценарные и весьма ограниченные. С нейросетями же их возможности стали головокружительно шире. В этой статье мы расскажем о том, как и зачем перешли на чат-ботов с ИИ, чтобы наш опыт мог помочь в проекте и вам. Ежемесячно клиенты генерируют более 73 тысяч диалогов в текстовых ботах, и более 92% этих диалогов обрабатывается без участия человека — в чатах, мобильном приложении и личном кабинете. Голосовой чат-бот на горячей линии получает в месяц более 15 тысяч звонков, и здесь автоматизация достигает 20–30%. Именно голосовой бот навел нас на мысли об ИИ: здесь вопросы обычно оказывались сложнее и индивидуальнее.Обсуждать переход мы начали в четвертом квартале 2024 года. Нас привлекла возможность LLM решать комплексные вопросы из одного запроса клиента. Сценарный бот же реагирует только на одну команду за раз, выдает целый список возможных связанных вопросов, из которых пользователю снова приходится выбирать. Потом, вероятно, выбирать еще и еще… так что терпения хватает не у всех. Тогда клиент в лучшем случае обращается к голосовому боту или попадает к оператору поддержки.GPT же может сможет понять контекст, разбить сложный вопрос на несколько простых и собрать полноценный ответ. Читать далее

Привет, Хабр!Этой осенью Google порадовали нас релизом AlphaEvolve — фреймворка, который комбинирует способности LLM к написанию кода с эволюционным подходом к вычислению. Новый метод доказал свою эффективность на сложных алгоритмических или математических задачах, но, как это часто бывает у таких компаний, технические детали AlphaEvolve остаются коммерческой тайной. Тогда мы в AIRI решили создать свой фреймворк. Так усилиями научной группы «Мультимодальные архитектуры ИИ» лаборатории «Сильный искусственный интеллект в медицине», научной группы «Генеративное проектирование» лаборатории FusionBrain, лаборатории «Доверенные и безопасные интеллектуальные системы» и отдела научно‑технической разработки увидел свет GigaEvo — эволюционный фреймворк для автоматизации ML и LLM‑ориентированных задач, который мы представили в ноябре на AIJ и чей код выложили на GitHub. Здесь хотелось бы рассказать о нём подробнее, описать его внутреннее устройство и дать рекомендации к использованию. Читать далее

На SQL-собеседованиях интервьюер часто формулирует условия устно, просит рассуждать вслух и быстро писать запрос в реальном времени. Это непривычный формат — и именно поэтому он становится испытанием даже для тех, кто много практиковался. Читать далее

Привет, я директор по маркетингу в IT-компании, много лет работаю в этой нише и впервые наблюдаю такие жесткие сокращения на рынке. Этот текст — попытка отрефлексировать все, что произошло в айти за последний год. Увы, тут не будет позитивных прогнозов. Читать далее

В этой статье я представлю мой завершённый очень быстрый алгоритм преобразования дат.. Он обеспечивает существенный прирост скорости, по величине сравнимый с приростом, достигнутым предыдущим самым быстрым алгоритмом (Neri-Schneider 2021) относительно его предшественника (C++ Boost). Полная реализация алгоритма на C++ выпущена как свободное и бесплатное ПО (лицензия BSL-1.0).Алгоритм генерирует точные результаты за период ±1,89 триллиона лет, поэтому подходит для обработки полного 64-битного времени UNIX (в секундах). Читать далее

Вайбкодинг обещает нам будущее, где мы лишь «менеджеры кода», а всю работу делают нейросети. Я всегда скептически относился к этому, и суровая реальность деплоя лишь подтвердила мои опасения. Мой проект лег, процессор забился под 100%, а «самая умная» кодинг-модель Claude Opus 4.5 настойчиво предлагала единственное решение — снести мою БД. Рассказываю, как инженерное чутьё спасло проект от советов ИИ, и почему даже в 2025 году вайбкодинг не заменяет мозги. Читать далее

Модульность, сетки, аккуратные блоки — всё это стало привычной частью интерфейсов. Многие из них визуально напоминают японские bento-боксы. Но ровные скругленные блоки сами по себе не делают дизайн bento. За визуально похожей компоновкой стоят разные принципы: где-то это удобная сетка, а где-то — осознанная композиция со своими акцентами.В статье веб-дизайнер студии комплексной разработки цифровых решений CleverPumpkin Александр Попов вместе с лид-дизайнерами команд «Авито», «Альфа-Банк» и «Детский мир» разбирают, чем bento-стиль отличается от других модульных подходов к созданию дизайна; ситуации, где модульность помогает и в каких мешает. Внутри — примеры продуктовых интерфейсов, выводы и практические рекомендации по работе с bento. Читать далее

Привет, Хабр! Меня зовут Даша, я ИТ-ресечер в Центре подбора персонала МТС. Каждый день я просматриваю около 30–50 резюме на разные позиции и вижу в них похожие ошибки. Сегодня решила по ним пробежаться и обсудить, действительно ли редфлаги такие «ред», как кажутся на первый взгляд. А еще дам советы для новичков, как оформить резюме, чтобы не отпугнуть ресечера, и расскажу о фатальной ошибке кандидатов.Напоследок разберем, есть ли шансы, что к вам вернутся из компании, где вам уже прислали классическое «Мы не готовы пригласить вас на следующий этап, но сохранили ваше резюме в базе и свяжемся с вами, когда появится подходящая вакансия». Читать далее

Привет, Хаброжители!Поднимитесь на новый экспертный уровень в UX-дизайне!Книга предлагает четкую дорожную карту для перехода на позиции стафф-дизайнера, лида или принципала. Она основана на анализе практик аттестации 50+ ведущих компаний и интервью с успешными дизайнерами. Вы узнаете, как устроены карьерные треки в индустрии, какие компетенции критически важны на высоких уровнях и как Читать далее

Всё началось с того, что меня достал мой роутер.Кинетики, конечно, хорошие, но всё чаще он начал тормозить, требовать перезагрузки, веб-интерфейс начинал отвечать ооочччеееень мееедлееенннооооооо.... И не сказать чтобы трафик большой. Но надо было что-то делать: то ли покупать новый, то ли пытаться перепрошить старый, например на OpenWRT - но без гарантий что это как-то поможет. Ведь как ни крути - ограниченный обьем памяти, «диска», слабый процессор. К тому же, OpenWRT хоть и Линукс, но достаточно нестандартный, заточенный как раз под такие конфигурации. А что, если как раньше, до появления WiFi-роутеров? Когда-то в качестве роутера для домашней локальной сети некоторые использовали отдельный (старый) компьютер: там настраивался софт, который занимался дозвоном до провайдерского пула, раздавал адреса и трафик... Читать далее

Сегодня я рассмотрю несколько специализированных сервисов для хостинга фронта, среди которых не будет однотипных VPS. Только узкоспециализированные решения для хостинга сайтов.Мне хотелось ответить на вопрос, какой сервис будет лучшим для конкретного,  узкого сценария и стека, а не просто перебрать очевидные сервисы, которые популярны, но не имеют своей специализации. Читать далее

Большой коллектив российских ученых из ведущих физических институтов Москвы, Нижнего Новгорода, Сарова и Санкт-Петербурга представил амбициозный проект нового эксперимента по поиску аксионов — гипотетических частиц, считающихся одними из главных кандидатов на роль темной материи. Предложенная установка, получившая название «Космологический Аксионный Саровский Галоскоп» (CASH), будет использовать уникальные однофотонные детекторы на основе джозефсоновских переходов, что позволит ей преодолеть фундаментальный квантовый предел чувствительности и достичь рекордных показателей в ранее неисследованной области масс. Этот прорыв может наконец пролить свет на природу загадочной субстанции, составляющей более 80% всей материи во Вселенной. Описание проекта опубликовано  в журнале Physical Review D. Читать далее

Компания привлечена к административке из-за того, что не отправила обязательный email клиенту, который пытался получить услуги по интернету. Как это было технически зафиксировано и доказано в суде — расскажу в этом материале. Читать далее

Сегодня официально выпустили новую версию Kubernetes — 1.35. Собрали обзор со всеми изменениями. Среди главных нововведений — возможность запускать поды с hostNetwork: true и hostUsers: false, групповое планирование подов и перевод контроллера маршрутов на watch-модель. Читать далее

Этот материал для родителей, студентов и школьников, которые хотят при помощи математики оценить набор необходимых усилий, чтобы достичь определенных результатов. Читать далее

Здравствуйте! Меня зовут Юлия Жукова. Я психолог-психотерапевт, клинический психолог. От своих клиентов всё чаще слышу тревожные опасения: «Сокращения в it! Переживаю.» Предлагаю немного выдохнуть, буду рада, если эта статья хоть немного вам поможет снизить тревогу. Рынок технологий больше не является исключением из правил. Тот самый сектор, что еще недавно символизировал безграничный рост, пожизненную занятость и корпоративные кампусы с бесплатной едой, теперь демонстрирует ту же цикличность, что и любая другая отрасль. Сокращения перестали быть чрезвычайной ситуацией; они стали элементом корпоративного цикла, болезненной, но регулярной практикой оптимизации. Но, за сухими цифрами — десятки тысяч уволенных в Microsoft, Intel, сотни ушедших из российских компаний в рамках «тихой оптимизации» — стоит менее очевидная, но более глубокая реальность: фундаментальная трансформация психологического контракта между работником и компанией.Если отбросить упрощения, причины текущих сокращений представляют собой непростые стратегические и конъюнктурные решения. Первое и наиболее банальное — коррекция после периода аномального роста. Пандемийный бум цифровизации заставил компании нанимать «впрок», создав штаты, несоответствующие текущим темпам роста. Когда замедление стало реальностью, наиболее простым рычагом для снижения затрат оказался фонд оплаты труда.Параллельно с этим идет масштабная реаллокация ресурсов. Компании «перекраивают» бюджеты, сокращая одни направления, чтобы влить миллиарды в другие, и главным бенефициаром сегодня выступает искусственный интеллект. Риторика при этом часто опережает реальные технологические возможности. Как отмечают многие эксперты, ИИ нередко становится «удобным козлом отпущения» или стратегическим оправданием для решений, продиктованных иными мотивами: от желания «подогнать» команду под изменившиеся бизнес-задачи до стремления произвести впечатление на инвесторов. При этом реальное влияние ИИ на рабочие места сегодня скорее трансформирующее, чем разрушающее: алгоритмы берут на себя рутину, но создают спрос на новые навыки надзора, интеграции и анализа. Читать далее

Пост о том, как появилась идея написать книгу «Python для инженерных задач», и о том, как эта идея реализовывалась. Читать далее

Машинное обучение давно вышло за пределы модного термина, но за этим словосочетанием до сих пор скрывается путаница: где заканчивается «обычное» программирование, чем ML отличается от AI и почему одни задачи требуют размеченных данных, а другие — нет. В этой статье разбираем базовую логику машинного обучения без упрощений и мистики: какие подходы существуют, из каких элементов складывается модель и как всё это применяется на практике — от классических алгоритмов до нейросетей. Основы ML

Архитектура трансформера и его сердце механизм внимания уже давно стали базой собесов на NLP, LLM и даже CV. В работе трансформеры тоже доминируют. Именно поэтому очень важно до деталей разбираться в том, как они устрены, из каких частей состоят, как работают и где применяются на практике.Разберем архитектуру по слоям с примерами кода и большим количеством картинок и схем. Читать далее