Всем привет.Речь пойдет о методике ETL-процесса. Очень мало информации об этой важной области работы с данными. Я много раз видел на проектах, что в командах нет общего не то что фреймворка, а даже методики по загрузке данных. Либо есть, но у каждого разработчика своя. И те, что есть, не универсальны и не учитывают некоторые реперные точки. Иногда даже журнал загрузок не ведется. Созрела идея создать, перенести свою методику в питон код и поделиться. Начнем.Когда мы создаем ETL- процессы основные требования: идемпотентность, обработка ошибок, целостность данных, инкрементальность, производительность, мониторинг, происхождение данных, и тд. Может еще что, но и этого достаточно.Основные понятийные объекты в тексте: tech_query_id, tech_batch_id. tech_query_id – является штампом момента запуска pipeline, вручную или автоматически, не важно. Если запустили загрузку для терабайт данных, то и штамп будет всего один для этой конкретной загрузки. Штамп tech_query_id проставляется в каждой строке в самих таблицах с данными цели и в журнале. А так же проставляется tech_batch_id, который является обычным номером пакета. Понятно зачем пакеты.., если данных миллионы, мы их бьем по пакетам. Номер пакета для каждого query_id  начинается с единицы. Эта комбинация является ключом в таблицах с данными для трассировки происхождения и ключом в таблице журнала загрузок для фиксации метаданных, дельтапоинта и любой полезной информации в json поле. Читать далее

Введение В России построены десятки тысяч километров ВОЛС. Но каждый новый проект магистральной сети спотыкается об одни и те же грабли. Вендоры продают «терабиты» и «дальность», а заказчик потом годами мучается с эксплуатацией в условиях, где бригада может выехать на объект только через трое суток. Этот текст - попытка посмотреть на строительство DWDM-сетей не глазами производителя, а глазами того, кто потом будет это обслуживать. Только логика и здравый смысл.Часть 1. Терабиты vs реальное волокно. Рынок DWDM всегда живет в гонке скоростей. 10 Гбит/с, 40, 100, 400. Сегодня российские производители заявляют 40 Тбит/с на 1000 км - это впечатляет. Но для эксплуатанта есть обратная сторона медали: чем сложнее формат модуляции, тем он чувствительнее к внешним условиям. Что происходит на реальной трассе: Волокно 20-летней давности имеет микроизгибы и неоднородности. Поляризационная модовая дисперсия(PMD) на старых линиях может «убить» 100-гигабитный канал, хотя 10-гигабитный будет работать годами. Разница между лабораторным стендом и реальным пролетом в 300 км — это разница между идеальным вакуумом и открытым космосом. Нужен не тендер по рекламным брошюрам, а расчет реального энергетического бюджета. Производитель должен предоставить не просто паспортную дальность, а инструмент для расчета: пройдет ли его сигнал на конкретном пролете заказчика с учетом реального затухания, реальной дисперсии и реального количества сварных соединений. Тот, кто дает заказчику честный прогноз «на этом участке 100G пройдут, а вот здесь только 10G, потому что волокно старое», - вызывает доверие. Остальные - просто продают коробки. Читать далее

Купил я как-то контроллер для xbox 360, проводной, но не оригинальный. Очень уж мне понравилось, что в Windows 10 он определяется как родной, и в тех же старых GTA он определяется по умолчанию. Но было одно НО! Стики - шлак, просто полный. Движения рывками, характеристика рваная. И тут зачесались руки

Новая нейросеть от Google для генерации изображений выглядит чертовски впечатляюще.Темпы, с которыми Google выпускает нейросети для создания изображений, поражают воображение. Не успели мы в ноябре 2025 года привыкнуть к Nano Banana Pro, как уже в феврале 2026-го компания представила Nano Banana 2. Задумка подкупает: качество уровня “Pro” на скорости “Flash”.Но оправдывает ли новинка ожидания? Мы протестировали Nano Banana 2 вдоль и поперек, чтобы проверить её главные козыри: улучшенную отрисовку текста, сохранение заданных персонажей и интеграцию с актуальными знаниями из сети. Делимся результатами. Читать далее

Хочу рассказать о том, как я создавал tg бота на локальной LLM Ollama и с какими проблемами я столкнулся. Бот написан на python и библиотеке telegram.Почему выбрал именно Ollama? Потому что она бесплатна, есть множество открытых моделей и её очень просто развернуть в своем проекте. Если брать облачные решения от других компаний например ChatGPT, то тут можно упереться в то, что за них нужно платить. Модели я подбирал под свой компик: 5070 и 32 гб оперативы. Сервера своего нету, поэтому бот работает только когда я дома. Бот продолжает развиваться. Следить за обновлениями и новыми фичами можно в моем Telegram-канале: https://t.me/rocet_0 Изучить историю

Небольшой рассказ - туториал о том, как на MikroTik реализовать удобное управление большим количеством VPN профайлов. Читать далее

Сегодня, когда в очередной раз я вижу 0 сообщений в телеграм канале, который должен предупреждать о приближающихся автобусах, будет достаточно символично написать эту статью. Дело началось в тот момент, когда... Делаем свой яндекс транспорт?

Modbus — это открытый и очень распространённый протокол обмена данными в промышленной автоматизации. Он работает по модели master–slave: мастер (например, PC-приложение) запрашивает данные у ведомого устройства (ПЛК), получая или записывая значения регистров.На практике Modbus кажется простым — всего лишь массив 16-битных регистров. Но как только возникает задача читать типизированные переменные, поддерживать несколько проектов в одном ПЛК, минимизировать количество запросов и безопасно работать с соединением, всё быстро усложняется.В этой статье я описываю реальный подход, который использовал для чтения и записи переменных из ПЛК и отображения их в приложении на C#. Читать далее

В этой статье разберём, как Unreal Engine строит Hierarchical Z Buffer (HZB).Покажем, как вычисляются размеры mip-уровней, зачем нужно специальное округление float, как используются функции Gather, батчинг нескольких mip-уровней за один Dispatch, groupshared память, wave-операции и Morton Z Curve.Пошаговый разбор шейдера с примерами поможет понять, какие оптимизации реально применяет движок, и как эти идеи можно использовать в собственных графических проектах. Читать далее

Всем привет.Сегодня будем обсуждать механику счётчика стиля из Devil May Cry, но в диалоговой системе! Играя в DMC, я заметил, что момент, когда вы открываете счётчик комбо - а мне нравится это делать подкидыванием демонов в воздух - похож на то же ощущение, которое я испытываю при открытии сноски в диалоге. Это даёт ощущение перехода на более сегментированный аспект системы - сперва приёмы в воздухе, потом на земле и снова в воздухе. Или как у меня - диалог, сноска, диалог, сноска, сноска, диалог. Так что я решил попробовать добавить эту систему в свою демку. Читать далее

Если вы попробуете загуглить, кто такой продакт-менеджер, вы получите красивую, но неоднозначную картинку. Стратег, лидер, аналитик, мини-сео. А еще, если открыть 10 вакансий от 10 разных компаний, то вы увидите 10 разных ролей.Так кто же это такой? Давайте разберемся в этом вопросе подробнее. Читать далее

В статье разбираю важные нюансы взаимодействия с подрядчиками, которые чаще всего становятся предметом споров → передача прав на результаты интеллектуальной деятельности, переквалификация отношений с самозанятыми в трудовые и многое другое.Я юрист и каждый раз, когда ко мне на консультацию приходят владельцы веб-студий, я нахожу огромное количество ошибок и дыр в юридической упаковке их деятельности, которые могут дорого обойтись.Поэтому читаем статью и учимся на ошибках других!Для начала предлагаю проверить договоры, которые вы используете для подписания со своими подрядчиками по чек-листу ↓ на наличие самых типичных «red флагов», из-за которых могут возникнуть негативные последствия. Читать далее

На рынке IT-найма есть роли, которые закрываются относительно быстро: фронтенд, тестирование, иногда backend-разработка, но есть одна категория специалистов, поиск которых почти всегда превращается в долгую историю — DevOps-инженеры.Иногда компания ищет такого специалиста 2–4 месяца, проводит десятки интервью — и всё равно не находит подходящего кандидата. Почему так происходит? За последние годы работы с техническим наймом мы выделили несколько причин, которые повторяются практически в каждом поиске. Читать далее

Общим способом передачи информации с помощью электромагнитного излучения и в оптическом, и в радиодиапазоне, по волноводам и в открытом пространстве является последовательная передача. Частотное разделение каналов в радиодиапазоне, как и технология WDM в оптическом диапазоне, не образует параллельную передачу в одном канале, а создает некоторое количество последовательных каналов. Практически единственным способом параллельной передачи информации является передача двумерного изображения по волноводу, который может быть разного исполнения – от металлического, до волоконнооптического. Оптические многомодовые волноводы обладают способностью воспроизводить изображение объекта, находящегося в его входном сечении (z=0), в последовательности синфазных сечений, удаленных от входа на расстояния zs–sL (L –  расстояние до первого синфазного сечения, зависящее от типа волновода и его параметров, s – порядковый номер синфазного сечения). В последние годы все больше появляется публикаций, в которых рассматривается возможность передачи изображений по многомодовому волокну. Например, типичное волокно с диаметром сердцевины 100 мкм может нести до 10 000 мод и в принципе передавать изображение примерно с таким же количеством пикселей. Однако в таком волокне каждая из индивидуальных мод распространяется с несколько иной скоростью, что приводит к амплитудным и фазовым искажениям изображения и образованию спекл-структуры. В то же время в оптике и других областях, использующих волновые процессы, существует и используется эффект, который можно рассматривать как параллельную передачу информации, – голография. Уникальность голографии состоит в том, что информация об исходном объекте передается в пространстве монохроматическим волновым фронтом (т.е. в одном частотном канале) и формирует подлежащую регистрации интерференционную картину большого объема за время, равное одному периоду опорной волны (в оптической голографии – за 0,002 пикосекунды). Читать далее

Прежде чем начну, вот репозиторий. Я не хочу ничего монетизировать, продавать или куда-то вас вести (в секту имени меня, например). Если этот бот, идея или даже отдельные куски кода окажутся кому-то полезны в жизни - я сделал чей-то день и, возможно, чья-то жизнь стала немного ярче. Начнем.

6 декабря 2025 года издание News.ru опубликовало интервью «Есть еще переработка борщевика: «зеленой чуме» нашли применение», где журналисты поговорили с основателем Фонда по борьбе с борщевиком Виталием Дружининым. В нем была затронута тема переработки печально известного борщевика Сосновского, который, по словам эксперта, захватывает по 10-15% территорий в год.Помимо применения гербицидов, глава Фонда предлагает перерабатывать борщевик. Дело в том, что в данном растении, по словам Дружинина, содержатся волокна, которые длиннее хлопка в пять раз. Утверждается, что качество позволяет производить из него и одежду, и бумагу. Читать далее

Худшая новость для многих SaaS‑команд в ближайшие годы (думаю, уже в этом году заметим) пользователь может перестать пользоваться вашим приложением, но продолжить пользоваться вашим сервисом.Еще недавно цифровой продукт был устроен предельно понятно. Компания делала приложение, проводила продуктовые исследования, проектировала пользовательские сценарии, раскладывала кнопки, экраны, роли и ограничения. А пользователь либо принимал эту логику, либо уходил.То есть сама модель была такой:«Вот наш интерфейс. Вот наш сценарий. Пользуйтесь так, как мы задумали».Эта модель не исчезнет завтра. Да и на текущий момент она устраивает болшинство пользователей, благодаря сформировавшейся десятилетиями потребительской привычке «используй что дают». Но именно сейчас она начинает терять монополию, потому что между пользователем и сервисом появился новый слой – агенты. Не просто чат-боты, которые подсказывают, а инструменты, которые уже умеют искать данные, ходить по сайтам, нажимать кнопки, связывать сервисы между собой и выполнять цепочки действий. OpenAI вывела Operator как браузерного агента, Anthropic продвигает Computer use и MCP, Microsoft на Build 2025 прямо говорит об open agentic web, а OpenAI отдельно документирует работу с remote MCP servers и коннекторами для доступа к внешним сервисам. И вот здесь начинается главное изменение – раньше продуктом был интерфейс, теперь продукт всё чаще смещается в три других слоя: Читать далее

Когда у меня появилась теплица, первым желанием было автоматизировать всё, что можно: контроль температуры, управление вентиляцией, полив, освещение. Готовые решения либо стоят дорого, либо замкнуты в экосистеме одного производителя, либо не дают нужной гибкости. Поэтому я решил создать собственную систему по автоматизации управления процессами в теплице. Также у меня было много бесхозных контроллеров ESP8266/ESP32, которые нужно было куда‑то «пристроить».В этой статье расскажу о концепции проекта, его архитектуре и обзорно покажу веб-интерфейс. В следующих частях разберу каждый компонент подробнее. Читать далее

Если раньше мы видели тысячи танцев в Tik‑Tok от людей, пытавшихся повторить тренды, то сегодня мы видим десятки тысяч их AI‑версий. Когда человек видит чью‑то точную копию, которая двигается как профессиональный хореограф или превращается в робота на ходу — он останавливается. Это банально цепляет глаз лучше, чем любой фильтр.Но рынок Motion Transfer (переноса движения) — это минное поле. Наверняка, многие потратили больше времени на изучение вопроса, чем на какой‑то танец в реальной жизни. Учитывая популярность вопроса, мы решили рассказать как повторить танец из Tik‑Tok с помощью нейронок, и как обойти все трудности, с которыми Вы может столкнуться в процессе — от сложных интерфейсов до невозможности оплаты.  Читать далее

После того, как вы настроили rexglue (https://habr.com/ru/articles/1002640/), можно переходить к следующему этапу.Скачиваем iruka-demo, демо-версию с дельфином https://github.com/rexglue/demo-iruka Читать далее

Экспортная составляющая нашей страны крайне важна для экономики. Что именно продаем и как этот поток превращается в рублевую выручку внутри страны.В долларах экспорт - это внешний контур: платежный баланс, импорт, давление/поддержка курса.В рублях экспорт - это внутренний контур: выручка компаний, налоговая база, инвестиции, способность покупать оборудование и компоненты.Предлагаю посмотреть на экспорт комплексно - сначала доллары, потом рубли, потом структура экспорта и возможные сценарии.Я регулярно разбираю такие темы в своём Telegram-канале, если вам интересно глубже понимать аналитику и экономику и рынок труда, там регулярно выходят короткие заметки и практические примеры. Читать далее

Литература переживает структурный сдвиг. В этом материале мы исследуем кризис доверия между писателем и читателем. Обсудим появление движения Noaicore и к чему ведет «смерть автора». Кто такие «кентавры» и почему борьба за текст, похоже, уже проиграна. Давайте проведем мысленный эксперимент. Вы прочитали книгу, и она вам понравилась. Это хороший роман, который вы давно искали. Вы поддержали его монетой и навязчиво рекомендовали близким. Ваши знакомые, доверившись, погружаются в чтение. Проверяя почту, вы обнаруживаете персональную скидку на новинку от похожего автора. Ссылка ведет на booksby.ai (это ироничный манифест, но он хорош для примера).В этот момент вы осознаете: все ваше чтиво — от обложки и слов «посвящается <женское_имя>» — было сгенерировано. Что вы чувствуете? Читать далее

API OpenAI лёг — что делает ваш агент? Circuit Breaker, Graceful Degradation и 5 уровней деградации. Код на Python + чеклист вопросов подрядчику. Нырнём глубже

Объемы данных в современных дата-центрах растут быстрее, чем когда-либо. Обучение моделей искусственного интеллекта, резервные копии облачных сервисов, архивы видео и телеметрии требуют хранилищ, измеряемых уже не терабайтами, а петабайтами и эксабайтами. При таких масштабах ключевую роль по-прежнему играют жесткие диски: пока SSD берут на себя быстрые рабочие данные, магнитные накопители остаются основой долгосрочного хранения. Поэтому каждая новая ступень роста емкости напрямую влияет на экономику дата-центров. Один из последних примеров — диски Seagate объемом 44 ТБ, анонсированные несколько дней назад. Давайте разберемся.  Читать далее

Процессор AMD K6-III под кодовым именем Sharptooth вышел в феврале 1999 года в версиях на 400 и 450 МГц и стал очередным шагом в развитии линейки K6. Он появился в то время, когда Intel уже ушла от Socket 7 к Slot 1, а AMD продолжала развивать старую платформу и старалась выжать из нее максимум. Сам процессор по архитектуре мало отличался от K6-2, но получил встроенный кэш второго уровня, который заметно ускорял работу системы. Благодаря этому компьютеры на Socket 7 еще некоторое время оставались вполне приемлемым, недорогим вариантом для дома и офиса. Что ж, давайте вспомним «ветерана». Читать далее

Сегодня Agile — почти стандарт в IT(и не только). Его используют стартапы, корпорации и даже государственные организации. Но мало кто задумывается, что Agile — это не методология. Agile — это философия управления разработкой, основанная на адаптации к изменениям, быстрых итерациях и тесном взаимодействии с пользователями. Ни‑че‑го не понятно. Да, есть такое, но давайте разбираться, что такое Agile, откуда он взялся, что было до него и почему сейчас большинство рынка его придерживаются.До Agile: эпоха водопадовДо начала 2000-х основной моделью разработки была каскадная модель (Waterfall/Водопад). Читать далее

Ранее я затрагивал на Хабре тему ядерных реакций с участием азота, происходящих в атмосфере под действием электрических разрядов. Статья «Азот и молнии» от 30 августа 2021 года собрала впечатляющие 24,9% дочтений при всего 2,8% доскроллов. Сегодня я возвращаюсь к этой теме и хочу рассказать о том, что наряду с обычными молниями в земной атмосфере также возникают сильнейшие «тёмные молнии», называемые в научной литературе «TGF» («terrestial gamma flashes») – буквально «наземные гамма-всплески», которые, всё-таки, правильнее называть «гамма-всплесками земного происхождения». Поразительность этих явлений не только в их радиоактивности, но и в том, что они являются естественными генераторами антивещества. Читать далее

Наверняка вам знакомо это состояние: висит важная, но объемная задача — например, нужно спроектировать архитектуру, разобраться с неочевидным багом или собрать структуру нового курса. Вы садитесь за монитор, наливаете кофе, открываете IDE... и спустя два часа обнаруживаете себя за просмотром случайных роликов на YouTube.Первое, что мы делаем — начинаем нещадно себя ругать за лень и слабую силу воли. Но давайте разрушим этот вредный миф. Современная нейробиология дает однозначный ответ: прокрастинация — это вообще не про лень. Это системная проблема регуляции эмоций и защитный механизм нашего мозга. Читать далее

Представьте себе: вы в Японии как турист и прекрасно проводите время, как вдруг, ни с того ни с сего, ваш телефон (несмотря на беззвучный режим) и телефоны всех людей вокруг начинают издавать истошный тревожный писк. Или в пять вечера, гуляя по городу, вы слышите короткую меланхоличную мелодию, играющую из громкоговорителей повсюду. Что всё это значит? Поможет разобраться нам с этим японист Полина Гуленок, в настоящее время как раз проживающая в стране. Читать далее

Про облака написано столько, что легко запутаться. Маркетологи обещают рай, одни эксперты советуют одно, другие — прямо противоположное. А на деле владелец сети или ИТ-директор просто хочет понять: что выбрать, чтобы и кассы не висли, и бюджет не трещал, и завтра не пришлось всё переделывать? Я попробую без маркетинга. Просто пройдёмся по фактам, трендам и реальным подводным камням. С цифрами, но с осторожностью. С выводами, но без советов «для всех». Читать далее

Кому будет полезноЕсли вы живёте в Python и одновременно используете statsmodels, lifelines, pyhf, PyMC/BlackJAX, linearmodels (или что‑то похожее).Если вам важны воспроизводимость и понятная валидация численных оптимизаций (особенно в HEP).Если вам интересна архитектура «одно вычислительное ядро → много задач» и практические hot paths (AOT, SIMD, zero‑copy). Читать далее

Большинство API-тестов бесполезны: они флакают и тормозят CI. Показываю альтернативу — изоляционные тесты без стендов и боли. Читать далее

Три года назад я опубликовал статью Сортировка слиянием — не так просто, как кажется, в которой решал задачу с собеседования, как построчно отсортировать огромный текстовый файл, который заведомо не влезает в оперативную память.Формат строки: число, точка, пробел, далее любые символы до конца строки.Порядок сортировки: сначала сортируем текстовой части строки, потом по числу если текстовые части совпадают.Кодировка: UTF-8, сортировка с учетом локали.Размер файла: 100гб — гарантированно больше объема ОП.Должно отработать менее чем за час на HDD.Прошлая версия, которую я написал еще на .NET 7, справлялась за 32 минуты на моем компьютере. Большую часть времени занимало чтение-запись файлов, поэтому так применялись сжатие, параллельная обработка сортировки и ввода-вывода, а таже низкоуровневые манипуляции с массивом байт для уменьшения аллокаций. Что еще можно оптимизировать

Самые интересные новости финансов и технологий в России и мире за неделю: рекламу в Телеграме и Ютубе хотят запретить задним числом, Max пытается следить за вашим VPN, маркетплейсы заставят скинутся на поддержку «Почты России», нефть растет из-за «спецоперации» в Иране, а Polymarket удалил пари на ядерные удары. Читать далее

Ввиду серьёзных ограничений, которые могут быть введены для Telegram, а также возможной блокировки сервиса, я решил сделать простой скрипт для сохранения информации из диалогов. В первую очередь — из Saved Messages (Избранное).У меня хранится довольно много ссылок и полезной информации в избранных сообщениях, и терять доступ к этим данным не хочется. Поэтому возникла идея сделать небольшой инструмент для резервного копирования. Читать далее