У меня дома стоит Bluetooth-колонка в ванной. Руки там вечно мокрые и мыльные, поэтому включить звук дождя или музыку проще по событию, например, по голосовой команде. Конечно, можно поднять Home Assistant или написать небольшой Python-скрипт, который слушал бы датчики и управлял колонкой. Но в тот момент я работал с NiFi и решил проверить, справится ли он с бытовой задачей.Оказалось, что это не только «enterprise ETL» инструмент, а еще и гибкая платформа, которая умеет работать с MQTT-брокером. Поэтому я настроил через него простую цепочку, и колонкой начал управлять не самодельный скрипт, а NiFi.Этот простой пример хорошо показывает идею. Если инструмент способен подружиться с бытовыми устройствами, то в промышленной архитектуре его потенциал раскрывается в полном объеме.В Big Data подключение нового источника часто превращается в мини-проект. Требуется неделя разработки, набор уникальных скриптов, собственные форматы, исключения и обходные решения. Но когда пять источников превращаются в пятьдесят, инфраструктура начинает рассыпаться: форматы скачут, API капризничают, схемы дрейфуют, а поддержка становится бесконечным бегом с препятствиями.Мы проходили через это несколько раз и поняли, что нам нужен фреймворк, который позволит предсказуемо, быстро и без зоопарка самописных ETL-процессов подключать новые источники.Привет, Хабр! Я ведущий инженер-разработчик направления BigData & BI К2Тех Кирилл Гофтенюк. В этой статье расскажу, как устроен наш фреймворк на базе ADS.NiFi и Arenadata Prosperity. Покажу, как он работает, зачем нужен такой подход и что нам дал переход от хаотичных скриптов к управляемой архитектуре. Читать далее

Привет, Хабр! Сколько времени вы тратите на подготовку еженедельного отчёта или презентации для руководства? Анализ данных в Excel, перенос данных в PowerPoint, подбор картинок к слайдам и формулировка выводов. Знакомый цикл, правда? Читать далее

В первой статье этого сериала мы собрали известные нам примеры платформ и проектов, которые можно прямо или условно назвать «биржами данных» (data exchange). После этого мы попытались разложить эти данные по кучкам, громко назвав этот процесс построением типологии. До типологии тут еще далеко, но какая-то ясность наступила. Более того, один из комментаторов не поленился скормить эту недо-типологию своему ИИ-ассистенту и тот выдал визуализацию этой мультифасеточной конструкции. Там есть на что посмотреть и о чем подумать, рекомендую.Мы же, как и обещали, приступаем к анализу отдельных кейсов в попытке извлечь из них больше деталей и полезных идей для построения биржи данных на заказ.Многие из наших собеседников предлагали немедленно изучить опыт «китайских товарищей» и взять его за образец при построении бирж данных в РФ. Их аргументация вполне понятна — тенденция к возвращению роли и участия государства в инфраструктурных проектах, которую можно наблюдать в РФ за последние 20 лет, похоже стремится к тому образцу, который сложился в Китае за последние три тысячи лет после реформ Дэн Сяопина. Достаточно сильный мотив, чтобы исследовать систему региональных бирж, созданную в КНР, однако из всего увиденного меня больше всего поразила история цифровой трансформации в Индии, которая привела к появлению нового Тадж-Махала, который называют «индийским стеком». Читать про новый индийский Тадж-Махал...

Без вытяжки над плитой при приготовлении пищи трудно обойтись, иначе - влага, запахи, дым и жир будут распространяться по всей кухне и оседать на предметах. Но вовремя включать и выключать вытяжку при её наличии тоже не всем под силу - спешка и забывчивость тоже имеют место. Есть много разных алгоритмов для автоматизации кухонной вытяжки, и на мой взгляд, самый лучший, предлагаю вашему вниманию.Конечный результат: Читать далее

Профессия ИТ-аналитика в последние годы быстро трансформируется под влиянием бурного развития генеративного ИИ. Эксперт Axenix Игорь Кайбанов рассказывает, какие задачи теперь должен уметь решать специалист по данным, на какие ключевые тренды в развитии моделей ему важно обратить внимание и какие возможности ГенИИ стоит применять в своей работе.Эволюция профессии Всего за несколько лет эволюции генеративного ИИ роль ИТ-аналитиков заметно изменилась — модели взяли на себя огромную часть рутины, оставив человеку критическую оценку проделанной работы и преобразование инсайтов в действенные бизнес-решения. CEO Shopify Тоби Лютке недавно предложил термин context engineer на замену понятия prompt engineer — и это оправдано. От постановки задачи и способов ее исполнения мы перешли к необходимости ограничивать и задавать контекст решения. В этом помогают как экспертные промты и ИИ-агенты, так подключение к системе специализированного массива данных. Казалось бы, аналитик, пройдя стадию промт-инжиниринга для domain-задач, становится профи в контент-инжиниринге. Но и это быстро уходит в прошлое. По мере того, как искусственный интеллект становится проактивным и все больше берет на себя принятие решений, аналитик превращается в когнитивного инженера. Ключевой задачей аналитика становится гибридная экспертиза, то есть синтез ИТ-знаний плюс понимание возможностей/рисков ИИ (особенно в security-sensitive отраслях). На этом уровне аналитик становится «проводником» между данными и стратегией, где ГенИИ — не замена, а мультипликатор эффективности. Читать далее

Привет, Хабр!Сегодня предлагаю обсудить Managed OpenSearch Yandex Cloud. Поговорим о том, как автоматизировать управление кластером, чтобы сократить расходы на разработку, и как улучшить качество поиска на русском языке, используя доступные в сервисе инструменты морфологии. Читать далее

Привет, Хабр! Меня зовут Миняйлов Лев, я DevOps-инженер в ИТ‑холдинге Т1.В этой статье предлагаю рассмотреть эволюцию методов развертывания в Helm от v2 к v4, и дополнительно уделить внимание порядку обновления ресурсов в кластере и возможностям влиять на него через хуки. Читать далее

Привет, Хабр! На связи Дмитрий Пирумов, руководитель подразделения QA РТЛабс. В этой статье хочу поделиться опытом развития внутреннего обучения — как, зачем и почему мы создали корпоративную школу автоматизированного тестирования. Наш опыт будет полезен, если нужно организовать внутреннее обучение и вы ищете ответ, как решить эту задачу. Читать далее

IPv6 больше четверти века обещает избавить интернет от тесноты IPv4-адресов. Его называли будущим сети, устраивали тестовые «дни IPv6», грозили скорым цифровым апокалипсисом IPv4… Но на дворе уже конец 2025 года, а IPv4 всё ещё живее всех живых. Почему за 30 лет мы так и не перешли на IPv6? Попробую разобраться в этой тёмной (и местами ироничной) истории. Читать

В этой статье мы продолжим наш путь создания простого, но функционального ядра операционной системы на языке C. Читать далее

Привет! Я — Лёша Яркин, решаю бизнес-задачи с помощью дизайна уже больше 10-ти лет. Это третья часть моей большой статьи, и сегодня я поделюсь ссылкой на мои шаблоны дизайн-шпаргалок, которые помогают мне декомпозировать, и отслеживать прогресс дизайн-задач прямо в Figma. Я опубликовал их в Figma Community. Все шаблоны абсолютно бесплатны, и вы можете их использовать, либо изменять, как посчитаете нужным/удобным. Читать далее

Kubernetes — мощный, но сложный инструмент для управления инфраструктурой. Мы подобрали несколько руководств с лучшими практиками для погружения в тему и ряд решений, упрощающих развертку кластеров. В список попали свежие, но не самые хайповые инструменты, которые только-только обрастают своей аудиторией. Читать далее

А ведь правда, если посмотреть на любой сайт, то можно заметить, что многие элементы состоят из списков и наборов: лента новостей в соцсетях, товары в интернет-магазине, сообщения в чате. Для хранения этих данных нужны массивы, и важно не бояться работать с ними.Привет, Хабр! Меня зовут Александр Дудукало, я автор базового курса по JavaScript. Сегодня мы поговорим о методах массивов. Если коротко, вы узнаете, как легко и элегантно работать со списками данных, не используя громоздкие циклы. Детали внутри. Читать далее

Привет, Хабр!В детстве портовый кран представлялся мне исполинским жирафом. Длинные ноги его портала стояли на пирсе. А под ними сновали, невероятным образом ставшие крохотными, железнодорожные вагоны. Свою вытянутую желтую шею-стрелу, покрытую темными пятнами ферм, неспешно склонял он над раскрывшейся пастью трюма рыболовного судна-кашалота, отнимая его богатый улов. Жилы стальных канатов звенели от напряжения, настолько тяжела была его работа. Жираф издавал электрический вой, сражаясь за свою добычу. И вот, спустя многие годы меня продолжают восхищать конструкции советских машин. Но вижу теперь я за ними не те фантазии из детства, а гений человеческой инженерной мысли. И в этой статье я предлагаю вам насладиться технической эстетикой архивных чертежей и конструкторских решений инженеров прошлого. Погрузиться в эпоху советской инженерии

Покраснение, жжение, ощущение «песка» в глазах, быстрая усталость к концу рабочего дня - многие воспринимают эти симптомы как неизбежную плату за жизнь с ноутбуком и смартфоном. Однако за таким «обычным дискомфортом» часто стоит вполне конкретный диагноз - синдром сухого глаза.В этом материале - два показательных клинических кейса из практики офтальмолога. Врач объясняет, почему не стоит лечиться «какими-нибудь каплями» и что сегодня действительно помогает глазам пережить рабочие 6–12 часов у монитора. Читать далее

Монетизация без метрик как работа «вслепую», что-то пришло – и ладно. А если не пришло, то почему? А как сделать лучше, где подкрутить? Метрики – карта, которая показывает: что работает, что нет. В статье расскажу, на какие метрики смотреть паблишеру при монетизации сайта и что они означают: CPM, CTR, Fill Rate, Viewability, RPM, IVT. Конечно, сначала можно испытать ужас от количества аббревиатур, значений и формул. Но все проще, и в этой статье я делюсь, на что и зачем смотреть при монетизации сайтов. Читать далее

Как уход из Яндекса и разочарование в магистратуре привели меня к Еревану, Тбилиси и жизни в пути. Первый зарубежный счёт, пол года жизни на накоплениях, смена направления из разработки с системную аналитику и уже третий год удалённой работы из разных стран.В статье — мой личный опыт цифрового кочевничества и практические советы тем, кто только начинает думать о таком же шаге Читать далее

Кажется, что головоломка NYT Pips — это просто игра с домино и цветными клетками. Но если взглянуть на неё как на задачу удовлетворения ограничений, она превращается в удобный полигон для современных решателей вроде MiniZinc. В статье автор показывает, как описать Pips не в виде алгоритма перебора, а в виде системы ограничений: сетка, домино, суммы по областям, симметрии и «мусорные» решения. По ходу дела выясняется, что войти в мир constraint solving можно буквально за пару часов, а заодно на практике понять, почему эти инструменты умеют разруливать экспоненциальный хаос вариантов за миллисекунды — но иногда внезапно «залипают» на одной и той же головоломке. Читать разбор

Привет, Хабр!В прошлой статье я рассуждал о том, почему Fortran в 2025 году всё ещё жив и даже растет в рейтингах. В комментариях справедливо заметили: «Философия — это хорошо, но как это применить современному разработчику? Зачем мне Fortran, если я пишу на Python?».Это правильный вопрос. Сегодня я хочу ответить на него кодом, а не словами.Я покажу, как использовать Fortran в качестве «числодробилки» для Python. Мы возьмем задачу, на которой интерпретатор Python гарантированно просядет, и ускорим её в ~150 раз, используя инструмент, который уже есть в вашем numpy.Речь пойдет не о замене Python, а о симбиозе: удобный интерфейс Python + сырая мощь Fortran. Читать далее

Слушайте, давайте я расскажу, как получилось создать инструмент для настройки Windows на чистом PowerShell с графическим интерфейсом. Не «еще один бустер», а нормальное приложение, которое меняет систему и сразу закрывается — без всяких фоновых процессов. Читать далее

В предыдущей статье мы заложили фундамент для анализатора сложности, определив ключевые метрики для оценки сложности моделей процессов. Теперь разберем, как превратить эту теорию в реально работающий инструмент. Читать далее

В своём последнем обращении к Уолл-стрит Nvidia упомянула Майкла Бьюрри, прославившегося благодаря «Игре на понижение», чтобы опровергнуть его анализ пузыря ИИ и заверить общественность, что «они - не Enron».Давайте начистоту: если многотриллионная компания вынуждена публично обращаться к одному-единственному финансовому аналитику по имени и заявлять, что она не Enron, - это лучший способ заставить всех думать, что вы и есть новый Enron. Бьюрри ответил на этот довольно забавный выпад в своей статье на Substack, указав, что Nvidia совсем не похожа на Enron, а скорее напоминает Cisco. Это невероятно точное сравнение. Оно прорезает всю словесную шелуху и обнажает гниль в самом сердце пузыря ИИ. Однако я не думаю, что его предупреждение зашло достаточно далеко, потому что у Nvidia есть потенциал стать чем-то гораздо худшим, чем Cisco. Читать далее

Каждый день миллионы клиентов звонят в компании по телефону - и каждый такой звонок обходится бизнесу в деньги, время и репутацию. Операторы выгорают от монотонных разговоров, клиенты бросают трубку после долгого ожидания, а бизнес теряет прибыль на рутине, которую давно пора автоматизировать.Я уже несколько лет занимаюсь разработкой и внедрением голосовых ботов для приема заказов по телефону - не в теории, а для реальных компаний, с реальными клиентами и реальными заказами.В этой статье я поделюсь конкретными кейсами, которые помогут владельцам и руководителям бизнеса понять:Какую реальную пользу приносит автоматизация (и почему это не просто модное слово).С какими трудностями сталкивались на практике - и как их преодолевали.Каких результатов удалось достичь - в реальных цифрах, фактах и отзывах. Читать далее

Недавнооткрыл миру SwooleApp — минималистичного фреймворка для PHP, построенного на базе Swoole. Если вы уже работали с Swoole напрямую, то знаете, что это мощный инструмент для создания высокопроизводительных приложений, но иногда хочется иметь чуть больше структуры и удобства, чем предлагает чистый Swoole. Именно эту нишу и занимает SwooleApp.В этой статье я кратко расскажу, что это за проект, как его использовать, и поделюсь ссылкой на рабочий пример приложения, который можно запустить в Docker за несколько минут. Читать далее

Диабет набирает популярность. С этим сложно спорить, но можно корректировать образ жизни и рацион. Как показывает наука, и это отражается едва ли не в каждом переведенном материале, наш организм необычайно гибкий. И может разными способами адаптироваться к решению одной и той же проблемы. И если поджелудочная больше не вывозит, за дело берется кишечник. Вместе с холином. Читать далее

Научить нельзя - научиться можно. Привет, меня зовут Максим Иванков, уже 9-ый год я развиваю робототехнику и программирование для детей. В статье хотел поделиться опытом ведения занятий и описать формат обучения к которому пришёл сегодня, где дети самообучаются, а преподаватель не ведёт лекции. Подход отличается от привычного лекционного формата, поэтому как минимум заслуживает внимания) Читать далее

От «обезьяньей» работы к Smart-анализу: как правильно готовить данные для моделей.Что такое Exploratory Data Analysis и как избежать основных ошибок при его выполнении. Читать далее

В ленте пробежал рассказ о том, что сегодня, 9 декабря, имеет место быть «День рождения компьютерной мышки». Типа, 9 декабря 1968 года что-то там произошло, особо важное, что можно считать рождением компьютерной мышки. И тут напрашивается два рассказа. Первый, о том когда появился изобретатель компьютерной мышки. Второй, какой исторический путь эта мышка проделала, чтобы попасть нам на стол. Читать далее

В работе представлен универсальный газодинамический резонатор, способный работать в трёх режимах генерации излучения - когерентный инфракрасный квантовый генератор на молекулах CO₂, импульсный терагерцовый источник на основе тормозного излучения ускоренных электронов в плазме и гибридный режим с фазированным переходом от ТГц к ИК излучению. Проведён анализ термодинамических и химических условий, необходимых для реализации каждого режима. Показана невозможность полного подавления ИК-генерации в углеводородных смесях из-за обязательного образования CO₂ при горении. Предложен состав топлива, исключающий образование CO₂ (водород + кислород) для реализации «чисто ТГц» режима. Приведены пояснительные схемы и описания резонатора. Читать далее

С появлением AI-агентов разработка программного обеспечения изменилась кардинально. Я, как и многие разработчики, начал активно использовать Claude, Cursor и другие инструменты для автоматизации написания кода. Результаты поначалу впечатляли: за один вечер, занимаясь системным анализом, проектированием архитектуры и промпт-инжинирингом, я мог сгенерировать до 100 000 строк кода.Процесс был увлекательным. Не нужно было вручную писать реализацию - достаточно было описать требования, обсудить с AI архитектурное видение, уточнить детали, и код появлялся сам. Я мог работать по вечерам над своими pet-проектами, общаясь с искусственным интеллектом как с коллегой. Это был настоящий вайб-кодинг - приятный, творческий процесс, не отягощённый рутиной.Проблемы начались не сразу. Первые несколько дней работа шла гладко: AI быстро генерировал код, тесты проходили, функциональность работала. Но затем, примерно через неделю-две активной разработки, я стал замечать тревожные симптомы. Читать далее

Меня зовут Максим Иванков, 9 лет назад я открыл первую школу робототехники и программирования в небольшом городе Краснодарского края. За 9 лет занятия робототехники для детей претерпели множество изменений о чём и хотел рассказать в статье. Читать далее

Нагрузочное тестирование давно перестало быть «дополнительной проверкой перед релизом» и стало частью инженерной культуры: без него сложно говорить о предсказуемости систем, зрелости инфраструктуры и реальной готовности продукта к росту. Инструментов для нагрузки сегодня много, но каждый по-своему влияет на процесс: где-то важна гибкость сценариев, где-то — масштабирование, где-то — интеграция в CI/CD. В этой статье разбираем ключевые решения, их сильные и слабые стороны и то, как они помогают увидеть систему такой, какой она будет под реальной боевой нагрузкой. Узнать детали

Несмотря на тренд на здоровый образ жизни, до сих пор физическая активность – один из самых недооцененных способов менять самочувствие, особенно когда человек живет на энергетическом минимуме: депрессия, апатия, тревожность, постоянная усталость.  Читать далее

Привет, Хабр!Сегодня я хочу поговорить про SFINAE, загадочную аббревиатуру из C++. Расшифровывается SFINAE не менее загадочно: Substitution Failure Is Not An Error, по-русски: «неудавшаяся подстановка — не ошибка». Сейчас рассмотрим, почему это правило появилось, как оно работает и как мы можем использовать его себе во благо. К механике SFINAE

В воскресенье с утра на почту пришло письмо от меня. В нём сообщалось что на Жорике проблема с диском: Device: /dev/sdd [SAT], ATA error count increased from 1 to 3Подключился, проверил, 3 ошибки в одном и том же секторе. RAID массив с ними справился. Но диск похоже пора менять.Сначала попробовал записать ноли в проблемный сектор, может диск сможет использовать резервы. Но увы, это не помогло. Ладно, в статистике указано, что диск работает уже почти 6 лет. Пора ему на покой.Пошёл смотреть что я могу приобрести и очумел. HDD на 1 Тб стоят 10000 рублей!!! В начале года покупал Seagate Barracuda на 1 Тб за 3500 и думал что дороговато. Видимо такие ценники связаны с указом проверять фуры на границе Казахстана, выяснилось что большинство товара ввозится без документов. Прощай дешёвый китайский импорт.В интернетах пишут про выросшие в три раза ценники на оперативку и жёсткие диски из-за дата центров.Делать нечего, съездил, купил, Seagate SkyHawk ST1000VX013 за 9799 рублей. Читать далее