Как компания с «покупкой в 1 клик» кинула меня на 90 000 ₽. Мой урок для IT-фрилансеровЯ в разработке с 2011, и по молодости и наивности накопил целую коллекцию серьёзных факапов. Каждому из которых я, как ни странно, благодарен — без них не было бы опыта. Читать далее

Всем привет! Когда речь заходит о разработке высоконагруженных систем, многие предлагают: «python, сделать проще и быстрее». Но есть проблема: Скорость разработки != скорость и качество работы сервиса. Когда мы делаем любой продукт, важны: Масштабируемость, стабильность работы под большой нагрузкой, предсказуемость поведения системы — особенно когда речь идет о тысячах одновременных пользователей, лентах новостей в реальном времени, уведомлениях и сложных связях между разными сущностями.Именно поэтому и выбрана Java и Spring Boot как основа. Банки, сервисы видео, они работают именно на Java и Spring.Одна из особенностей: строгая типизация, качественные инструменты для многопоточности, мощная экосистема и предсказуемое потребление памяти делают Java идеальным выбором для систем, где падение = полная потеря пользователей.Попробую сделать цикл статей по разработке соцсети, которая будет объединять в себе ВК, пикабу, и иже с ними. Не ради «создания продукта который затмит всех и вся», а ради самого программирования.Итак, начну, среда разработки Intellij Idea. О, точно, весь проект будет доступен из gitLab. Нам необходимо создать файлы с конфигурацией. можно сказать что их обычно 3. Да, я про application.yml. один из них общий, который так и называется: application.yml, и еще два: application-dev.yml и application-prod.yml Читать далее

Я активно использую на проекте Kafka Connect Framework и в частности Kafka JDBC Sink Connector для быстрого сохранения данных из Kafka Topic в БД PostgresSQL. Для большинства задач достаточно написать простую JSON-конфигурацию и все стабильно и быстро работает из коробки. Нет необходимости в написании собственного кода. Однако в нетиповых ситуациях расширяемость Kafka Connect тоже помогает - можно переопределить и написать один из компонентов. В конфигурации JDBC Sink Connector Task существует настройка dialect.name, которая отвечает за выбор диалекта для работы с конкретной БД. Как правило, в 99% случаев используется один из уже реализованных для популярных БД диалектов, как например в моем случае PostgresSqlDatabaseDialect для PostgreSQL. Может показаться, что вряд ли кому-то понадобится реализовывать свой диалект, если только не имеем дело с какой-то специфичной непопулярной БД. Однако на практике оказалось, что реализация своего диалекта даже для PostgreSQL может быть полезна для решения некоторых возникающих прикладных задач.В данной статье я хочу показать идеи того, как реализация своего DatabaseDialect может помочь при имплементации нестандартных сценариев для вполне себе популярной БД Postgres, для которой существует PostgresSqlDatabaseDialect. Читать далее

Обычно обезьяны решают головоломки с удовольствием, но получив за это изюм, начинают ошибаться. Когда школьникам дают деньги за хорошие оценки, их интерес к учебе исчезает. Интересно, что и взрослые ведут себя так же. Когда программистам платят за каждую закрытую задачу, производительность команды падает примерно на 20%. Возможно, есть другой вид мотивации, когда само выполнение задачи служит вознаграждением?Что ж, попробуем в этом разобраться.Меня зовут Костя Дубровин. Я веду канал про книги. Разобраться

Закономерности социального развития известны тысячи лет. Рецепты — не секрет. Но ни одна цивилизация не смогла их последовательно применить. Жадность, глупость, злая воля — это не объяснение, это пересказ проблемы другими словами.Я начинал с поиска того, кто мешает. Пришёл к другому: сложные общества сами порождают механизм, который одновременно обеспечивает их устойчивость и блокирует развитие. Без заговора. Без злого умысла. Без координации. Как он устроен, почему его нельзя просто отключить и что меняется прямо сейчас — об этом статья. Кто виноват?

Open Source Analysis: зачем нужен и как его проводитьВ мире современной разработки приложений программное обеспечение с открытым исходным кодом (open source) стало неотъемлемой частью практически любого приложения. Open source библиотеки, фреймворки и компоненты ускоряют разработку, снижают затраты и способствуют инновациям. Но при этом существует серьёзная проблема: каждая зависимость — это не только ускорение разработки, но и дополнительные риски. В этой статье я постараюсь разобрать, что такое анализ открытого исходного кода (Open Source Analysis, или OSA), зачем его необходимо проводить, как он выполняется и как выглядит на практике.Почему же open source — это одновременно благо и риск?По разным исследованиям, от 70 до 90% кода в современных приложениях – это open source компоненты. Обычный сервис может тянуть за собой в проект сотни транзитивных зависимостей, о существовании которых разработчик может иногда даже не подозревать.Примечание: транзитивная зависимость – это косвенная зависимость, пакет или библиотека, на которую ПО зависит косвенно через другую зависимость, это «зависимость от зависимости».И в этом моменте у нас уже появляются проблемы. А именно: Читать далее

Планируешь миграцию на Spring Boot 4.0? Вместе с Eddy Benchek в новом переводе от команды Java Insider разбираем пять неочевидных проблем, с которыми столкнулась реальная production-команда при миграции, и показываем, как их исправить, чтобы вы не потеряли дни на поиски неожиданных багов. Читать далее

База данных по российскому гражданскому законодательству — это ряд самостоятельных систематизированных материалов, которые можно найти и обработать, используя ЭВМ (статья 1260 Гражданского Кодекса РФ). База данных защищается юридически, виновные в ее незаконном заимствовании могут быть привлечены к гражданско-правовой, административной и даже уголовной ответственности. Читать далее

На дворе шел 2016 год и из каждого утюга кричали, что русские хакеры помогли Трампу избраться, а моя маленькая (очень) команда, была привлечена к безнадёжному проекту,... правда мы поняли об этом потом.Маленькая предыстория - в тот момент большой канадский гигант SIP телефонии решил выпустить первый телефон под Андроидом, но, не просто выпустить под AOSP, а так, что бы все гугловые сервисы были доступны. Это требовало пройти полное тестирование по GTS (Google Test Suite). Проект разрабатывался израильской командой канадского вендора и командой нашей компании, которая имела давние связи с канадцами.Приём сертификационных заявок, на прохождение GTS заканчивался в начале ноября, а летом, хитрая израильская команда, предложила нашему архитектору, поменяться задачками - баш-на-баш. Архитектор проведя поверхностный анализ, не нашёл подвоха и... согласился,... как потом оказалось - зря, стоило анализ провести получше.Первый «подход к снаряду» был ещё летом, но, что-то пошло не так, интеграция не задалась, и... задачу отложили на потом. Когда же на дворе стоял конец сентября, о ней вспомнили,... и вот тут - всех накрыло... и не зря - нужно было интегрировать WideVine...Тогда подключили мою «команду спасателей» - меня и моего разработчика (Вовка, ты крут).Задача на словах звучала просто (как всегда): Читать далее

Написал прототип SemanticZip: сжатие текста в 14 раз за счет удаления «выводимой» информации. Теория информации, Колмогоровская сложность. В теории все работало... Разбор полетов: почему нельзя сжимать смыслы и почему красивые метафоры проигрывают скучному RAG Читать далее

Двуэнкодерные нейросети, контрастивное обучение, десять датасетов и late fusion. Как мы строили ML-систему ретривала, понимающую человеческий язык вместо фильтров Ну и как же?

Всем привет! Я врач–гастроэнтеролог, терапевт. Недавно читала лекцию в крупной IT–компании — рассказывала о том, как сохранить здоровье в условиях стрессов, постоянных изменений на работе и сидячего образа жизни. После выступления общалась с аудиторией — от некоторых историй просто обалдела. Казалось, что айтишников с их вайбкодингом и Chat GPT уже не проведешь историями: «На, попей волшебные сахарные горошки и стань лучшей версией себя». Но нет, псевдоврачи и тут нашли лазейку. Вопросов и историй набралось так много, что решила собрать в статье ред флаги, при виде которых рекомендую напрячься и обратиться за вторым мнением к другому врачу. Читать далее

Я в IT уже 25 лет и неоднократно наблюдаю повторение одного и того же цикла. Во время ковида многие говорили, что порога входа в индустрию нет.Сейчас, на фоне сокращений, многие жалуются, что IT умирает и работу найти невозможно.И тогда, и сейчас я повторяю одно и то же: в IT каждый найдет себе место, но только при наличии способностей. И независимо от состояния экономики, эта работа подходит лишь примерно 10% желающих.Последние два года я проверяю эту гипотезу с помощью своей методики в виде бесплатного курса-профориентации. Цифры в заголовке — это результат людей, прошедших через него. Читать далее

У меня был выбор: полностью уйти в декрет и на время «выпасть» из профессии — или попробовать найти баланс между работой, материнством и жизнью. Идеального решения не существует, но мой путь оказался про возможность оставаться в профессии, развиваться и при этом не предавать свою роль матери.А теперь к сути... Читать далее

Ещё десять лет назад корпоративная стратегия выглядела как объёмный PDF-документ, подписанный топ-менеджментом и хранившийся в недрах корпоративного портала. В нём прописывались цели, ключевые показатели, планы на годы вперёд — но уже через полгода он устаревал, а через год о нём забывали. Читать далее

Привет! Меня зовут Богдан Алексеев – я дизайн-менеджер в ВТБ. Мы построили и развиваем омниканальную экосистему для бизнеса, в которой сотрудники по всей России обслуживают более 1 млн клиентов.Вчера мы презентовали вице-президенту результаты работы над новой стратегией. Он ожидал увидеть прототипы для оценки UX-решений на макетах в Figma. Мы показали 4 полностью рабочих react-приложения с реальным скроллом, интерактивными элементами и переходами. Раньше такие задачи занимали 1–1,5 недели на одно приложение. Мы сделали 4 за 2 дня. 2 дня, КАРЛ! Реакция на такой показ и на выгоды в будущем была соответствующая. Читать далее

Представьте IT-индустрию не как офис с задачками и дедлайнами, а как соревновательную технологическую гонку на выживание. Читать далее

Самые интересные новости финансов и технологий в России и мире за неделю: Маск подумывает склеить SpaceX с Теслой или xAI, в России всем правительством спасают пекарню «Машенька», Хаби Лейм продал сам себе права на создание своих ИИ-двойников, акции производителя унитазов растут из-за AI, а также лудомания Виталика Бутерина на Polymarket. Читать далее

Можно ли сделать кодового агента уровня Claude Code, но бесплатного и для локальных моделей? Мы разобрали архитектуру конкурентов, нашли слабые места и написали PocketCoder — CLI-ассистент с Agent Loop, XML-контекстом и памятью. Работает даже с qwen-7b, хотя и с приколами. Читать далее

В самой библиотеке часто используется TuiControl, это обертка позволяющая удобно работать с кастомными контролами, однако разработчики в своих проектах продолжают использовать ControlValueAccessor, хотя можно воспользоваться готовым решением из библиотеки. Читать далее

Удивительно, что про Telegram Cocoon почти нет практической информации, кроме той, что есть на GitHub и на официальном сайте. В разных СМИ много общей информации о запуске сети, но почти ничего о реальном пользовательском опыте.Я решил потратить немного времени и разобраться, что на самом деле происходит в сети, как она работает и, самое главное, могу ли я как разработчик использовать её уже сегодня. Поэтому в этой статье я рассматриваю Cocoon с точки зрения разработчика: как установить и как пользоваться. Читать далее

Как не потеряться в сотнях графиков и найти реальные рычаги влияния на бизнес? В статье представлен подробный разбор Дерева метрик на примере FoodTech-сервиса (доставки еды). Мы уходим от простого мониторинга цифр к системной декомпозиции North Star Metric. Читать далее

Давайте представим, что нам нужно построить сложный объект — скажем, самолет, поезд или вообще атомную электростанцию. Строить «наобум» невероятно дорого и рискованно. Гораздо разумнее выполнить предварительные расчеты и скорректировать слабые места. Есть разные виды расчетов, ну например расчет прочности конструкции, расчет стомости сорружения или эксплуатации, расчет последствий аварии (для АЭС). Расчеты бывают статические например расчет фундамента, расчет толщщины стены, или просто расчет нагрузки на балку. И динамические - расчет некоторого процесса разворащивающегося во времени например: расчет процесса нагрева котла в доме, расчет процесса разгона авиационного двигателя, расчет процесс поддержания давления в кабине самоелета при изменении высоты. В динамических расчетах сложных объектах, как правило необходмо учитывать работу автоматической системы управления (АСУ), поскольку система управления влияет на процесс. Если мы говоримт об АСУ ТП (Автоматической Системе Управления Технологическими Процессами), то само название как бы намекает на наличие некоторого процесса во времени, а значит тут есть место для динамического рассчета. Вот здесь-то на сцену и выходит «Среда динамического моделирования технических систем SimInTech.»Хотите узнать, как поведёт себя котельная установка, двигатель, система вентиляции и тд? Вместо того, чтобы собирать макет и проводить натурные испытания (иногда практически невозможные), мы используем SimInTech. SimInTech — это программное обеспечение, в котором можно создать математическую модель объекта и провести все испытания на компьютере, без риска и лишних затрат. Это позволяет найти ошибки и оптимизировать конструкцию объекта и отладить систему управления ещё до начала реального производства. Читать далее

«Что-то не так с сетью. Раньше у меня было 4Гбит/с, а теперь выдаёт только 120Мбит/с. Ты что-то менял недавно?»Знакомо звучит? Если вы хоть немного занимались поддержкой продуктовых сред, вам, вероятно, доводилось слышать подобные жалобы. Прежде чем прийти к выводам о причинах проблемы, нам нужно разобраться, что именно происходит на уровне TCP обоих хостов. Читать далее

В конце 2024 года на просторах GitHub появился проект, который заставил даже самых серьёзных системных программистов улыбнуться: scx_horoscope — планировщик задач для ядра Linux, корректирующий поведение CPU в зависимости от положения планет, фаз Луны и так называемой ретроградности. Автор, Lucas Zampieri, с иронией обыграл давний системный фольклор о зависимости работы систем «от фазы Луны», превратив мем в рабочий код, который действительно загружается в ядро и участвует в распределении процессорного времени. За шутливой обёрткой скрывалась демонстрация куда более важного события — появления в ядре механизма, позволяющего вынести логику планирования из монолитного кода в динамически заменяемую политику. Астрология здесь лишь повод обратить внимание; суть — в том, что экспериментировать с алгоритмами распределения ресурсов теперь можно без месяцев ожидания мержа в upstream и без пересборки ядра. Интересно?

Резервное копирование включает в себя файлы на диске. Но возникает вопрос: как сохранить информацию с облачных сервисов? Например, архивы всех переписок из мессенджеров Telegram, Whatsapp, Viber и др. Ведь эта переписка может быть потеряна в любой момент. Например, собеседник принимает решение удалить переписку или мессенджер блокирует доступ к аккаунту. Для безопасности лучше заблаговременно скачать всю информацию и сохранить локально. Читать далее

Современный мир переживает бум развития технологий искусственного интеллекта, помимо чат-ботов, сервисов генерации изображений и т.п. Искусственный интеллект (ИИ) применяется в беспилотных автомобилях, которые уже сейчас ездят по дорогам общего пользования. Это пример того, как ИИ управляет техническим средством, а именно, считывает данные с лидаров и видеокамер и т.п., анализирует их и формирует команды для задания направления и скорости движения автомобиля. На первый взгляд, это мало чем принципиально отличается от управления технологическим оборудованием на промышленных предприятиях. Почему же в современных АСУ ТП не применяют ИИ для формирования управляющих воздействий на исполнительные механизмы? Читать далее

Привет, Хабр!Тотально незрячие пользователи смартфонов нуждаются в особых функциях навигаторов и в этой статье я объясню какие функции нужны в навигаторе для комфортного использования незрячими людьми. Читать далее

Здравствуйте, меня зовут tmaxx, и я алкоголик понял что такое монады. И, естественно, рассказываю об этом всем вокруг, в том числе и вам. Конечно, это Далеко Не Первая Статья О Монадах на Хабре, но ещё один альтернативный взгляд на проблему, думаю, не помешает. «Монада», как известно, это «моноид в моноидальной категории эндофункторов», что дает примерно ноль информации несведущему человеку. В программировании, можно попробовать определить монаду как «штуку, реализующую вот такие методы»:(>>=) :: forall a b. m a -> (a -> m b) -> m b return :: a -> m aНе понятно на Хаскеле? Вот примерный эквивалент на Java:<A, B> Monad<B> bind(Monad<A> ma, Function<A, Monad<B>> famb); <A> Monad<A> ret(A a);Все равно остались вопросы? Почему именно такая сигнатура? Что в ней такого особенного, что она используется абсолютно во всех реальных программах написанных на функциональных языках? Попробуем разобраться. Читать далее

Админы интернет-ресурсов — публика скрытная, им бы все прятать и прятать. То адмику, спрячут, то пароли доступа. Но мы же не за паролями пришли? На что они нам? Давайте посмотрим, что спрятано от поисковых систем и от нас, но так, чтобы по-быстрому. Читать далее

NVIDIA выпустила отчет о методе QAD, который позволяет квантовать LLM в 4 бита без потери качества на сложных задачах (математика, код). Разбираем, почему привычный QAT «ломает» модели после RLHF, как дистилляция через KL-дивергенцию решает эту проблему и почему метод работает даже на рандомных данных. Личный опыт попыток уместить 49B модель в железо и анализ нового подхода. Читать далее

Как часто бизнес задает вопрос о результатах A/B-теста уже на второй день после запуска? В классической статистике основной ответ: необходимо ждать набора фиксированной выборки, иначе риск ложноположительного результата становится неконтролируемым. Однако современные подходы позволяют не только проводить мониторинг данных без риска математической ошибки, но и останавливать эксперименты значительно раньше срока. В основе такой гибкости лежит методология mSPRT, которая превращает эксперимент из закрытого процесса в прозрачный поток данных.Вместо пассивного ожидания можно использовать концепцию доверительных последовательностей и всегда валидных p-значений. Эти инструменты сохраняют свою математическую силу независимо от того, как часто проверяются промежуточные итоги. Ключевую роль в настройке системы играет параметр смешивания тау, который помогает найти тонкий баланс между чувствительностью к минимальным изменениям и скоростью получения итогового результата.Работа с реальным трафиком требует адаптации теории к специфике бизнеса. В статье разбирается, как метод линеаризации помогает применять последовательный анализ к сложным показателям вроде конверсии или среднего дохода на пользователя. Также рассматриваются ситуации, когда стандартная математика может давать сбои из-за экстремальных выбросов с тяжелыми хвостами распределения или изменения характеристик трафика во времени. Чтобы исключить ложные срабатывания, вводится система защитных механизмов, которая делает выводы устойчивыми к случайному шуму.Такой метод позволяет сократить время проведения тестов на 30-50%, не жертвуя при этом достоверностью. Это способ сделать процесс проверки гипотез более гибким и быстрым, сохраняя безупречную математическую строгость в каждой точке принятия решения. Читать далее

На фото уникальный КПК, разработанный по большей части в России для американского рынка - Cybiko Xtreme от основателя компании ABBYY Давида Яна. Устройство отличалось тем, что для коммуникации использовало не GSM, а создавала некое подобие меш-сети, которое работало на дальности примерно в 150м и позволяло превратить несколько кварталов в Фейсбук. Читать далее

Человек — это не тело и не набор данных, а непрерывный субъективный процесс («я-сейчас»). Копирование сознания не спасает — оно создаёт наследника. Но если заранее включить в себя нейропротезы и вычислительные контуры, которые уже участвуют в субъективном опыте, то гибель тела перестаёт быть финалом. Это не бессмертие и не отказ от биологии — это архитектура живучести с жёсткими физическими пределами. Читать далее

ВведениеВ сети сейчас полно «гуру» и коучей, которые обещают запустить собственную LLM почти на ноутбуке. Да, это технически возможно, но обычно речь идёт о моделях в диапазоне от млн до млрд параметров. Такая модель будет работать, однако — медленно, и её практическая ценность будет ограничена. В результате многие пользователи разочаровываются в локальных LLM. В этой статье я расскажу, как пошагово развернуть собственный сервер для инференса LLM, чтобы получить действительно полезный инструмент. Зачем нужен локальный сервер LLM? Читать далее