tekBlueprint

Некоторое время назад была статья об агентной разработке для проекта. Это продолжение, но немного в другом направлении, более прикладном. В чём заключалась задача — MCP-сервис/KAG/GraphRAG на Go. После завершения «неожиданно» оказалось, что проект содержит фатальный недостаток в виде G. Поэтому было принято волевое решение о миграции на Rust. Данная авантюра потребовала смену техстека, библиотек, алгоритмов, реализации аналога LSM для векторной базы и так далее. То есть это было не механическое портирование, а перенос с заметными доработками.

Спонтанная статья об агентной разработке после некоторого времени и попыток использования этого подхода. Ниже общие тезисы, о части которых, наверное, около года назад ещё говорил. В целом, всё получается так, как и ожидалось. Революции не случилось, да и пузырь подсдувается то там, то здесь, хотя все делают вид, что всё “по плану”. Обещанный AGI, мир так и не захватил почему-то :)

Наверняка многие уже используют различные инструменты для автоматизации своей деятельности, кто-то на L1 ещё, кто-то уже до L5 наверное добрался, но никому не рассказывает. Статья о L3 ➝ L4, полная автоматизация для подобных задач не очень применима, да и смысла нет. Иначе это превратится в очередной блог с нейрослопом и бесконечной лентой статей.

Очередная вариация на тему комбинации бэкенда с фронтендом в одном приложении. Уже были примеры на Spring Boot с ReactJS, Go с HTMX и Electron с ReactJS. В этот раз альтернатива Electron – Wails v3, который объединяет Go и ReactJS для создания нативных десктопных приложений.

В Части 3 рассматривались методы параллелизма и ускорения. Это заключительная часть (4 из 4) серии о Production LLM Inference. Она посвящена фреймворкам для инференса, процессам эксплуатации в продакшене и практическому фреймворку для выбора подходящего стека технологий.

В Части 2 рассматривались квантование и оптимизация KV-кэша. Это Часть 3 из 4 – она посвящена методам, ускоряющим инференс: предсказанию нескольких токенов (multi-token prediction) и стратегиям распределенного параллелизма.

В Части 1 рассматривались архитектуры моделей и ключевые метрики инференса в продакшене. Это Часть 2 из 4 – она посвящена двум крупнейшим потребителям VRAM: весам модели и KV-кэшу. Мы рассмотрим, как квантование уменьшает веса модели, и как методы работы с KV-кэшем освобождают память для увеличения размеров батчей.

Запуск больших языковых моделей в продакшене требует большего, чем просто загрузка чекпоинта и вызов forward(). Разрыв между исследовательскими бенчмарками и реальной работой определяется целями по задержке, бюджетами памяти и ограничениями стоимости, которыми исследовательские статьи редко занимаются.

Реестр процессных решений (Process Decision Record, PDR) – это документированная практика фиксации решений об изменении, введении или отмене процессов в команде. Если ADR отвечает на вопрос, какую архитектуру выбрать, то PDR – как команда будет работать.