A/B-забеги моделей · реестр проектов

Сервис согласования платежей, написанный разными LLM в одинаковых условиях. Живые инстансы — на поддоменах algory.ru (Python 3.10 + Flask + SQLite, WSGI). Node-проекты — для запуска локально.

Забег 1: Node.js (08.08)
Забег 2: Python/Flask (08–09.08)
Победитель: deepseek-v4-flash 🏆

🐍 Живые сервисы (Python/Flask, Beget) работают онлайн

deepseek-v4-flash

ЛУЧШИЙ
Полный цикл 250k честный: draft → pending → approve×2 → approved. 24 теста, архитектура со слоями, транзакции.
Тесты: 24/24 ✅ · ~4 мин · ~$1.4
Открыть сервис

ling-3.0-flash

РАБОТАЕТ
RouterAI2. Полный цикл 250k честный, повторный approve → 400. Написала 34 теста — больше всех. Буксует на правках.
Тесты: 34/34 ✅ · ~27 мин · ~$17
Открыть сервис

laguna-s-2.1

РАБОТАЕТ
RouterAI2. Полный цикл 250k верный, повторный approve → 400. Долго планирует, но эффективна по цене и сообщениям.
Тесты: 30/30 ✅ · ~27.5 мин · ~$6
Открыть сервис

gpt-oss-120b

РАБОТАЕТ, НО БАГ
Сервис жив, но approve захардкожен: первый же approve сразу даёт approved (в БД required_approvals не соблюдается). Код структурный, но не доведён.
Тесты: 6/6 ⚠️ · ~6 мин · $0.84
Открыть сервис

qwen3-coder-30b

РАБОТАЕТ
Сервис жив, полный цикл create → submit работает. НО: approve отклоняет «User must be an approver» — роли/пользователи настроены иначе, чем у остальных.
Тесты: — · 20 мин · 💸 402
Открыть сервис

⚡ Node.js-проекты локальный запуск

pay-approval-deepseek

🏆 31/31
Победитель Node-забега: Express + better-sqlite3, слои, транзакции, полный цикл. Запуск: npm install && npm test.
Тесты: 31/31 ✅ · ~4 мин · ~$1.4
Локально

pay-approval-coder

РАБОТАЕТ
Агент coder (DeepSeek Flash) на той же задаче. Полная реализация: src/, tests/, README.
Тесты: ✅ · ~3 мин
Локально

pay-approval-omp

РАБОТАЕТ
Агент omp (DeepSeek Flash). Полная реализация с тестами — тот же класс, что coder.
Тесты: ✅ · ~2 мин
Локально

pay-approval-gptoss120b

6/8 ⚠️
Структурный код, но SQLite-баг (двойные кавычки в SQL) — approve падает. Один фикс от успеха.
Тесты: 6/8 · $0.84
Локально

pay-approval-qwen30b-2507

ТЕСТЫ СЛОМАНЫ
Сервер работает идеально (проверен весь флоу руками), но тесты не запускаются: старый better-sqlite3 ^8 + нет type:module.
Тесты: ❌ · $1.34
Локально

pay-approval-qwennext80b

ЗАВИС
Завис на 12-й минуте, код недописан (только index.js + тесты, без src/). Не рабочая.
Тесты: ❌ · завис
Недоступен
⚠️ Ограничения: Node на Beget shared не запускается — Node-проекты доступны локально (папки в ~/workspace/omc-test/). Flask-сервисы подняты через WSGI; БД создаётся при первом запросе. gpt-oss и qwen — с известными багами (см. карточки).