1) Промпт должен описывать подробнейше причинно-следственные связи из твоей голо

Ну и один прогон бенча даже если ОДНУ штучку протестить там (изменили одну модель в ряду) - это

5-6% OpenAI
4% kimi
и по 8% с каждой из Qwen3.8 подписок

А если сложный тест закинуть мол "перебери вот эти варианты", то там спокойно полнедельной дозы со всех подписок тупо чтобы узнать с чем дальше работаем.

Когда задача хотя бы производственная - понятно зачем такие косты. А понять как на сегодняшний час конкретная модель работает относительно других - бестолковая задача при том что через час все будет иначе =)

Пока что кажется что Max заставить закидыванием посреди задачи работать иначе - не приводит к успеху

Она поначалу вроде как начала следовать, но за полчаса скатилась обратно

находит абсолютно незначимые для дела вещи и фиксит их + гоняет тесты по ним

Самое страшное - она даже не понимает над чем она работает

Вот эта тему с Unknown sender на самом деле не то что она думает

Если бы она поднялась на вертолете и посмотрела на всю схему - она бы это увидела, но она этого уже не сделает

в итоге она делает выводы не по всему функционалу в котором запущена чинить баги, а по отдельным рандомно взятым десяти строчкам этого функционала, и в такой работе смысла никакого нет абсолютно

скорее всего такая работа даже не сможет закончиться