1) Промпт должен описывать подробнейше причинно-следственные связи из твоей голо

При этом Qwen давал письмам самую справедливую оценку, потому что он и писал и пишет все еще лучше всех

Ну а еще бенчмаркинг это ебать затратно по токенам

у меня есть один бенчмарк маркет скана, т.к. без него я бы помер уже понимать что там как - слишком много всего

Ну и один прогон бенча даже если ОДНУ штучку протестить там (изменили одну модель в ряду) - это

5-6% OpenAI
4% kimi
и по 8% с каждой из Qwen3.8 подписок

А если сложный тест закинуть мол "перебери вот эти варианты", то там спокойно полнедельной дозы со всех подписок тупо чтобы узнать с чем дальше работаем.

Когда задача хотя бы производственная - понятно зачем такие косты. А понять как на сегодняшний час конкретная модель работает относительно других - бестолковая задача при том что через час все будет иначе =)

Пока что кажется что Max заставить закидыванием посреди задачи работать иначе - не приводит к успеху

Она поначалу вроде как начала следовать, но за полчаса скатилась обратно

находит абсолютно незначимые для дела вещи и фиксит их + гоняет тесты по ним

Самое страшное - она даже не понимает над чем она работает

Вот эта тему с Unknown sender на самом деле не то что она думает

Если бы она поднялась на вертолете и посмотрела на всю схему - она бы это увидела, но она этого уже не сделает