я не знаю насколько ты знаком с тем как работает инференс, об этом раньше много

я не знаю насколько ты знаком с тем как работает инференс, об этом раньше много топовые влогеры типа тео говорили
Типа каждое сообщение в чате и весь контент всех коллов перечитывается каждый раз целиком снова
соответственно если OpenAI надо читать всё но изредка - это пиздец какая экономия
я думаю если порефайнить промпт можно научиться так просить чтобы OpenAI и задачу свою делал и вообще почти ничего не тратил)
Например просыпался чтоб по крону раз в Х и делал следующий кик всех квенов)