Tibo из OpenAI был бы неплохим политиком. Я давненько заметил что если он что-т

В некоторых сессиях я вижу что инференс не сдвигается вообще никуда часами. То бишь они троттлят модели чтобы аккаунт не спалил больше чем Х токенов в минуту/час/день, независимо от того как ты пытаешься нагрузить кодекс сессиями.

На этом же аккаунте в июле у меня были дни которые показывают 2.5-3-3.5 миллиардов токенов. Рекордный день - 3.9b.

Сейчас это просто недостижимо, видимо если не включать Ultrafast =)

Но если включить Ultrafast, то 500 подписка на Астре уедет в ноль за те же 8 часов на одной сессии.

В целом как я много раз говорил - скорость в духе там плюс-минус один день не имеет большого значения. Только качество аутпута модели имеет значения. Некоего гипотетического идеального результата я изи готов ждать и неделю.

Однако стабильно всё в нашем с вами OpenAI UX тогда когда этот buttplug of a human молчит)

Если он говорит что что-то сейчас будет ну просто разъеб нахуй очка все мы победили - значит будет абсолютно полная пизда)))

Я еще угараю с того что если включаешь просто fast режим, то токены начинают утекать нихуя не в 2.5 раза быстрее, а примерно в 20 раз. Причем я так и не понял в обмен на что.

Вот последние 4 часа играюсь с Fast - нихуя не ускоряется тупо по количеству кряхтений модели в сессии, а токены срубает по 5% за полчаса там где раньше было 5% за полдня.