Tibo из OpenAI был бы неплохим политиком. Я давненько заметил что если он что-т

Tibo из OpenAI был бы неплохим политиком.

Я давненько заметил что если он что-то говорит про изменения динамики чего-то, то правда абсолютно обратная.

Например: буквально пару дней назад он извинялся за то что Sol 6.1 медленный, мол люди жалуются, но мы это учли, поработали, и теперь все будет быстрее.

На деле: 3го октября у меня зафиксировано всего 280 миллионов токенов. 1го и 2го по 750 миллионов.

Я не запускал меньше задач, наоборот - я запустил больше 12 параллельных сессий которые тарабанили весь день.

В некоторых сессиях я вижу что инференс не сдвигается вообще никуда часами. То бишь они троттлят модели чтобы аккаунт не спалил больше чем Х токенов в минуту/час/день, независимо от того как ты пытаешься нагрузить кодекс сессиями.

На этом же аккаунте в июле у меня были дни которые показывают 2.5-3-3.5 миллиардов токенов. Рекордный день - 3.9b.

Сейчас это просто недостижимо, видимо если не включать Ultrafast =)

Но если включить Ultrafast, то 500 подписка на Астре уедет в ноль за те же 8 часов на одной сессии.