Каждый вайбкодер рвет на себе волосы когда модели тупеют. Ведь мы не просто так

Какие-то данные собирают за считанные дни. Какие-то за недели. На какие-то наверняка уходят месяцы и кварталы.

Например Artistic/Creative Writing еще толком даже не пробовали тренировать. Вернее пробовали-то уже наверно всё, но серьезных погружений в это направление ни одна лаба ещё не предпринимала. Всё потому что инсентив рисеч лабам на это пока не давали. Они же следуют за деньгами, иначе их просто пнут под сральник и распустят. Ученые делают то что им говорят, потому что делают они то что любят лишь до тех пор пока это полезно заказчику. Последние полтора года весь инсентив крутился вокруг программирования, науки, итд. Наверняка все заметили что все модели и все бенчмарки в итоге на данном отрезке про это.

Мы изъясняемся обобщениями, потому что ими думаем, но если усесться и разобраться даже просто тупо и широко "что такое речь", окажется что это математическая матрица из десятков тысяч датасетов, гигантских и совсем крошечных. Чтобы все их натренировать модели будут усиливаться в одном и деградировать в другом, чтобы народ кидался "выдаивать" то что сегодня хорошо работает, и концентрировано помогал активному департаменту с подключенными инсентивами добиваться статистически значимых целей по упаковке датасета в общий AGI-котёл.

Причем вспомните как 4о забирали? Это красиво, и напоминает сюжет типичного фильма про политику, всегда основанного на абсолютно реальных событиях) Всё всегда делается через СМИ. Внезапно сообщили что 4о это вообще классная модель, но после какого-то сбежавшего из лаборатории апдейта который почему-то невозможно откатить она стала жутко опасна, что из-за неё люди сходят с ума, ДЕТИ САМОУБИВАЮТСЯ, а маньяки озверевают и хватаются за ножи, дропнули какую-то непроверяемую статистику, и выкорчевали 4о одним днём. Народ начал бастовать, поскольку чувства ну очень сильно окрепли, и забирать 4о это как забирать друга или для кого-то уже даже родственника. Поэтому её пришлось вернуть, но она почему-то уже не была прежней, и ежечасно продолжала деградировать. Тогда люди к ней постепенно охладели, убедили себя в том что раньше им просто показалось, и во второй раз уже без какой-либо паники модель удалось изъять. На все это ушло всего ничего =)

Поэтому если какие-то модели начали жестко тупить - это скорее всего означает что предыдущие задачи для майнинга контента для рисеч-лабораторий уже закрыты, а новые ещё не выкатили, поскольку к ним надо что-то подготовить, договориться, выбрать, или я хз что - любой кто работал в IT коллективе может запросто вспомнить как это всё бывает и как оно в застенках организации выглядит)

Одно известно наверняка - палить для миллионов юзеров бабло на датацентры себе в минус просто чтобы юзерам от которых в долгосрочной перспективе все равно не ожидаешь никакого долгосрочного профита - контрпродуктивно, а значит никто не станет. Как только можно отключить мозги или задушить их или переключить на другую задачу - это происходит сию же секунду.