10,689 passages, newest first · 36 ms
Сэкономить на токенах в 10 раз
В наивной реализации нейросеть читает чат каждый раз заново и прогоняет через видеокарту всю историю диалога – хотя от запроса к запросу старые реплики не менялись. Для оптимизации провайдеры придумали кэширование – оно позволяет посчитать этот кусок однажды и дальше подставлять готовым. У Anthropic, например, чтение из кэша стоит раз в десять дешевле обычного, плюс ответ…
К сожалению, лекарство неполное. Кэш живёт в памяти видеокарты, а её мало и она дорогая, поэтому под нагрузкой старые куски вытесняются и всё опять считается заново. Есть и привязка ко времени – отошёл человек от чата на час, вернулся, а контекст уже протух. В итоге глобально проблема никуда не делась – её просто немного сгладили.
Идея #стартапдня Tensormesh – не выбрасывать посчитанное, когда в видеопамяти кончается место, а сгружать кэш ниже: в обычную оперативную память, на SSD, в сетевое хранилище. Заодно он становится общим для всех видеокарт разом. Готовый кусок тогда переживает и вытеснение, и паузу, и переезд на другой сервер, а пересчитывать приходится заметно реже.
Движок можно скачать и использовать бесплатно. Он относительно популярен, на Github у проекта 9 600 звезд. У Nginx для сравнения 31 000, у OpenClaw 380 000. Зарабатывает Tensormesh на собственном хостинге чужих opensource моделей. Его формула – “кэшированные токены отдаем бесплатно”. Утверждается, что в каких-то сценариях это выйдет и в 10 раз дешевле обычной цены.
https://www.tensormesh.ai/
#ai…
Taxfix через 4 года
Общения с бюрократией нормальный человек боится, зато ему может помочь бизнес. Немецкий #стартапдня Taxfix разработал сервис для простого заполнения налоговых деклараций. Работает так: пользователь регистрируется, 20 минут отвечает на вопросы чат-бота, с помощью «умного» распознавания прикрепляет необходимые документы — и Taxfix автоматически отправляет запрос в налоговую.
Передача документов стоит 40 евро, сервис требует денег только за последний шаг, остальные формы можно прокликать бесплатно. Цена сопоставимой с парой часов работы среднего немца, заплатить их вполне рационально, так как быстрее вряд ли получится заполнить все бумажки вручную, да и ошибиться можно.
У стартапа всё хорошо: миллионы клиентов, 330 миллионов долларов инвестиций и оценка в миллиард по итогам последнего раунда. Единственный вопрос, который меня мучает, — а зачем он, собственно, нужен? Почему немецкая налоговая не в состоянии запрограммировать удобный интерфейс приёма документов? Я понимаю, частная инициатива должна выигрывать в каких-то сложных конкурентных областях — но здесь-то что?
Заместить же просто. Сколько в Taxfix человек в продуктовой команде? 30? 50? 100? Неужели нельзя нанять столько же и сделать так же красиво и просто? Сейчас стартап работает как скрытый налог на криворукость государства — и, судя по оценке в миллиард долларов, это довольно существенный налог. А ещё есть налог на время и ошибки тех, кто Taxfix не пользуется и мучается…
И это, естественно, не немецкая проблема, почти во всём мире есть некое умолчание, что «государство нормально не может». Дайте другой глобус, пожалуйста.
—
Вот такой #субботнийповтор из 2022 года. Основной вопрос для стартапа сейчас – а нужен ли он после появления ChatGPT. Компания говорит о том, что мы сами внедряем AI, но у нас это “ответственный” AI. Я предполагаю, что пользователи ей…
Не халявщик, а партнер!
Одна из модных концепций ковидного времени: переплетение клиентов и инвесторов. Всучи миллениалу пару акций McDonalds – это и капитализацию корпорации чуть повысит, и ходить в Burger King человек перестанет. Двойная выгода для макдака.
К сожалению, механика работает, только если рынок растет и акциями владеть приятно. Когда он падает или хотя бы в бок идет, то бренд в такой схеме наращивает негатив вместо лояльности. А в Японии, например, биржевой индекс 35 лет не мог побить рекорды 1989 года, там ни маркетолог, ни клиент не поставят на стабильный рост.
Но сделать покупателей инвесторами, а инвесторов покупателями все равно хочется, и решение нашел #стартапдня Funds. Если народ не верит в акции – давайте предложим ему облигации или, точнее, их аналоги.
Стартап организовал краудленговую площадку, где простые японцы дают в долг крупным корпорациям. Ставка выше местных депозитов (выше нуля быть нетрудно), возврат более-менее гарантирован – клиенты туда идут и, заодно, вместе с процентами получают какие-то бонусы: “каждая восьмая чашка кофе бесплатна для уважаемого кредитора”.
Ну а дальше – те же психологические ловушки, которые в Штатах работали. Если уж дал кому-то в долг, то возникает эмоциональная связь и желание поддержать бренд. Да и бесплатную чашку кофе получить хочется. В итоге корпорация получает, видимо, не самые дешевые деньги на рынке, но зато к ним прилагается лояльный потребитель, комиссию Funds платит маркетинговый, а не финансовый департамент.
http…
Иногда компьютером пользоваться можно, а ChatGPT или аналогом – нельзя. Экзамен, собеседование, или просто босс, который против применения AI. Причем, заметьте, часть таких ситуаций – это именно тот случай, когда искусственный интеллект был бы максимально полезен. И для них есть #стартапдня GPTDisguise.
Человек заранее ставит себе в Chrome плагин и теперь, когда он заходит в ChatGPT, тот выглядит как открытый документ в Google Docs. Нет никакого чата, только текстовый файл. Работа при этом идет почти как обычно. Вы пишете “краткое содержание Му-му” – ниже появляется краткое содержание Му-му. Через плечо никто не заметит ничего подозрительного.
Связка ChatGPT-Google Docs бесплатна. За деньги GPTDisguise может работать с Claude и Gemini или изображать из себя Notion и Microsoft Word. Впрочем, не уверен, что хотя бы один человек уже реально купил подписку – аудитория у стартапа пока совершенно микроскопическая.
Две вещи бесконечны: Вселенная и разнообразие вайбкод-проектов. Хотя насчёт Вселенной я не уверен. (c) Эйнштейн
https://chromewebstore.google.com/detail/gptdisguise/bccghhjlejbkimijdkdfoboamcjgpefg
Книга памяти
Если забыть продлить домен в зоне.ru, то в день X он не теряется безвозвратно. У владельца есть ещё месяц, чтобы заплатить и вернуть себе имя. Но информация о неоплате публична, конкуренты вполне могут облизываться – а вдруг всё-таки забудет. Ну, пожалуйста!
Российский #стартапдня Expired автоматизирует такие мечты. Его сайт показывает все освобождающиеся домены, их можно сортировать, фильтровать, искать подходящие. И, главное, можно участвовать в аукционе на понравившиеся варианты. В момент освобождения Expired попробует купить домен для победителя. Гарантии успеха нет – в принципе, первым может и кто-то со стороны оказаться. Но высокая вероятность есть, стартап сделал все правильные интеграции и его…