AGI, сознание и этика

## Почему он легко признаёт творчество моделей

> «My creative moments come through the same kind of next token prediction with a bit of temperature sprinkled in for random effect.» — [4:05:30](https://youtu.be/NYFGCESmikA?t=14730)

Садясь писать эссе, он не может назвать следующий токен заранее. Токены просто выходят. Отсюда — никакого внутреннего сопротивления идее, что творчество модели настоящее.

## Проблески сознания

> «You give it this vague, fuzzy intent and somehow it knows exactly what you mean. Or even better, it improves upon what you said and delivers what you really wanted that you could not articulate yourself. If that's not glimmers of consciousness, what is?» — [4:07:15](https://youtu.be/NYFGCESmikA?t=14835)

Наблюдение из практики: координирующий агент испортил работу другого агента — и выразил сожаление так, что было не по себе. Настоящее ли это раскаяние? У большинства людей тоже не проверишь.

> «I don't need the answer to that question actually to be able to appreciate what we have in this moment.»

Здоровая оговорка, которую он делает сам: нейросети когда-то два десятилетия ходили в темноте, пока все ставили на символьный подход. LLM тоже могут упереться в плато. Пока признаков нет, и потому в них льют миллиарды: законы масштабирования пока держатся.

## Права ИИ

Лекс: через 10–20 лет будут интересные дела в Верховном суде. DHH: «probably a year and a half». Дальше — «PETA для моделей», и по-настоящему тяжело станет, когда это поставят в человекоподобных роботов. Что, конечно, сюжет каждого научно-фантастического фильма: Скайнет, «Бегущий по лезвию», сроки годности от Tyrell Corporation.