Я сделал тамагочи с настоящей нейросетью внутри. Она учится, стареет и умирает навсегда
Короче, упало мне 500 млн токенов от одной китайской нейросети. А идеи куда их потратить не упало. Поэтому я решил собрать тамагочи с нейросетями.
Идея давно витала в воздухе, т.к. я в свободное время занимаюсь попытками имитировать поведение человеческого мозга в языковой модели, с помощью нейросетей. Это не классическая LLM, а скорее попытка сделать виртуального человека на нейросетях и посмотреть что из этого выйдет.
В ОБЩЕМ! Крупная идея несёт в себе какую-то несусветную сложность. Поэтому я решил "смоделировать" эту затею в крохотном искусственном мире с искусственной мышью (гыгы, эксперименты на мышах)
Квартира мыши
Не было цели имитировать настоящую мышь, цель была сделать и научить нейросеть жить в каком-то организме. Какой-то организм получился. Это своего рода тамагочи, где ты не управляешь зверьком. Но можешь вызывать функции мира: дать еду, дать воду, открыть окно, погладить. Мышка видит все эти функции тоже, сама тыкает по ним и учится на последствиях.
Внутри неё — четыре нейросети. Три учатся, одна заморожена с рождения. Написаны руками (*несильнозаебался.jpeg*) агента конечно же, на целочисленной математике, без TensorFlow: обычные целые числа, умножение и сложение, никаких видеокарт.
1. SkillNet — предсказывает «что будет с моим телом, если я сделаю вот это». На вход 77 чисел: статусы, гормоны, что лежит в миске, открыто ли окно и описание самого действия. На выход 31 число: каким станет тело, каким станет мир и насколько вероятен успех. Про функции мира новорождённая не знает ничего — её первая догадка «ничего не изменится». Что делает еда, свет и колесо, она выясняет сама, тыкая в них. Все пятнадцать освоенных функций за жизнь — это пятнадцать самостоятельных открытий.
2. Инстинкт — замороженная копия той же сети, обученная ровно на четырёх действиях: есть, пить, спать, исследовать. Она не меняется никогда — иначе мышка, набрав мусорных наблюдений, разучилась бы считать еду полезной. Так что врождённое знание у неё есть, но только про собственное тело и только про эти четыре действия.
3. HazardNet — выученный страх смерти. Её учили на тысячах прогонов симуляции тела: смотрели, сколько тело протянет, и просили отвечать «вот это состояние умрёт быстро». Тоже заморожена. Имён статусов ей не показывали — только числа.
4. HabitNet — привычки. Стартует с нулевыми весами, то есть с абсолютно пустой головой, и всю жизнь подглядывает за решениями системы повыше, потихоньку переписывая их на себя. Примерно к пятой минуте жизни привычки набирают полную силу. Как у людей: сначала каждый раз думаешь, потом идёшь на автопилоте. У неё это видно по полоске «Привычка», которая растёт от 0% на глазах. Перекричать логику она всё равно не может — главный контур всегда сильнее, так что от старых привычек можно уйти.
Итого: тело ей задали, а поведение — нет. Ни одного правила «если голоден — иди к миске» внутри нет. Только числа, сети и гормоны.
Мотивация у неё не «очки награды», а гормоны. Кортизол реально вредит телу. Успех выбрасывает дофамин. Сон сбрасывает стресс. Гнездо из сена улучшает сон. Всё как у людей, только просто и прямо как палка.
Первые эксперимент: провал
Первая полёвка прожила меньше 5 минут и умерла от истощения: в момент первых признаков истощения она начала неистово дергаться между действиями и ничего не сделав, голод убил её. В первую очередь проблема была в том, что мышка выполняла действия мгновенно и так же мгновенно про это забывала. Не было длительности действия. И некоторый дисбаланс мотиваторов.
HazardNet дал нужный баланс, и следующие полёвки пошли в рост. Последняя прожила почти час (а это много — после 30 минут жизни у них начинается старость, тело ветшает, и жить становится всё труднее).
- 0:04— открыла добавку кормушки (за ЧЕТЫРЕ секунды, буквально ломанулась к миске с рождения)
- потом окно, вода, звук, свет, мытьё, обогрев, игра, уборка
- колесо — последним, к 4-й минуте
- дальше: ела, пила, спала, крутила колесо — сама, без меня. За всю жизнь я вмешался дважды, когда она забыла добавить себе еды.
Умерла от старости: «тело подвело, голова была в порядке». Новый зверёк — новый мозг, ничего не помнит. Смерть тут окончательная, и именно поэтому она важна.
Самое интересное — смотреть, как она ДУМАЕТ
Я сделал панель мозга, где видно всё в реальном времени
- вероятности «что она выберет сейчас» (её настоящие нейроны решают);
- прогноз «что случится с телом, если она это сделает»;
- уровень риска смерти по её внутреннему страху;
- активность скрытого слоя сети — вот эти зелёные точки реально мигают, когда она думает;
- и полоска «Привычка», которая растёт от 0% — привычки образуются на глазах.
Иногда она грызёт ветку, потому что зубы выросли и болят. Иногда закапывается в тоннель, когда стрессует. Один раз пискнула в стену — и из-за стены кто-то пискнул в ответ (соседа я так и не показал, он есть только звуком). Такие маленькие истории складываются сами, я их не программирую.
Что дальше
Планирую накинуть ей сенсоров, и добавить брата-акробата с минимальный социальным функционалом (пищать то она уже имеет).
ИНТЕРАКТИВ:
Что бы добавили такой полёвке?
Что бы вы проверили первым — зрение, речь или больше соседей за стеной?
P.S.
Уже есть приколесные ситуации, где мышь дуреет почти как человек. Так же планирую остановится подробнее на архитектуре, расскажу как всё работает более подробно. Но в следующих постах.
