— Если вы ждали обычного доклада, забудьте. Сегодня речь пойдёт о сдвиге парадигмы. В этой работе спрятано зерно по-настоящему революционной идеи.
И всё же дальше он не делал ни малейшей попытки упрощать речь. Его слова звучали сухо и научно-точно, как шелест схем и диаграмм:
— Традиционные модели на основе RNN сталкиваются с затуханием памяти при длинных последовательностях. Мы решили проблему, применив механизм внимания. Используя взвешенное внимание, система извлекает ключевую информацию и связывает её с контекстом…
В зале кто-то устало повёл плечами, кто-то задумчиво наклонил голову, а один мужчина на заднем ряду медленно подавил зевок, будто воздух стал слишком плотным.
Но среди настоящих специалистов реакция была другой — их взгляды оживились, пальцы невольно сжались, словно они почувствовали запах новой идеи так же ясно, как запах свежей смазки на новом оборудовании. Они понимали: под сухими формулами скрывалось нечто большее. По залу сначала прокатился еле слышный шёпот, похожий на лёгкое потрескивание электричества в проводах, а затем он взорвался короткими, взволнованными возгласами:
— Это…
— Не может быть…
— Подождите, стойте…!
Те, кто всю жизнь жил внутри индустрии, почувствовали масштаб происходящего мгновенно — почти физически. У кого-то ладони вспотели, кто-то машинально потянулся поправить очки, словно мир перед глазами вдруг стал резче и резче. И только тихо отметил про себя:
«Конечно, они поняли.»
Концепция «Weighted Attention as Memory Routing» (Взвешенное внимание как направление памяти) — это не сухая терминология и не очередная декоративная модификация модели. Это был фундаментальный механизм внимания, тот самый, который впоследствии станет топливом для стремительного, оглушительного рывка GPT-подобных систем. По сути, перед ними лежал катализатор. Турбина для разума машины. Ускоритель эволюции.
«Изначально это должны были представить только в следующем году…» — напомнил себе, чувствуя, как где-то в груди приятно холодит.
И анонсировать это должна была именно Gooble. Но ещё в прошлом году предложил авторам Next AI эту идею — как зерно, спрятанное в ладони, — и попросил их вырастить из неё полноценную научную работу с доказательством концепции. Они терпеливо вынашивали её в лабораториях, где пахло прогретыми мозгами, горячими видеокартами и свежесваренным кофе.
А теперь, пользуясь громогласной трибуной Старка, мы выпустили эту идею в мир — словно вспорхнувшую искру. Когда выступление завершилось, зал словно закипел.
— Как именно работает динамическая маршрутизация памяти?