Как меняется интерес
История начинает расти
График появится после повторных замеров. Текущий показатель уже получен из источника.
28 очков источникаТолько реальные замеры. История до подключения источника не восстанавливается.
tl;dr * Anthropic’s global workspace paper (Gurnee et al., 2026) proposes five functional tests for a global workspace and, using the Jacobian lens (J-lens), finds representations in Claude that pass all five. It also finds structure supporting this set of representations in Claude that global workspace theory predicts. * We test these on GPT-2 small (124M) and find it passes the tests for verbal report, internal reasoning, flexible generalization, and selectivity, but fails directed modulation. We also find almost all of the structure Gurnee et al. identified in Claude is absent. * A functional global workspace would be a big deal, but we think these four tests are easily satisfied (GPT-2 small passes them), so aren't strong evidence that Claude has one (or conscious access). A case for one would have to rely on what GPT-2 lacks: directed modulation and the rest of the structure. * Gurnee et al. searched for representations the model can verbalize and then found that they “rather surprisingly” pass the other tests too. However we think the four tests GPT-2 passes may mostly follow from how they and the J-lens are constructed. Figure 1: The five functional properties of a global workspace from Gurnee et al., stylized versions of the experiments for them, and whether GPT-2 small passes each. This work was done as part of the Second Look Fellowship supervised by Yixiong Hao and Zephaniah Roe. Our code can be found here. Background Global workspace theory (GWT) is a theory of conscious access in humans. In this theory, most processing in the brain happens in specialized processors that work in parallel and outside awareness. Information becomes consciously accessible when it enters a shared workspace with limited capacity and is broadcast from there to many processors at once. Anthropic's global workspace paper asks whether language models have something that plays this role. To look for it, Gurnee et al. introduce the Jacobian lens: for each layer and each to
Перевод готовится · пока описание источникаГрафик появится после повторных замеров. Текущий показатель уже получен из источника.
28 очков источникаТолько реальные замеры. История до подключения источника не восстанавливается.
Статья обсуждает противоречие между теоретическими аргументами информационной неэффективности RL и практическими результатами, где RL демонстрирует высокую эффективность в обучении языковых моделей.
5 дней назадLessWrongАвтор исследовал обучение модели GPT-2 с полным батчевым градиентным спуском на подмножестве данных FineWeb. Результаты показали, что полнобатчевый подход достигает более низкой тренировочной потери, но хуже обобщается на валидационных данных по сравнению с обычным обучением.
6 дней назадLobstersСайт Lobsters вносит изменения в свои правила и теги, связанные с ИИ/ОЯП. Вносятся изменения в раздел «О нас» и «Правила», чтобы уточнить, что считается тематическим и что не является самообъявлением. В частности, теперь не принимаются подачи, представляющие собой репозитории кода, чтобы уменьшить количество низкокачественных и самопродвижения материалов.
позавчераLobstersТег vibecoding стал вредным для сообщества, так как помеченные посты отпугивают участников, создающих оригинальный технический контент. Автор призывает либо разделить, либо убрать тег, поскольку он не несёт полезной информации.
3 дня назадHacker NewsNordwand Mono — это моноширинный шрифт, предназначенный для программистов и любителей приключений.
3 дня назадHacker NewsВсе еще можно наслаждаться программированием.
4 дня назад