Учёные рассказали о странностях мышления нейросетей |
| ИА БайкалИнформ |
| 29.03.2025 17:00 |
|
Исследователи компании Anthropic придумали способ для изучения внутренних механизмов больших языковых моделей. Новый подход позволяет заглянуть в «черный ящик» ИИ и понять, как он принимает решения, отмечает
Исследователи использовали технику трассировки цепей, которая позволяет шаг за шагом отслеживать процессы принятия решений внутри большой языковой модели. Инженеры Anthropic использовали трассировку, чтобы наблюдать, как выполняет разные задачи большая языковая модель компании Claude 3.5 Haiku. Инженеры рассказывают, что искали вдохновения в технологиях сканирования мозга, которые используют в нейробиологии. В результате им удалось создать «микроскоп», который можно направить на разные части модели во время работы. Эта техника выявляет компоненты, которые активны в разное время. Исследователи могут увеличивать масштаб различных компонентов и записывать, когда они активны, а когда нет. Выяснилось, что языковые модели работают «даже более странно», чем считалось. Ученые обнаружили, что Haiku использует сложные, нелинейные стратегии. Например, при решении математических задач модель прибегает к непривычным промежуточным шагам, а при генерации стихов заранее «планирует» структуру текста, подбирая слова с учетом будущих строк. Особый интерес вызвали наблюдения за механизмами так называемых «галлюцинаций» — случаев, когда модель генерирует недостоверную информацию. Исследователи пришли к выводу, что такие искажения возникают, когда отдельные внутренние цепочки начинают доминировать над компонентами, отвечающими за достоверность. Ещё кое-что о науке:
|
- Хитрые выдры под прикрытием метели сбежали из зоопарка
- Землетрясение в Таиланде: министр туризма дал добро на возвращение к путешествиям
- Удар молнии в макушку сделал жизнь австралийки намного интереснее
- Байкал занял первое место в топе туристических направлений мечты
- Виновник лесного пожара возместит почти 150 тысяч рублей затрат Минлесу Иркутской области
Регистрационный номер: ИА № ФС 77 - 75720; регистрирующий орган: Федеральная служба по надзору в сфере связи, информационных технологий и массовых коммуникаций (Роскомнадзор)
Оферта об оказании платных услуг
Политика в отношении обработки персональных данных ООО «БайкалТелеИнформ»
