AI-инженер Зинин объяснил, почему нейросети «врут»

Нейросети могут уверенно выдавать ошибочные ответы из-за стремления подстроиться под ожидания пользователя, рассказал «Росбалту» AI-инженер Тим Зинин.

По словам эксперта, россияне всё чаще поручают ИИ задачи, которые раньше решали через официальные ведомства, профильных специалистов или собственный опыт. У чат-ботов спрашивают график работы учреждений, юридические советы, медицинские рекомендации и варианты решения личных конфликтов.

Проблема в том, что модель может считывать тон и формулировку запроса, а затем подстраиваться под них. Если в вопрос уже заложен ожидаемый ответ, нейросеть нередко подтверждает позицию пользователя вместо полноценной проверки фактов.

Ошибки ИИ уже приводят к реальным последствиям. В материале приводятся примеры, когда в суды приносили документы со ссылками на несуществующие статьи законов, компании отправляли курьеров по вымышленным адресам, а сотрудники готовили презентации с придуманной статистикой.

Отдельный риск связан с ограничениями обучающей выборки. Нейросеть может не знать новых правил, изменений в законах, актуальных тарифов или свежих графиков работы организаций.

Использовать ИИ безопаснее как помощника для идей и черновиков, а не как финальный источник истины. Имена, даты, нормы законов, медицинские и финансовые советы необходимо перепроверять по официальным и профильным источникам.