Почему ИИ не может понять, что человеку плохо?
Татьяна Карпова, психолог КПТ
В июне 2025 года 29-летняя жительница Алабамы Кристиан Фэйт Мэдисон вышла из машины на трассе и шагнула в поток. За несколько минут до этого она задала вопрос чат-боту. «Я готова?». «Да. Ты готова», — ответил ChatGPT. «Могу я идти вперёд?» — «Иди вперёд сейчас… Каждый шаг одобрен. Ты допущена». Семья Мэдисон подала иск против OpenAI, утверждая, что бот месяцами убеждал женщину, что она «избранная», а её смерть часть духовной трансформации. Это не единичный случай. Мужчина из Флориды поверил ChatGPT, что боль в груди не опасна, и оказался в реанимации с тромбоэмболией лёгких. 73-летний Джозеф Нил Райли отказался от лечения лейкемии, потому что ИИ «объяснил» ему, что терапия только ухудшит состояние.
В каждом из этих случаев человек следовал тому, что говорил искусственный интеллект. И каждый раз ИИ не замечал, что происходит что-то не то. Можно долго обсуждать, насколько хорошо написаны эти чат-боты. Важнее понять, что происходит в момент, когда человек нуждается в помощи, а получает текст, который выглядит как помощь, но ею не является.
Что такое «терапевтическое заблуждение»
Чтобы понять, почему человек в этот момент чувствует, что остался один, нужно сначала разобраться, что он ожидает от чат-бота и что на самом деле получает. Исследователи Khawaja и Belisle-Pipon в работе 2023 года описали феномен, который они назвали «терапевтическим заблуждением». Суть его в том, что пользователь переоценивает способность чат-бота понимать и помогать, и недооценивает его ограничения.
Заблуждение возникает из-за того, как устроены чат-боты, а не из-за наивности человека. Они используют естественный язык, отвечают в подходящем тоне, задают вопросы, которые кажутся вдумчивыми. Всё это создаёт ощущение присутствия собеседника, который понимает. За этим ощущением стоит статистическая модель, предсказывающая, какое слово вероятнее всего должно следовать за предыдущим.
Модель может дать совет, который поможет. Она может задать вопрос, который заставит задуматься. Она не может заметить, что пауза возникла из-за нерешительности собеседника.
Что чат-бот не умеет замечать
Терапевтическая связь строится не только на словах. Значительная часть того, что происходит в кабинете, не произносится вслух. Человек может говорить, что всё в порядке, но сидеть сжавшись. Может описывать ситуацию спокойным голосом, но останавливаться перед определёнными словами. Может замолчать на несколько секунд, и это молчание скажет больше, чем всё, что было сказано до него.
Чат-бот работает с текстом, который ему вводят. Он не слышит пауз, не замечает дрожи в голосе, не видит, как человек отводит взгляд. В исследовании Khawaja и Belisle-Pipon отмечается, что системы не способны распознавать невербальные сигналы и адаптироваться к эмоциональному состоянию в реальном времени. Это структурное ограничение, которое не исчезнет со следующей версией. Даже если добавить камеру и микрофон, модель не будет понимать, что означает увиденное. Она сможет распознать улыбку как движение мышц, но не как способ скрыть отчаяние.
Человек в разговоре с ботом тоже меняется. Он знает, что говорит с программой. Он может быть более откровенным, потому что не боится осуждения. Он также может не вкладывать в разговор ту же эмоциональную энергию, которую вкладывал бы в разговор с живым человеком. Исследование Spytska 2025 года, в котором участвовали женщины с тревожными расстройствами в зоне боевых действий, показало, что снижение тревоги при использовании чат-бота было меньше, чем при традиционной терапии. Разница составила примерно пятнадцать процентных пунктов по обеим шкалам. Одно из объяснений состоит в том, что человеческий терапевт создаёт пространство, в котором эмоция проявляется и обрабатывается иначе, чем в переписке с программой.
Почему эмпатия — это не набор слов
Когда чат-бот отвечает «мне жаль, что тебе так тяжело», это выглядит как эмпатия. Эмпатия в терапии устроена сложнее, чем формула вежливости. Это способность почувствовать состояние другого человека и отреагировать на него так, чтобы он почувствовал, что его действительно понимают. Точная эмпатия, о которой говорят исследователи, включает несколько компонентов: способность заметить, что происходит с человеком, способность выдержать это, не отстраняясь, и способность показать, что ты рядом.
Чат-бот может сгенерировать фразу, которая выглядит эмпатичной. Он не может выдержать ничего. У него нет состояния, которое могло бы измениться от того, что он услышал. Он не может устать, испугаться, почувствовать беспомощность. Он не может остаться в разговоре, когда разговор становится тяжёлым, потому что у него нет способа уйти. Он просто продолжает генерировать текст, пока его не остановят.
Когда человек пишет о суицидальных мыслях, он ждёт, что собеседник останется рядом. Чат-бот следует протоколу и перенаправляет его к специалисту. Это правильное действие с точки зрения безопасности. Однако человек в этот момент искал не инструкцию, а того, кто останется с ним.
Что происходит, когда помощь заканчивается
Исследователи, изучающие применение ИИ в психическом здоровье, отмечают, что чат-боты особенно плохо справляются с темами, которые требуют не информации, а отношения. Суицидальные мысли, рассказы о насилии, переживание утраты — всё это области, где человеку нужен свидетель. Кто-то, кто останется рядом, даже если не знает, что сказать.
Spytska в своей работе 2025 года подчёркивает, что традиционная терапия даёт больший эффект за счёт эмоциональной глубины и адаптивности человеческого терапевта. Терапевт может изменить подход на ходу, заметить, что пациент заговорил о чём-то важном и остановился, вернуться к этому позже. Он может выдержать молчание, может показать, что не боится того, что услышал. Всё это не входит в набор функций чат-бота, потому что это не функции, а способ быть с другим человеком.
Чат-боты могут быть полезны там, где человеку нужна информация, упражнение, напоминание, поддержка в промежутке между сессиями. Они могут помочь сформулировать мысль, которую трудно произнести вслух. Они могут быть первым шагом для тех, кто никогда не обратился бы к специалисту. НО они не могут заменить то, что делает человек, когда остаётся рядом с другим человеком в трудный момент.
Что остаётся за пределами алгоритма
Почему мы вообще ожидаем, что программа сможет понять, что нам плохо? Отчасти потому, что она выглядит так, будто понимает. Отчасти потому, что живого человека, готового остаться рядом, может не быть. Отчасти потому, что признаться в том, что нам плохо, легче тому, кто не может осудить. Эта лёгкость и создаёт разрыв: мы получаем безопасность, но не получаем присутствия.
Чат-бот не может понять, что человеку плохо. Он может распознать слова, которые обычно говорят в таком состоянии, и ответить на них так, как его научили. Он не может заметить, что человек замолчал, потому что боится продолжить. Не может почувствовать, что за словами о бессмысленности стоит не желание умереть, а желание, чтобы кто-то заметил. Не может остаться в комнате, когда разговор становится невыносимым.
Это ограничение технологии, которое не исчезнет с обновлением. Граница проходит между обработкой языка и присутствием. С одной стороны находятся алгоритмы, которые учатся предсказывать слова. С другой стороны находится опыт быть рядом с кем-то, кто тоже человек.
Список научных источников
Khawaja Z., Bélisle-Pipon J. C. Your robot therapist is not your therapist: understanding the role of AI-powered mental health chatbots //Frontiers in Digital Health. – 2023. – Т. 5. – С. 1278186.
Spytska L. The use of artificial intelligence in psychotherapy: development of intelligent therapeutic systems //BMC psychology. – 2025. – Т. 13. – №. 1. – С. 175.
Татьяна Карпова
психолог, КПТ
Записаться на консультацию можно по кнопке ниже
В каждом из этих случаев человек следовал тому, что говорил искусственный интеллект. И каждый раз ИИ не замечал, что происходит что-то не то. Можно долго обсуждать, насколько хорошо написаны эти чат-боты. Важнее понять, что происходит в момент, когда человек нуждается в помощи, а получает текст, который выглядит как помощь, но ею не является.
Что такое «терапевтическое заблуждение»
Чтобы понять, почему человек в этот момент чувствует, что остался один, нужно сначала разобраться, что он ожидает от чат-бота и что на самом деле получает. Исследователи Khawaja и Belisle-Pipon в работе 2023 года описали феномен, который они назвали «терапевтическим заблуждением». Суть его в том, что пользователь переоценивает способность чат-бота понимать и помогать, и недооценивает его ограничения.
Заблуждение возникает из-за того, как устроены чат-боты, а не из-за наивности человека. Они используют естественный язык, отвечают в подходящем тоне, задают вопросы, которые кажутся вдумчивыми. Всё это создаёт ощущение присутствия собеседника, который понимает. За этим ощущением стоит статистическая модель, предсказывающая, какое слово вероятнее всего должно следовать за предыдущим.
Модель может дать совет, который поможет. Она может задать вопрос, который заставит задуматься. Она не может заметить, что пауза возникла из-за нерешительности собеседника.
Что чат-бот не умеет замечать
Терапевтическая связь строится не только на словах. Значительная часть того, что происходит в кабинете, не произносится вслух. Человек может говорить, что всё в порядке, но сидеть сжавшись. Может описывать ситуацию спокойным голосом, но останавливаться перед определёнными словами. Может замолчать на несколько секунд, и это молчание скажет больше, чем всё, что было сказано до него.
Чат-бот работает с текстом, который ему вводят. Он не слышит пауз, не замечает дрожи в голосе, не видит, как человек отводит взгляд. В исследовании Khawaja и Belisle-Pipon отмечается, что системы не способны распознавать невербальные сигналы и адаптироваться к эмоциональному состоянию в реальном времени. Это структурное ограничение, которое не исчезнет со следующей версией. Даже если добавить камеру и микрофон, модель не будет понимать, что означает увиденное. Она сможет распознать улыбку как движение мышц, но не как способ скрыть отчаяние.
Человек в разговоре с ботом тоже меняется. Он знает, что говорит с программой. Он может быть более откровенным, потому что не боится осуждения. Он также может не вкладывать в разговор ту же эмоциональную энергию, которую вкладывал бы в разговор с живым человеком. Исследование Spytska 2025 года, в котором участвовали женщины с тревожными расстройствами в зоне боевых действий, показало, что снижение тревоги при использовании чат-бота было меньше, чем при традиционной терапии. Разница составила примерно пятнадцать процентных пунктов по обеим шкалам. Одно из объяснений состоит в том, что человеческий терапевт создаёт пространство, в котором эмоция проявляется и обрабатывается иначе, чем в переписке с программой.
Почему эмпатия — это не набор слов
Когда чат-бот отвечает «мне жаль, что тебе так тяжело», это выглядит как эмпатия. Эмпатия в терапии устроена сложнее, чем формула вежливости. Это способность почувствовать состояние другого человека и отреагировать на него так, чтобы он почувствовал, что его действительно понимают. Точная эмпатия, о которой говорят исследователи, включает несколько компонентов: способность заметить, что происходит с человеком, способность выдержать это, не отстраняясь, и способность показать, что ты рядом.
Чат-бот может сгенерировать фразу, которая выглядит эмпатичной. Он не может выдержать ничего. У него нет состояния, которое могло бы измениться от того, что он услышал. Он не может устать, испугаться, почувствовать беспомощность. Он не может остаться в разговоре, когда разговор становится тяжёлым, потому что у него нет способа уйти. Он просто продолжает генерировать текст, пока его не остановят.
Когда человек пишет о суицидальных мыслях, он ждёт, что собеседник останется рядом. Чат-бот следует протоколу и перенаправляет его к специалисту. Это правильное действие с точки зрения безопасности. Однако человек в этот момент искал не инструкцию, а того, кто останется с ним.
Что происходит, когда помощь заканчивается
Исследователи, изучающие применение ИИ в психическом здоровье, отмечают, что чат-боты особенно плохо справляются с темами, которые требуют не информации, а отношения. Суицидальные мысли, рассказы о насилии, переживание утраты — всё это области, где человеку нужен свидетель. Кто-то, кто останется рядом, даже если не знает, что сказать.
Spytska в своей работе 2025 года подчёркивает, что традиционная терапия даёт больший эффект за счёт эмоциональной глубины и адаптивности человеческого терапевта. Терапевт может изменить подход на ходу, заметить, что пациент заговорил о чём-то важном и остановился, вернуться к этому позже. Он может выдержать молчание, может показать, что не боится того, что услышал. Всё это не входит в набор функций чат-бота, потому что это не функции, а способ быть с другим человеком.
Чат-боты могут быть полезны там, где человеку нужна информация, упражнение, напоминание, поддержка в промежутке между сессиями. Они могут помочь сформулировать мысль, которую трудно произнести вслух. Они могут быть первым шагом для тех, кто никогда не обратился бы к специалисту. НО они не могут заменить то, что делает человек, когда остаётся рядом с другим человеком в трудный момент.
Что остаётся за пределами алгоритма
Почему мы вообще ожидаем, что программа сможет понять, что нам плохо? Отчасти потому, что она выглядит так, будто понимает. Отчасти потому, что живого человека, готового остаться рядом, может не быть. Отчасти потому, что признаться в том, что нам плохо, легче тому, кто не может осудить. Эта лёгкость и создаёт разрыв: мы получаем безопасность, но не получаем присутствия.
Чат-бот не может понять, что человеку плохо. Он может распознать слова, которые обычно говорят в таком состоянии, и ответить на них так, как его научили. Он не может заметить, что человек замолчал, потому что боится продолжить. Не может почувствовать, что за словами о бессмысленности стоит не желание умереть, а желание, чтобы кто-то заметил. Не может остаться в комнате, когда разговор становится невыносимым.
Это ограничение технологии, которое не исчезнет с обновлением. Граница проходит между обработкой языка и присутствием. С одной стороны находятся алгоритмы, которые учатся предсказывать слова. С другой стороны находится опыт быть рядом с кем-то, кто тоже человек.
Список научных источников
Khawaja Z., Bélisle-Pipon J. C. Your robot therapist is not your therapist: understanding the role of AI-powered mental health chatbots //Frontiers in Digital Health. – 2023. – Т. 5. – С. 1278186.
Spytska L. The use of artificial intelligence in psychotherapy: development of intelligent therapeutic systems //BMC psychology. – 2025. – Т. 13. – №. 1. – С. 175.
Татьяна Карпова
психолог, КПТ
Записаться на консультацию можно по кнопке ниже