Создатели SimSensei опирались на исследования, доказывающие, что психические расстройства приводят к изменениям в речи. Так, у пациентов с депрессией наблюдается речевая монотонность, они меньше жестикулируют, делают больше пауз между словами.
Работа машины основана на простом принципе. Сначала бот беседует с пациентом. Затем программа оставляет в речи только гласные звуки и анализирует их частоту. Далее, согласно алгоритму, информация классифицируется.
В результате работы машины получается модель. Обычно график пациента с депрессией сравнивается с графиком «нормальной» речи.
Разница в соотношении графиков пациентов с депрессией и без депрессии не сильно отличаются, однако SimSensei достаточно и этой информации для правильного диагностирования.
Североамериканская компания Leka создала интерактивного робота, предназначенного для развития эмоциональных и познавательных навыков детей с аутизмом.