Мимика человеческого лица: Мимика, взгляд, поза и жесты

Содержание

как они работают • Клиника Crystal Touch

Человеческое лицо – самое сложное, высокоразвитое и эффективное средство коммуникации, из когда-либо существовавших. Его функции были доведены до совершенства миллионами лет эволюции. Когда мы ощущаем радость или грусть, когда мы боимся или удивляемся – наши мимические мышцы сокращаются и расслабляются с абсолютной точностью и в совершенной гармонии. Они передают наше эмоциональное послание окружающему миру. Всего лишь одна улыбка может сказать нам больше, чем тысяча слов.

«Я хочу вернуть свою улыбку!». Это самое главное желание каждого, кто перенес неврит лицевого нерва и не восстановился полностью. Для того чтобы мы могли искренне улыбнуться, требуется чрезвычайно точно скоординированная работа многих лицевых мышц. Для тех, кто не полностью восстановился после паралича Белла, это может подчас оказаться непосильной задачей.

Мышцы лица и их назначение

Мышцы лица

Рассмотрим подробнее наши мимические мышцы, их названия, назначение и функции. Это знание пригодится, когда мы будем обсуждать причины возникновения контрактур лицевых мышц, асимметрии мимики и формирования патологических синкинезий. Важно это и для глубокого понимания сути и эффективности современных методов восстановления. Постарайтесь отыскать все мышцы лица на схеме и представить, что происходит при их сокращении и расслаблении, а также какие выражения лица при этом формируются.

Лобная мышца (m.frontalis) – поднимает брови и формирует горизонтальные складки лба, когда мы удивляемся.
Круговая мышца глаза (m.orbicularis oculi) – опускает верхнее и поднимает нижнее веко, зажмуривает глаз. Эта мышца и лобная мышца являются антагонистами. Попробуйте поднять бровь, придержать ее пальцем, а затем зажмурить глаз. Трудно, не правда ли?

Мышца гордецов (m. procerus) – сдвигает брови вниз и навстречу друг другу (нахмуривание) и формирует вертикальные складки у переносицы.
Мышца, сморщивающая бровь (m.corrugator superclii) – сдвигает брови вместе.
Большая и малая скуловые мышцы (m.zygomaticus major et minor) – оттягивают углы рта вверх и наружу при улыбке. Формируют носогубную складку и «морщинки улыбки» возле углов рта.

Мышца смеха (m.risorius) – растягивает углы рта наружу и формирует «ямочки» на щеках при улыбке. Эта мышца активна не у всех людей.
Мышца, опускающая угол рта (m.depressor anguli oris) – как следует из названия, оттягивает углы рта книзу. Активируется при большинстве отрицательных эмоций.

Круговая мышца рта (m.orbicularis oris) – вытягивает губы вперед, сжимает губы и сдвигает углы рта к срединной линии. Вследствие повышенной активности этой мышцы, с возрастом формируются вертикальные складочки губ, так называемые «морщины курильщика».
Мышца, поднимающая верхнюю губу и мышца, опускающая нижнюю губу (m.levator labii superioris et m.depressor labii inferioris) – поднимает верхнюю и опускает нижнюю губу. Антагонисты круговой мышцы рта.
Подбородочная мышца (m. mentalis) – приподнимает подбородок при эмоциях разочарования, сомнения и некоторых других отрицательных эмоциях.
Поверхностная мышца шеи (m.platysma) – активируется при испуге, отвращении и некоторых других отрицательных эмоциях.

Мышцы синергисты и антагонисты.

Мышцы, которые «помогают» друг другу в производстве какого-либо движения, называются синергистами. Мышцы, производящие движения в противоположных направлениях называются антагонистами.

Скуловые мышцы и мышца смеха являются антагонистами круговой мышцы рта и мышцы опускающей угол рта.

Причины возникновения «перекошенной вниз» улыбки

«Перекошенная вниз», асимметричная улыбка после невосстановленного паралича Белла (неврита лицевого нерва) возникает, когда при попытке улыбнуться непроизвольно активируется мышца, опускающая угол рта. Эта мышца – антагонист скуловых мышц и мышцы смеха (группы улыбки). В борьбе этих антагонистов первая нередко побеждает последние, поскольку она больше и сильнее. В результате уголок рта на пораженной стороне нередко «смотрит вниз» вместо того, чтобы «смотреть вверх», как положено при естественной улыбке. Часто в результате этого противоборства мышц, на подбородке формируются несколько ямочек, которые усиливают визуальную асимметрию мимики. Узнайте больше о естественной и форсированной мимике и их роли при формировании синкинезий.

Широкая улыбка (максимальное усилие)

Возникновение синкинезий

Патологические синкинезии – другое частое осложнение невосстановленного неврита лицевого нерва. Существуют несколько мнений о причинах патологических синкинезий при невосстановленном неврите лицевого нерва. Результаты обширных научных исследований, проведенных в клинике Crystal Touch продемонстрировали, что за исключением очень небольшого числа отдельных травматических и ятрогенных случаев, причины возникновения патологических синкинезий после периферического неврита лицевого нерва лежат в сфере высшей нервной деятельности. Они имеют характер стихийно сформированного условного рефлекса, который в свою очередь, приводит к формированию патологического мимического двигательного стереотипа. Результаты восстановления многочисленных пациентов клиники Crystal Touch через 5, 10 и даже 25 лет после паралича Белла убедительно доказывают, что патологические синкинезии – обратимы.

Обратите внимание на наши советы о том как вы самостоятельно можете уменьшить проявление синкинезий.

Результаты пациентов клиники Crystal Touch

Распознаем эмоции на лице / Хабр

Автор статьи: Виктория Ляликова

Мне кажется, что распознавание эмоций на лице, является интересной областью исследования, которая представлена и применяется в различных областях искусственного интеллекта. И, наверное, можно сказать, что среди всех задач компьютерного зрения визуальный анализ эмоций является одной из самых сложных задач и при этом достаточно перспективной, поскольку понимание человеческих эмоций является важным шагом на пути к сильному искусственному интеллекту.

В системе анализа эмоций лица человека можно выделить следующие шаги решения задачи.

Получение изображения (или видео с камеры), обнаружение и локализация человеческого лица. Задача обнаружения лица по-прежнему сложна, и нет гарантии, что все лица будут обнаружены на заданном входном изображении, особенно в неконтролируемых условиях со сложными условиями освещения, разными положениями головы на большом расстоянии и т.
д.
Предварительная обработка изображения. Когда лица обнаружены, данные изображения оптимизируются перед их подачей в классификатор. Предварительная обработка изображения обычно включает в себя несколько подэтапов для нормализации изображения с учетом изменений освещения, уменьшения шума, выполнения сглаживания изображения, коррекции поворота изображения, изменения размера изображения и обрезки изображения.Этот шаг значительно повышает точность обнаружения.
Извлечение важных функций с помощью построенной модели нейронной сети. Как правило классификаторы. используемые для распознавания эмоций, основаны на векторных опорных машинах (SVM) или сверточных нейронных сетях (CNN).
Выполнение классификации эмоций путем присвоения предварительно определенного класса (метки).

Попробуем рассмотреть несколько способов решения задачи распознавания эмоций .

1 способ. Использование библиотеки Face expression recognition (или FER). Данная библиотека является Python библиотекой с исходным открытым кодом. Библиотека работает с версией python 3.6 или выше, версией OpenCV — 3.2 или выше, библиотекой Tensorflow 1.7 или выше. Если хотим извлечь еще и видео со звуком, тогда необходимы пакеты ffmpeg и moviepy. Работа программы основана на использовании сверточной нейронной сети веса которой представлены в файле HDF5. При необходимости модель можно переобучить.

MTCNN (Multi-task Cascaded Neural Network) является параметром конструктора. По умолчанию лица обнаруживаются с помощью классификатора OpenCV Haar Cascade (каскады Хаара). Когда установлено значение «True», используется модель MTCNN для более точного обнаружения лица, а когда установлено значение «Ложь», функция использует классификатор OpenCV Haar Cascade.

Устанавливаем библиотеку FER.

pip install fer

Импортируем необходимые пакеты

from fer import FER

import cv2

import matplotlib. pyplot as plt

Прочитаем и посмотрим на изображение для анализа

test_img = cv2.imread('D:/woman_happy.png')

plt.imshow(test_img[:,:,::-1]))

Инициализируем конструктор fer() путем присвоения ему классификатора распознавания лиц либо OpenCV Haar Cascade, либо MTCNN

emo_detector = FER(mtcnn=True)

Вызываем функцию обнаружения эмоций данного конструктора, передавая ей входное изображение

captured_emotions = emo_detector.detect_emotions(test_img)

Выводим список зафиксированных эмоций

captured_emotions

[{'box': array([142, 69, 118, 118]), 'emotions': {'angry': 0.0, 'disgust': 0.0, 'fear': 0.0, 'happy': 1.0, 'sad': 0.0, 'surprise': 0.0, 'neutral': 0.0}}]

С помощью метода top_emotion () можно извлечь наиболее доминирующую тональность изображения и ее точность

dominant_emmotion, emotion_score = emo_detector.top_emotion(test_img)

print(dominant_emmotion, emotion_score)

happy 1

Здесь вопросов нет, девушка на фото улыбается, значит определяется доминирующая эмоция как счастье.

Попробуем другое изображение

{'box': array([647, 187, 246, 246]), 'emotions': {'angry': 0.0, 'disgust': 0.0, 'fear': 0.43, 'happy': 0.0, 'sad': 0.0, 'surprise': 0.57, 'neutral': 0.0}}]

surprise 0.57

Здесь классификатор немного сомневается между эмоциями страха и удивления с точностью 0,43 и 0, 57 соответственно, но побеждает доминирующая эмоция “удивление” с точностью 0,57.

Проанализируем еще несколько фотографий на разные эмоции

Здесь, наверное есть вопросы к классификатору только по 2 изображению. Вряд ли эмоцию, представленную на этом изображении можно классифицировать как счастье. Но заметим, что классификатор не уверен в доминирующей эмоции, так как точность здесь только 51%.

2 способ. Библиотека DeepFace Данная библиотека также является открытой Python библиотекой, которая предоставляет следующие возможности

Проверка лица на фото (Face Verification). Используется для сравнения лица с другими лицами, чтобы проверить совпадает ли оно.
Распознавание лица (Face Recognition). Используется для поиска лица в базе данных изображений.
Анализ атрибутов лица человека (Face attribute Analysis). Относится к описанию визуальных свойств изображений лица. Анализ атрибутов лица используется для извлечения таких признаков как пол, возраст, раса, анализ эмоций человека на изображении.
Анализ атрибутов лица человека (Face attribute Analysis) в режиме реального времени. Функция включает в себя проверку, распознавание лица и анализ атрибутов лица в видеопотоке в веб-камеры в реальном времени.

DeepFace поддерживает несколько моделей распознавания лиц, такие как VGG-Face, Google FaceNet, OpenFace, Facebook DeepFace, DeepID, ArcFace и Dlib.По умолчанию используется модель VGG-Face. Библиотека в основном основана на Keras и TensorFlow. Для работы с библиотекой понадобятся пакеты cv2 и DeepFace.

Устанавливаем библиотеку DeepFace

pip install deepFace

Импортируем необходимые пакеты и загружаем исходное изображение

import cv2

from deepface import DeepFace

import matplotlib. pyplot as plt

Начнем с функции проверки лица на фото (Face Verification).

Создадим функцию, которая на вход принимает изображения, показывает их и с помощью функции DeepFace.verify() проводит проверку лиц на фото. Метод verify() возвращает словарь, главным ключом является verified в котором хранится True в случае сходства и False при различии.

def verify(img1_path, img2_path):
	img1= cv2.imread(img1_path)
	img2= cv2.imread(img2_path)
    
	fig = plt.figure(figsize=(10,7))
	rows=1
	columns=2
	fig.add_subplot(rows,columns,1)
 
	plt.imshow(img1[:,:,::-1])
	plt.axis('off')
	plt.title('First')
	fig.add_subplot(rows,columns,2)
 
	plt.imshow(img2[:,:,::-1])
	plt.axis('off')
	plt.title('Second')
	plt.show()
	output = DeepFace.verify(img1_path,img2_path)
	print(output)
	verification = output['verified']
	if verification:
   	print('They are same')
	else:
   	print('The are not same')

Теперь запустим функцию verify()

verify('D:/Jennifer_Aniston1. jpg','D:/Jennifer_Aniston2.jpg')

Видим, что изображения прошли проверку на идентичность лиц.

Теперь сравним 2 разных лица

verify('D:/Jennifer_Aniston1.jpg','D:/Parker.jpg')

Здесь видим, что лица отмечены как непохожие.

А вот здесь, представлен один и тот же человек, но за счет разного возраста, цвета волос, фото отмечены как принадлежащие разным людям.

Попробуем использовать другие модели, такие как Google Facenet и Facebook DeepFace.

output = DeepFace.verify(img1_path,img2_path, “Facenet”)

output = DeepFace.verify(img1_path,img2_path,”DeepFace”)

Данные модели определили лица как принадлежащие одному человеку.

Теперь перейдем к функции поиска лиц в базе DeepFace.find() (Face Recognition). Метод find() принимает два параметра: путь к изображению, которое проверяем и путь к папке с базой изображений человека. Метод возвращает дата фрейм с информацией о совпадении или отсутствия совпадений. Возьмем фотографию Эмилии Кларк и будем в базе искать ее фотографии

recognition = DeepFace.find('D:/Klark3.jpg', 'D:/Face')

Видим, что в результаты сравнения также попала фотография, принадлежащая Дженнифер Энистон.

Теперь перейдем непосредственно к анализу эмоций (Face attribute Analysis). Для анализа атрибутов лица человека используется функция DeepFace.analyze(), которая принимает один параметр — путь к изображению.

img = 'D:/Jennifer_Aniston8.jpeg'
imageFace = cv2.imread(img_path)
plt.imshow(imageFace[:,:,::-1])
analyze = DeepFace.analyze(img)
analyze

Классификатор определил, что на фотографии женщина 24 лет белой расы, выражающая эмоции счастья.

Также можно явно указать какие именно характеристики нас интересуют и выделить доминирующий признак. Возьмем, например, такое изображение.

analysis = DeepFace.analyze(img, actions = ['emotion'])

Доминирующая эмоция: удивление.

Проанализируем еще несколько изображений

Интересный результат. В зависимости от эмоций на лице меняется также определяемый возраст, раса и даже пол.

3 способ. Вместо использования различных пакетов попробуем обучить собственную модель распознаванию эмоций на лице человека.

Для обучения модели будем использовать набор данных FER, который состоит из изображений лиц в градациях серого размера 48х48 пикселей.Лица находятся более или менее по центру и занимают примерно одинаковое количество места на каждом изображении. Каждое лицо на основе отображаемых эмоций может быть классифицировано в одну из семи категорий (0 — злость, 1 — отвращение, 2 — страх, 3- радость, 4 — грусть, 5 — удивление, 6 — нейтрально). Обучающий набор состоит из 28 709 примеров, а тестовый набор состоит из 3 589 примеров. Попробуем обучить нашу модель 5 эмоциям (злость (angry), радость (happy), грусть (sad), удивление (surprise), нейтрально (neutral)).

импортируем необходимые библиотеки

import imutils
import cv2
import os
import glob
import numpy as np
import matplotlib. pyplot as plt
from tensorflow.keras.layers import Dense, Input, Dropout,Flatten, Conv2D
from tensorflow.keras.layers import Activation, MaxPool2D
from keras.layers import BatchNormalization
from keras_preprocessing.image import img_to_arr
from tensorflow.keras.models import Model, Sequential
from tensorflow.keras.callbacks import Callback, ModelCheckpoint,EarlyStopping, ReduceLROnPlateau

Считываем обучающие и тестовые наборы из файлов и переводим матричные представления изображений в вестор [0,1], разделив каждое значение пикселя на 255.

train_folder = "*****/FaceEmotion/train/"
X_train = []
y_train = []
labels = 0
for dir in os.listdir(train_folder):
	path = train_folder+dir +'/'
	emotions.append(dir)
	for filename in os.listdir(path):
    	img = cv2.imread(path + filename)   
    	gray = cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)
    	img = cv2.resize(gray,(shape))
    	image_norm = np.array(img)/255   
    	X_train.append(image_norm)
    	y_train.append(labels)
	labels+=1

Тестовые наборы считываются аналогично, поэтому код можно не приводить

Примеры изображений

Модель нейронной сети имеет 5 блоков с несколькими сверточными слоями (Conv2D) и слоями максимального объединения (MaxPool2D), 3 полносвязных слоя (Dense) и выходной слой с 5 выходами в соответствии с количеством классов эмоций. x-1) & \quad \text{if } x<0 \end{cases}

Также используются слои нормализации или батч-нормализация (BatchNormalization) и слои Dropouts, чтобы избежать переобучения. Наша модель будет иметь 5 282 533 настраиваемых параметра.

model = Sequential()
#block 1
model.add(Conv2D(32, (3, 3), padding = 'same', kernel_initializer='he_normal',activation = 'elu', input_shape = (img_r, img_r, 1)))
model.add(BatchNormalization())
model.add(Conv2D(32, (3, 3), padding = 'same', kernel_initializer='he_normal',activation = 'elu'))
model.add(BatchNormalization())
model.add(MaxPool2D( (2,2), padding = 'same'))
model.add(Dropout(0.5))
#block 2
model.add(Conv2D(64, (3, 3), padding = 'same',kernel_initializer='he_normal', activation = 'elu'))
model.add(BatchNormalization())
model.add(Conv2D(64, (3, 3), padding = 'same', kernel_initializer='he_normal',activation = 'elu'))
model.add(BatchNormalization())
model.add(MaxPool2D( (2,2), padding = 'same'))
model.add(Dropout(0.5))
#block 3
model. add(Conv2D(128, (3, 3), padding = 'same', kernel_initializer='he_normal', activation = 'elu'))
model.add(BatchNormalization())
model.add(Conv2D(128, (3, 3), padding = 'same', kernel_initializer='he_normal', activation = 'elu'))
model.add(BatchNormalization())
model.add(MaxPool2D( (2,2), padding = 'same'))
model.add(Dropout(0.5))
#block 4
model.add(Conv2D(256, (3, 3), padding = 'same', kernel_initializer='he_normal', activation = 'elu'))
model.add(BatchNormalization())
model.add(Conv2D(256, (3, 3), padding = 'same', kernel_initializer='he_normal', activation = 'elu'))
model.add(BatchNormalization())
model.add(MaxPool2D( (2,2), padding = 'same'))
model.add(Dropout(0.5))
#block 5
model.add(Conv2D(512, (3, 3), padding = 'same', kernel_initializer='he_normal', activation = 'elu'))
model.add(BatchNormalization())
model.add(Conv2D(512, (3, 3), padding = 'same', kernel_initializer='he_normal', activation = 'elu'))
model.add(BatchNormalization())
model.add(MaxPool2D( (2,2), padding = 'same'))
model. add(Dropout(0.5))
#Block6
model.add(Flatten())
model.add(Dense(256, kernel_initializer='he_normal', activation='elu'))
model.add(BatchNormalization())
model.add(Dropout(0.5))
#block7
model.add(Dense(128, kernel_initializer='he_normal', activation='elu'))
model.add(BatchNormalization())
model.add(Dropout(0.5))
#block8
model.add(Dense(64, kernel_initializer='he_normal', activation='elu'))
model.add(BatchNormalization())
model.add(Dropout(0.5))
#block8
model.add(Dense(5, activation = 'softmax'))

Используется метод ModelCheckpoint для сохранения весов модели, основываясь на потерях на этапе проверки и метод ReduceROnPlateau для уменьшения скорости обучения, если будет происходит стагнация в обучении.

checkpoint = ModelCheckpoint('D:/Emotion_5.h5',
                         	monitor='val_loss',
                         	mode='min',
                         	save_best_only=True,
                         	verbose=1)
reduce_lr = ReduceLROnPlateau(monitor='val_loss',
                          	factor=0. 2,
                          	patience=5,
                          	verbose=1,
                          	min_lr=1e-7)
callbacks = [checkpoint,reduce_lr]
                   	verbose=1)

Наконец, компилируем и подгоняем модель, используя разреженную категориальную перекрестную энтропию (sparse_categorical_crossentropy), так как у нас задача многоклассовой классификации и оптимизатор Адама.

model.compile(optimizer = 'adam', loss = 'sparse_categorical_crossentropy', metrics = ['accuracy'] )

history = model.fit(x_train, y_train, batch_size=32, epochs = 23, validation_data = (x_test, y_test),callbacks=callbacks,use_multiprocessing=True).

Посмотрим на графики точности и потери на этапах проверки и обучения

plt.plot(history.history['accuracy'])
plt.plot(history.history['val_accuracy'])
plt.title('Точность на этапах проверки и обучения')
plt.ylabel('Точность')
plt.xlabel('Эпохи')
plt.legend(['Точность на этапе обучения', 'Точность на этапе проверки'], loc='upper left')
plt. show()

plt.plot(history.history['loss'])
plt.plot(history.history['val_loss'])
plt.title('Потери на этапах проверки и обучения')
plt.ylabel('Потери')
plt.xlabel('Эпохи')
plt.legend(['Потери на этапе обучения', 'Потери на этапе проверки'], loc='upper left')
plt.show()

Теперь после обучения посмотрим как работает наша модель. Для этого будем использовать каскады Хаара из библиотеки OpenCV, чтобы обнаружить лицо и нарисовать вокруг него ограничивающую рамку.

class_labels = ['Angry','Happy','Neutral','Sad','Surprise']
# читаем изображения из папки
images = [cv2.imread(file) for file in glob.glob(r"D:\klark\*")]
trained_face_data = cv2.CascadeClassifier(r'D:\haarcascade_frontalface_default.xml')
fig, ax = plt.subplots(nrows=1, ncols=4, figsize=(15,15))
font = cv2.FONT_HERSHEY_TRIPLEX
#в цикле просматриваем все изображения
for i in range(len(images)):
           #переводим изображение в градации серого
	grayscaled_img = cv2.cvtColor(images[i], cv2.COLOR_BGR2GRAY)
           # определяем координаты лица
	face_coordinates = trained_face_data. detectMultiScale(grayscaled_img)
    
	for (x,y,w,h) in face_coordinates:
            # рисуем рамку вокруг лица
    	cv2.rectangle(images[i], (x,y), (x+w,y+h), (0,255,0),15)
            # изменяем размер изображения и нормируем значения
    	roi_gray = grayscaled_img[y:y+h,x:x+w]
    	roi_gray = cv2.resize(roi_gray,(48,48),interpolation=cv2.INTER_AREA)
    	if np.sum([roi_gray])!=0:
                roi = roi_gray.astype('float')/255.0
        	    roi = img_to_array(roi)
        	    roi = np.expand_dims(roi,axis=0)
                # делаем прогноз и определяем класс
        	    preds = model.predict(roi)[0]
         	    label=class_labels[preds.argmax()]
        	    label_position = (x,y)
                # над рамкой пишем эмоцию, предсказанную классификатором
        	    cv2.putText(images[i],label,label_position,font,3,(0,0,255),7)
    	else:
        	    cv2.putText(images[i],'No Face Found',(30,60),font,2,(0,0,255),3)    
   	 
	# отображаем изображения
	ax[i].axis("off")
	ax[i]. imshow(images[i][:,:,::-1])

Эмоции, предсказанные классификатором : ['Sad', 'Surprise', 'Happy', 'Neutral'].

В, принципе, полученные результаты неплохи и здесь есть над чем поработать в дальнейшем. Например, сбалансировать обучающий набор данных, изменить структуру нейронной сети, увеличив количество слоев, или изменив параметры сверточных слоев и т.д.

В завершение приглашаю всех желающих на бесплатный урок от OTUS, где поговорим о том какие подходы к ансамблированию сегодня существуют в машинном обучении. Как устроены такие популярные техники ансамблирования как Bagging, Random Forest и Gradient Boosting. Когда и как их стоит применять для решения ML-задач.

Зарегистрироваться на бесплатный урок

Общий механизм выражения лица на человеческих лицах и парейдолии лица

. 2021 14 июля; 288 (1954): 20210966.

doi: 10.1098/rspb.2021.0966. Epub 2021 7 июля.

Дэвид Але ¹ , Ибэнь Сюй ¹ , Сьюзен Дж. Уордл ² , Джессика Тауберт ²

Принадлежности

¹ Школа психологии Сиднейского университета, Сидней, Новый Южный Уэльс, Австралия.
² Лаборатория мозга и познания, Национальный институт психического здоровья, Бетесда, Мэриленд, США.

PMID: 34229489
PMCID: PMC8261219
DOI: 10. 1098/рспб.2021.0966

Бесплатная статья ЧВК

Дэвид Але и др. Proc Biol Sci. 2021 .

Бесплатная статья ЧВК

. 2021 14 июля; 288 (1954): 20210966.

doi: 10.1098/rspb.2021.0966. Epub 2021 7 июля.

Авторы

Дэвид Але ¹ , Ибэнь Сюй ¹ , Сьюзен Дж. Уордл ² , Джессика Тауберт ²

Принадлежности

¹ Школа психологии Сиднейского университета, Сидней, Новый Южный Уэльс, Австралия.
² Лаборатория мозга и познания, Национальный институт психического здоровья, Бетесда, Мэриленд, США.

PMID: 34229489
PMCID: PMC8261219
DOI: 10.1098/рспб.2021.0966

Абстрактный

Мимика имеет жизненно важное значение для социального общения, но лежащие в его основе механизмы все еще изучаются. Иллюзорные лица, воспринимаемые в объектах (лицевая парейдолия), представляют собой ошибки распознавания лиц, которые имеют некоторые общие нейронные механизмы с обработкой человеческого лица. Однако неизвестно, задействует ли выражение иллюзорных лиц те же механизмы, что и человеческие лица. Здесь, используя парадигму последовательной зависимости, мы исследовали, имеют ли иллюзорные и человеческие лица общий механизм выражения. Во-первых, мы обнаружили, что изображения парейдолии лица надежно оцениваются по выраженности как внутри, так и между наблюдателями, несмотря на то, что они сильно различаются по визуальным характеристикам. Во-вторых, они демонстрируют положительную последовательную зависимость для воспринимаемого выражения лица, а это означает, что иллюзорное лицо (счастливое или сердитое) воспринимается как более похожее по выражению на предыдущее, как и для человеческих лиц. Это предполагает, что иллюзорные и человеческие лица задействуют сходные механизмы временной непрерывности. В-третьих, мы обнаружили устойчивую междоменную последовательную зависимость воспринимаемого выражения между иллюзорными и человеческими лицами, когда они чередовались, причем последовательные эффекты были больше, когда иллюзорные лица предшествовали человеческим лицам, чем наоборот. Вместе результаты подтверждают общий механизм выражения лица между человеческими и иллюзорными лицами и предполагают, что обработка выражения не тесно связана с человеческими чертами лица.

Ключевые слова: обработка эмоций; Выражение лица; парейдолия; быстрая адаптация; серийная зависимость.

Цифры

Рисунок 1.

( a ) Пример человека…

Рисунок 1.

( а ) Пример стимулов человеческого лица и иллюзорного лица, использованных в экспериментах…

Рисунок 1.

( a ) Примеры стимулов человеческого лица и иллюзорного лица, использованных в экспериментах 1 и 2. Стимулы каждого типа лица (человеческое, иллюзорное) были разделены на четыре группы как «низкие» или «высокие» по измерению выражения счастливого и злой. ( b ) Пример последовательности испытаний для парадигмы серийной зависимости, использованной в экспериментах 1 и 2. В каждом испытании испытуемые оценивали воспринимаемое выражение лица по шкале от «очень сердитого» до «очень счастливого» (с «нейтральным» ‘ закреплено в центре) с помощью полосы отклика ползунка. (Онлайн-версия в цвете.)

Рисунок 2.

( a ) Среднее выражение…

Рисунок 2.

( a ) Средние оценки экспрессии, усредненные по 15 участникам эксперимента…

Фигура 2.

( a ) Средние оценки экспрессии, усредненные по 15 участникам эксперимента 1. Оценки экспрессии были очень постоянными между наблюдателями и сгруппированы по четырем уровням, подтверждающим четыре дискретных уровня экспрессии лицевых стимулов. Точки данных показывают групповые средние значения с точностью ± 1 стандартная ошибка среднего. ( b ) Диаграммы рассеяния внутрисубъектной изменчивости оценок экспрессии. Каждая точка данных показывает стандартное отклонение оценок одного участника всех изображений на данном уровне экспрессии. Большинство точек лежат выше линии единства, что указывает на более изменчивые оценки изображений парейдолии. Стрелки указывают среднее стандартное отклонение оценок по каждой оси. (Онлайн-версия в цвете.)

Рисунок 3.

( a ) Оценки выражения…

Рисунок 3.

( a ) Оценки выражения из эксперимента 1 проанализированы на серийную зависимость между…

Рисунок 3.

( a ) Оценки экспрессии из эксперимента 1, проанализированные на серийную зависимость между текущим и предыдущим (т.е. однократным) испытанием. Данные показывают положительную последовательную зависимость между текущим и предыдущим испытанием как для изображений лица, так и для изображений парейдолии. Точки данных показывают групповой средний серийный эффект ( n = 15) для изображений лица (красный) и изображений парейдолии (синий) с планками погрешностей, показывающими ±1 стандартную ошибку среднего. Сплошные линии показывают наиболее подходящую модель DoG (см. уравнение (2.1)). На вставках показаны два параметра модели DoG. В каждом столбце показано среднее значение параметра, полученное в результате 10 000 итераций начальной загрузки, вместе с ±1 s.d. полосы ошибок. ( b ) Данные из эксперимента 1 проанализированы на серийную зависимость между текущим и двухсторонним испытанием. Рейтинги экспрессии показывают меньшую, но все же значительную положительную зависимость от рейтинга двух повторных испытаний. (Онлайн-версия в цвете.)

Рисунок 4.

Оценки экспрессии из эксперимента 2…

Рисунок 4.

Рейтинги выражения из эксперимента 2 проанализированы на серийную зависимость между током и…

Рисунок 4.

Оценки экспрессии из эксперимента 2 проанализированы на серийную зависимость между текущим и предыдущим (т.е. однократным) испытанием. В то время как изображения в эксперименте 1 были заблокированы в отдельных условиях изображений всех лиц или всех парейдолий, в эксперименте 2 использовались случайно чередующиеся последовательности обеих категорий изображений. ( a ) Серийный эффект и модель наилучшего соответствия, рассчитанные из последовательных изображений в случайной последовательности, которые были обоими лицами (красный) или обе парейдолии (синий). Результаты точно повторяют результаты на рис. 3 и для заблокированной конструкции. ( b ) Последовательный эффект и модель, рассчитанные на основе последовательных изображений, полученных из разных категорий, либо лицо, за которым следует парейдолия (красный), либо парейдолия, за которым следует лицо (синий). Статистические тесты, сравнивающие амплитуду и ширину наиболее подходящей модели DoG между парами изображений одной и нескольких категорий, показывают, что они не различаются. (Онлайн-версия в цвете.)

См. это изображение и информацию об авторских правах в PMC

Цитируется

База данных разнородных лиц для изучения натуралистических выражений.
Лонг Х., Пелузо Н., Бейкер С.И., Джапи С., Тауберт Дж. Лонг Х и др. Научный представитель 2023 г. 3 апреля; 13 (1): 5383. doi: 10.1038/s41598-023-32659-5. Научный представитель 2023. PMID: 37012369 Бесплатная статья ЧВК.
Серийная зависимость в восприятии эмоций отражает автокорреляции в статистике естественных эмоций.
Ортега Дж., Чен З., Уитни Д. Ортега Дж. и др. Дж. Вис. 2023 1 марта; 23(3):12. doi: 10.1167/jov.23. 3.12. Дж. Вис. 2023. PMID: 36951852 Бесплатная статья ЧВК.
Парейдолические лица получают приоритетное внимание в задаче точечного зондирования.
Якобсен К.В., Хантер Б.К., Симпсон Э.А. Якобсен К.В. и соавт. Atten Percept Psychophys. 2023 Май; 85 (4): 1106-1126. doi: 10.3758/s13414-023-02685-6. Epub 2023 14 марта. Atten Percept Psychophys. 2023. PMID: 36918509
Дети чаще воспринимают иллюзорные лица в предметах как мужские, чем женские.
Уордл С.Г., Юинг Л., Малкольм Г.Л., Паранджап С., Бейкер К.И. Уордл С.Г. и соавт. Познание. 2023 июнь;235:105398. doi: 10.1016/j.cognition.2023.105398. Epub 2023 13 февраля. Познание. 2023. PMID: 36791506
Парейдолия лица усиливается транскраниальной стимуляцией переменным током (tACS) частотой 40 Гц сети восприятия лица.
Пальмизано А., Кьярантони Г., Босси Ф., Конти А., Д’Элиа В., Тальенте С., Ницше М.А., Ривольта Д. Палмизано А. и др. Научный представитель 2023 г. 4 февраля; 13 (1): 2035. дои: 10.1038/s41598-023-29124-8. Научный представитель 2023. PMID: 36739325 Бесплатная статья ЧВК. Клиническое испытание.

Просмотреть все статьи «Цитируется по»

Типы публикаций

термины MeSH

Исследование: люди могут делать более 20 разных выражений лица

Здоровье

Вы поднимете брови и сморщите уголки рта, когда поймете, что новое исследование обнаружило в отношении обработки эмоций.

Ольга Хазан

31 марта 2014 г.

Сохраненные истории

В течение многих лет ученые, изучающие мимику, сосредоточили свои исследования на шести основных эмоциях: счастье, удивление, гнев, печаль, страх и отвращение.

В результате несколько поколений исследовательских работ по выражениям лица включали в себя панели, которые выглядят примерно так:

Journal of Experimental Psychology

(Это из статьи о культурных различиях в восприятии выражений лица.)

Алекс М. Мартинес/PNAS

Довольно просто, правда? Но когда вы в последний раз видели кого-то, выглядящего как просто как , удивленным, а не, скажем, удивленным импровизированным побегом на день рождения (счастливый сюрприз) или удивленным художественным проектом малыша, созданным с помощью медиа «арахисового масла» и «стены» ( гневное удивление).

Исследователи из Университета штата Огайо подозревают, что в человеческом состоянии есть нечто большее, чем эти шесть простейших состояний бытия. Например, как пишут в исследовании, опубликованном сегодня в журнале Proceedings of the National Academy of Sciences , «Аппалл — это акт чувства отвращения и гнева с акцентом на отвращении; то есть, когда мы потрясены, мы чувствуем больше отвращения, чем гнева. Ненависть также включает в себя чувство отвращения и гнева, но на этот раз акцент делается на гневе».

Чтобы доказать, что люди могут вызывать и воспринимать более широкий спектр чувств с помощью своих лиц, авторы исследования попросили 230 испытуемых изобразить на лице каждое из следующих 20 чувств: счастье, грусть, страх, гнев, удивление, отвращение. , счастливо удивленный, счастливо отвращенный, печально испуганный, печально сердитый, печально удивленный, печально отвращенный, испуганно сердитый, испуганно удивленный, испуганно отвращенный, гневно удивленный, сердито отвращение, отвратительно удивленный, ненависть и трепет.

Вот как они выглядят, когда их укладывают встык:

Алекс М. Мартинес/PNAS

Осторожнее, чувак, так может прилипнуть.

Затем исследователи проанализировали лицевые мышцы, которые испытуемые использовали для создания каждого выражения. Они обнаружили, что в то время как «Базовые шесть» эмоций коррелируют с очень разными «единицами действия» или движениями лицевых мышц, комбинированные эмоции включают в себя движения мышц обеих своих родительских эмоций. Так, например, счастливый человек может улыбаться, а испытывающий отвращение человек может морщить нос, но счастливый человек, испытывающий отвращение («Это весь чизкейк все для меня !?») подойдет и то, и другое.

Вот пример радостного отвращения, а также страха и удивления, которые объединяются в «благоговение»:

Aleix M. Martinez/PNAS

Авторы определили, что каждое более сложное выражение лица формировалось с использованием уникальной комбинации мышечных движений. И хотя он перепутал такие выражения, как «сердито удивлен» и «прискорбно удивлен», компьютерный алгоритм смог правильно классифицировать составные выражения примерно в 77% случаев.

как они работают • Клиника Crystal Touch

Мышцы лица и их назначение

Причины возникновения «перекошенной вниз» улыбки

Возникновение синкинезий

Распознаем эмоции на лице / Хабр

Автор статьи: Виктория Ляликова

Общий механизм выражения лица на человеческих лицах и парейдолии лица

Принадлежности

Авторы

Принадлежности

Абстрактный

Цифры

Похожие статьи

Цитируется

Рекомендации

Типы публикаций

термины MeSH

Исследование: люди могут делать более 20 разных выражений лица

Добавить комментарий Отменить ответ