в сердце эмоциональных вычислений / Хабр
Эмоциональный искусственный интеллект, помимо очевидной связи с машинным обучением и нейронными сетями, имеет прямое отношение к психологии и в частности к науке об эмоциях. В этой области сегодня остро стоят несколько вызовов. Один из них — формирование точной и полноценной классификации эмоциональных состояний, от которой в том числе напрямую зависит процесс аннотирования — сопоставления наблюдаемых выражений лица и других невербальных сигналов с определенными эмоциями и аффективными состояниями.
Классификация эмоций
Сегодня широко используются три подхода к категоризации эмоциональных данных: дискретная и многомерная модели, а также гибридная, объединяющая два первых типа.
Дискретный подход основан на категоризации эмоций, которую мы обнаруживаем в естественном языке. Каждая эмоция связана с семантическим полем — конкретным значением или набором значений, которые мы приписываем некоторому эмоциональному состоянию.
Теория базовых эмоций — один из самых известных примеров дискретного подхода.
Первое упоминание на нечто похожее на то, что подразумевается под базовыми, или первичными, эмоциями, можно найти в ранних философских текстах, например, греческого или китайского наследний. Платон в знаменитом труде “Республика” относил эмоции к основным составляющим человеческого разума. В функциональной теории эмоций Аристотеля разум, эмоции и добродетели взаимосвязаны, и эмоциональная жизнь каждого здорового человека всегда (или почти всегда) согласована с разумом и добродетелями, осознает он это или нет. В китайском конфуцианстве мы находим от четырех до семи «Цин» — эмоций естественных для любого человека.
В XX веке тема оказалась в фокусе научного интереса, и ряд авторов, в том числе Пол Экман, автор наиболее распространенной теории базовых эмоций, предложили собственное видение количества таких эмоций. Экман предположил, что базовые эмоции должны быть универсальными, в том смысле, что их проявление одинаково для всех культур.
В разных теориях мы можем найти от 6 до 22 эмоций (Ekman, Parrot, Frijda, Plutchik, Tomkins, Matsumoto — подробности см. у Cambria et al., 2012).
Существование базовых эмоций на сегодняшний день остается спорным вопросом (см., например, Barret & Вагер, 2006; или Crivelli & Fridlund, 2018). Ряд исследований показал связь базовых эмоций с активностью отдельных структур мозга (например, Murphy et al., 2003, и Phan et al., 2002), хотя в других работах такая корреляция не подтверждается (см. Barrett & Wage, 2006). Интересно, что некоторые исследования восприятия эмоций в изолированных этнических группах не поддерживают гипотезу межкультурной универсальности эмоций. Одним из примеров являются тробрианцы из Папуа-Новой Гвинеи (см. Crivelli & Fridlund, 2018, и Gendron et al., в печати). В эксперименте представителям племени показали фотографию лица, выражающего страх, однако тробрианцы воспринимали это выражение как сигнал об угрозе.
Атлас эмоций, предложенный Полом Экманом: atlasofemotions.
org. Первоначальная версия 1999 года также включала “удивление”.
Сегодня многие решения в области эмоциональных вычислений основаны на дискретных моделях и включают в себя только базовые эмоции, чаще всего в соответствии с теорией Экмана (например, решения компании Affectiva, пионера эмоционального ИИ). Это означает, что автоматические системы обучаются распознавать довольно ограниченное количество аффективных состояний, хотя в жизни мы постоянно переживаем большое количество эмоций, включая сложные смешанные эмоции, а в межличностном общении пользуемся многочисленными социальными сигналами (например, жестами).
Другой подход — многомерный — представляет эмоции в координатном многомерном пространстве. Поскольку это пространство является неразрывным, существуют эмоции, имеющие одну и ту же природу, но различающиеся по ряду параметров. В аффективной науке эти параметры (или измерения) чаще всего выражены валентностью (valence) и активацией (arousal), например, в датасете RECOLA авторства Ringeval et al.
Также часто используется и интенсивность (intensity) эмоций. Таким образом, печаль можно рассматривать как менее интенсивную версию горя и более выраженную задумчивость, в то же время больше похожую на отвращение, чем, например, на доверие. Количество измерений может варьироваться в зависимости от модели. В колесе эмоций Плутчика всего 2 измерения (сходство (similarity) и интенсивность), в то время как Фонтейн постулирует 4 измерения (валентность, потенция (potency), активация, непредсказуемость (unpredictability). Любая эмоция в таком пространстве будет обладать рядом характеристик, измеряющихся величиной, с которой она присутствует в определенном измерении.
Гибридные модели объединяют как дискретные, так и многомерные подходы. Хорошим примером гибридной модели являются «Песочные часы эмоций», предложенные Камбрией, Ливингстоном, Хуссейном (Cambria et al., 2012). Каждое аффективное измерение характеризуется шестью уровнями силы, с которой выражены эмоции. Эти уровни также обозначаются как набор из 24 эмоций.
Эмоции в эмоциональных вычислениях
Итак, почему классификация эмоций имеет такое важное значение для эмоциональных вычислений? В начале статьи мы сделали акцент на том, что классификация эмоций и тот подход, которого мы придерживаемся, напрямую влияют на процесс аннотирования — разметки аудиовизуального эмоционально окрашенного контента. Чтобы обучить нейронную сеть распознавать эмоции, необходим набор данных. Но разметка этого набора полностью зависит от нас, людей, и от того, какие эмоций мы ассоциируем, например, с конкретным выражением лица.
Сегодня распространены несколько инструментов для аннотирования. Это ANNEMO (Ringeval et al.), используемый для многомерных моделей, ANVIL (Kipp) и ELAN (Институт психолингвистики Макса Планка), используемые для дискретных систем. В ANNEMO аннотирование доступно по 2 аффективным измерениям: активация и валентность, значения которой варьируются от -1 до +1.
ANVIL и ELAN позволяют использовать собственные фильтры для разметки аудиовизуального эмоционального контента. Фильтры, или маркеры, могут быть представлены словами, предложениями, комментариями или любым другим текстом, имеющим отношение к описанию аффективного состояния. Эти маркеры имеют статический характер и не могут быть выражены величиной.
Выбор подхода и системы аннотирования зависит от целей. Многомерные модели позволяют избежать известной проблемы, когда некоторые слова существуют в каких-то языках, в то время как в других может не быть слов для описания этих эмоций. Это делает процесс аннотирования контекстуально- и культурно-зависимым.
Тем не менее дискретные модели — полезный инструмент для категоризации эмоций, поскольку объективно оценивать изменение величин как валентность или активация, сложно, а разные аннотаторы будут давать разные оценки выраженности этих величин.
Бонус: робототехника
Кстати, классификация эмоций широко используется не только в сфере распознавания эмоций, но и для их синтеза. К примеру, в робототехнике. Эмоциональный спектр, доступный роботу, может быть интегрирован в многомерное пространство эмоций. Affect system — система эмоциональных состояний, между которыми может переключаться, вероятно, самый милый робот в индустрии ИИ — Kismet разработки МТИ (MIT), основан именно на многомерном подходе. Каждое измерение эмоционального пространства (активация, валентность и состояние (stance), то есть готовность к общению) сопоставляется с набором лицевых экспрессий. Как только будет достигнута необходимая величина, робот будет переключаться на следующую эмоцию.
Видео: Как работает робот Kismet
Ссылки
- Barrett, L. F. & Wager, T. D. (2006). The structure of emotion evidence from neuroimaging studies. Current Directions in Psychological Science, 15 (2), 79–83. doi: 10.1111/j.0963–7214.2006.00411.x
- Cambria, E., Livingstone, A., Hussain, A. (2012) The Hourglass of Emotions. Cognitive Behavioural Systems,144–157.
- Chew, A. (2009). Aristotle’s Functional Theory of the Emotions. Organon F 16 (2009), №1, 5–37.
- Crivelli, C., & Fridlund, A. J. (2018). Facial Displays Are Tools for Social Influence. Trends in Cognitive Sciences, 22(5), 388–399. doi.org/10.1016/j.tics.2018.02.006
- Ekman, P. (1999). Basic Emotions. In T. Dalgleish and M. Power (Eds.). Handbook of Cognition and Emotion. Sussex, U.K.: John Wiley & Sons, Ltd.
- Fu Ching-Sheue (2012). What are emotions in Chinese Confucianism? www.researchgate.net/publication/267228910_What_are_emotions_in_Chinese_Confucianism?
- Gendron, M.
, Crivelli, C., & Barrett, L.F. (in press). Universality reconsidered: Diversity in making meaning of facial expressions. Current Directions in Psychological Science. - Harmon-Jones, E., Harmon-Jones, C., Summerell, E. (2017) On the Importance of Both Dimensional and Discrete Models of Emotion. Behav Sci (Basel). Sep 29;7(4)
- Murphy, F.C., Nimmo-Smith, I., & Lawrence, A.D. (2003). Functional neuroanatomy of emotion: A meta-analysis. Cognitive, Affective, & Behavioral Neuroscience, 3, 207–233.
- Phan, K.L., Wager, T.D., Taylor, S.F., & Liberzon, I. (2002). Functional neuroanatomy of emotion: A meta-analysis of emotion activation studies in PET and fMRI. Neuroimage, 16, 331–348.
- Plutchik, R. (2001) The Nature of Emotions. American Scientist 89(4):344
- Ringeval, F., Sonderegger, A., Sauer, J., & Lalanne, D. RECOLA & ANNEMO: diuf.unifr.ch/diva/recola/annemo.html
- Kipp, M. ANVIL: www.anvil-software. org
- Max Planck Institute for Psycholinguistics. ELAN: tla.mpi.nl/tools/tla-tools/elan
- Emotion, Stanford Encyclopedia of Philosophy: plato.stanford.edu/entries/emotion
, Crivelli, C., & Barrett, L.F. (in press). Universality reconsidered: Diversity in making meaning of facial expressions. Current Directions in Psychological Science.
orgЭмоции. Классификация — презентация онлайн
Похожие презентации:
Эмоции и чувства
Эмоции и психические состояния личности
Эмоции. Классификация эмоций
Эмоции человека. Определение и виды эмоций
Характеристика эмоций
Эмоции в психологии
Классификация и свойства эмоций
Психология эмоций
Воля, эмоции, внимание. Темперамент
Эмоции и чувства
ЭМОЦИИ
ЭМОЦИЯ
непосредственное, временное эмоциональное
переживание какого-либо отношения человека к
различным внешним или внутренним событиям.
душевное волнение.
ЭМОЦИЯ
возникает как реакция не только на события
совершившиеся, но и на вероятностные или
вспоминаемые.
носит опережающий характер, обобщая оценку
ситуации, связанной с удовлетворением
потребности.
Классификация К. Изарда
«фундаментальных» эмоций:
интерес (возбуждение)
радость
удивление
страдание (горе, печаль)
гнев (ярость)
отвращение
презрение (пренебрежение)
страх (ужас)
стыд (застенчивость)
вина (раскаяние)
ИНТЕРЕС
положительное
эмоциональное состояние
способствует развитию
навыков и умений,
приобретению знаний
чувство захваченности,
любопытства
РАДОСТЬ
положительная эмоция
связана с возможностью
достаточно полно удовлетворить
актуальную потребность,
вероятность чего до этого была
невелика или неопределенна
сопровождается
самоудовлетворенностью и
удовлетворенностью
окружающим миром
УДИВЛЕНИЕ
не имеет четко
выраженного
положительного или
отрицательного знака
эмоциональная реакция
на внезапно возникшие
обстоятельства
тормозит все предыдущие
эмоции, направляя
внимание на новый объект
и может переходить в
интерес
СТРАДАНИЕ
наиболее распространенное
отрицательное эмоциональное
состояние
связано с получением
достоверной (или кажущейся
таковой) информации о
невозможности
удовлетворения важнейших
потребностей, достижение
которых до этого
представлялось более или
менее вероятным
чаще протекает в форме
эмоционального стресса
ГНЕВ
сильное отрицательное
эмоциональное состояние
протекает чаще в форме
аффекта
возникает в ответ на
препятствие в достижении
страстно желаемых целей
ОТВРАЩЕНИЕ
отрицательное
эмоциональное состояние
вызывается объектами
(предметами, людьми,
обстоятельствами),
соприкосновение с которыми
(физическое или
коммуникативное) вступает
в резкое противоречие с
эстетическими,
нравственными или
идеологическими
принципами и установками
ПРЕЗРЕНИЕ
отрицательное
эмоциональное
состояние
возникает в
межличностных
отношениях и
порождается
рассогласованием
жизненных позиций,
взглядов и поведения
субъекта
СТРАХ
отрицательное
эмоциональное состояние
появляется при
получении субъектом
информации о возможном
ущербе для его
жизненного
благополучия, о реальной
или воображаемой
опасности
СТЫД
отрицательное
эмоциональное состояние
выражается в осознании
несоответствия собственных
помыслов, поступков и
внешности не только
ожиданиям окружающих, но
и собственным
представлениям о
подобающем поведении и
внешнем облике
ВИНА
отрицательное
эмоциональное состояние
выражается в осознании
неблаговидности
собственного поступка,
помысла или чувств и
выражающееся в сожалении и
раскаянии.
ЧУВСТВА (высшие эмоции)
особые психические состояния, проявляющиеся
социально обусловленными переживаниями,
которые выражают длительные и устойчивые
эмоциональные отношения человека к реальным
или воображаемым объектам. Их часто обозначают
как вторичные эмоции, так как они сформировались
как своеобразное обобщение соответствующих
простых (первичных) эмоций к объекту чувства
English Русский Правила
Набор данных для детальной классификации эмоций — блог Google AI
Авторы: Дана Алон и Чонву Ко, инженеры-программисты, Google Research
Эмоции являются ключевым аспектом социальных взаимодействий, влияя на поведение людей и формируя отношения. Это особенно верно в отношении языка — всего несколькими словами мы можем выразить широкий спектр тонких и сложных эмоций. Таким образом, исследовательское сообщество давно поставило перед собой цель дать машинам возможность понимать контекст и эмоции, что, в свою очередь, позволит использовать различные приложения, включая чутких чат-ботов, модели для обнаружения вредоносного поведения в Интернете и улучшенную поддержку клиентов.
взаимодействия.
За последнее десятилетие исследовательское сообщество НЛП предоставило несколько наборов данных для языковой классификации эмоций. Большинство из них создается вручную и охватывает целевые домены (заголовки новостей, субтитры к фильмам и даже сказки), но, как правило, относительно невелики или сосредоточены только на шести основных эмоциях (гнев, удивление, отвращение, радость, страх и страх). печаль), которые были предложены в 1992 году. Хотя эти наборы данных об эмоциях позволили провести начальные исследования классификации эмоций, они также подчеркнули необходимость в крупномасштабном наборе данных для более обширного набора эмоций, который мог бы облегчить более широкий спектр будущих потенциальных приложений.
В статье «GoEmotions: подробный набор данных об эмоциях» мы описываем GoEmotions, аннотированный человеком набор данных из 58 000 комментариев Reddit, извлеченных из популярных англоязычных сабреддитов и помеченных 27 категориями эмоций. Поскольку на сегодняшний день это самый большой полностью аннотированный набор данных об эмоциях на английском языке, мы разработали таксономию GoEmotions с учетом как психологии, так и применимости данных.
В отличие от основных шести эмоций, которые включают только одну положительную эмоцию (радость), наша таксономия включает 12 положительных, 11 отрицательных, 4 категории неоднозначных эмоций и 1 «нейтральную», что делает ее широко подходящей для задач понимания разговора, требующих тонкой дифференциации. между проявлениями эмоций.
Мы выпускаем набор данных GoEmotions вместе с подробным учебным пособием, которое демонстрирует процесс обучения архитектуры нейронной модели (доступной в TensorFlow Model Garden) с использованием GoEmotions и применения ее для задачи предложения смайликов на основе разговорного текста. В карточке модели GoEmotions мы изучаем дополнительные способы использования моделей, созданных с помощью GoEmotions, а также соображения и ограничения для использования данных.
| Этот текст выражает сразу несколько эмоций, включая волнение, одобрение и благодарность. |
Этот текст выражает облегчение, сложную эмоцию, передающую как положительные, так и отрицательные чувства. |
| Этот текст передает угрызения совести, сложную эмоцию, которая часто выражается, но не отражается простыми моделями эмоций. |
Создание набора данных
Нашей целью было создать большой набор данных, ориентированный на разговорные данные, где эмоции являются критическим компонентом общения. Поскольку платформа Reddit предлагает большой общедоступный объем контента, который включает в себя прямой диалог между пользователями, это ценный ресурс для анализа эмоций. Итак, мы создали GoEmotions, используя комментарии Reddit с 2005 года (начало Reddit) по январь 2019 года., полученный из сабреддитов с не менее чем 10 000 комментариев, за исключением удаленных и неанглийских комментариев.
Чтобы создать широко репрезентативные модели эмоций, мы применили меры по обработке данных, чтобы убедиться, что набор данных не усиливает общие или специфичные для эмоций языковые предубеждения.
Это было особенно важно, потому что Reddit имеет известный демографический уклон в сторону молодых пользователей мужского пола, что не отражает глобального разнообразия населения. Платформа также вводит перекос в сторону токсичных, оскорбительных выражений. Чтобы устранить эти опасения, мы определили вредоносные комментарии, используя предопределенные термины для оскорбительного/взрослого и вульгарного контента, а также для идентификации личности и религии, которые мы использовали для фильтрации и маскировки данных. Мы дополнительно отфильтровали данные, чтобы уменьшить ненормативную лексику, ограничить длину текста и сбалансировать отображаемые эмоции и чувства. Чтобы избежать чрезмерного представления популярных субреддитов и убедиться, что комментарии также отражают менее активные субреддиты, мы также сбалансировали данные среди сообществ субреддитов.
Мы создали таксономию, стремясь совместно максимизировать три цели: (1) обеспечить максимальный охват эмоций, выраженных в данных Reddit; (2) обеспечить наибольший охват типов эмоционального выражения; и (3) ограничить общее количество эмоций и их наложение.
Такая таксономия позволяет детально понять эмоции на основе данных, а также устраняет потенциальную разреженность данных для некоторых эмоций.
Создание таксономии было итеративным процессом для определения и уточнения категорий меток эмоций. На этапах маркировки данных мы рассмотрели в общей сложности 56 категорий эмоций. Из этой выборки мы идентифицировали и удалили эмоции, которые едва ли были выбраны оценщиками, имели низкое согласие между оценщиками из-за сходства с другими эмоциями или их было трудно обнаружить по тексту. Мы также добавили эмоции, которые часто предлагались оценщиками и были хорошо представлены в данных. Наконец, мы уточнили названия категорий эмоций, чтобы обеспечить максимальную интерпретируемость, что привело к высокому согласию между участниками, с 9В 4 % случаев по крайней мере два оценщика пришли к согласию по крайней мере по одному ярлыку эмоции.
Опубликованный набор данных GoEmotions включает таксономию, представленную ниже, и был полностью собран в ходе последнего раунда маркировки данных, в ходе которого стандарты таксономии и рейтинга были предварительно определены и зафиксированы.
| Таксономия GoEmotions: включает 28 категорий эмоций, включая «нейтральные». |
Анализ данных и результаты
Эмоции распределены неравномерно в наборе данных GoEmotions. Важно отметить, что высокая частота положительных эмоций усиливает нашу мотивацию к более разнообразной таксономии эмоций, чем та, которую предлагают канонические шесть основных эмоций.
Чтобы подтвердить, что наш таксономический выбор соответствует базовым данным, мы проводим анализ основных сохраненных компонентов (PPCA) — метод, используемый для сравнения двух наборов данных путем извлечения линейных комбинаций суждений об эмоциях, которые демонстрируют наибольшую совместную изменчивость в двух наборах оценщиков. Таким образом, это помогает нам выявить измерения эмоций, которые имеют высокую степень согласия между оценщиками. PPCA использовался раньше, чтобы понять основные параметры распознавания эмоций в видео и речи, и мы используем его здесь, чтобы понять основные параметры эмоций в тексте.
Мы обнаружили, что каждый компонент является значимым (со значениями p < 1,5e-6 для всех измерений), что указывает на то, что каждая эмоция захватывает уникальную часть данных. Это не тривиально, так как в предыдущей работе по распознаванию эмоций в речи только 12 из 30 аспектов эмоций оказались значимыми.
Мы исследуем кластеризацию определенных эмоций на основе корреляций между оценочными суждениями. При таком подходе две эмоции будут группироваться вместе, если оценщики часто выбирают их совместно. Мы обнаруживаем, что эмоции, связанные с точки зрения их настроения ( отрицательное , положительное и неоднозначное ) группируются вместе, несмотря на отсутствие предопределенного понятия настроений в нашей таксономии, что указывает на качество и согласованность оценок. Например, если один оценщик выбрал «волнение» в качестве ярлыка для данного комментария, более вероятно, что другой оценщик выберет коррелированное чувство, такое как «радость», а не, скажем, «страх».
Возможно, удивительно, что все неоднозначные эмоции сгруппировались вместе, и они сгруппировались более тесно с положительными эмоциями.
Подобным образом, эмоции, которые связаны с точки зрения их интенсивности, такие как радость и волнение , нервозность и страх , печаль и горе , раздражение и гнев также тесно связаны4, гнев .
В нашей статье представлены дополнительные анализы и эксперименты по моделированию с использованием GoEmotions.
Будущая работа: альтернативы человеческой маркировке
Хотя GoEmotions предлагает большой набор данных об эмоциях, аннотированных человеком, существуют дополнительные наборы данных об эмоциях, которые используют эвристику для автоматической слабой маркировки. Доминирующая эвристика использует теги Twitter, связанные с эмоциями, в качестве категорий эмоций, что позволяет недорого генерировать большие наборы данных. Но этот подход ограничен по нескольким причинам: язык, используемый в Твиттере, явно отличается от многих других языковых доменов, что ограничивает применимость данных; теги создаются человеком и при непосредственном использовании склонны к дублированию, перекрытию и другим таксономическим несоответствиям; и специфика этого подхода к Твиттеру ограничивает его применение корпусами других языков.
Мы предлагаем альтернативную и более доступную эвристику, в которой смайлики, встроенные в разговор пользователя, служат прокси для категорий эмоций. Этот подход может быть применен к любому языковому корпусу, содержащему разумное количество эмодзи, включая многие разговорные. Поскольку эмодзи более стандартизированы и менее разбросаны, чем теги Twitter, они представляют меньше несоответствий.
Обратите внимание, что оба предложенных подхода — использование твиттер-тегов и использование эмодзи — не направлены непосредственно на понимание эмоций, а скорее на варианты разговорного выражения. Например, в приведенном ниже разговоре 🙏 передает благодарность, 🎂 передает праздничное выражение, а 🎁 буквально заменяет «подарок». Точно так же, хотя многие смайлики связаны с выражениями, связанными с эмоциями, эмоции тонкие и многогранные, и во многих случаях ни один смайлик не может по-настоящему передать всю сложность эмоции. Более того, смайлики отражают различные выражения, помимо эмоций.
По этим причинам мы рассматриваем их как выражения, а не эмоции.
Этот тип данных может быть полезен для создания выразительных диалоговых агентов, а также для предложения контекстных смайликов, и это особенно интересная область будущей работы.
Заключение
Набор данных GoEmotions представляет собой большой, аннотированный вручную набор данных для точного прогнозирования эмоций. Наш анализ демонстрирует надежность аннотаций и высокий охват эмоций, выраженных в комментариях Reddit. Мы надеемся, что GoEmotions станет ценным ресурсом для исследователей эмоций, основанных на языке, и позволит специалистам-практикам создавать креативные приложения, основанные на эмоциях, которые обращаются к широкому спектру эмоций пользователей.
Благодарности
В этом блоге представлены исследования Доры Демски (во время стажировки в Google), Даны Алон (ранее Мовшовиц-Аттиас), Чонву Ко, Алана Коуэна, Гаурав Немаде и Суджит Рави. Мы благодарим Питера Янга за его вклад в инфраструктуру и открытый исходный код.
Мы благодарим Эрика Ви, Рави Кумара, Эндрю Томкинса, Патрика Макгрегора и команду Learn2Compress за поддержку и спонсорство этого исследовательского проекта.
SCIRP Открытый доступ
Издательство научных исследований
Журналы от A до Z
Журналы по темам
- Биомедицинские и биологические науки.
- Бизнес и экономика
- Химия и материаловедение.
- Информатика. и общ.
- Науки о Земле и окружающей среде.
- Машиностроение
- Медицина и здравоохранение
- Физика и математика
- Социальные науки. и гуманитарные науки
Журналы по тематике
- Биомедицина и науки о жизни
- Бизнес и экономика
- Химия и материаловедение
- Информатика и связь
- Науки о Земле и окружающей среде
- Машиностроение
- Медицина и здравоохранение
- Физика и математика
- Социальные и гуманитарные науки
Публикуйтесь у нас
- Подача документов
- Информация для авторов
- Ресурсы для экспертной оценки
- Открытые специальные выпуски
- Заявление об открытом доступе
- Часто задаваемые вопросы
Публикуйте у нас
- Представление статьи
- Информация для авторов
- Ресурсы для экспертной оценки
- Открытые специальные выпуски
- Заявление об открытом доступе
- Часто задаваемые вопросы
Подпишитесь на SCIRP
Свяжитесь с нами
клиент@scirp. org | |
| +86 18163351462 (WhatsApp) | |
| 1655362766 | |
| Публикация бумаги WeChat |
| Недавно опубликованные статьи |
| Недавно опубликованные статьи |
Подпишитесь на SCIRP
Свяжитесь с нами
клиент@scirp. About the Author Related Posts |