Особенности деятельности человека: Деятельность человека — основные виды и типы

Системы HAR обычно контролируются или не контролируются и могут использоваться в различных приложениях, включая здоровье, спорт, здравоохранение, безопасность, спортивные результаты и т. д.

При моделировании целью системы HAR является прогнозирование метки. действия человека на основе изображения или видео, которое обычно проводится с помощью распознавания действий на основе видео и распознавания действий на основе изображений.

Оценка позы используется одной из наиболее распространенных систем HAR на основе зрения. Исследователи используют его все чаще и чаще, поскольку они раскрывают важную информацию о человеческом поведении.

Это помогает в таких задачах, как HAR, извлечение контента, семантическое понимание и т. д. Он использует различные подходы глубокого обучения, особенно сверточные нейронные сети.

Одной из самых больших проблем HAR является учет физических характеристик людей, культурных маркеров, направления и типа поз. Например, давайте посмотрим на изображение ниже. Может быть трудно предсказать, падает ли человек или пытается встать на руки. Эта неопределенность побуждает использовать более новые методы в рамках искусственного интеллекта.

‍Мультимодальное обучение и обучение на основе графов направлены на повышение точности и надежности систем HAR за счет включения более сложных функций, использования нескольких источников данных и захвата пространственных и временных отношений между частями тела.

Некоторые другие проблемы HAR включают:

• несоответствие данных датчиков из-за размещения гаджета  
• изменение движения
• помехи действий, которые перекрываются
• зашумленные данные, вызывающие искажения
• трудоемкие и дорогие методы сбора данных

Как работает распознавание активности человека?

Одним из важнейших объектов изучения в научных областях компьютерного зрения и машинного обучения является способность человека воспринимать действия других. Вот основные шаги, связанные с каждой задачей.

1. Сбор данных

Данные для HAR обычно собираются датчиками, прикрепленными к пользователю или надетыми на него. Стандартные датчики HAR включают акселерометры, гироскопы, магнитометры и датчики GPS.

Акселерометры могут обнаруживать изменения в движении и направлении и измерять скорость по трем осям (x, y и z). Магнитометры могут воспринимать магнитные поля и порядок, тогда как гироскопы могут измерять вращение и угловую скорость. Датчики GPS способны помочь отслеживать местонахождение и перемещения пользователя, хотя они менее часто используются для HAR из-за их значительного потребления электроэнергии и ограниченной точности в помещении. Данные датчика часто фиксируются в виде данных временного ряда для каждой выборки, отражающей измерения датчика в определенный момент времени (например, каждую секунду).

2. Предварительная обработка данных

Предварительная обработка данных является важным этапом распознавания человеческой деятельности (HAR), поскольку она очищает, преобразовывает и подготавливает необработанные данные датчиков для будущего анализа и моделирования. Некоторые стандартные процессы подготовки включают:

1. Фильтрация : Фильтрация — это метод обработки сигналов для удаления шума и нежелательных сигналов из необработанных данных датчика. В зависимости от диапазона частот интересующих признаков типичные фильтры, используемые во время HAR, включают фильтры нижних частот, фильтры верхних частот и полосовые фильтры для подавления шума и улучшения изображения.

2. Извлечение признаков : Используемые признаки определяются типом действия и модальностью датчика. Данные акселерометра, например, можно использовать для извлечения таких характеристик, как среднее значение, стандартное отклонение и свойства в частотной области, такие как параметры преобразования Фурье и вейвлет-преобразования.

3. Выбор признаков: Процесс выбора признаков используется для минимизации степени размерности пространства признаков и повышения точности и эффективности алгоритмов идентификации действий. Это влечет за собой выбор наиболее релевантных характеристик на основе их исключающей способности, ассоциации с маркировкой деятельности и избыточности с другими характеристиками.

4. Сегментация : Для извлечения временных аспектов действий сегментация требует разделения сенсорной информации на более компактные сегменты или окна. Размер и перекрытие окна определяются продолжительностью и интенсивностью наблюдаемой активности. После этого сегментированные данные используются для вычисления характеристик каждого окна.

5. Нормализация : Нормализация — это процесс масштабирования объектов с нейтральным средним значением и дисперсией, равными 1, чтобы гарантировать, что они одинаковы для датчиков и участников.

6. Уменьшение размерности : Анализ главных компонентов (PCA) и t-распределенное стохастическое встраивание соседей (t-SNE) представляют собой методы уменьшения размерности, которые могут минимизировать степень размерности пространства признаков и удалить избыточные или нерелевантные признаки.

7. Импутация отсутствующих значений : Импутация заключается в заполнении неполных данных датчика. Незавершение может произойти из-за неисправности устройства или ошибок передачи данных. Для отсутствующих значений можно использовать простые подходы к условному исчислению, включая интерполяцию среднего или медианного значения.

Подготовка данных является важным этапом в HAR, поскольку она влияет на точность и надежность моделей идентификации деятельности.

3. Выбор модели

Для распознавания действий человека можно использовать несколько алгоритмов машинного обучения. Выбор должен зависеть от сложности данных, доступных ресурсов и критериев производительности. Вот некоторые популярные модели машинного обучения HAR:

1. Деревья решений : Алгоритмы дерева решений — это простые модели, которые имеют дело с нелинейными взаимодействиями между функциями и метками. Их можно использовать для задач классификации в распознавании активности человека на основе данных датчиков, таких как акселерометры или показания гироскопа. Деревья решений легко интерпретировать и могут обрабатывать как непрерывные, так и категорийные данные, что делает их полезными для получения информации о наиболее важных особенностях данной задачи классификации. Однако они могут страдать от переобучения и не работать в сценариях, где входные данные очень сложны или зашумлены.
2. Случайный лес : Случайные леса представляют собой ансамбли деревьев решений, которые могут управлять зашумленными и многомерными данными. Они сопротивляются переоснащению и могут иметь дело с пропущенными значениями. С другой стороны, случайные леса могут потреблять больше вычислительных ресурсов, чем деревья решений, и им может потребоваться более высокая производительность на крошечных наборах данных.
3. Машины опорных векторов : SVM — это надежные модели, которые работают с нелинейными и линейными данными. Они могут работать с многомерными данными, менее подвержены переобучению. Однако для них может потребоваться тщательная настройка гиперпараметров, а большие наборы данных могут потребовать больших вычислительных затрат.
4. Скрытые марковские модели : HMM — это статистическая модель, используемая в HAR для распознавания последовательных шаблонов на входе датчика. HMM очень полезны для данных временных рядов и могут быть эффективны для сложных действий с несколькими шагами.
5. Сверточные нейронные сети (CNN): CNN — это алгоритмы глубокого обучения, хорошо подходящие для данных изображений и временных рядов, таких как данные гироскопа и акселерометра. Эти алгоритмы могут эффективно обрабатывать иерархические функции из необработанных данных и управлять сложными шаблонами данных, но могут требовать большей вычислительной мощности, чем другие модели, и склонны к переоснащению.
6. Рекуррентные нейронные сети (RNN) : RNN — это модели глубокого обучения, которые обрабатывают последовательные данные, такие как временные ряды. Они могут работать с последовательностями переменной длины и обнаруживать временные связи в данных. Однако они могут бороться с проблемой исчезающего градиента и требуют тщательной инициализации и регуляризации.

4. Развертывание модели

Системы распознавания активности человека (HAR) развертываются с использованием одного из двух методов:

1. Развертывание внешнего зондирования: В этом методе внешние датчики (включая камеры или детекторы движения) размещаются в окружении для сбора информации о деятельности человека. Модель HAR, работающая на другой вычислительной машине, обрабатывает данные датчиков. Этот способ отлично подходит для наблюдения за действиями в общественных местах или когда отслеживаемый человек не может носить гаджет.

2. Использование датчиков на теле: Здесь датчики (такие как акселерометр на запястье) надеваются человеком, за которым наблюдают, для сбора информации о деятельности человека. Модель HAR, возможно, локально на смарт-часах или удаленной вычислительной системе, обрабатывает данные датчиков. Этот метод эффективно отслеживает производительность в уединенных местах или когда человек, за которым ведется наблюдение, может носить гаджет. 9

   Модели глубокой нейронной сети для распознавания человеческой деятельности Исследователи во всем мире уже давно работают над созданием почти идеальной системы распознавания.

   Например, статья J. Gao et al. сравнивает производительность алгоритмов глубокого обучения (таких как сверточные нейронные сети и рекуррентные нейронные сети) с классическими методами машинного обучения (такими как машины опорных векторов и случайные леса) в задачах HAR.

   Исследование показало, что алгоритмы глубокого обучения превосходят классические методы машинного обучения с точки зрения точности, устойчивости к изменениям данных датчиков и способности автоматически изучать сложные функции из необработанных данных. В исследовании также отмечается, что алгоритмы глубокого обучения могут быть вычислительно эффективными и могут быть реализованы на устройствах с низким энергопотреблением для приложений HAR в реальном времени. Модели

   DL могут приспосабливаться к колебаниям положения датчика, наклону и другим условиям окружающей среды, которые изменяют сигналы датчиков, что делает их более устойчивыми к реальным условиям. Модели DL также расширяемы и способны обрабатывать большие наборы данных, содержащие миллионы наблюдений, что особенно полезно для приложений HAR, включающих несколько датчиков и поддерживающих нескольких пользователей.

   Кроме того, алгоритмы глубокого обучения превосходно обрабатывают данные временных рядов для классификации и извлечения признаков, используя локальные зависимости. Исследователи все больше заинтересованы в использовании сложных подходов к глубокому обучению, таких как сверточные нейронные сети (CNN), долговременная кратковременная память (LSTM) и гибридные модели, чтобы лучше распознавать деятельность человека.

   Кроме того, модели DL могут разрабатывать сквозные модели, которые сопоставляют данные датчиков непосредственно с метками действий, устраняя необходимость в промежуточных процессах, таких как сегментация и извлечение признаков.

   Рекуррентные нейронные сети

   Рекуррентные нейронные сети (RNN) — это форма модели глубокого обучения, которая хорошо работает с последовательным вводом, особенно в ситуациях распознавания человеческой деятельности, когда входные данные представляют собой временные ряды данных с датчиков.

   Входные данные сначала преобразуются в последовательность векторов признаков фиксированной длины в HAR с использованием RNN, где каждый вектор указывает временное окно данных датчика. Затем последовательность векторов признаков передается в RNN, которая последовательно проверяет каждый входной вектор, сохраняя при этом скрытое состояние, которое сохраняет временные связи между входными векторами.

   Способность RNN обнаруживать долгосрочные временные зависимости во входных данных является их основным преимуществом для HAR. Это выполняется путем использования повторяющихся связей между скрытыми состояниями RNN. Повторяющиеся соединения позволяют RNN сохранять внутреннюю память о предыдущих входных данных, что помогает ей распознавать сложные паттерны активности, охватывающие множество временных рамок.

   RNN продемонстрировали обнадеживающие результаты в HAR с превосходной точностью и долговечностью при распознавании сложных операций, таких как спортивные движения, домашние занятия и обнаружение падений. Он также может обрабатывать входные последовательности переменной длины, что делает их достаточно удобными для практического использования, когда продолжительность действий варьируется. Ограничения включают проблему исчезновения и взрыва градиента, которая может повлиять на процесс обучения.

   Долгая кратковременная память

   Долгая кратковременная память (LSTM) — это форма рекуррентной нейронной сети (RNN), которая эффективно используется для различных последовательных задач, связанных с данными, включая распознавание человеческой деятельности (HAR).

   Модели LSTM, как и другие RNN, предназначены для анализа последовательностей данных и сохранения внутренней памяти предыдущих входных данных, что позволяет им сохранять временные связи между различными частями последовательности.

   Основным преимуществом LSTM по сравнению со всеми другими RNN является их способность сознательно забывать или сохранять информацию из предыдущих временных шагов. Это помогает решить проблему исчезающих градиентов, которые часто возникают в обычных RNN. LSTM могут эффективно моделировать долгосрочные зависимости внутри входной последовательности. Они хорошо подходят для сложных задач HAR, таких как выявление аномалий и распознавание сложных действий человека.

   Модели на основе LSTM продемонстрировали значительный прирост в задачах HAR в различных наборах эталонных данных, достигнув самой современной производительности. Они также продемонстрировали устойчивость при обнаружении сложных действий и работе с входными последовательностями переменной длины. Однако, как и у других моделей, основанных на глубоком обучении, у LSTM есть несколько недостатков для HAR: потребность в огромных объемах размеченных данных, вычислительные затраты и интерпретируемость модели.

   Основная схема RNN-LSTM

   Долгосрочная кратковременная память (LSTM) — это форма рекуррентной нейронной сети (RNN), которая эффективно используется для различных последовательных задач, связанных с данными, включая распознавание человеческой деятельности (HAR).

   Модели LSTM, как и другие RNN, предназначены для анализа последовательностей данных и сохранения внутренней памяти предыдущих входных данных, что позволяет им сохранять временные связи между различными частями последовательности.

   Основным преимуществом LSTM по сравнению со всеми другими RNN является их способность сознательно забывать или сохранять информацию из предыдущих временных шагов. Это помогает решить проблему исчезающих градиентов, которые часто возникают в обычных RNN. LSTM могут эффективно моделировать долгосрочные зависимости внутри входной последовательности. Они хорошо подходят для сложных задач HAR, таких как выявление аномалий и распознавание сложных действий человека.

   Модели на основе LSTM продемонстрировали значительный прирост в задачах HAR в различных наборах эталонных данных, достигнув самой современной производительности. Они также продемонстрировали устойчивость при обнаружении сложных действий и работе с входными последовательностями переменной длины. Однако, как и у других моделей, основанных на глубоком обучении, у LSTM есть несколько недостатков для HAR: потребность в огромных объемах размеченных данных, вычислительные затраты и интерпретируемость модели.

   Сверточные нейронные сети

   Сверточные нейронные сети (CNN) — это архитектура глубокого обучения, которая отлично справляется с обработкой изображений и видеоданных. CNN использовались в настройке распознавания активности человека (HAR) для автоматического и надежного обнаружения и классификации действий человека на основе данных датчиков.

   Входные данные для HAR с использованием CNN часто представляют собой данные временного ряда, полученные датчиками. Данные временного ряда сначала преобразуются в формат, подобный 2D-изображению, со временем по оси x и данными датчика по оси y.

   Сгенерированная матрица данных затем вводится в CNN для извлечения и классификации признаков. Используя метод скользящего окна, сверточные слои CNN применяют фильтры к входящим данным. В разных точках входных данных каждый фильтр берет из них определенный признак, включая ребра или углы.

   Результат сверточных слоев затем передается в слои объединения, которые уменьшают выборку извлеченных объектов, сохраняя при этом их важные пространственные корреляции. Выходные данные объединенных слоев затем сглаживаются и передаются в полносвязные слои, которые классифицируют извлеченные функции по отдельным действиям человека. Затем выходные данные полностью связанных слоев передаются в функцию softmax, которая генерирует распределение вероятностей по различным действиям.

   Изображение ниже, взятое из этой статьи, дает нам представление о том, как работает базовая структура CNN.

   Основная схема CNN

   Преимущество CNN заключается в обработке входной информации различных размеров и форм, что делает их достаточно хорошими для интерпретации данных датчиков с различных устройств. Кроме того, CNN могут изучать иерархические представления характеристик входных данных, что позволяет им получать низкоуровневые и высокоуровневые элементы, необходимые для идентификации человеческой деятельности.

   💡

   Профессиональный совет: Ищете источник для повторения функций активации? Ознакомьтесь с Типами функций активации нейронных сетей

   Приложения и использование распознавания человеческой деятельности

   Распознавание человеческой деятельности уже используется во многих областях, и постоянно появляются новые приложения. Давайте рассмотрим несколько флагманских примеров.

   Applications of Human Activity Recognition (источник)

   Анализ спортивных результатов

   Human Activity Recognition (HAR) может анализировать спортивные результаты различными способами. Его можно использовать для отслеживания и анализа движений спортсменов во время соревнований и тренировок, прогнозирования новых рисков травм, оценки эффективности различных программ тренировок, отслеживания роста отдельных спортсменов и изучения тактических и стратегических компонентов командных видов спорта.

   Например, HAR можно использовать для анализа движений игроков в бадминтон во время попыток ударить и разбить, отслеживания движений бегунов и выявления возможных травм, связанных с чрезмерным использованием, отслеживания результатов футболистов во время игры, отслеживания движений теннисистов на протяжении всего матча и определить области для улучшения движения и положения ног или проанализировать действия баскетболистов во время игры, чтобы выявить возможности для улучшения командной защиты и движения мяча.

   Аннотации ключевых точек в инструменте V7

   💡

   Совет от профессионала:  Ознакомьтесь с 7 революционными приложениями искусственного интеллекта в спортивной индустрии

   Беспилотные автомобили

   Распознавание активности человека (HAR) широко используется в беспилотных автомобилях. HAR можно использовать для обнаружения людей и других транспортных средств на дороге, повышая эффективность и безопасность беспилотных автомобилей.

   HAR, например, можно использовать для идентификации и отслеживания движений пешеходов, велосипедистов и других автомобилей в окружающей среде, что позволяет самоуправляемым автомобилям прогнозировать и предотвращать столкновения.

   HAR также может распознавать поведение водителя, например сигналы руками и движения головы, что может помочь беспилотным автомобилям общаться с водителями-людьми.

   💡Совет от профессионала: Ознакомьтесь с 9 революционными приложениями искусственного интеллекта на транспорте

   Взаимодействие человека и компьютера

   Распознавание активности человека можно использовать для идентификации и классификации человеческих жестов и движений, которые можно использовать для повышения удобства использования и доступности компьютерной системы. .

   HAR можно использовать для управления электронными устройствами, такими как смартфоны и смарт-телевизоры, на основе жестов, что обеспечивает еще более естественный и понятный пользовательский интерфейс. HAR также может обеспечивать голосовую автоматизацию компьютерных систем, таких как виртуальные личные помощники и чат-боты, что позволяет более практично и эффективно общаться с компьютерами.

   Кроме того, HAR может отслеживать здоровье и самочувствие пользователей компьютеров, определяя и классифицируя их физические движения и поведение, что может помочь предотвратить и уменьшить вредные последствия длительного использования компьютера, включая напряжение глаз, боли в спине и т. д.

   Игры

   Распознавание активности человека имеет несколько применений в игровой индустрии. HAR помогает распознавать и классифицировать различные действия и жесты игроков, обеспечивая более захватывающий и интерактивный игровой процесс.

   Например, HAR может включать игры с управлением движением, преобразовывая движения и жесты игрока в игровые действия, такие как размахивание мечом или бросание мяча. HAR также может обеспечивать управление игровыми панелями и настройками с помощью жестов, что делает навигацию в игре более удобной и интуитивно понятной.

   Кроме того, HAR может отслеживать физические упражнения и движения игрока во время игры. Игра, например, может компенсировать игроку выполнение определенного количества шагов или выполнение определенной тренировки.

   Интеллектуальное наблюдение

   Благодаря автоматическому анализу и интерпретации видео HAR становится все более актуальным инструментом в интеллектуальном наблюдении. Это может улучшить защиту и безопасность общественных мест и жизненно важной инфраструктуры.

   HAR может распознавать и классифицировать действия человека, такие как ходьба, бег, праздношатание и даже подозрительные действия, такие как ношение оружия или товаров. Эта система может обнаруживать аномальные или повторяющиеся модели активности, такие как задержка в закрытом помещении или оставление объекта без присмотра, и отправлять уведомления сотрудникам службы безопасности.

   Кроме того, в режиме реального времени HAR может идентифицировать людей, особенно в людных местах, путем оценки их шага, осанки и других физических характеристик, даже если лицо скрыто или закрыто. Эта система также может следить за людьми по всей зоне наблюдения, позволяя сотрудникам службы безопасности находить и отслеживать предполагаемых подозреваемых. Тем не менее, это создает проблемы конфиденциальности, которые необходимо решать с помощью соответствующего законодательства и средств защиты.

   Наборы данных для распознавания деятельности человека

   Давайте рассмотрим несколько наиболее важных готовых к использованию наборов данных HAR.

   💡

   Совет от профессионала: Ищете качественные наборы данных для обучения своих моделей? Ознакомьтесь с нашей коллекцией из 500+ открытых наборов данных.

   Kinetics-700

   Большой высококачественный набор видеоданных URL-ссылок примерно на 650000 видеоклипов Youtube, охватывающих 700 классов человеческих действий. Видео включает в себя взаимодействие человека с объектом, а также взаимодействие человека с человеком. Набор данных Kinetics отлично подходит для обучения моделей распознавания действий человека.

   Набор данных для распознавания действий в волейболе

   Волейбол — это набор данных для распознавания действий в видео. Он содержит 4830 аннотированных кадров, отобранных вручную из 55 видеороликов с девятью метками действий игроков и восемью метками действий команды. Он содержит аннотации групповых действий, а также аннотации индивидуальных действий.

   Набор данных ARID

   Набор данных «Распознавание действий в темноте» (ARID) — это эталонный набор данных для распознавания действий в условиях низкой освещенности. Он включает более 3780 видеоклипов с 11 категориями действий, что делает его первым набором данных, посвященным действиям человека в темных видео. Набор данных ARID является важным ресурсом для исследователей и практиков, работающих над улучшением алгоритмов распознавания действий в сложных условиях освещения.

   DAHLIA — ежедневная активность человека

   Набор данных DAHLIA ориентирован на распознавание человеческой деятельности для услуг умного дома, таких как помощь пользователям.

   Видео были записаны в реалистичных условиях с 3 датчиками Kinect v2, расположенными так, как они должны быть в реальном контексте. Длительные действия выполнялись без каких-либо ограничений (участники получали только несколько инструкций) и в непрерывной (необрезанной) последовательности, в результате чего получались длинные видеоролики (в среднем 40 минут на одного испытуемого).

   Набор данных для распознавания активности человека с помощью смартфонов

   Набор данных для распознавания активности человека с помощью смартфонов — это общедоступный набор данных, который содержит показания датчиков акселерометра и гироскопа смартфона, полученные во время шести действий: ходьба, подъем по лестнице, спуск по лестнице, сидение, стояние. , и укладка.

   Набор данных включает 3-осевые измерения линейного ускорения и 3-осевой угловой скорости, полученные с постоянной частотой 50 Гц. Данные датчика были собраны у 30 добровольцев, которые носили смартфон Samsung Galaxy S II на талии во время выполнения действий. Каждому добровольцу было предложено выполнять каждое действие в течение приблизительно 2-3 минут, в результате чего было получено 10,299 экземпляров.

   Заключительные мысли

   Распознавание активности человека (HAR) — интригующая технология, имеющая множество применений. HAR распознает и классифицирует действия и движения человека, используя методы машинного обучения и датчики. Он может трансформировать различные отрасли, включая здравоохранение, анализ спортивных результатов, игры, интеллектуальный мониторинг и интерфейс человек/компьютер.

   Тем не менее, чтобы соответствовать этическим требованиям и соображениям конфиденциальности, создание и выполнение HAR должно осуществляться этично и прозрачно. Важно гарантировать, что данные, используемые для обучения и оценки алгоритмов HAR, являются репрезентативными, разнообразными и объективными.

   В статье также обсуждалось, как подходы HAR, основанные на глубоком обучении, превосходят обычные алгоритмы машинного обучения, выделяя контуры CNN, CNN-LSTM и RNN.

   В заключение,  HAR может изменить нашу повседневную жизнь и оказать значительное благотворное влияние на общество по мере его развития и улучшения.

   Ссылки

   1. Аршад, М. Х., Билал, М., и Гани, А. (2022). Распознавание человеческой деятельности: обзор, таксономия и открытые вызовы. Датчики, 22(17), 6463.
   2. Бхаттачарья Д., Шарма Д., Ким В., Иджаз М. Ф. и Сингх П. К. (2022). Ensem-HAR: ансамблевая модель глубокого обучения для распознавания активности человека на основе датчиков смартфона для измерения мониторинга состояния здоровья пожилых людей. Biosensors, 12(6), 393.
   3. Гупта, Н., Гупта, С.К., Патхак, Р.К., Джейн, В., Рашиди, П., и Сури, Дж.С. (2022). Распознавание человеческой деятельности в рамках искусственного интеллекта: описательный обзор.