Применение цифровых технологий в формировании и оценке навыков

Валерий Андреевич Ефименко,
ООО "Практиком"

Аннотация

В образовательных процессах при подготовке инженеров и технических специалистов формирование и оценка навыков является главной задачей. Если системы оценки компетенций давно сформированы и устоялись, то подходы к оценке навыков еще находится в стадии развития. Большие возможности в этом направлении связаны с применением цифровых технологий, в частности, технологий с применением алгоритмов машинного обучения.

Применение цифровых технологий для формирования и оценки навыков в образовательных процедурах целесообразно начинать с организации прохождения практик и стажировок. В этой области есть несколько проблем, главной из которых является недобросовестное поведение студентов, связанное с завышением уровня навыков в системе оценок. Решение данной проблемы возможно за счёт автоматизации проверки базы прохождения практики (профильной организации) с их последующим ранжированием на основании специальных баз данных (ЕГРЮЛ).

Результаты: обоснование применения программного модуля «Антифрод рекомендаций», внедрение которого позволяет выявить соискателей с признаками недобросовестности относительно информации о начальном опыте работы и навыках потенциальных кандидатов.

Теоретическая / практическая значимость: проведённое исследование позволяет оценить возможности применения решений с алгоритмами машинного обучения для формирования и оценки навыков.

Проблема

Каждый студент самостоятельно создает аккаунт с информацией о себе, куда включаются сведения относительно его практической деятельности, пройденные практики и стажировки. Опционально также могут быть добавлены рекомендации от руководителей.

Нередко компании сталкиваются с тем, что студенты хотят выглядеть более опытными и указывают недостоверную информацию о своем опыте. Проблеме оценки добросовестности соискателей посвящено множество научных исследований. В частности, перспективы использования разработок на основе машинного обучения в целях подбора персонала отмечала Е.И. Марчукова [3, С. 217]. М.Н. Вражнова. М.А. Филатов отметили простоту и удобство использования данных технологий [1, С. 78]. В свою очередь А.Ю. Громов, А.Т. Кежватова и Д.А. Левшин выработали алгоритм, предполагающий использование помимо технологий машинного обучения технологии blockchain (распределенного хранения данных) [2, С. 135].

Подходы к решению проблемы

Использование цифровых технологий для решения задач оценки навыков могут быть реализованы в нескольких направлениях:

1. Разработка тестов, игр для профориентации, симуляторов, которые воспроизводят условия применения навыков.
2. Оценка отзывов и рекомендаций, которые даются наставниками при организации прохождения практик.

Первый путь решения задач является эффективным, но требует больших затрат на разработку тестов, симуляторов. Это определено тем, что профессиональные навыки различны и требуют множества разных подходов для тестирования и оценки. Нужно отметить, что часть навыков сложно имитировать в виртуальной среде. Для оценки навыка требуется частично воспроизвести управляющие элементы: ручки, педали, руль и пр., что усложняет разработку подобных симуляторов.

Альтернативным направлением для подтверждения навыков является отзыв непосредственного руководителя практики или наставника. Преимуществом данного способа является доступность с точки зрения финансовых и организационных затрат. Этот метод также имеет и недостаток. Он заключается в том, что студент может создать фиктивный отзыв о результатах своей работы и уровне овладения мастерством в той или иной деятельности. Подобное недобросовестное поведение вредит не только работодателю, но и всему предприятию, где желает работать студент, поскольку отсутствие необходимых навыков не может быть компенсировано предоставлением фиктивных документов. Используя в деятельности кадровой службы цифровые технологии, а в частности – технологии машинного обучения, работодатель получает реальную возможность проверить достоверность предоставленных документов.

Известно, что доля кандидатов на вакансии, которые готовы действовать недобросовестными способами (предоставлять недостоверную информацию о себе) может доходить до 74%. [4]. Одним из путей выявление недобросовестно полученных оценок, отзывов и рекомендаций для практики в технической и производственной сферах может стать проверка профильных организаций, которые организовали проведение практики. Проверка предприятий может быть осуществлена по следующим критериям: признаки «фирмы-однодневки»; соответствие видов деятельности предприятия направлению подготовки практики; наличие аффилированности между практикантом и руководителем предприятия – места прохождения практики; наличие в собственности у предприятия необходимой материально-технической базы, позволяющей сформировать у практиканта соответствующие необходимые навыки. Проведение подобной работы «ручным», «человеческим» способом является неоправданным. Здесь уместна разработка специального программного обеспечения, которое могло бы производить анализ и помогать определять тех кандидатов, в чьих отзывах и рекомендациях может содержаться наибольшее число признаков недобросовестности.

Применение IT-алгоритмов позволит существенно сократить затраты, поскольку переводит значительную часть действий в электронный формат. Сегодня специализированными организациями разработаны и применяются технологии для решения сходных задач. При этом предметом проверки в данных программ являются другие объекты по сравнению с объектом настоящего проекта:

- оценочные работы студентов (технология «антиплагиата» текстов, проверка работ на уникальность);

- показатели добросовестности компаний на основании формирования справки из разных источников (автоматизированная проверка юридических лиц) [6, С. 24];

- транзакций, платежей на предмет признаков мошенничества (автоматизированная проверка);

- социальные связи в качестве Антифрод-решения (анализа связей между людьми для выявления потенциального мошенничества).

Необходимо отметить, что выявление недобросовестности со стороны кандидатов на должности на этапе трудоустройства имеет непосредственное значение при предотвращении нанесения ущерба организации. Риски причинения ущерба заключаются в том, что кандидаты, не проявившие заинтересованности и трудолюбия при получении начального опыта, в дальнейшем не смогут добросовестно выполнять те обязанности, которые будут возложены на них в силу занимаемой должности. Таким образом, выявление сведений, позволяющих определить недобросовестных кандидатов на должности имеет непосредственное значение для процесса подбора специалистов при формировании рабочего коллектива.

Перспективы для практической реализации

Один из практических примеров реализации данного решения реализован в организации ООО «Практиком», где был разработан специальный программный модуль «Антифрод рекомендаций» с применением технологий машинного обучения. Данное программное обеспечение обладает следующим набором функций:

1. Формирование запроса в существующие базы данных компаний, содержащие официальные сведения.
2. Определение количества выявленных признаков недобросовестности прохождения соискателем практики по каждой профильной организации. Ранжировка компаний в зависимости от количества выявленных признаков.
3. Формирование отчета с перечнем выявленных признаков.
4. Определение количества выявленных признаков недобросовестности прохождения соискателем практики по каждой профильной организации. Ранжировка компаний в зависимости от количества выявленных признаков.

В качестве единого источника для получения данных о коммерческих организациях была выбрана база «Контур.Фокус». На данный выбор повлияло два фактора:

• сервис позволяет вести проверку автоматически;
• с помощью API Контур.Фокуса можно получать проверенные данные из 32 официальных источников.

Возможности, которые дает использование базы данных «Контур.Фокуса»:

• составление достоверных портретов компаний, где была пройдена практика,
• проверка студентов и сотрудников организаций на аффилированность, а также выявление других признаков, вызывающих сомнение в достоверности рекомендаций (в частности, несостоятельность юридического лица, несоответствие деятельности юридического лица по ОКВЭД и специальности студента).

Алгоритм реализуется в три этапа:

На первом этапе пользователь заполняет анкету, в которой указывает сведения об образовании, полученных умениях и навыках. Перечисляет конференции, конкурсы профессионального мастерства, пройденные практики и иные другие достижения. Указывает название компаний, их ИНН и местонахождение, а также имена руководителей (совладельцев). Также пользователь может приложить рекомендации от имени компании, указав дополнительные сведения о ней.

На втором этапе запускается автоматическая проверка по данным, которые передаются с помощью API Контур.Фокуса. Система оценивает ОКВЭД, место регистрации, численность сотрудников. Проводит проверку на аффилированность, анализирует финансовые показатели юрлица.

И, наконец, на третьем этапе система формирует справку с результатом отчета. Любые несоответствия становятся поводом для более глубокой проверки анкеты в ручном режиме модератором. Так, модератор может обратиться в организацию с запросом об уточнении реальности прохождения студентом практики.

Например, специальность студента — газосварщик. В отчете он указывает, что получил навыки в организации, в которой в качестве основного вида деятельности указан консалтинг. Данное обстоятельство можно рассматривать как признак недобросовестности, выступающий поводом для запроса более подробной информации. Если студент не сможет документально подтвердить указанные им данные, модератор присвоит стажировке низкое значение при расчете итоговой рейтинговой оценки или не будет учитывать ее вовсе при составлении рейтинга. Возьмём другой пример: предположим, не совпадает место прохождения практики и местонахождение организации. При установлении данного факта модератор может также запросить следующие доказательства: авиабилеты, фотографии с практики и иные сведения, позволяющие установить, что студент действительно проходил практику в организации. Информация о результатах проверки будет открытой. Все пользователи, включая самого студента, смогут узнать, какие критерии повлияли на его рейтинг.

Процедура проверки достоверности направлена на выявление следующих ситуаций (признаков) недобросовестного поведения:

• образовательная деятельность Студента в заявленной Практике / Стажировке в реальности не проводилась (например, в силу отсутствия у Профильной организации условий и сотрудников для проведения Стажировки / Практики организация может быть признана «фирмой-однодневкой»);
• проведение образовательной деятельности в ходе Практической подготовки не соответствовало образовательным стандартам (практика не была пройдена добросовестно и качественно: например, образовательная программа была выполнена с нарушениями, среди которых может быть отсутствие ознакомления с нужным оборудованием или прохождение практики в сроки, объективно не позволяющие сформировать необходимые навыки.

Определение любого из этих признаков свидетельствует о том, что прохождение практики исключительно путём подписания документов без получения соответствующих навыков и знаний не привело к возникновению практических навыков, необходимых для работы по специальности.

Выводы

Разработка и внедрение алгоритмов, направленных на выявление и противодействие недобросовестности, является одним из перспективных направлений цифровизации кадровой службы, призванных повысить эффективность ее работы.

Список источников

1. Вражнова, М. Н. Особенности использования машинного обучения в автоматизированных системах управления персоналом для прогнозирования кадровых рисков организации / М. Н. Вражнова, М. А. Филатов // Заметки ученого. – 2022. – № 5. – С. 76-79;
2. Громов, А. Ю. Исследование влияния недостоверной информации в интеллектуальных системах подбора персонала / А. Ю. Громов, А. Т. Кежватова, Д. А. Левшин // Известия Тульского государственного университета. Технические науки. – 2018. – № – С. 131-136;
3. Марчукова, Е. И. Проблемы и перспективы использования машинного обучения в рекрутинге на основе опыта российских и зарубежных компаний / Е. И. Марчукова // Друкеровский вестник. – 2022. – № 3(47). – С. 211-219;
4. Около 90% работодателей сталкивались с ложью в резюме соискателей – URL: https://esquire.ru/articles/132774-okolo-90-rabotodateley-stalkivalis-s-... (дата обращения: 30.07.2023);
5. Приказ Минтруда России от 09.07.2021 N 462н "Об утверждении профессионального стандарта "Специалист по моделированию, сбору и анализу данных цифрового следа" (Зарегистрировано в Минюсте России 30.07.2021 N 64502) // КонсультантПлюс : надежная правовая поддержка. – М., 2023. – URL:https://www.consultant.ru/document/cons_doc_LAW_392193/;
6. Романов, Д. В. Методика управления антифрод-системой в логистической отрасли на основе байесовского классификатора / Д. В. Романов, А. А. Рындин, Ю. С. Скворцов // Вестник Воронежского государственного технического университета. – 2020. – Т. 16, № 1. – С. 23-32;
7. Самоходкина, И. А. Разработка микросервиса оценки компаний / И. А. Самоходкина, А. К. Писарев, В. В. Носкин // XXVI Региональная конференция молодых ученых и исследователей Волгоградской области : сборник материалов конференции, Волгоград, 16–28 ноября 2021 года. – Волгоград: Волгоградский государственный технический университет, 2022. – С. 159-160;
8. Шаньгина, А. М. Цифровой след как инструмент HR-менеджмента / А. М. Шаньгина // Достойный труд - основа стабильного общества : материалы ХIV Международной научно-практической конференции, Екатеринбург, 10–12 ноября 2022 года / Уральский государственный экономический университет. – Екатеринбург: Уральский государственный экономический университет, 2022. – С. 254-25