Разработка стратегии оценки. При разработке стратегии оценки, а
также при выборе и оценке инструментов оценки важно учитывать ряд
факторов, таких как:
Надежность. Термин надежность относится к последовательности.
Достоверность оценки демонстрируется согласованностью оценок,
полученных, когда одни и те же кандидаты пересматриваются с той же или
эквивалентной формой оценки (например, тест навыков работы с
клавиатурой).
Надежность отражает степень, в которой эти индивидуальные
различия баллов обусловлены «истинными» различиями в оцениваемой
компетентности, и степень, в которой они обусловлены случайными или
случайными ошибками.
Общие источники такой ошибки включают изменения:
психическое или физическое состояние заявителя (например,
уровень мотивации, бдительности или тревоги заявителя во время
тестирования);
управление оценкой (например, инструкции заявителям, сроки,
использование калькуляторов или других ресурсов);
условия измерения (например, освещение, температура, уровень
шума, визуальные отвлекающие факторы);
процедуры подсчета баллов (например, оценщики, которые
оценивают работу кандидата в интервью, упражнения центра оценки,
письменные тесты).
Цель хорошей оценки – минимизировать случайные источники
ошибок. Как правило, чем меньше погрешность, тем выше надежность.
Надежность выражается в виде положительного десятичного числа в
диапазоне от 0 до 1.00, где 0 означает, что оценки полностью состоят из
ошибок.
Надежность 1,00 будет означать, что оценки не содержат случайных
ошибок.
На практике баллы всегда содержат некоторое количество ошибок, а
их достоверность меньше 1,00.
Для большинства применений оценки, надежности выше .70,
вероятно, будут расценены как приемлемые.
Практическая важность согласованности в оценочных баллах
заключается в том, что они используются для принятия важных решений о
людях.
В качестве примера предположим, что два агентства используют
аналогичные версии теста на навыки письма для найма технических авторов
начального уровня.
Представьте себе последствия, если результаты тестов были
настолько противоречивыми (ненадежными), что кандидаты, подавшие
заявку в оба агентства, получили низкие баллы по одному тесту, но гораздо
более высокие баллы по другому.
Решение о найме соискателя может в большей степени зависеть от
достоверности оценок, чем от его фактических навыков письма.
Надежность также важна при принятии решения о том, какую оценку
использовать для данной цели.
В руководстве по испытаниям или другой документации,
подтверждающей использование оценки, должны содержаться подробные
сведения о надежности и способах ее расчета. Потенциальный пользователь
должен просмотреть информацию о надежности, имеющуюся для каждой
потенциальной оценки, прежде чем принимать решение о ее реализации.
Надежность также является ключевым фактором при оценке
достоверности оценки.
Нельзя ожидать, что оценка, которая не дает согласованных оценок
для одних и тех же лиц, обследованных в почти идентичных условиях, даст
полезные прогнозы других показателей (например, производительности
труда). Надежность критически важна, потому что она ограничивает
действительность.
Обоснованность. Валидность относится к взаимосвязи между
результатами оценки и результатами работы на работе. Валидность является
наиболее важным вопросом, который следует учитывать при принятии
решения об использовании конкретного инструмента оценки, поскольку
оценка, не содержащая полезной информации о том, как человек будет
выполнять свою работу, не представляет ценности для организации.
Существуют различные типы доказательств действительности. Выбор
наиболее подходящего типа будет зависеть от того, как будет использоваться
метод оценки при принятии решения о приеме на работу.
Например, если тест образца работы предназначен для имитации
фактических задач, выполняемых на задании, то может потребоваться подход
к валидности содержимого, чтобы установить, что содержимое теста
убедительно соответствует содержимому задания, как определено анализом
задания.
Если личностный тест предназначен для прогнозирования успеха
работы претендента на должность обслуживания клиентов, то доказательства
прогностической достоверности может потребоваться показать баллы по
личностному тесту, связанные с последующим выполнением на работе.
Наиболее часто используемой мерой прогностической валидности
является коэффициент корреляции (или валидности).
Коэффициенты корреляции находятся в диапазоне абсолютных
значений от 0 до 1,00.
Корреляция 1,00 (или -1,00) указывает на то, что два показателя
(например, баллы тестов и оценки эффективности работы) идеально связаны.
В таком случае, вы могли бы прекрасно предсказать фактическое
выполнение работы каждого заявителя на основе одного балла оценки.
Корреляция 0 указывает на то, что две меры не связаны.
На практике коэффициенты достоверности для одной оценки редко
превышают 50.
Коэффициент валидности 30 или выше, как правило, считается
полезным для большинства обстоятельств (Biddle, 2005)
22
.
При использовании нескольких инструментов выбора можно
рассмотреть комбинированную валидность этих инструментов.
В той мере, в какой инструменты оценки измеряют различные
факторы, связанные с работой (например, способность рассуждать и
честность), каждый инструмент будет предоставлять уникальную
информацию о способности заявителя выполнять работу.
При совместном использовании инструменты могут более точно
предсказать работу кандидата, чем любой из инструментов, используемых в
одиночку. Величина прогностической валидности, которую один инструмент
добавляет относительно другого, часто называется инкрементной
валидностью инструмента. Важно знать возрастающую достоверность
оценки, потому что даже если оценка сама по себе имеет низкую
достоверность, она может значительно повысить эффективность работы при
соединении с другой мерой. Подобно тому, как инструменты оценки
различаются в отношении надежности, они также различаются в отношении
действительности. Тесты на когнитивные способности используются в
качестве основы, потому что они являются одними из наименее
дорогостоящих мер для администрирования и наиболее действительными
для самых разных рабочих мест.
Второй столбец – это корреляция комбинированных инструментов с
производительностью работы или их совокупное отношение к
производительности работы. Последний столбец показывает процентное
увеличение срока действия от объединения инструмента с мерой общей
познавательной способности. Например, тесты на когнитивные способности
имеют оценочную валидность 51 и испытания образца работы имеют
оцененную ценность 54. В сочетании эти два метода имеют оценочную
22
Даринская В.М. Чаплыгин Н.Н. Оценка и развитие персонала методом «ассессмент-центр». - СПб.: Речь,
2008. - 224 с.
обоснованность 63, увеличение на 24% выше и выше того, что может
обеспечить тест когнитивных способностей, используемый отдельно
(Таблица 2).
Таблица 2.
Действительность различных инструментов оценки по
отдельности и в сочетании
Метод оценки
Действительность
метода,
используемого в
одиночку
Инкрементная
(комбинирова
нная)
валидность
% увеличение
валидности от
сочетания
инструмента с
когнитивными
способностям
и
Тесты общей
познавательной
способности
51
Испытания образца
работы
54
63
24%
Структурированное
интервью
51
63
24%
Тесты знаний
заданий
48
58
14%
Отчет о
выполнении*
45
58
14%
Тесты целостности /
честности
41
65
27%
Неструктурированны
е интервью
38
55
8%
Центр оценки
37
53
4%
Меры Biodata
35
52
2%
Тесты на
добросовестность
31
60
18%
Проверка ссылок
26
57
12%
Многолетний опыт
работы
18
54
6%
Метод точки
обучения и опыта
11
52
2%
Лет обучения
10
52
2%
Интересы
10
52
2%
Информационные технологии оценки персонала. Доступная технология
является еще одним фактором при определении соответствующего
инструмента оценки. Работодатели могут извлечь выгоду из использования
технологий для сужения пула кандидатов, таких как онлайн-скрининг
резюме или онлайн-тесты биографических данных (biodata).
Информационные технологии могут также преодолеть дистанционные
трудности и позволить работодателям охватить и опросить большее число
кандидатов или работников.
Однако, поскольку технология удаляет человеческий элемент из
процесса оценки, она может восприниматься работниками как «холодная» и,
вероятно, лучше всего используется в ситуациях, которые не сильно зависят
от вмешательства человека, таких как сбор заявок или проведение отбора
кандидатов.
Технология не должна использоваться для принятия окончательных
решений о выборе, поскольку они традиционно требуют более
индивидуальной и углубленной оценки кандидата
23
.
Проектирование процесса выбора. Разработка стратегии оценки должна
начинаться с анализа важнейших компетенций, определенных по
результатам анализа работы. При разработке процесса отбора необходимо
решить ряд практических вопросов, таких как:
сколько денег доступно?
какие инструменты оценки будут выбраны?
если используется несколько инструментов, в каком порядке
их следует вводить?
23
Маклаков А.Г. Профессиональный психологический отбор персонала. Теория и практика. - СПб.
и др.: Питер, 2008. - 480 с.
нужны ли обученные оценщики, и если да, то сколько
(например, для проведения интервью)?
сколько человек, как ожидается, будет применяться?
каковы сроки заполнения вакансий?
Одним из ключевых соображений является количество инструментов
оценки, которые необходимо включить в этот процесс. Использование
различных оценок имеет тенденцию к повышению достоверности процесса и
предоставит информацию о различных аспектах вероятной работы.
Использование одной меры, как правило, позволяет выявить
кандидатов, которые имеют сильные стороны в конкретной области, но
могут не обращать внимания на кандидатов, которые имеют высокий
потенциал в других областях.
Оценка кандидатов с использованием нескольких методов позволит
уменьшить количество ошибок, поскольку люди могут по-разному
реагировать на различные методы оценки.
Например, некоторые кандидаты, которые преуспевают в письменных
тестах, могут быть слишком нервными, чтобы преуспеть в интервью, в то
время как другие, которые страдают от беспокойства теста, могут дать
впечатляющие интервью.
Еще одним преимуществом использования различных методов оценки
является возможность использования множественного барьерного подхода.
Наименее дорогие оценки могут быть использованы в первую очередь для
сокращения пула кандидатов. Более трудоемкие и трудоемкие процедуры
могут быть введены на более позднем этапе, когда будет меньше кандидатов
для оценки.
Обеспечение эффективного процесса оценки. Учреждениям
рекомендуется стандартизировать и документировать процесс оценки с
помощью следующих шагов:
1) Относитесь ко всем людям последовательно. Это легче всего
сделать, приняв стандартизированный процесс оценки и принятия решений.
«Стандартизация» означает унификацию процесса для обеспечения сбора
одинаковой информации по каждому лицу и ее последовательного
использования при принятии решений о трудоустройстве.
2) Убедитесь, что инструмент выбора основан на современном
анализе заданий и поддерживается убедительными доказательствами
достоверности. Валидационное исследование может проверить, что
кандидаты, которые хорошо оценивают устройство отбора, с большей
вероятностью преуспеют в работе и способствуют организационному успеху.
Учреждениям, не знакомым с методологией валидационных исследований,
рекомендуется проконсультироваться с экспертом по измерениям.
3) Для обеспечения того, чтобы заявители воспринимали процесс как
справедливый, агентствам рекомендуется: предложите кандидатам
реалистичный предварительный просмотр работы перед процессом оценки;
обсудите с кандидатами обоснование использования устройства отбора, а
также то, что оно оценивает и почему эти компетенции важны для работы;
предоставить соискателям возможность задать вопросы о работе и процессе
отбора; относитесь к людям с уважением, чувствительностью и
беспристрастностью во время процесса; обеспечить обратную связь обо всех
решениях по найму своевременно и вежливо; получить обратную связь от
кандидатов (отобранных и невыбранных) о процессе отбора.
4) Убедитесь, что все лица, участвующие в процессе отбора
(например, администраторы, интервьюеры, эксперты) понимают свои роли и
обязанности.
Вывод:
Поскольку каждый метод может играть важную роль в процессе
набора и отбора, для каждого метода оценки предоставляется краткая
информация, а также различные соображения, которые необходимо
учитывать при рассмотрении каждой оценки.
2.3. Анализ результатов исследования методов
оценки персонала организации
Для анализа данных использовались методы дифференциальной
статистики, особенно анализ факторных факторов и анализ подтверждающих
факторов. Во-первых, набор из 33 пунктов, относящихся к «эффективности
практики управления персоналом», анализируется с использованием
факторного анализа.
Эти результаты могут быть использованы для подтверждающего
факторного анализа. Фактически, во время поискового факторного анализа
предметы классифицируются по соответствующему стилю. Затем эта
факторизация во время подтверждающего факторного анализа может быть
одобрена или отклонена в методе моделирования структурных уравнений.
Исследовательский факторный анализ был выполнен с помощью SPSS 19, а
подтверждающий факторный анализ - с помощью LISREL 8.8. Будут
представлены результаты разведочного факторного анализа и моделирования
структурных уравнений.
Анализ данных с использованием факторного анализа. Факторный
анализ пытается определить лежащие в основе переменные или факторы,
чтобы объяснить характер корреляции между наблюдаемыми переменными.
Факторный анализ можно разделить на два типа исследовательских и
подтверждающих категорий.
Для проведения факторного анализа необходимы следующие четыре
основных шага: 1- Формирование матрицы коэффициентов корреляции из
всех переменных, используемых при анализе и оценке подписки, 2 –
Извлечение факторов из матрицы корреляции, 3-Выбор фактора и ротация, 4
– Анализ результатов
24
.
После факторного анализа вопросника из 33 пунктов, основанного на
данных, собранных из 211 вопросника, индекс теста КМО составляет 0,952,
24
Schumacker R. E, Lomax R. G. A .2010. Beginner's Guide to Structural Equation Modeling, Routledge; 3th edn,
536 p.
что превышает 0,6 и указывает на адекватность размера выборки. Также
учитывая, что значение sig теста Бартлетта меньше 5%.
В этом случае факторы с 1 по 4 имеют собственные значения,
превышающие 1, и остаются в анализе. Фактически, таблица предполагает,
что вопросник, вместе с 4 факторами и общей объясненной дисперсией,
превышающей 72,32%, мог бы оценить «эффективность практики
управления человеческими ресурсами». Это показывает правильность
построения соответствующих вопросов.
Первый фактор, то есть «система отбора и укомплектования штатов»,
объясняет 21,1%; второй фактор - «оценка эффективности» - около 19,74%;
третий фактор - «обучение» около 16,1%; и четвертый фактор -
«компенсация», составляющая около 15,36% отклонения «эффективности
практики управления персоналом», что фактически указывает на важность
факторов в формировании структуры «эффективности практики управления
персоналом». Будет представлена повернутая матрица коэффициентов этих
полей, в которой указано, какие вопросы и при какой факторной нагрузке
связаны с этими факторами.
Метод вращения: Varimax с нормализацией Кайзера. Вращение
сходилось за 4 итерации. Мы можем прийти к выводу, что факторы,
влияющие на «эффективность практики управления персоналом»,
классифицированы по 4 группам, которые изучают «эффективность методов
управления персоналом» с учетом «общей конвертированной дисперсии»,
равной 72,324%.
Статистическая совокупность и выборка исследования
Статистическая совокупность этого исследования состоит из 400
экспертов и менеджеров на разных уровнях компании ИП «В.Н. Бережной».
Был использован простой метод случайной выборки. В этом методе размер
выборки получается по формуле Кохрана
25
.
25
Cochran, W. G. 19779 Sampling Techniques, Third Edition, New York: John Wiley & Sons, Inc.