Как оценивать изображения
Ваша задача — внимательно сравнивать изображения и отвечать по собственному впечатлению. У исследования нет «правильного» ожидаемого ответа. Варианты A и B могут меняться местами между заданиями.
1. Подготовка
Войдите под своим логином rater1, rater2 или rater3. Не передавайте пароль другим людям и не используйте общий аккаунт. Желательно работать за компьютером, на одном и том же экране, без ночного цветового фильтра. Установите удобную яркость и масштаб браузера 100%. Телефон подходит для знакомства с интерфейсом, но для основной оценки используйте большой экран.
Начните с пилота. Он нужен для проверки понятности вопросов и удобства просмотра; пилотные ответы не входят в основные результаты. Если формулировка непонятна, сообщите организатору до основного этапа.
2. Сохранение: сравнивайте с образцом
В этом этапе показаны Образец, Вариант A и Вариант B. Сначала посмотрите на полные изображения, затем на увеличенную область товара. Координаты увеличения одинаковы для всех трёх изображений. Это прямоугольная область из исходной разметки; она может содержать часть фона.
- Сохранение товара: какой вариант ближе к образцу по форме, устройству, материалу, цвету, фактуре и узнаваемым нетекстовым деталям товара?
- Сохранение фона: какой вариант лучше сохраняет окружение, расположение и внешний вид остальных нетекстовых элементов?
Не оценивайте правильность рекламных надписей, исправление букв и совпадение запрошенного текста. Надписи поверх фона могут меняться. Старайтесь оценивать именно нетекстовые свойства. Если надписи закрывают необходимые детали и сравнение невозможно, используйте «Не могу определить».
Сохранение не равно красоте. Например, в образце может быть необычная форма товара. Более реалистичный, но сильно изменившийся товар может хуже сохранять образец. На этапе сохранения отвечайте о близости к образцу; качество оценивается отдельно.
3. Качество: оценивайте сами картинки
В отдельном этапе качества показаны только A и B, без образца. Сравнивайте реалистичность товара, отсутствие лишних или сломанных деталей, согласованность освещения и сцены, видимые артефакты. Не проверяйте правильность рекламного текста. Не пытайтесь вспомнить образец из другого задания: оценивайте качество двух изображений перед вами.
4. Варианты ответа
| Ответ | Когда выбирать |
|---|---|
| Вариант A / Вариант B | Один вариант заметно лучше по указанному критерию. |
| Примерно одинаково | Оба варианта удалось сравнить, но существенного преимущества нет. Они могут быть одинаково хорошими или одинаково плохими. |
| Не могу определить | Вы не можете уверенно применить критерий: товар неразличим, сравнение неоднозначно или нужная область не позволяет сделать вывод. Это не то же самое, что равенство. |
Для сохранения нужно ответить на оба вопроса. Для качества — на один. Ответы не выбраны заранее. Не обязательно выбирать один и тот же вариант для товара и фона.
5. Увеличение и сохранение
Нажмите на изображение, увеличенную область товара или кнопку «Увеличить изображения». Ползунок меняет масштаб; прокрутка синхронизирована между колонками. Закройте просмотр кнопкой или Esc.
Когда все изображения загрузились и выбраны ответы, нажмите «Сохранить и дальше». Дождитесь следующего задания. Если соединение пропало, повторите сохранение: одинаковый ответ не запишется дважды. Кнопка «Изменить предыдущий ответ» возвращает последнее сохранённое задание текущего этапа. История изменений сохраняется.
Можно добавить короткий комментарий. Он необязателен. Если картинки не загружаются, обновите страницу или нажмите «Сообщить о технической проблеме». Не заменяйте ошибку загрузки ответом «Не могу определить».
6. Перерывы и независимость
Делайте перерыв каждые 20–30 минут. Можно закрыть страницу после сохранения ответа: при следующем входе вы продолжите с первого незавершённого задания. Несохранённый ответ после закрытия страницы может потеряться.
Некоторые задания могут повторяться. Оценивайте их заново; не пытайтесь восстановить прошлый ответ. Не обсуждайте конкретные изображения и решения с другими оценщиками до окончания исследования. Не используйте внешние модели или инструменты для выбора ответа.
7. Объём работы
У каждого участника: 26 пилотных заданий сохранения и 26 качества; 1 548 основных заданий сохранения, включая контрольные повторы. Дополнительный этап качества — 860 заданий, если организатор его откроет. За один подход выполнять всё не требуется. Основные этапы откроются после проверки пилота.
Организатор увидит ответы, комментарии и время работы. Логины обезличены; не указывайте имя или личные данные в комментариях. Цель — понять различия восприятия, поэтому честное «одинаково» или «не могу определить» полезнее догадки.