Интервью с продюсером The Sims 4 о тестировании игры

Интервью с Дейвом проводит МакКензи Бейтс.

Примечание переводчиков. В интервью обсуждается плейтестинг (playtesting) — это тестирование в процессе игры, то есть игра в игру с целью проверки ее качеств. В русском языке нет точного слова для этого процесса. Тестирование — более широкое понятие, включающее разные аспекты контроля качества. Здесь же под тестированием будет подразумеваться именно плейтестинг.



Что для вас значит плейтестинг?
Для меня это означает критическую оценку игры в качестве пользователя (или, по крайней мере, приближенно к видению пользователя). Это не столько тестирование самой игры, сколько проверка собственных ожиданий того, насколько играемо и популярно будет приложение среди вашей целевой аудитории. Я не могу не подчеркнуть, насколько это важно.
Любили ли вы когда-нибудь кого-то или что-то так сильно, что не обращали внимания на любые его недостатки, даже если это длилось недолго?
Ну, с созданием игр так же. Почти неминуемо вы будете испытывать чувства к своему творению, и, с одной стороны, это даже хорошо.
Но это также может легко привести к чрезмерной самоуверенности, высокомерию и, в конце концов, к недостаткам в программе. Может, вам какие-то решения кажутся убедительными и глубоко продуманными, но в итоге они будут непонятны игрокам. Может, некоторые художественные стили плохо сочетаются и отвлекают от основного сюжета?
В итоге вы можете обнаружить, что вещи, которые вы считали великолепными, сохраняли интерес игроков лишь на небольшой промежуток времени; или, возможно, они никогда даже не добирались до по-настоящему крутых вещей, потому что были отвлечены какими-то сюжетными аспектами, которых вы не предвидели. Или, быть может, вы с радостью обнаружите, что все ваши ожидания оправдались, и ваша игра хороша настолько, насколько вы о ней думали.
Правда в том, что, насколько бы вы ни были умны или талантливы, очень важно собирать информацию опытным путем на протяжении всего процесса разработки. Это даёт вам возможность взглянуть на ваш продукт с другой точки зрения, которой иначе у вас может не быть, и позволяет среагировать на любое количество многочисленных проблем, которые могут обнаружиться в этих сессиях.

Как человек, который начал работать в индустрии в качестве тестера, чувствуете ли вы, что опыт в тестировании привёл вас к предвидению проблем дизайна, которые ваши коллеги, не имеющие этого опыта, не заметили бы?
В отделе тестирования вам приходится тестировать собственные проекты самыми неожиданными способами, которые могут привести к ошибкам в программе. Я думаю, это, безусловно помогло мне сформировать устойчивую привычку подходить к оценке дизайна с разных углов и озвучивать вопросы связанные с различными критическими ошибками: в игровом взаимодействии, качестве графики, пользовательском интерфейсе. В свою очередь, это поможет привести к более детализированному, ясному дизайну, что позволяет избежать некоторых сюрпризов, неизбежно ожидающих в будущем.

Этот опыт приходит на ум, когда вы тестируете что-либо?
Конечно. К счастью, (иногда, к сожалению), этот образ мышления подкрадывается ко мне даже слишком часто, во всех аспектах моей жизни. Я обычно смотрю не на то, "что я должен увидеть", а активно пытаюсь разглядеть, что скрывается за внешним фасадом, найти в нем неровности и трещины. И потом чувствую себя просто обязанным ткнуть в это место, чтобы посмотреть, насколько они глубоки.

Какая вещь, на ваш взгляд, наиболее значима для хорошего тестирования?
Понимание того, что вы пытаетесь достичь. В чём смысл? Чего вы пытаетесь этим добиться? Вы тестируете ранние, пре-альфа версии ПО, чтобы убедиться, что определённый базовый набор функций привлекателен настолько, насколько вы думаете или верите в это? Имеют ли определенные режимы или зоны игры больше противоречий и вопросов, нуждающихся во внимании, в сравнении с более надёжными областями? Возможно, существуют определённые неисправные области в игре, от которых вы должны уберечь игроков, чтобы они не отвлекались, или того хуже? Экспериментируете ли вы с различными целевыми аудиториями и хотите собрать отзывы о симпатиях и антипатиях к вашей программе с разных точек зрения?
Точное знание о том, что вы хотите спросить и обозреть, напрямую соотносится с тем, как будет проводиться ваше тестирование; от фактической конфигурации ПО до количества и профиля тестеров, а также вопросов, которые вы, возможно, захотите задать в конце. Тестирование бывает всех форм и размеров и может быть как крайне эффективным, так и совершенно бесполезным. Как и практически все остальные аспекты разработки программного обеспечения, тестирование лучше всего помогает вам при тщательном подходе и вложении в него, и не должно рассматриваться как нечто второстепенное, спланированное и выполненное наспех.

Какими способами вы проводите тестирование (еженедельно, на рабочем месте и т.д.)?
Чем больше возможности тестировать в разных условиях, тем лучше. Это не всегда должен быть внешний пользователь, которые тоже принимают участие в тестировании. Внутреннее тестирование может быть также очень полезным. Особенно в больших командах, где вы можете найти людей, которые не имеют близкого знакомства с некоторыми аспектами игры.
У вас может быть постоянно работающая станция с программным обеспечением, на которой сотрудники компании могут поиграть и после ответить на ряд вопросов. Вы можете в процессе разработки устраивать игровые сессии для разработчиков, также с последующим опросом. Вы можете нанять внешних тестеров, чтобы протестировать определенные аспекты вашей программы и получить первые отзывы и впечатления (их называют еще тестерами-салфетками, потому что вы используете их только один раз, а для повторного проведения теста необходимо искать новых людей). Вы можете устроить недельные, многочасовые сессии, чтобы собрать данные о долгосрочном прогрессе и увлекательности игры.
И снова: точное знание вопросов, которые вы хотите изучить, даст вам понимание того, какие именно виды тестирования нужно провести. Есть огромное количество способов их проведения, но без вдумчивого подхода вы только потеряете время и силы!

Насколько различие в возрасте целевой аудитории The Sims и членов команды разработчиков влияет на роль и важность тестирования в процессе создания игры?
Многие из наших игроков намного младше большинства из нас, так что получение их прямых отзывов очень важно, чтобы убедиться, что мы действительно понимаем нашу аудиторию и можем предоставить им игру надлежащего качества. Лично я как игрок люблю игровые системы, основанные на прогрессе, мотивации, долгосрочном игровом процессе, и это то, что я обычно стремлюсь развить в наших играх.
Так что работа с тестером, которого больше интересует сюжетный аспект, или с другим, который ценит больше всего возможности строительства и дизайна, может дать мне совершенно разные видения одной и той же игры. В конечном счёте это позволяет мне создавать лучшие, насколько возможно, программы, которые будут удовлетворять не только мои личные желания, но и учитывать также другие точки зрения.

Использовали ли вы тестирование на фазе идеации (играя с целевой аудиторией, чтобы получить новые идеи)? Если да, то как?
В этом случае вместо тестирования мы часто используем опросы или обратную связь с пользователями, чтобы генерировать новые идеи и исследовать уровень интереса вокруг определённых тем или различных будущих продуктов. Гораздо эффективнее и по времени, и по деньгам использовать на этом этапе опросы и анкеты, чем усердно тестировать экспериментальное программное обеспечение.
Однако после принятия решения о создании продукта, мы довольно часто привлекаем тестеров на ранних стадиях разработки, чтобы получить отзывы об основных функциях и элементах, которые создаются и запускаются раньше всего. Но в то же время мы стараемся не раскрывать много информации сторонним лицам слишком рано, иначе это испортит сюрприз для всех!

Можете ли вы вспомнить пример, где после тестирования вынуждены были развернуться и двигаться в совершенно новом направлении при разработке?
Такое происходит часто, а если нет - это означает, что вы проводите тестирование и реагируете на отзывы тестировщиков ненадлежащим образом. Например, в нашем последнем крупном тестировании мы видели, что игроки зацикливались на определённых игровых аспектах, что оказывало общее негативное влияние на их игровой опыт.
Благодаря нашим усилиям тестирование имело оглушительный успех, потому что мы сумели обнаружить определённые проблемы, нуждающиеся в исправлении, наличие которых мы прежде не осознавали. Но, по крайней мере, теперь мы знали, как их исправить. И в нашем случае благодаря комбинации ряда изменений в пользовательском интерфейсе, небольшим исправлениям во взаимодействиях с объектами и обновлению нескольких определенных мест в макете создания мира, я думаю, мы проделали довольно неплохую работу по устранению обнаруженных проблем.

Как вы следите за тестированием и фиксируете его результаты?
Мы делаем несколько вещей. У нас есть координатор, который управляет тестерами на протяжении всего тестирования и минимизирует количество посторонних людей в комнате. Чем больше ваши тестеры смогут сфокусироваться только на программе, и чем меньше будут отвлекаться на людей, наблюдающих за ними (или даже хуже - влияющих на их мнение), тем лучше будет результат.
Это уменьшает количество людей, которые должны наблюдать лично, и в то же время ограничивает количество разработчиков, которые могут получить пользу от их наблюдений. Так мы определяем, что именно мы будем тестировать, а также какие люди понадобятся или захотят присутствовать. Кому необходимо быть на тестировании? Это обычно смесь из работников отдела тестирования, дизайнеров/разработчиков, маркетологов - в зависимости от того, какое тестирование проводится.
Одни люди необходимы для настройки программного обеспечения и помощи тестерам в решении разнообразных проблем, неизбежных на ранних стадиях. Другие хотят присутствовать, чтобы увидеть, работают ли их объекты (или что-либо другое) должным образом. Обычно у нас от одного до трех координаторов в дополнение к двум-восьми людям, следящим за работой закулисно (и реагирующих на потенциальные препятствия и проблемы).

Вы использовали тестирование, чтобы утвердить разработку с инвесторами?
Честно говоря, нет. Я думаю, что обычно к тому времени, когда вы тестируете продукт (или даже части продукта), у вас уже есть чёткое видение того, что вы пытаетесь сделать, и план, статический и динамический (а также финансирование).
Тестирование - это больше инструмент контроля и проверки, способ показать, являются ли вещи на самом деле такими (хорошими, плохими, уродливыми), какими вы их считаете. Часто вы можете обнаружить, что большинство полученных отзывов говорят о вещах, о которых вы и так уже знали! Но знать, что ты идёшь верным путём, а не слепо верить в это, очень полезно. Но настолько же часто получаемые отзывы указывают на совершенно непредвиденные и неожиданные ошибки, проблемы или даже пожелания игроков.
Что касается утверждения наших проектов: я думаю, демонстрация ранних прототипов, наличие надёжных, хорошо продуманных планов развития и умелая презентация продукта намного более эффективны в этом деле.

Как отличается тестирование дополнений от тестирования базовой игры?
Я думаю, оно помогает получить особую, конкретную информацию. У вас уже есть готовая база игроков, от которых вы успели узнать определённые вещи. У них уже есть опыт знакомства с вашим продуктом, что позволяет им сфокусироваться на новых вещах, которые вы добавляете в их игру. Это дает вам возможность спуститься глубже в кроличью нору и добавить очень специфические изменения в тестирование, которое вы хотите провести (создание тестирования для различных типов игроков, постоянные тестовые сессий с выделенными группами, и т.д.). Также из-за того, что дополнение по определению меньше самой игры, это обычно позволяет вам быть намного более сфокусированным на том, что вы хотите протестировать.

Во время плейтеста дополнения тестируете ли вы его только с игроками/владельцами базовой игры (поскольку они уже знают, что это и имеют чёткое представление о дополнении, и поэтому контент из базовой игры не будет их так сильно отвлекать), или вы тестируете его с людьми, которые не играли и не владеют базовой игрой (с надеждой, что это дополнение убедит их купить базовую игру)?
Вы попали в точку. И то, и другое. Обычно мы пытаемся запускать сессии с каждой из представленных групп. Иногда мы хотим убедиться, что люди, которым нравится базовая игра, полюбят и новое дополнение. Порой мы хотим проверить, сможет ли новое дополнение снова увлечь игроков, которым в данный момент игра не нравится. А бывает, что мы хотим увидеть, каким образом, лучше или хуже, отреагирует на определенные добавленные возможности новая целевая аудитория. Мы стараемся получать из этих сессий максимум возможного.