Sprawy Metacritic: jak ocena szkodzi grom wideo

metacritic oceny recenzji
2015-08-09 06:30.

Błędy w Fallout: New Vegas mogły zjadać twój plik zapisu. Może zabrali kilka godzin postępu lub zmusili cię do zresetowania kilku zadań. Może błędy powodujące awarię gry wkurzyły cię do tego stopnia, że ​​chciałeś odzyskać 60 $. Ale prawdopodobnie nie kosztowały cię miliona dolarów.

[ Ten artykuł został pierwotnie opublikowany 11 kwietnia 2013 r.]

Być może słyszałeś tę historię : wydawca Bethesda miał dać deweloperowi Obsidianowi premię, jeśli ich postapokaliptyczna gra RPG osiągnęła średnią 85 na Metacritic, witrynie gromadzącej recenzje. Dostał 84 na PC i Xbox 360 oraz 82 na PS3.

„Gdyby tylko był to stabilny produkt i nie dostarczany z tak wieloma błędami, dałbym New Vegas wyższy wynik” - napisał recenzent strony 1up , która przyznała New Vegas B, czyli 75 w skali Metacritic .

„To rozczarowujące, że tak genialna i dopracowana gra zawiera błędy sprzed lat i niestety nasza ocena gry musi to odzwierciedlać” - powiedział w recenzji The Escapist , która przyznała grze 80 punktów .

Gdyby New Vegas osiągnęło 85, Obsidian dostałby swój bonus. Według osoby zaznajomionej z sytuacją, która w rozmowie z Kotaku poprosiła o nieujawnianie nazwiska , premia ta była warta 1 milion dolarów. W przypadku zespołu liczącego około 70 osób daje to średnio około 14 000 dolarów na osobę. Wystarczy na tani samochód. Może kilka rat kredytu hipotecznego.

To z pewnością były kosztowne błędy.

To nie jest anomalia: od lat wydawcy gier wideo używają Metacritic jako narzędzia do zawierania umów bonusowych z programistami. Od lat obserwatorzy krytykują tę praktykę. Ale to nadal się dzieje. W ciągu ostatnich kilku miesięcy rozmawiałem z około 20 programistami, wydawcami i krytykami na temat wpływów Metacritic i odkryłem, że system jest uszkodzony na kilka sposobów.

Jest coś z natury nie tak ze sposobem, w jaki wydawcy używają Metacritic.

Weź udział w debacie z fanami gier wideo na swojej ulubionej tablicy dyskusyjnej, a jest jeden temat, który zawsze będzie się pojawiał: recenzja wyników. Która gra uzyskała najwyższy wynik? Który uzyskał najniższy wynik? Jakie są najlepsze witryny z recenzjami? Które są najgorsze?

Nieuchronnie w pewnym momencie ktoś wskoczy do bójki i powie coś w rodzaju „Oceny lol i tak nic nie znaczą”. Dla niektórych może to prawda. Ale dla ludzi, którzy tworzą i sprzedają gry wideo, wyniki recenzji są ważniejsze, niż zdaje sobie sprawę wielu zwykłych fanów. Głównie dzięki Metacritic.

Dla niewtajemniczonych: Metacritic to witryna agregująca, która zawiera podsumowanie ocen dla wszystkich rodzajów mediów, w tym gier wideo. Osoby korzystające z Metacritic biorą te wyniki, konwertują je na 100-punktową skalę, uśredniają je za pomocą tajemniczej formuły ważenia (więcej o tym później) i wypluwają liczbę, którą nazywają Metascore, mającą na celu ocenę jakości ta gra. Na przykład Metascore dla BioShock Infinite to obecnie 94 . Aliens: Colonial Marines ? 48 .

Dla ludzi zajmujących się grami te Metascores mogą wiele znaczyć. Powiedz, że jesteś programistą, który potrzebuje pieniędzy. Masz kilka pomysłów, które możesz przedstawić wydawcom. Chodzisz na spotkania. Będą pytać: jak dobre były twoje gry?

„Zazwyczaj, kiedy idziesz na spotkania prezentacyjne i tak dalej, wydawcy będą chcieli poznać Twoje osiągnięcia w zakresie Metacritic” - powiedział Kim Swift, projektant gier znany z pomocy w tworzeniu gier takich jak Portal i Quantum Conundrum . „Jako firma, jaka jest Twoja średnia dla Metacritic? Jaka jest Twoja średnia w Metacritic jako osoba fizyczna? ”

Swift pracuje dla Airtight Games, niezależnego studia, które nie jest powiązane z żadnym wydawcą. Ich historia w Metacritic: Dark Void , która ma 59 w Metacritic i zeszłoroczna Quantum Conundrum , która ma 77 . [ AKTUALIZACJA: W 2014 r., Rok po pierwotnej publikacji tego artykułu, Airtight został zamknięty. Swift działa teraz w Amazon Games.]

Aby przetrwać, studia takie jak Airtight muszą negocjować umowy z dużymi firmami, takimi jak Capcom i Square Enix. Często oznacza to rozmowę o Metacritic. Czasami oznacza to noszenie ich historii Metacritic jak szkarłatnej litery.

To jest powszechne. Pracownik znanego studia gier opowiedział mi o niedawnym spotkaniu pitchingowym z wydawcą, podczas którego wydawca wspomniał o dwóch ostatnich partyturach studia Metacritic, które były przeciętne. Pracownik studia poprosił, abym nie wymienił stron zaangażowanych, ale twierdził, że wydawca wykorzystał Metascores jako dźwignię przeciwko studiu, najpierw do negocjacji mniej korzystnych warunków, a następnie do całkowitego odrzucenia propozycji.

Często premie programistów lub tantiemy są powiązane z wynikami recenzji gier. Fallout: New Vegas to jeden z głośnych przykładów, ale zdarza się to dość często.

„Obecnie jest to dość powszechne w branży”, powiedział mi Swift. „Kiedy negocjujesz z wydawcą umowę, budujesz premie dla zespołu w oparciu o wynik Metacritic. Więc jeśli przekroczysz 90, otrzymasz kwotę X na bonus. Jeśli spadniesz poniżej tego, nic nie dostaniesz lub dostaniesz mniejszą kwotę. ”

Innymi słowy, priorytetem dewelopera jest czasami nie tylko zrobienie dobrej gry, ale stworzenie gry, która według nich będzie rezonować z recenzentami, co może oznaczać wszystko, od sztucznego przedłużania gry lub dodawania zbędnych funkcji, które ich zdaniem lubią recenzenci.

„Kiedy pracujesz nad grą, częścią tego, co chcesz zrobić, jest wysoki wynik” - powiedział Swift. Powiedziała, że ​​nigdy nie widziała programisty zmieniającego część gry wideo tylko po to, by podnieść wyniki, ale niewątpliwie wpływ jest tam.

„Zwykle chodzi o coś innego, jak:„ Hej, moglibyśmy poświęcić kilka godzin na tę grę, ponieważ ludzie uważają, że dłuższa gra ma wyższą wartość ”- powiedział Swift. „Nigdy nie wskazuje bezpośrednio na:„ To poprawi nasz wynik o X punktów ”.

Matt Burns, wieloletni projektant gier, który pracował dla wielu dużych firm strzeleckich, a teraz tworzy indies ze swoją firmą Shadegrown Games , napisał o swoich osobistych doświadczeniach z Metacritic w 2008 roku. Burns powiedział, że obserwował z pierwszej ręki, jak studio deweloperskie pracowało tak ciężko, jak można stworzyć grę, która zdobyłaby wysokie oceny.

„Uzbrojeni w świadomość, że wyższe oceny za recenzje oznaczają dla nich więcej pieniędzy, producenci gier byli w ten sposób zachęcani do zidentyfikowania elementów, które recenzenci wydawali się najbardziej zauważać i które są najbardziej podobne - szczegółowa grafika, scenariuszowe bitwy,„ solidny ”internetowy tryb wieloosobowy, odtwarzacz wybór „i nie tylko, więcej wszystkiego” - napisał Burns .

„Podobnie jak firma spożywcza przeprowadzająca test smaku, aby dowiedzieć się, że ludzie w zasadzie lubią najbardziej słoną, najbardziej tłustą odmianę czegokolwiek i odpowiednio dostosowując swoją ofertę produktów, wielcy wydawcy starali się umieścić jak najwięcej tych kluczowych elementów w każdej sfinansowanej przez siebie grze. Tryby wieloosobowe zostały nagle zarzucone późno w rozwoju. Dodano więcej misji i broni, aby zwiększyć ich ofertę - do stworzenia przez partnerów zewnętrznych. Gry oparte na poziomach nagle zmieniły się w gry z otwartym światem.

„Zanim zaczniesz płakać z rozpaczy, pamiętaj, że wszyscy ci ludzie chcieli w końcu jak najlepszej gry - a dokładniej najlepiej ocenionej gry z możliwych”.

A potem jest ten ironiczny żart Warrena Spectora, opowiadającego o słowach, które wpłynęły na jego karierę podczas wystąpienia na konferencji DICE na początku tego roku. Potężne słowa. Dziedzictwo. Mentor. I...

Podczas rozmowy z szefem Obsidianu Feargusem Urquhartem na temat profilu, który opublikowałem w grudniu 2012 roku , zapytałem go, co się stało z Fallout: New Vegas . Ze względów prawnych nie mógł wdawać się w szczegóły.

„Nie mogę bezpośrednio komentować umów” - powiedział. „Mogę jednak powiedzieć, że generalnie wydawcy lubią traktować wyniki Metacritic jako element umów. Jako programista jest to trudne z wielu powodów. Po pierwsze, nie mamy nad tym żadnej kontroli, chociaż mamy obowiązek stworzyć świetną grę, która, miejmy nadzieję, może zdobyć 80, 85, 90 lub coś w tym rodzaju. ”

Zgodnie ze skalą ocen Metacritic każda gra powyżej 75 jest uważana za „dobrą”, ale realistycznie, według wielu programistów, z którymi rozmawiałem, wydawcy oczekują wyników 85 lub wyższych. Czasami, powiedział mi Urquhart, żądania mogą stać się nieracjonalne.

„Wiele razy, kiedy rozmawiamy z wydawcami - a to nie jest konkretny wydawca - ale są rozmowy, w których tantiemy, które mogliśmy uzyskać, były oparte na zdobyciu 95 lat” - powiedział Urquhart. „Przeprowadziłem tę rozmowę z wydawcą i wyjaśniłem im, powiedziałem:„ OK, w ciągu ostatnich pięciu lat było sześć gier, które uzyskały średnio 95, a wszystkie mają budżet co najmniej trzykrotny co mi oferujesz. Mówili: „Cóż, po prostu uważamy, że nie powinniśmy tego robić, jeśli nie trafisz 95”.

Taka jest perspektywa dewelopera. Spójrzmy teraz na to z drugiej strony. Powiedz, że jesteś wydawcą. Masz zamiar podpisać siedmio- lub ośmiocyfrową umowę ze studiem deweloperskim i chcesz się upewnić, że nie wręczy ci clunkera. Dlaczego nie wykorzystać Metacritic jako zabezpieczenia, aby zminimalizować ryzyko i zapewnić sobie świetną grę?

Oto kilka bardzo rozsądnych wyjaśnień osoby, która pracowała dla dużego wydawcy i poprosiła, aby nie podawać nazwiska:

„Powiedzmy, że [wydawca] chciał zapłacić 1 milion dolarów z góry (poprzez płatności za kamień milowy w trakcie rozwoju), ale deweloper chciał 1,2 miliona dolarów. Gdyby się nie ruszyli, czasami proponowaliśmy wyrównanie różnicy w bonusie, wypłacanym tylko wtedy, gdy gra osiągnęła określony wynik w Metacritic.

„Ta rozmowa może mieć miejsce również podczas tworzenia. Może deweloper chciał mieć więcej czasu i pieniędzy w środku produkcji, aby stworzyć lepszą grę. Tak więc licznik brzmiał: „Jeśli jesteś pewien, że dzięki temu gra będzie lepsza, dodamy dodatkowe fundusze do wyniku Metacritic”. To był sposób na zminimalizowanie ryzyka ”.

Ale inna osoba, która kiedyś pracowała dla głównych wydawców (i poprosiła o anonimowość, ponieważ nie był upoważniony do wypowiadania się w tej sprawie), mówi, że wyniki Metacritic są tylko wymówką, której wydawcy używają, aby pozbawić programistów bonusów, na które zasługują.

„Cóż, generalnie cały nacisk Metacritic wywodzi się od wydawców, którzy chcą uniknąć tantiem” - powiedziała ta osoba. „Więc nawet jeśli gra się dobrze sprzedała, mogliby wstrzymać płatność na podstawie wyników recenzji ... Wielką zaletą Metacritic jest to, że zawsze jest zakamuflowany jako dążenie do jakości, ale intencja jest niczym innym.”

Wielu programistów, z którymi rozmawiałem, powtarzało podobne myśli, chociaż nikt nie mógł podzielić się twardymi dowodami na poparcie tej teorii. Skontaktowałem się z wieloma dużymi wydawcami, w tym Activision, EA i Bethesda, ale żaden nie zgodził się skomentować tej historii.

Marc Doyle, były prawnik, który był współzałożycielem Metacritic w 2001 roku i prowadzi go na co dzień, powiedział mi podczas rozmowy telefonicznej w zeszłym tygodniu, że nie czuje się odpowiedzialny za to, co wydawcy lub programiści gier wideo robią z jego witryną.

„Metacritic nie ma absolutnie nic wspólnego z tym, jak branża wykorzystuje nasze dane” - powiedział. „Metacritic zawsze skupiał się na edukacji graczy. Używamy recenzji produktów jako narzędzia, które pomaga im maksymalnie wykorzystać ich czas i pieniądze ”.

Ale gracze nie są jedynymi, którzy używają Metascores. Nie przez długi czas. Nawet ogromny japoński wydawca Square Enix wymienił ostatnio Metacritic jako jeden z czynników, na podstawie których prognozowali sprzedaż swoich gier.

„Porozmawiajmy o Sleeping Dogs : patrzyliśmy na sprzedaż około 2 ~ 2,5 miliona sztuk na rynku EUR / NA w oparciu o zawartość gier, gatunek i wyniki Metacritic” - napisał były prezes Square Enix Yoichi Wada w niedawnym briefingu finansowym. „W ten sam sposób jakość gry i wyniki Metacritic doprowadziły nas do przekonania, że Hitman miał potencjał do sprzedaży 4,5–5 mln jednostek i 5–6 mln jednostek dla Tomb Raider łącznie na rynkach EUR / NA i Japonii”.

„Wyniki recenzji są częścią naszej branży i jako programiści zwracamy na nie uwagę” - powiedział Swift. I prowadzą do trendów. „Wyniki recenzji w tym roku drastycznie wpłyną na to, co będzie widziane w przyszłym roku” - powiedziała.

Nawet duzi detaliści, tacy jak Walmart i Target, proszą wydawców o prognozy Metacritic przy podejmowaniu decyzji o promowaniu określonych gier. „Jednym z kryteriów [sprzedawców detalicznych] jest:„ Jaki będzie wynik z recenzji? ”- powiedział Tim Pivnicny, wiceprezes ds. Sprzedaży i marketingu w Atlus USA. „Często się zdarza ... Martwią się, czy to będzie dobra gra”.

Metacritic ma znaczący wpływ na sposób produkcji gier. To jest problem.

Kiedy po raz pierwszy usłyszałem o bonusie Fallout: New Vegas , napisałem artykuł wstępny o tym, jak głupio jest, gdy wydawcy używają Metacritic jako miary jakości . Gry wideo to osobiste doświadczenia i nie można ich oceniać obiektywnie, zwłaszcza na podstawie pewnego rodzaju arbitralnego wyniku liczbowego, który oznacza różne rzeczy dla różnych ludzi. (Śmiało i spróbuj wyjaśnić jakościową różnicę między 81 a 82.)

To oczywisty powód. Ale są inni. Po pierwsze, ludzie grają w system. Po obu stronach nawy.

Jest na przykład historia wyśmiewanego recenzenta. Kontekst: wydawcy i programiści gier często zatrudniają konsultantów lub krytyków gier, którzy przychodzą do ich biur, grają we wczesne kopie gier i piszą fałszywe recenzje, które przewidują, jak te gry będą działać w Metacritic. Często, jeśli to możliwe, wydawcy i programiści wprowadzają zmiany w swoich grach na podstawie tego, co mówią te fałszywe recenzje. Pseudonimowi recenzenci mają wówczas etyczny zakaz pisania recenzji konsumenckich tej gry, ponieważ pobrali pieniądze od wydawcy.

Jeden programista - wysokiej rangi pracownik studia, do którego zadzwonimy do Eda - powiedział mi, że zatrudnił kogoś do napisania fałszywej recenzji, a potem ją po prostu zniszczył. Eda nie obchodziło, co jest w środku. Chciał się tylko upewnić, że recenzent - notorycznie kapryśny strzelec - nie może zrecenzować gry jego studia. Ed wiedział, że eliminując przynajmniej ten jeden potencjalnie negatywny wynik z recenzji, może podnieść Metascore wyżej. Szach mat.

(Jeśli się zastanawiasz, pisarzom Kotaku zabrania się robienia fałszywych recenzji lub przyjmowania jakichkolwiek prac od wydawców, których obsługujemy.)

Kiedy zapytałem Doyle'a z Metacritic o takie praktyki, przyznał, że słyszał podobne historie. Powiedział, że ściśle współpracuje ze wszystkimi 140 publikacjami przeglądowymi, które gromadzi w Metacritic, i powiedział, że stale ocenia i analizuje każdą z nich. „Zawsze myślę o próbach uniemożliwienia ludziom grania w ten system” - powiedział Doyle.

Ale to wciąż się dzieje.

„Zrobimy wszystko, co w naszej mocy, aby zoptymalizować wynik” - powiedział mi Ed.

Czasami są to subtelne rzeczy: wystawne recenzje, które zmuszają krytyków gier do recenzowania gier na warunkach studia; przegląd embarga, które stają się bardziej elastyczne, gdy wynik jest wyższy; łup, który jest wysyłany do biur i wyrzucany tak często, jak suszona wołowina z Gears of War i Legos oparte na zestawach z Lego City Undercover . Dopóki Metacritic ma wpływ na ludzi, którzy tworzą gry, ludzie, którzy je tworzą, znajdą sposób, by na to wpłynąć.

Najbardziej podatne na presję ze strony wydawców gier wideo mogą być mniejsze witryny, które potrzebują ruchu z zagregowanych witryn, takich jak Metacritic, aby przetrwać - witryny, które mogą zawierać szkicowe transakcje, aby uzyskać ten ruch. Jeff Rivera, dziennikarz zajmujący się grami, który pracował jako redaktor w grupie witryn o nazwie Advanced Media Network (która później przekształciła się w Kombo.com), powiedział mi, że widział jedną z takich transakcji w 2006 roku.

„Umówiliśmy się z Segą, że będziemy organizować tygodniowy program specjalny, w którym nasze najważniejsze artykuły na kanale DS będą poświęcone Super Monkey Ball ” - powiedział Rivera w e-mailu. „Zajmowałem się recenzją i w noc poprzedzającą publikację otrzymałem wiadomość błyskawiczną od współpracownika z pytaniem, jaka jest ocena gry.

„Powiedziałem mu, że jeszcze nie wiem i zastanawiałem się, dlaczego mnie o to pytają, ponieważ było to coś, czego nigdy wcześniej się nie zdarzyło. Następnie powiedział mi, że dział PR powiedział, że nasza recenzja będzie gwarantowana na wyłączność przez jeden dzień, jeśli mój wynik wyniesie 8,0 lub więcej ”.

Rivera powiedział, że napisał już swoją recenzję w tamtym momencie i że uzyskał wynik 8.1. (Recenzja nie jest już online, ale nadal jest wymieniona w sekcji Kombo na GameRankings .)

„Powiedziałem im, że nie wiem, co bym im dał, ponieważ nie chciałem, żeby poczuli się, jakby„ kupili ”mój wynik z recenzji” - powiedział. „Większa presja pojawiła się, aby ujawnić mój wynik i powtarzałem, że nie wiem, ale że 8,0 to zakres z piłką do parkowania”.

Kiedy poprosiłem firmę Sega o komentarz do tej historii, przesłali oświadczenie: „Sega ma ścisłą wewnętrzną politykę zakazującą zabiegania o wysokie wyniki w zamian za wczesne recenzje i przeciwko praktyce wywierania wpływu na recenzentów”. Ale Rivera powiedział, że stało się to w 2006 roku. Zapytałem Segę, kiedy uchwalili tę politykę, ale wydawca nigdy do mnie nie odpowiedział.

Z rozmów, które przeprowadziłem z programistami i innymi dziennikarzami, wydaje się, że takie rzeczy zdarzają się obecnie rzadziej. Ale zawsze są historie i szepty. Deweloperzy błagają recenzentów o zmianę wyników. PR-owcy celowo wysyłają kopie z późnymi recenzjami, gdy wiedzą, że gra będzie zła, lub wysyłają wczesne kopie na strony internetowe znane z wydawania wyższych wyników.

Jeśli czytasz o grach online, prawdopodobnie znasz niektóre strony internetowe w Metacritic: sklepy takie jak IGN i GameSpot to powszechnie znane publikacje, które płacą swoim autorom i cieszą się dobrą reputacją. Ale inne nazwiska na dużej liście publikacji Metacritic są mniej rozpoznawalne. Niektóre są prowadzone przez wolontariuszy; inne są mniej znane amerykańskim graczom.

Aby nadać większą wagę większym witrynom, Metacritic stosuje system ważenia, który kładzie większy nacisk na najbardziej uderzających, dzięki czemu ich wyniki liczą się bardziej. Ale Doyle i jego zespół nie podadzą żadnych szczegółów na temat używanego przez nich systemu. Ta nieprzejrzystość doprowadziła przez lata do pewnych kontrowersji: ostatnio badanie Full Sail University trafiło na pierwsze strony gazet, gdy ludzie, którzy za nim stoją, twierdzili, że modelowali formułę Metacritic, ale ich model okazał się błędny . Wydarzenie skłoniło wielu do zadawania pytań: dlaczego firma Metacritic po prostu nie mówi nam, jak ważą sklepy?

„Jesteśmy transparentni we wszystkim na Metacritic z wyjątkiem ocen krytyków” - powiedział mi Doyle. „To może wydawać się drastyczne, ale mówię wam tylko, że moim zdaniem tak nie jest. Gdybyś po prostu pozbył się wszystkich wag, nie miałoby to dużego wpływu na tę liczbę ”.

Doyle udzielił mi kilku wyjaśnień: po pierwsze, powiedział, że nie chce, aby wydawcy naciskali na najważniejsze publikacje. Kolejny powód: Metacritic często modyfikuje system i nie chcą o tym mówić za każdym razem, gdy to robią, potencjalnie zawstydzając publikację, której wagę właśnie obniżyli.

Ale ludziom trudno jest ufać temu, czego nie rozumieją. I nikt nie rozumie, w jaki sposób obliczane są Metascores.

Niedawno pojawiła się również jedna z innych ważnych zasad Doyle'a: odmowa Metacritic zmiany pierwszej oceny punktu sprzedaży, bez względu na to, co się stanie. To polityka, którą mają już od jakiegoś czasu, powiedział mi Doyle. Zrobił to, ponieważ przez kilka pierwszych lat wydawnictwa Metacritic, które pojawiło się w 2001 roku, recenzenci ciągle zmieniali swoje partytury z niejasnych powodów, które zdaniem Doyle'a były spowodowane presją wydawców.

„Zdecydowałem, że jeśli możemy, jako agregator, zniechęcić te zewnętrzne podmioty, kimkolwiek by nie były, do wyciągania tego rodzaju rzeczy i możemy chronić naszych krytyków, wspierając ich pierwszą opublikowaną i uczciwą opinię, to zrobimy, co w naszej mocy, aby to zrobić ”.

Czasami jednak prowadzi to do pewnych wypaczonych wyników Metacritic. Pod koniec 2012 roku GameSpot ściągnął recenzję Natural Selection 2 , napisaną przez freelancera. Recenzja zawierała wiele nieścisłości faktycznych. Następnie inny autor przejrzał grę, przyznając jej 8 . Ale oryginalny wynik - 60 - pozostaje w Metacritic do dziś .

Niedawno witryna internetowa Polygon , która używa regulowanej skali recenzji, przed uruchomieniem przyznała SimCity 9,5 na 10 . W dniu premiery, kiedy okaleczające błędy serwera sprawiły, że gra była dla większości nie do zagrania, Polygon zmienił swój wynik na 8. Kilka dni później, w miarę kontynuowania katastrofalnych problemów , zmienili ją na 4. Obecnie jest to 6,5. Jednak każdy, kto wejdzie na stronę SimCity Metacritic , nadal będzie widział 9.5.

Mimo to Doyle trzyma się swojej polityki.

„Wyniki Metacritic to naprawdę migawka w czasie, gdy gra zostaje wydana lub tuż po jej wydaniu” - powiedział Doyle - „kiedy krytycy zdecydują:„ Grałem już wystarczająco dużo, mogę to teraz sprawiedliwie ocenić, a oto wynik.'"

Kolejny problem dla programistów: wyniki odstające. Co się dzieje, gdy mnóstwo ludzi lubi grę, ale dla jednego lub dwóch recenzentów po prostu nie klika?

„Problemem jest skala” - powiedział Urquhart z Obsidian. „Oczekuje się, że dobra gra jest między 80 a 90. Jeśli dobra gra jest między 80 a 90 i powiedzmy, że przeciętna gra może otrzymać 50 punktów, jeśli chcesz trafić te 85, a ktoś da ci 35, to właśnie obniżyło dziesięć lat 90 do 85 ... Po prostu matematycznie, jak sobie z tym radzisz? Jakiś facet, który chce wyrobić sobie markę, może absolutnie spieprzyć liczby ”.

Recenzentem dobrze znanym z nieprawidłowych wyników jest Tom Chick, który prowadzi blog Quarter To Three . Chick ma najniższy wynik Metacritic , między innymi w BioShock Infinite (60) i Halo 4 (20). Używa skali 1-5, którą Metacritic konwertuje na wielokrotności 20, więc „Podobała mi się ta gra” Chicka - 3 z 5 - jest konwertowane na 60, co większość czytelników Metacritic uważa za zły wynik.

Ale Chick jest w porządku z tym systemem, a kiedy spytałem go o jego przemyślenia na temat sposobu, w jaki Metacritic wykorzystuje jego numery, bronił witryny agregacji.

„Agregat jest tak dobry, jak jego poszczególne komponenty” - powiedział Chick w e-mailu. „Wydaje mi się, że wiele danych wprowadzonych do Metacritic ma wątpliwą wartość, jeśli chodzi o sposób grupowania ocen w wąski margines od siedmiu do dziewięciu. Ale to nie jest problem Metacritic. To jest problem IGN, problem Game Informer, problem GameSpot . Częścią tego, w jaki sposób pokonujemy ten problem, jest rozpoznawanie bardziej zróżnicowanych danych. Ostatecznie to jeden z powodów, dla których korzystam z Metacritic: wierzę, że szerszy zakres opinii może zwiększyć jego wartość ”.

Chick używa zupełnie innej skali niż wiele innych witryn Metacritic: Game Informer , na przykład, opisuje swoje 6/10 w następujący sposób: „Limited Appeal: Chociaż mogą być fani gier, które otrzymają ten wynik, wielu będzie tęsknić za satysfakcjonujące wrażenia z gry. ” Z drugiej strony Chick mówi, że jego 6/10 oznacza coś zupełnie innego. „Mocno wierzę w używanie całego zakresu skali ocen, więc trzy gwiazdki oznaczają, że lubię grę” - powiedział. "Dość dosłownie. Mamy wyjaśnienie dotyczące ocen za kwartał do trzeciego, które wyjaśnia, że ​​trzy gwiazdki oznaczają „Podoba mi się”. To takie proste."

Jednak 60 lat Chick i 60 lat Game Informera są uśredniane razem. Oba mają wpływ na premie deweloperów. Obaj mają wpływ na negocjacje umów. Obaj zmieniają sposób tworzenia gier wideo.

„Charakter systemu zbiorczego polega na tym, że sumuje się wiele wyników” - mówi Chick. „ Równie dobrze możesz winić IGN za przyznanie grze 92 zamiast 96. Co do tego, co myślę o utracie premii przez studio, ponieważ wydawca ustawił dowolną liczbę, to nie moja odpowiedzialność. Odpowiadam wyłącznie przed czytelnikami ”.

Przesłanie Chicka jest godne podziwu, a jego krytyka jest zawsze ostra, ale jego wyniki ilustrują jeden z największych problemów związanych ze sposobem, w jaki wydawcy i programiści używają dziś Metacritic: niespójność. Skoro skala Chicka tak drastycznie różni się od skali Game Informera , jak jakikolwiek zewnętrzny obserwator może spojrzeć na średnią z tych dwóch i pomyśleć, że ta liczba ma jakiekolwiek znaczenie lub znaczenie?

Są też inne kwestie do przemyślenia. Jeśli jedna osoba kocha grę, a inna nienawidzi gry, czy jest to * przeciętna * gra? A może po prostu gra, którą jedna osoba kochała, a druga nienawidziła? Jeśli dwie osoby zdobędą 100 punktów, a dwie 0, to nie jest to warte 50 - to tylko polaryzacja.

System nie działa. I nie tylko ja tak uważam.

„Przydatność Metacritic jako pomocy konsumenckiej jest jasna i oczywista” - powiedział wieloletni krytyk i pisarz Gears of War: Judgement Tom Bissell. „Jednak fakt, że branża gier zinternalizowała swoje wartości i wykorzystuje swoje wskaźniki, pozornie bezkrytycznie, jako cenne źródło samooceny, musi być jedną z wielkich tajemnic współczesnego przemysłu. Nie może być przypadkiem, że forma współczesnej rozrywki, która jest najbardziej świadoma swojego statusu jako formy sztuki, jest również tak niewolniczo związana z Metacritic. ”

„To szkodzi procesowi redakcyjnemu recenzji” - powiedział Justin Kranzl, były krytyk gier i obecny przedstawiciel PR Square Enix. „Warunkujemy czytelników, aby pominęli kopię lub wideo i po prostu uzyskali partyturę. Dla ludzi, którzy kochają dynamiczny i zróżnicowany krajobraz medialny - i każdy szanujący się PR-owiec powinien należeć do tej kategorii - to straszne ”.

„Myślę, że Metacritic jest czymś, o co dbają tylko wydawcy” - powiedział projektant Monkey Island i wieloletni twórca gier Ron Gilbert. „Deweloperów, których znam, obchodzi to tylko do tego stopnia, że ​​premia wydawcy została powiązana z wynikiem w grze Metacritic (co jest głupią, głupią, głupią rzeczą do zrobienia). Nigdy nie sprawdzałem wyniku Metacritic dla żadnej gry, nad którą pracowałem. To dla mnie zupełnie nieistotne ”.

„Metacritic zachęca do błędnego przekonania, że ​​wszystkie opinie powinny mieć jednakową wagę, a„ zła ”recenzja jest recenzją bez entuzjazmu” - powiedział Bissell. „Ale to nieprawda. Są gry, w które * bardziej * będę grać, gdy pewien krytyk przedstawi im to, co Metacritic uważa za „złą” recenzję. Metacritic nie pozostawia miejsca na dyskusje, a tym bardziej na pogoń za grami z poczuciem winy, przyjemnościami, szlachetnymi porażkami czy grami dzielącymi. Wszystko to tylko 7, 8 lub 6,5. To najmniej interesująca rozmowa, jaką mogę sobie wyobrazić ”.

(Centra gier Metacritic zawierają notki z każdej z zebranych recenzji).

„Ocena gry jest tak subiektywna” - powiedział Kim Swift z Airtight. „Myślę, że jedną z bardziej przerażających rzeczy dla programisty jest to, że recenzent otwiera się słowami:„ Zazwyczaj nienawidzę tego typu gier ”, a ty mówisz:„ O cholera ”.

„Nie chcę dźwigać tego ciężaru ... to są ludzie z dziećmi i rodzinami” - powiedział wieloletni krytyk Adam Sessler , były prezenter telewizyjny, który obecnie produkuje filmy do gier Revision 3 Games. „To okropne uczucie, że to, co mówię - dokonuję subiektywnej oceny doświadczenia, które nie będzie tym samym, co inni ludzie - które w jakiś sposób wstrzymuje żywność i zasoby… Dla mnie to jest skrajnie szkodliwy ”.

„Tak naprawdę zachęcałbym więcej punktów sprzedaży do stosowania skal punktacji, które są niezgodne z Metacritic” - powiedział Kranzl - „i zawsze jestem skłonny omawiać z nimi różne sposoby osiągnięcia tego celu”.

- Powiem to - powiedział Sessler. „Zastanawiałem się, czy wcześniej nie wykonywać tej pracy z tego powodu, ponieważ uważam, że jest w tym coś tak moralnie wątpliwego i odrażającego”.

„Chciałbym, żeby to zniknęło, ale gdyby nie Metacritic, pojawiłaby się inna usługa” - powiedział Gilbert. „My, ludzie, uwielbiamy mierzyć rzeczy. Zastanawiam się, czym był Metacritic Mona Lisa. Słyszałem, że wisiał w łazience króla Ludwika XIV przez wiele lat ”.

Być może w naszej naturze jest wyliczanie wszystkiego. Trudno zaprzeczyć, że Metacritic jest użytecznym narzędziem do pomiaru, jak mała grupa ludzi czuła się na temat gry w określonym momencie.

Ale nie jest to przydatne narzędzie do wielu innych rzeczy. Jest zbyt wiele zmiennych, zbyt wielu ludzi próbuje manipulować systemem. Proces recenzji jest zbyt subiektywny, aby ktokolwiek mógł go traktować jako obiektywną miarę jakości. Gry wideo mają być osobistymi doświadczeniami, a wydawcy nie są szczerzy, aby postępować tak, jakby wyniki recenzji były czymś więcej niż kwantyfikacją tych osobistych doświadczeń. To jest szkodliwe dla wszystkich. Wszyscy.

To szkodliwe dla krytyków, którzy muszą radzić sobie z presją PR i poczuciem winy wyciągania pieniędzy z kieszeni.

Jest to szkodliwe dla programistów, których kariera może być powiązana z kaprysami krytyka, który może mieć zły humor, gdy gra w ich grę.

Jest to szkodliwe dla wydawców, którzy muszą się martwić, że muszą przykładać tak dużą wagę do witryny internetowej, że nikomu nie powie, jak obliczają średnią ocen.

Co najważniejsze, jest to szkodliwe dla graczy, ponieważ ma wyraźny negatywny wpływ na sposób, w jaki nasze gry wideo wyglądają każdego roku. Kiedy programiści zmieniają gry, ponieważ uważają, że recenzenci będą chcieli to zobaczyć, nikt nie wygrywa.

Metacritic to przydatne narzędzie, ale wydawcy gier wideo zamienili go w broń. I coś się musi zmienić.

Możesz skontaktować się z autorem tego posta pod adresem jason@kotaku.com lub na Twitterze pod adresem @jasonschreier .

Suggested posts

Pięć nocy u twórcy Freddy'ego, Scott Cawthon, przechodzi na emeryturę pośród kontrowersji

Pięć nocy u twórcy Freddy'ego, Scott Cawthon, przechodzi na emeryturę pośród kontrowersji

Scott Cawthon, niezależny twórca najbardziej znany jako twórca serii Five Nights at Freddy, ogłosił odejście od profesjonalnego tworzenia gier. „Miałem błogosławioną, satysfakcjonującą i bogatą karierę”, napisał Cawthon na swojej osobistej stronie internetowej.

Nawet jeśli chodzi o anime, Netflix wciąż mówi, że pozostaje w tyle w Japonii

Nawet jeśli chodzi o anime, Netflix wciąż mówi, że pozostaje w tyle w Japonii

Netflix ma doskonały wybór programów anime. Spójrz na dziesięć najlepszych list przebojów na Netflix Japan, które są wypełnione anime.

Related posts

Raport: Sony wypuszcza nowe gogle VR w 2022 r. .

Raport: Sony wypuszcza nowe gogle VR w 2022 r. .

Oryginalna PlayStation VR, pierwotnie wydana w 2016 roku Raport Bloomberga, który dotyczy głównie paneli LCD i VR, zawiera również krótką wzmiankę, że Sony planuje wydać nowy zestaw słuchawkowy VR pod koniec 2022 roku. Podczas gdy większość historii dotyczy firmy Japan Display Inc. odejście od dostarczania ekranów LCD Apple i zwiększenie liczby zestawów VR, zauważa również, że Sony nie jest częścią tego trendu i planuje „korzystać z Samsung Display Co.

Japońska seria Giant Robot Crossover powraca w tym, co wydaje się jej 1174. grą

Japońska seria Giant Robot Crossover powraca w tym, co wydaje się jej 1174. grą

Super Robot Wars, jedna z najdłużej działających i najliczniejszych serii gier wideo wszechczasów, powraca ponownie, tym razem świętując swoje 30. urodziny.Seria taktyczna, w której rzuca się wiele najbardziej lubianych japońskich gigantycznych postaci robotów/mechów do wspólnej walki, na przestrzeni lat zawierał postacie z Gundam, Mazinger, Macross i Neon Genesis (żeby wymienić tylko kilka) w jednym miejscu.

Nintendo na E3 2021: największe ogłoszenia w mniej niż 5 minut

Nintendo na E3 2021: największe ogłoszenia w mniej niż 5 minut

Prezentacja Direct Nintendo o smaku E3 2021 była bardziej mięsista niż większość pokazów z ostatnich kilku dni, z dużą ilością informacji na temat nadchodzących gier, a także niespodziankami. Jeśli nie masz czasu, aby przesiedzieć całe wydarzenie, nasz film przedstawi wszystkie soczyste momenty w zaledwie cztery i pół minuty.

Adam z Metroid Dread nie zamówi Samusa, mówi Nintendo

Adam z Metroid Dread nie zamówi Samusa, mówi Nintendo

To był pracowity dzień na E3 2021, a największym ogłoszeniem jest prawdopodobnie wznowienie przez Nintendo od dawna plotkowanego tytułu Metroid Dread w piątej głównej części serii. Metroid Dread, który pojawi się na Switchu 8 października, ponownie śledzi Samus Aran podczas jej planetarnych eksploracji, ale pojawia się również Adam Malkovich, kontrowersyjna postać wśród fanów Metroid.

MORE COOL STUFF

Tom Hiddleston o Marvel udaje śmierć Lokiego w „Thor: The Dark World”, aby zadowolić fanów – „It Was Bizzare”

Tom Hiddleston o Marvel udaje śmierć Lokiego w „Thor: The Dark World”, aby zadowolić fanów – „It Was Bizzare”

Tom Hiddleston dzieli się swoimi przemyśleniami na temat Marvela zmieniającego los Lokiego w „Thor: The Dark World” z powodu słabych testów ekranowych.

Jak córka księżniczki Anny Zara Tindall i mąż Mike Tindall wykonują swoje 10-letnie małżeństwo

Jak córka księżniczki Anny Zara Tindall i mąż Mike Tindall wykonują swoje 10-letnie małżeństwo

Córka księżniczki Anny, Zara Tindall, i jej mąż Mike Tindall obchodzą w tym roku 10. rocznicę ślubu.

„Loki”: Ile lat ma Mobius? Oto, co mówi reżyserka serialu Kate Herron

„Loki”: Ile lat ma Mobius? Oto, co mówi reżyserka serialu Kate Herron

Wielu widzów zastanawiało się, ile lat ma Mobius M. Mobius, a reżyserka „Lokiego” Kate Herron może mieć wskazówkę.

„Opowieść podręcznej”: 1 oczekiwana scena została wycięta z finału 4 sezonu

„Opowieść podręcznej”: 1 oczekiwana scena została wycięta z finału 4 sezonu

Niecierpliwie wyczekiwana scena z finału 4 sezonu „Opowieści podręcznej” została wycięta z ostatecznej wersji odcinka.

100-letnia powódź nie oznacza, że ​​nie zobaczysz nikogo więcej przez 99 lat

100-letnia powódź nie oznacza, że ​​nie zobaczysz nikogo więcej przez 99 lat

Prawda jest taka, że ​​co roku szanse na jedną z tych wielkich powodzi są takie same: 1 procent.

Jak mięso wyhodowane w laboratorium może zmienić świat karmy dla zwierząt domowych

Jak mięso wyhodowane w laboratorium może zmienić świat karmy dla zwierząt domowych

Nadchodzi nowa era karm dla zwierząt domowych tworzonych w laboratorium, w sposób zrównoważony i o zmniejszonym wpływie na środowisko. Ale czy zwierzęta domowe – i ich ludzie – to polubią?

Chcesz idealnego Cuppa Joe? Piecz własne ziarna kawy

Chcesz idealnego Cuppa Joe? Piecz własne ziarna kawy

Szukałeś na świecie idealnej filiżanki kawy? Być może najlepszym rozwiązaniem jest nauka sztuki i nauki palenia własnych ziaren kawy.

Kim był tajemniczy Melchizedek w Biblii?

Kim był tajemniczy Melchizedek w Biblii?

W Księdze Rodzaju pojawia się tylko raz, a jednak był postrzegany jako prekursor Jezusa Chrystusa. Kim naprawdę był i jak związał się z Jezusem?

Amanda Kloots uhonorowała Nicka Cordero w dniu pierwszego ojca od śmierci: „Nick zawsze chciał być tatą”

Amanda Kloots uhonorowała Nicka Cordero w dniu pierwszego ojca od śmierci: „Nick zawsze chciał być tatą”

Współprowadząca Talk Amanda Kloots dzieli 2-letniego syna Elvisa ze zmarłą 5 lipca 2020 r. gwiazdą Broadwayu Nickiem Cordero.

Gigi Hadid świętuje Dzień Pierwszego Ojca Zayna Malika z córką Khai: „Tak bardzo cię kochamy”

Gigi Hadid świętuje Dzień Pierwszego Ojca Zayna Malika z córką Khai: „Tak bardzo cię kochamy”

„Nasz Khai ma szczęście, że ma babę, która tak bardzo ją kocha i robi wszystko, aby zobaczyć jej uśmiech” – napisała Gigi Hadid w pełnym miłości hołdzie dla Zayna Malika.

Meghan Markle udziela pierwszego wywiadu od czasu Oprah, ujawnia sentymentalny prezent na Dzień Ojca dla księcia Harry'ego

Meghan Markle udziela pierwszego wywiadu od czasu Oprah, ujawnia sentymentalny prezent na Dzień Ojca dla księcia Harry'ego

Księżna Sussex rozmawiała z NPR o swojej najlepiej sprzedającej się książce dla dzieci The Bench.

Run the World's Corbin Reid nie zgadza się z porównaniami programu SATC: chodzi o „przyjaźń”

Run the World's Corbin Reid nie zgadza się z porównaniami programu SATC: chodzi o „przyjaźń”

„Nie chodzi też o to, jak zdobyć mężczyznę i utrzymać mężczyznę”, Corbin Reid mówi LUDZIE o porównaniach Seksu w wielkim mieście

Jak zdobyć pracę marzeń w 2022 roku?

Kroki, które należy podjąć, aby przejść na nową rolę produktu

Jak zdobyć pracę marzeń w 2022 roku?

Kiedy poświęciliśmy czas na przyjrzenie się naszej karierze, czasami okazuje się, że nie jesteśmy zadowoleni z tego, gdzie jesteśmy. Nie robimy rzeczy, które lubimy.

Road Trippin' w Kolumbii Brytyjskiej

Road Trippin' w Kolumbii Brytyjskiej

Zawsze marzyłem o wypatroszeniu vana, zrobieniu miejsca na łóżko, schludnym spakowaniu do niego życia i wyruszeniu w podróż. Kilka tygodni temu właśnie to zrobiłem.

Z ulgą widzę anioły Victoria's Secret Go

Jak bardzo seksowne pokazy wpłynęły na mój okres dojrzewania.

Z ulgą widzę anioły Victoria's Secret Go

Mój pierwszy chłopak chciał, żebym wyglądała jak Adriana Lima. Chciał, żebym nosiła kolorowe soczewki kontaktowe, żeby zakryć brązowe oczy.

Bądź ostrożny: Twój mózg nie zna różnicy między rzeczywistością a wyobraźnią

Bądź ostrożny: Twój mózg nie zna różnicy między rzeczywistością a wyobraźnią

Zanim zaczniemy, koniecznie sprawdź mój YouTube. W każdą środę zamieszczam filmy na tematy związane ze zdrowiem psychicznym, psychologią i rozwojem osobistym.

Language