Евгений Васильев
Руки у меня золотые, да вот только растут они не из того места

Разводим попугаев: есть ли смысл в оценке топовых чипсетов с помощью бенчмарков

Разводим попугаев: есть ли смысл в оценке топовых чипсетов с помощью бенчмарков
Имеют ли смысл бенчмарки чипсетов © blog.luz.vc

Бенчмарки – один из критериев оценки электроники перед покупкой и после. Вычислительная мощность, выраженная в пригодных для сравнения цифрах, привлекает, греет душу, позволяет показать превосходство и доказать верность решения купить тот или иной девайс.

В мире смартфонов «мерянье попугаями» особо распространено. Разработчики теста AnTuTu, к примеру, ежемесячно публикуют рейтинг самых мощных смартфонов по данным их бенчмарка, и его данные многим очень интересны. Но имеет ли смысл охота на этих мифических попугаев (кто не в курсе – термин происходит из старого мультфильма, где длину удава измеряли попугаями, и обозначает он некую безразмерную единицу измерения), стоит ли гнаться за ней?

Недавно компанию Huawei уличили в том, что она завышает результаты тестирования своих смартфонов, заставляя процессоры работать в особом ускоренном режиме при запуске бенчмарков. Ранее аналогичный грешок замечали и за OnePlus, и за Samsung, и другими фирмами. Разве что Apple стоит в сторонке, но для ее платформы тесты опять свои, так что в AnTuTu 7 сравнивать Android и iOS напрямую нельзя.

Рейтинг самых мощных смартфонов AnTuTu на октябрь 2018 © AnTuTu
Рейтинг самых мощных смартфонов AnTuTu на октябрь 2018 © AnTuTu

Попугай: бессмысленный и беспощадный

Давайте для начала разберемся, что же есть бенчмарк, измеряющий производительность чипсета. А бенчмарк – это, как правило, специальная программа, которая кратковременно (в течение небольшого периода времени) нагружает электронику тяжелыми вычислениями разного характера, и на основе скорости этих вычислений присваивает испытуемому определенные баллы. Чем выше эти баллы – тем мощнее считается чип.

Ключевым словом в определении является «кратковременно». Тестирование длится всего несколько минут и позволяет оценить, насколько быстро работает чипсет на пике своих возможностей. За это время он не успевает нагреться, разрядить батарею и т.д., поэтому результат получается достоверным. Чем выше оценка – тем быстрее проводятся вычисления. Но есть одна проблема…

Любой мобильный чипсет производится и настраивается с учетом ограничений, накладываемых смартфонами. Именно поэтому мы до сих пор не имеем мобильников, ядра которых работают на частоте 3+ ГГц. Инженерам до сих пор не удалось одолеть проблему нагрева кремниевых кристаллов, а потому даже ЦП ноутбуков, имеющие турбо-частоту 4+ ГГц, под долговременной нагрузкой сбрасывают ее до меньших значений.

График частоты чипсетов © Wccftech
График частоты чипсетов © Wccftech

Работая в бенчмарке, чипсет развивает максимальные частоты, заложенные производителем смартфона. Тесты длятся немного времени, поэтому за такой промежуток SoC не успевает перегреться и задействовать тепловую защиту на полную. Но рабочий режим ядер (хоть процессорных, хоть графических) плавно управляется системой, их частота и напряжение регулируются в зависимости от градуса нагрева.

При длительной нагрузке поведение чипсета отличается от кратковременного. Чип, который получает высший балл в тесте, может уходить в защиту и сильно сбрасывать частоты, когда нагрузка представляет собой не 5 минут тестов, а час игры. Как итог, на практике быстрее оказывается не тот, у кого больше «попугаев», а тот, кто эффективнее отводит тепло от процессора.

В качестве примера вспоминаются смартфоны на Snapdragon 821. Работая на частоте ЦП 2,4 ГГц и ГП 650 МГц, они выдавали в тесте AnTuTu 6 около 150 тыс. баллов. Но стоило прогнать бенчмарк пару-тройку раз – баллы снижались до 100-110 тыс., причем смартфон, в первом запуске выдающий больше очков, потом «просаживался» быстрее. Все как раз из-за ограничений.

1-й, 2-й и 3-й прогон теста AnTuTu на смартфоне со Snapdragon 821
1-й, 2-й и 3-й прогон теста AnTuTu на смартфоне со Snapdragon 821

Ни один мобильный чип не способен работать на пике мощности долго. В таком режиме он греется, расходует много заряда батареи, поэтому система постепенно снижает частоты, уходит в троттлинг. Из-за этого выходит, что некоторые смартфоны способны показать больше очков, чем конкуренты, лишь в коротких испытаниях, а на практике работают под нагрузкой с гораздо меньшими частотами.


Не зная особенностей теплоотвода смартфона (есть ли внутри теплотрубка, контактирует ли SoC с металлической рамкой или крышкой), невозможно понять, насколько результат бенчмарков соответствует практическим показателям. Поэтому при выборе нового телефона не стоит руководствоваться показателями тестов.

Разница в 10-20% - это вообще ничто. Уж очень велика вероятность, что аппарат, который набирает больше всех баллов, на практике далеко не самый мощный, так как в тестах работает «на грани фола». Если бы он работал так всегда – ему бы ни заряда аккумулятора не хватало для нормальной работы, ни теплоотдача не позволяла избегать губительного перегрева. Поэтому не стоит смотреть на «попугаи» в тестах, гораздо важнее по итогам обзоров и отзывов определить, страдает смартфон от перегрева, или нет.