¿Hasta qué punto son los benchmarks útiles?

La fiebre inmortal de los benchmarks

Mis comienzos en Android se remontan a un pequeño pero adorable smartphone llamado Sony Ericsson Xperia X10 Mini Pro (aunque el nombre era tan largo que decía "uno que mola mucho"), pero no fue hasta que me hice con el HTC One S, que aún sigue funcionando de maravilla gracias a CyanogenMod 12.1, que me interesé de forma casi romántica por todo este maravilloso mundo (sin saber nada ya odiaba a los iPhone, creo que lo llevo en los genes).

Ya por entonces, en diversos foros, veía como había al menos un tema en el que se hablaba de los números que sacaban en tal o cual aplicación de benchmarks, y no sólo en ese smartphone, sino en casi todos. Una justificación que ponían muchos era que el HTC One S (abreviando HOS) funcionaba de forma más fluida que su hermano mayor el HTC One X.

Mensajes, mensajes y más mensajes se podían leer de gente alarmada porque en su última prueba sacaba unos números muy por debajo de la media y querían alguna solución, a menudo demasiado arriesgada para el problema que planteaban, como hacer un overclocking (subir la velocidad de reloj máxima del procesador), y otras más cabales como mirar si algún proceso en segundo plano estaba estorbando.

Ahora bien, ya por entonces, siendo un novato, ya me preguntaba qué importaban esos números si el teléfono funcionaba de maravilla, sin problemas de cuelgues ni cierres forzados, sin caídas de frames en los juegos más exigentes de la época, sin nada que deba alarmar. Confieso que a mi HOS le cayeron algunas pruebas en varias aplicaciones, con resultados dentro de la media.

Confieso que a mi HOS le cayeron algunas pruebas en varias aplicaciones, con resultados dentro de la media

Para que nos hagamos todos una idea de lo larga que es la sombra de los benchmarks, en la mayoría de ocasiones, cuando un desarrollador presenta su ROM, una de las capturas suele estar dedicada a un benchmark (AnTuTu la mayoría de las ocasiones) para decirnos que su ROM es la leche, funciona de maravilla y muy fluída. Pero la realidad es cada usuario es un mundo, y donde a uno le puede ir a la perfección, a otro le puede dar mil problemas (más allá de los bugs que tenga la ROM, que en un ejemplo de honestidad, los desarrolladores nos ponen sobre aviso de qué bugs tiene su ROM).

Incluso los fabricantes usan, en cierto modo, como reclamo los resultados de su próximo smartphone estrella, que milagrosamente es el mejor de todos y promete ser una bestia. A la hora de la verdad no debemos dejarnos llevar por los números que arrojan los terminales en esta clase de tests, debemos tener en cuenta si cubre nuestras necesidades como usuario (fundamental que tenga buena calidad en llamadas, autonomía, cobertura de datos, que la conectividad Wi-FI no presente problemas...) tanto si es para comprar ese teléfono o para instalar una ROM cocinada.

¿Cuál es la utilidad real de estos tests?

Ni los benchmarks son completamente inútiles ni son algo crucial para nuestras vidas. Esta clase de aplicaciones debemos de tratarlas como lo que son: una ligera idea de cómo puede funcionar el dispositivo testeado. Ahora los tests no son sólo de rendimiento, sino de cosas más específicas como los test de pantalla, de vídeo o batería. Los número que arrojan debemos mirarlos con mucha precaución y siempre en contexto con algunas de las especificaciones.

Por ejemplo, no es lo mismo un test de un smartphone con pantalla QHD y Snapdragon 810 que uno con pantalla HD y el mismo Snapdragon 810. Claramente en rendimiento ganará este útlimo al no necesitar que el procesador se esfuerce tanto para llegar a un rendimiento óptimo. Lo ideal es que se comparen dos smartphones con misma resolución de pantalla y procesador, y puedo asegurarte que la diferencia será muy poco relevante como para sacar una conclusión válida.

También nos sirven estos tests para conocer (siempre de forma aproximada) cómo puede funcionar un procesador. No hace mucho hemos visto los números que sacaba el futuro Snapdragon 820 en AnTuTu, que prometía superarlos a todos. En este caso parece que se ha testeado metido en un prototipo del futuro Samsung Galaxy S7, pero igualmente debemos coger estos números con pinzas y mirarlos con mucha desconfianza, no sabemos si realmente se notará una diferencia de rendimiento general del dispositivo tan grande como la que prometen.

La conclusión que podemos sacar es que la utilidad de los benchmarks es limitada y, por supuesto, bastante menor de la que muchos usuarios le dan. ¿Has sufrido de esa fiebre por los benchmarks? ¿Te parecen importantes para conocer cómo funcionará un dispositivo?