Android: Los Benchmarks no sirven para nada

Bueno, creo que ha llegado el momento de escribir este artículo. Desde hace un tiempo llevo dejando de lado los benchmarks, y lo único para lo que los he recuperado ha sido en las reviews de teléfonos, dejándolo para aquellos que todavía siguen convencido por la utilidad real de este tipo de tests para smartphones.

Sin embargo debido a lo recientemente ocurrido con el Galaxy Note 3 creo conveniente hablar un poco más sobre este tema y dejar claro que los benchamrks son un tipo de prueba que no es ni objetiva ni válida comparativamente, y por lo tanto no sirve para nada. Yo al menos voy a dejar de usarla incluso en las reviews, porque aunque algunos lo sigáis pidiendo, considero que pueden inducir a error, y no quiero que así sea.

Me gustaría además aclarar que este artículo no tiene nada que ver con el caso acontecido ayer con el Galaxy Note 3. Digamos que ha sido el detonador de una idea dentro de mi hacia el exterior, pero esto lleva mucho tiempo siendo así, y ni mucho menos Samsung es el único culpable de que los benchmarks ya no tengan utilidad.

Lo primero que tenemos que hacer es empezar definiendo qué son y para qué sirven los bencharmks. En sus comienzos y en un mundo ideal en el que todos juegan en igualdad de condiciones frente a un test, los benchmarks hacen una prueba de rendimiento de un smartphone sometiéndolo a diferentes pruebas y obteniendo un resultado final en forma de número. Este número nos sirve para comparar con otros terminales y hacernos una idea de cómo funciona y rinde un teléfono respecto a otro.

Y esta idea es clave, porque los benchmarks siempre han tenido una utilidad de comparación relativa, no absoluta. ¿Qué significa esto? Pues que el número que arroja el resultado de una de estas pruebas es para compararlo con el de otro teléfono haciendo la misma prueba. Es decir, si uno tiene 3000 y otro 3500, el mejor es el de 3500. Pero si solo conocemos el resultado de uno que es 3500 no podemos decir que sea bueno o malo, necesitamos otros para comparar.

Y aquí es donde se rompe la cadena y el equilibrio en el que un día vivieron los benchmarks, donde las comparativas dejan de ser válidas. Como es lógico, todos los fabricantes quieren que sus terminales obtengan las mejores marcas en estos benchmarks, y como con toda prueba siempre hay trampas que hacer, o mejor dicho, atajos que tomar. Hablar de esto como trampa es bastante polémico, y como decía antes, aquí no se trata de acusar a ninguna marca de hacer nada mal, lo que me interesa es otra cosa.

¿Cuáles son esos atajos? Un smartphone es capaz de detectar qué aplicación o aplicaciones se están ejecutando, y según la exigencia de estas activan diferentes modos de rendimiento. Cuanta más potencia se requiera de la CPU y GPU mayor es el consumo de batería, hasta llegar a niveles altísimos cuando estamos al 100% de rendimiento, caso que rara vez se da en un uso real. Lo que hacen algunos fabricantes es usar ese 100% de rendimiento exclusivamente cuando detectan que se está ejecutando un benchmark.

¿Y esto es trampa? ¿Realmente está mal hacer algo así? ¿No se trata un benchmark de analizar el rendimiento de un teléfono al 100%? Ahí es donde tanta polémica se creó ayer con el caso del Galaxy Note 3, ya que unos defienden que está bien y otros que no es lo correcto. Sin embargo la cuestión no esa, y no está mal hacerlo. Lo que ocurre es que si unos lo hacen y otros no los benchmarks dejan de mostrarnos algo que podamos comparar, y pierden por completo su utilidad.

Algunos fabricantes siguen mostrando sus resultados en un uso normal, porque consideran que es el benchmark el que tiene que exigir el rendimiento del teléfono en cada momento igual que ocurriría en la realidad, y otros prefieren poner la potencia al máximo para ofrecer todo lo que pueden dar de si. Ninguna es más correcta que la otra, pero si no lo hacen igual todos tenemos un problema, porque los benchmarks ya no nos muestran una comparativa real, y el caso anterior en el que un resultado de 3500 es mejor que uno de 3000 ya no tiene necesariamente que ser válido.

En conclusión, los benchmarks ya no son un test al que podamos dar credibilidad debido a que no son una prueba comparativa válida por usarse diferentes métodos de participación según el terminal en un test que es igual.

¿Qué os parece todo esto? ¿Creéis que los benchmarks ya no sirven para nada o que todavía sirven para sacar resultados reales de rendimiento?

El artículo Los Benchmarks no sirven para nada se publicó en El Androide Libre (El Blog Android de referencia. Aplicaciones, noticias, Juegos y smartphones Android Libres)