Στον κόσμο του Android κυκλοφορεί η τάση να δίνουμε (υπερβολικά?) μεγάλη σημασία στα Benchmarks.
Η συσκευή που βγαίνει στις πρώτες θέσεις στα benchmarks σημαίνει ότι είναι γρηγορότερη, άρα και καλύτερη. Ή μήπως όχι;
Το σκορ στα Benchmarks είναι απλά ένας αριθμός
Συσκευές που αποσπούν "υψηλό" σκορ στο Quadrant (ή στα λοιπά τεστ) ΔΕΝ σημαίνει ότι οπωσδήποτε θα είναι smooth και γρήγορες στο UI. Η έλλειψη optimizations από ορισμένους κατασκευαστές μπορεί να δημιουργεί καθυστερήσεις, παρά το γεγονός ότι το σκορ που βλέπουμε είναι υψηλό.
Ένα "κλασσικό" παράδειγμα είναι το Galaxy Nexus (ή και το Nexus S), το οποίο χωρίς να αποσπά "καλό" σκορ στο Quadrant, είναι πιο smooth και γρήγορο στο UI από ορισμένα τετραπύρηνα θηρία που κυκλοφορούν
Κανένα Benchmark δεν ανταποκρίνεται στην "χρήση" της συσκευής
Κάθε Benchmark εξετάζει το πόσο γρήγορα μπορεί κάποια συσκευή να εκτελέσει μία σειρά ενεργειών (όπως π.χ. συμπίεση, xml parsing, μαθηματικές πράξεις, 2D/3D σχεδίαση κτλ). Γενικότερα προσπαθούν να καλύψουν μία ευρεία χρήση, που όμως πολλές φορές δεν ανταποκρίνεται στην πραγματική χρήση της συσκευής, η οποία συν τοις άλλοις διαφοροποιείται από άτομο σε άτομο.
Αστάθμητοι παράγοντες
Υπάρχουν πολλοί "αστάθμητοι" παράγοντες που επιρρεάζουν τα benchmarks, (όπως π.χ. o governor, εφαρμογές που τρέχουν στο παρασκήνιο, θερμοκρασία(!), λοιπά power-saving features κτλ)
Πρέπει να αδιαφορώ λοιπόν για τα benchmarks;
ΌΧΙ. Απλά τα benchmarks δείχνουν "ελάχιστα" το πόσο καλή/γρήγορη είναι μία συσκευή. Οι 500 παραπάνω (ή παρακάτω) βαθμοί του S3 (τυχαίο παράδειγμα) σε σχέση με την συσκευή "Χ" ή "Ψ" δεν σημαίνουν ότι θα είναι πιο γρήγορο και smooth στο UI, στην εκτέλεση των καθημερινών εφαρμογών, στο multitasking κτλ.
Γενικότερα τα benchmark scores πρέπει να είναι στο τέλος "στην λίστα με τα κριτίριά μας" στην επιλογή μίας καινούριας συσκευής.
