Δημοσιεύουμε πώς λειτουργεί το σκορ μας — και πού είναι αδύναμο.

Αν μια συγκεκριμένη επιχείρηση εμφανίζεται στην απάντηση σε μια συγκεκριμένη ερώτηση, που τέθηκε σε ένα συγκεκριμένο σύστημα AI, σε μια συγκεκριμένη στιγμή — και, αν εμφανίζεται, αν προτείνεται, αν απλώς αναφέρεται ή αν περιγράφεται ανακριβώς. Δεν τα συγχωνεύουμε σε ένα ενιαίο σταθμισμένο σκορ με κρυφό τύπο. Όπου δείχνουμε έναν σύνθετο δείκτη, τα συστατικά του στέκονται δίπλα του.

Το πάνελ prompts που ρυθμίσαμε για τη συγκεκριμένη επιχείρηση, και τίποτα ευρύτερο. Είναι περιγραφή ενός πάνελ δοκιμών, όχι εκτίμηση του τι συναντά κάθε αγοραστής σε μια αγορά. Δεν το παρουσιάζουμε ως γενική ορατότητα AI, γιατί δεν είναι.

Δεν αποδείχθηκε, και το λέμε. Οι διατυπώσεις προέρχονται από τον κλάδο και την ειδίκευση της ίδιας της επιχείρησης, γραμμένες ως οι ερωτήσεις που εύλογα θα έκανε ένας αγοραστής, και τις ελέγχει άνθρωπος. Αυτό που ΔΕΝ έχουμε είναι πρωτογενή δεδομένα παρατήρησης για το τι πληκτρολογούν πραγματικά οι χρήστες στο ChatGPT για τον κλάδο αυτόν — κανείς εκτός των παρόχων μοντέλων δεν τα έχει. Η Profound πλησιάζει περισσότερο: αδειοδοτεί πραγματικές συνομιλίες από πάνελ καταναλωτών, και αυτό είναι καλύτερο πρωτογενές υλικό από το δικό μας. Η ερώτηση όμως ζητά πώς ΑΠΟΔΕΙΧΘΗΚΕ ότι ένα σύνολο prompts αντιπροσωπεύει τον πληθυσμό, και ούτε αυτό βρήκαμε δημοσιευμένο: τα πάνελ δεν κατονομάζονται, η αναγωγή στον πληθυσμό περιγράφεται μόνο ως στατιστική μοντελοποίηση, και κανένα νούμερο που βρήκαμε δεν συνοδεύεται από περιθώριο σφάλματος. Σε αυτή την ερώτηση εκείνοι έχουν τα καλύτερα δεδομένα και εμείς έχουμε το ίδιο επιχείρημα που λείπει.

Λιγότερες από τον ακατέργαστο αριθμό των prompts, και προς το παρόν δεν δημοσιεύουμε ένα ενεργό μέγεθος δείγματος προσαρμοσμένο στο γεγονός ότι οι παραφράσεις μίας πρόθεσης συσχετίζονται μεταξύ τους. Είναι πραγματικό κενό. Μέχρι να κλείσει, αντιμετωπίστε τον αριθμό των prompts ως αριθμό δοκιμών, όχι ως ποσότητα ανεξάρτητων αποδείξεων.

Δεν σταθμίζονται. Κάθε διατύπωση μετρά μία φορά. Είναι μια χοντροκομμένη επιλογή και έχει κόστος — μια σπάνια διατύπωση μετρά όσο και μια εμπορικά κεντρική —, αλλά η εναλλακτική είναι ένα μοντέλο στάθμισης που δεν θα μπορούσαμε να τεκμηριώσουμε, και αυτό απλώς θα μετέφερε την αυθαιρεσία κάπου λιγότερο ορατά.

Οι διατυπώσεις καταγράφονται για τον ιστότοπο στην πρώτη εκτέλεση και ΚΛΕΙΔΩΝΟΝΤΑΙ σε κάθε επανάληψη, ώστε το δεύτερο σκορ να μετριέται με τις ίδιες ερωτήσεις με το πρώτο. Ένας πελάτης δεν μπορεί να προσθέσει αθόρυβα ευνοϊκές διατυπώσεις ή να αφαιρέσει δύσκολες ανάμεσα σε δύο εκτελέσεις. Αν το σύνολο των διατυπώσεων αλλάξει σκόπιμα, η εκτέλεση ξεκινά νέα σειρά αντί να συνεχίζει την παλιά γραμμή, και η αναφορά το λέει.

Μόνο την ακρίβεια. Περισσότερες παραλλαγές ενός μη αντιπροσωπευτικού πάνελ δίνουν μια πιο σταθερή εκτίμηση ενός μη αντιπροσωπευτικού πάνελ. Δεν πουλάμε τον όγκο των prompts ως υποκατάστατο της αυστηρότητας.

Δεν ξέρουμε. Προς το παρόν εκτελούμε κάθε διατύπωση μία φορά ανά έλεγχο, και δεν έχουμε μετρήσει τη διακύμανση από εκτέλεση σε εκτέλεση που θα μας έλεγε αν η μία φορά αρκεί. Είναι η μεγαλύτερη τρύπα στη δική μας μέθοδο και είναι πρώτη στη λίστα προς κλείσιμο.

Δεν υπολογίζεται καμία, επειδή η ερώτηση 8 μένει αναπάντητη — χωρίς μετρημένη διακύμανση από εκτέλεση σε εκτέλεση δεν υπάρχει έντιμο διάστημα για να δημοσιευτεί. Μέχρι να υπάρξει, καμία κίνηση του σκορ μας δεν θα πρέπει να διαβάζεται ως σημαντική από μόνη της.

Όλη. Δεν υπάρχει στατιστικό μοντέλο. Προτιμούμε να δείχνουμε μια ακατέργαστη καταμέτρηση με δηλωμένα όρια παρά ένα διάστημα εμπιστοσύνης που αποκλείει σιωπηρά την επιλογή prompts, τη σύνθεση του πάνελ και τη μετατόπιση των μοντέλων — ένα στενό διάστημα γύρω από ένα μεροληπτικό πάνελ είναι απλώς μια λάθος απάντηση που φαίνεται πιο σίγουρη.

Όχι, και δεν τις αντιμετωπίζουμε σαν να ήταν. Διατυπώσεις με κοινή προέλευση, και κάθε διατύπωση που εκτελείται στο ίδιο μοντέλο την ίδια μέρα, κινούνται μαζί όταν αλλάζει το μοντέλο. Δεν τις πολλαπλασιάζουμε σε έναν αριθμό ανεξάρτητων αποδείξεων.

Δεν είναι, γι' αυτό και δεν μετράμε καθημερινά. Ο έλεγχος είναι μια στιγμιαία ανάγνωση και η μηνιαία συνεργασία αναφέρει μηνιαίως. Μια ημερήσια γραμμή θα αποτύπωνε κυρίως τη διακύμανση των απαντήσεων, και ένα διάγραμμα που κινείται κάθε μέρα είναι εμπορικά χρήσιμο και μεθοδολογικά κενό.

Δεν έχει επικυρωθεί έναντι εξωτερικού μέτρου αναφοράς. Δεν έχουμε μελέτη που να συγκρίνει το σκορ μας με επισκεψιμότητα παραπομπών, μετατροπές ή ανάκληση από έρευνες. Είμαστε νέα εταιρεία χωρίς τέτοιο σύνολο δεδομένων, και προτιμούμε να το πούμε παρά να επικαλεστούμε την επικύρωση ενός ξένου, διαφορετικού συστήματος.

Δεν υπάρχει επικύρωση, άρα όχι. Όταν υπάρξει, θα χρησιμοποιεί δεδομένα που δεν παραγάγαμε, δεν επιλέξαμε, δεν σταθμίσαμε και δεν βαθμολογήσαμε εμείς — και θα δημοσιεύσουμε το αρνητικό αποτέλεσμα, αν αυτό προκύψει.

Η μόνη παραδοχή που κάνουμε είναι ότι ένα ερώτημα εκτός σύνδεσης λογαριασμού, μίας κίνησης, είναι μια υπερασπίσιμη τυποποιημένη δοκιμή — συγκρίσιμη από εκτέλεση σε εκτέλεση και από επιχείρηση σε επιχείρηση, και ΟΧΙ ίδια με αυτό που βλέπει ένας συνδεδεμένος χρήστης με ιστορικό. Βλ. ερώτηση 16.

Δεν το κάνουμε, και δεν θα μπορούσαμε. Κάθε δοκιμή τρέχει χωρίς σύνδεση λογαριασμού και σε μία μόνο κίνηση. Αυτό σημαίνει ότι η ανάγνωσή μας είναι ελεγχόμενη μέτρηση, όχι προσομοίωση μιας πραγματικής συνεδρίας, και η εξατομίκευση είναι μια αποκλεισμένη πηγή σφάλματος, όχι μια μοντελοποιημένη. Ο περιορισμός αυτός ισχύει για κάθε προμηθευτή σε αυτή την αγορά, και για εκείνους που δεν τον αναφέρουν.

Τίποτα στο οποίο θα στηριζόμασταν, γι' αυτό και δεν χρησιμοποιούμε συνθετικές personas. Το να πληκτρολογήσει κανείς «Είμαι CFO στο Λονδίνο» σε ένα prompt δεν αναπαράγει ιστορικό λογαριασμού, τοποθεσία ή μνήμη· παράγει ένα διαφορετικά διατυπωμένο prompt. Το να πουληθεί αυτό ως τμήμα persona θα ήταν επινόηση μιας μεταβλητής.

Οι είσοδοι είναι: το σύνολο των διατυπώσεων είναι κλειδωμένο και καταγεγραμμένο, ώστε ένας πελάτης να μπορεί να επαναλάβει ακριβώς ό,τι εκτελέσαμε, στα ίδια μοντέλα, εκτός της πλατφόρμας μας. Αυτό που δεν έχουμε δημοσιεύσει είναι ένα μετρημένο ποσοστό συμφωνίας test-retest — βλ. ερώτηση 8.

Δεν έχουμε περάσει το ίδιο πάνελ από την πλατφόρμα ενός ανταγωνιστή για να συγκρίνουμε. Θα ήταν ένα πραγματικά χρήσιμο πείραμα και θα δημοσιεύαμε το αποτέλεσμα όποιο κι αν ήταν.

Ανά μοντέλο, δίπλα δίπλα. Δεν βγάζουμε μέσο όρο του ChatGPT, του Gemini, του Perplexity και των Google AI Overviews σε έναν αριθμό, γιατί δεν έχουμε υπερασπίσιμη βάση για τα βάρη που θα απαιτούσε αυτό. Μια επιχείρηση αόρατη στο ένα και δυνατή στο άλλο έχει ένα πολύ συγκεκριμένο πρόβλημα, και ο μέσος όρος κρύβει ακριβώς αυτό για το οποίο αξίζει να δράσει κανείς.

Μια σύσταση στην πρώτη θέση και μια παρεμπίπτουσα αναφορά καταγράφονται διαφορετικά και εμφανίζονται χωριστά. Μια αρνητική αναφορά δεν μετρά ως ορατότητα. Τα ψευδώνυμα, οι εμπορικές επωνυμίες και οι μητρικές εταιρείες αντιστοιχίζονται με το χέρι κατά τη ρύθμιση, και ο πελάτης μπορεί να τα διορθώσει. Αυτό που δεν κάνουμε ακόμη είναι να επανυπολογίζουμε το ιστορικό όταν αλλάζει ένας κανόνας αντιστοίχισης — αντ' αυτού η αναφορά συνοδεύεται από σημείωση.

Μία απάντηση, μία παρατήρηση. Μια επιχείρηση που κατονομάζεται πέντε φορές σε μία και μόνη απάντηση μετρά μία φορά. Ο παρονομαστής του share of voice περιλαμβάνει κάθε επωνυμία που κατονομάζεται στην απάντηση, όχι μόνο τους ανταγωνιστές που επέλεξε ο πελάτης — αλλιώς ο πελάτης ορίζει μόνος του τον παρονομαστή του.

Παραπομπή είναι μια πηγή που εμφάνισε το ίδιο το σύστημα — ένας συνδεδεμένος σύνδεσμος ή μια καταχώριση σε πίνακα πηγών —, αποδιδόμενη στο domain. Δεν συμπεραίνουμε παραπομπές, δεν μετράμε ως παραπομπή ένα URL σε απλό κείμενο μέσα στην πρόζα, και δεν αναπαράγουμε αυτολεξεί κείμενο των AI Overviews ως τεκμήριο — λόγω ενός περιορισμού του παρόχου, γύρω από τον οποίο προτιμήσαμε να χτίσουμε παρά να τον αμφισβητήσουμε.

Μια άρνηση, ένα timeout ή μια κακοσχηματισμένη απάντηση καταγράφεται ως ΑΠΟΤΥΧΙΑ, όχι ως απουσία της επωνυμίας, και εξαιρείται από τον παρονομαστή. Ο αριθμός των αποτυχιών εμφανίζεται στην αναφορά. Το να μετρηθεί ένα timeout ως «δεν σας πρότειναν» θα κατασκεύαζε πτώση από μια διακοπή λειτουργίας.

Οι πελάτες παίρνουν το ακριβές σύνολο διατυπώσεων, το μοντέλο και την ημερομηνία της εκτέλεσης — αρκετά για να το επαναλάβουν μόνοι τους. Οι πλήρεις, ανεπεξέργαστες έξοδοι και οι χρονοσφραγίδες διατίθενται κατόπιν αιτήματος, αλλά δεν εξάγονται ακόμη από προεπιλογή. Αυτό θα έπρεπε να είναι ένα κουμπί, όχι ένα αίτημα, και θα γίνει.

Μια αλλαγή στο σύνολο των διατυπώσεων ή στη βαθμολόγηση ξεκινά νέα σειρά αντί να συνεχίζει την παλιά γραμμή. Δεν ξαναγράφουμε σιωπηλά το ιστορικό, και δεν παρουσιάζουμε αναγνώσεις που ελήφθησαν με δύο διαφορετικά όργανα ως μία συνεχή τάση.

Κανένας. Δεν ισχυριζόμαστε ότι μια αλλαγή περιεχομένου προκάλεσε μια κίνηση. Δεν έχουμε ομάδα ελέγχου ούτε αντιπαράδειγμα, οπότε μας μένει μόνο η χρονική ακολουθία, και η χρονική ακολουθία δεν είναι αιτιότητα. Αναφέρουμε τι κάναμε και ποια ήταν η ανάγνωση μετά, και το ονομάζουμε ακριβώς έτσι.

Δεν λειτουργούμε αυτόνομους agents που επεξεργάζονται περιεχόμενο ή δημιουργούν σελίδες με βάση ένα σκορ. Κάθε αλλαγή τη γράφει άνθρωπος ή την ελέγχει άνθρωπος πριν βγει στον αέρα. Αν ποτέ αυτοματοποιήσουμε μια ενέργεια από μια μέτρηση, το κατώφλι επανάληψης, το ελάχιστο μέγεθος επίδρασης και η υποχρέωση ανθρώπινου ελέγχου θα βγουν ταυτόχρονα και θα είναι ορατά στον πελάτη — όχι προσθήκη εκ των υστέρων.

Δεν ξέρουμε, και δεν θα ισχυριστούμε το αντίθετο. Δεν έχουμε δείξει ότι μια υψηλότερη ανάγνωση προβλέπει επισκεψιμότητα παραπομπών, pipeline ή έσοδα, με σταθερό το μέγεθος της επωνυμίας. Η βελτίωση του σκορ προβλέπει προς το παρόν αξιόπιστα ένα πράγμα: μια μεταγενέστερη βελτίωση του σκορ.

Δεν θα έπρεπε, και δεν τον περιγράφουμε έτσι. Είναι ένα εργαλείο παρακολούθησης κατεύθυνσης για ένα ρυθμισμένο πάνελ. Ο περιορισμός αυτός τυπώνεται στο ίδιο μέγεθος με τον αριθμό — στην αναφορά και σε αυτή τη σελίδα.

Οποιοδήποτε από τα εξής, και θα το λέγαμε δημόσια: μια μετρημένη διακύμανση από εκτέλεση σε εκτέλεση τόσο μεγάλη, ώστε οι συνηθισμένες κινήσεις να μη διακρίνονται από τον θόρυβο· ένα ποσοστό συμφωνίας test-retest χαμηλότερο από αυτό που θα δεχόμασταν από έναν προμηθευτή· μια σύγκριση μεταξύ προμηθευτών που δείχνει ότι οι αναγνώσεις μας διαφωνούν ουσιωδώς με δύο άλλες, χωρίς να μπορούμε να δείξουμε ότι οι δικές μας είναι πιο κοντά σε αυτό που βλέπει ένας χρήστης· ή μια πρώτη μελέτη αποτελεσμάτων που δεν βρίσκει καμία σχέση με οτιδήποτε ενδιαφέρει έναν πελάτη. Αν τίποτα από αυτά δεν θα μας άλλαζε γνώμη, η μέθοδος δεν έχει ελεγχθεί.