Registro dello strumento: ogni volta che abbiamo cambiato il modo di misurare

Le risposte dell'AI cambiano da sole. Se cambia anche il nostro modo di leggerle, e non lo diciamo, un cliente che vede un salto nel suo grafico non ha modo di sapere se è successo a lui o a noi. Questa pagina esiste perché la risposta non sia «fidati».

Qui dentro ci sono anche i casi in cui il modo di misurare era sbagliato, con la data in cui ce ne siamo accorti. Li pubblichiamo per la stessa ragione per cui mostriamo gli intervalli di confidenza: uno strumento che non ha mai una correzione da dichiarare o non misura niente, o non si sta guardando.

La storia protetta del confronto R2 non è ricostruibile in questo momento. Le altre modifiche dello strumento restano visibili qui sotto; la loro assenza non viene interpretata come storia completa.

  1. archivioarchivio:free-scan

    prima: solo il testo, stimolo perso se lo scan muore · dopo: envelope .json per chiamata + stimolo alla generazione + registro delle assenze

    Il free scan conservava solo il testo normalizzato: l'envelope integrale del provider non veniva mai scritto, e le domande esistevano solo se lo scan arrivava al report. Da oggi ogni chiamata riuscita lascia il proprio envelope su R2, lo stimolo si scrive quando nasce, e un artifact che manca lo dice con la sua causa. Gli scan precedenti restano senza: quegli envelope non sono ricostruibili, e il loro posto resta vuoto invece di essere riempito a posteriori.

  2. registroregistro:dizionario

    prima: nessuno storico · dopo: dict_versions + run_calls.dict_hash

    Il dizionario di lettura (nome/dominio/alias del brand, key/label/alias dei competitor) era modificabile senza lasciare traccia: le letture non erano ri-derivabili con il dizionario della loro epoca. Da oggi ogni cambiamento e un evento registrato; le misure precedenti restano leggibili solo col dizionario attuale.

  3. archivioarchivio:integrita

    prima: nessun hash, causa di assenza muta · dopo: artifact_sha256 + artifact_missing_reason + build_sha

    Da oggi ogni osservazione porta l'impronta dell'artifact che l'ha prodotta, la causa esplicita quando l'artifact non c'e, e il git sha della build che ha misurato. Le osservazioni precedenti restano senza: gli artifact su R2 sono ancora integri ma il loro hash, se calcolato in futuro, sara un hash-at-backfill con la sua data — mai un hash-at-write.

  4. regole di calcoloregola:verdetto

    dopo: wilson-95-non-sovrapposti + controllo non-toccate + pavimento 4 oss/2 run

    Nasce il verificatore dei verdetti sulle mosse dichiarate: finestre PRE/POST di 28 giorni, promessa preventiva dichiarata alla dichiarazione, controllo delle domande non toccate come condizione per ogni verdetto direzionale, pavimento su n_POST. Linguaggio di concordanza, mai causalità. Metodologia §7.

  5. regole di calcoloregola:maggioranza

    prima: pareggio 1/2 = presente · dopo: pareggio = instabile, fuori dal tasso

    rollup.ts promuoveva 1/2 a presente mentre la metodologia promette la maggioranza (0023)

  6. regole di calcoloregola:alert-tasso

    prima: soglia fissa max(10, 200/N) punti · dopo: non-sovrapposizione degli intervalli di Wilson al 95%

    la soglia fissa scattava a circa 1 sigma dal rumore binomiale: con 15 coppie un singolo esito sposta il tasso di 7 punti, e un alert calibrato li addestra il cliente a ignorarlo (0024)

  7. regole di letturaparser:brand_cited

    prima: includes() su dominio+url · dopo: uguaglianza di dominio

    una pagina di terzi sul brand (trustpilot.com/review/dominio) contava come citazione del brand

  8. superficie nuovasuperficie:aio

    dopo: attiva

    AI Overview di Google nel monitor settimanale: superficie separata, tabelle proprie (0018)

  9. domande misurateprompt-set:hbskn

    prima: 2 domande · dopo: 22 domande

    prompt set completo applicato: le serie prima/dopo misurano domande diverse

Che cosa finisce qui, e che cosa no

Finisce qui tutto ciò che può spostare una misura a parità di risposta del motore: come riconosciamo una menzione, come decidiamo che una fonte cita te, la regola di maggioranza, la soglia di un avviso, l'insieme di domande monitorate. Ogni misura che produciamo porta scritta accanto la versione delle regole con cui è stata letta, così una giuntura nella serie si trova invece di doverla indovinare.

Non finisce qui il resto del software — una pagina nuova, un colore, una correzione che non tocca i numeri. Non perché sia poco importante, ma perché questo non è il registro di quello che facciamo: è il registro di quello che potrebbe aver cambiato i tuoi numeri, e mescolarci dentro il resto lo renderebbe illeggibile.

Come misuriamo, nel dettaglio e con i limiti dichiarati, sta in metodologia.