Quantitative and qualitative research for decisions

I numeri restano il nostro linguaggio di verifica, ma imparerai quando e come farli parlare con le persone. Il segreto non sta nel metodo singolo, bensì nell’incrocio dei due: la ricerca quantitativa misura quanto è grande un fenomeno, quella qualitativa spiega perché accade. Insieme rendono una decisione meno rischiosa, e qui impari ad alternarle nel workflow giusto.

L’idea in una frase

La ricerca quantitativa misura quanto e grande un fenomeno mentre quella qualitativa spiega perche accade, e insieme rendono una decisione meno rischiosa.

Il percorso in cinque passi

1. Scrivi in una frase esplicita la decisione che l’analisi deve cambiare.
2. Fissa unita di analisi, metrica osservata e baseline prima di leggere i numeri.
3. Leggi il segnale quantitativo per ampiezza, segmento e variazione nel tempo.
4. Usa interviste e sessioni reali per spiegare il meccanismo dietro il segnale.
5. Traduci il risultato in raccomandazione con soglia di intervento e monitoraggio.

Quando il numero non basta

Le decisioni migliori nascono dall’incrocio di due evidenze. I numeri dicono quanto e grande un fenomeno e dove si concentra. La ricerca qualitativa spiega perche accade e cosa significa per chi lo vive. Una buona analisi separa il segnale dal rumore, dichiara la baseline usata e chiarisce quale azione diventa piu difendibile dopo la lettura.

Step	Question to ask	Expected output
Decision	Che cosa cambia se capiamo meglio il fenomeno?	Scelta esplicita
Signal	Quale dato osservabile riduce l’incertezza?	Metrica o evento
Baseline	Rispetto a cosa interpretiamo il risultato?	Credible comparison
Vincolo	Che cosa puo falsare la lettura?	Assunzione da dichiarare
Action	Quale passo operativo segue?	Raccomandazione controllabile

Nel contesto tabellare la prima domanda non e quale metrica calcolare, ma quale decisione sara presa grazie all’analisi. Se il risultato non cambia una scelta, resta documentazione.

Qualitative methods for the analyst

La ricerca qualitativa usa strumenti precisi anche con campioni piccoli. Cinque-otto interviste bastano per identificare i pattern principali, come mostrava Nielsen gia nel 2000. Le session recording con Hotjar o FullStory permettono di guardare dieci-venti sessioni reali di abbandono, dove i problemi di UX emergono subito. Una survey in-app con una domanda mirata nel momento dell’abbandono ottiene un tasso di risposta tre-cinque volte superiore alle survey via email. Anche i ticket di supporto diventano dati qualitativi strutturati quando vengono categorizzati per topic e letti per trend.

Usa campioni piccoli e mirati per trovare il meccanismo, poi torna sulle tabelle per misurarne l’ampiezza.

Integrate quantitative and qualitative into the workflow

Il flusso piu affidabile alterna i due metodi invece di sceglierne uno solo.

1. Il dato quantitativo segnala un problema: il tasso di abbandono al checkout sale dal 62% al 71%.
2. L’indagine qualitativa rivela la causa: le session recording mostrano che il form di pagamento si blocca su mobile.
3. L’ipotesi viene testata di nuovo coi numeri: l’abbandono su mobile e al 78% contro il 52% su desktop.
4. La soluzione viene implementata e misurata: si corregge il form e si monitora il tasso di abbandono.

La media globale puo nascondere due segmenti che si muovono in direzioni opposte. Il metodo qualitativo serve qui a capire quale segmento osservare da vicino.

I numeri segnalano dove guardare e le interviste spiegano cosa correggere, nessun metodo decide da solo.

La vista di controllo in SQL

Il pattern seguente crea una base analitica con metrica, segmento e finestra temporale. Confronta periodi e gruppi senza riscrivere la logica ogni volta.

WITH base_events AS (
  SELECT
    user_id,
    account_id,
    event_type,
    event_time,
    DATE_TRUNC('week', event_time) AS week,
    source,
    device_type
  FROM events
  WHERE event_time >= CURRENT_DATE - INTERVAL '180 days'
    AND user_id IS NOT NULL
),
weekly_user_metrics AS (
  SELECT
    week,
    user_id,
    COALESCE(source, 'unknown') AS source,
    COALESCE(device_type, 'unknown') AS device_type,
    COUNT(*) AS total_events,
    COUNT(DISTINCT DATE(event_time)) AS active_days,
    COUNT(DISTINCT event_type) AS event_diversity,
    MAX(CASE WHEN event_type IN ('purchase', 'subscribe', 'activation') THEN 1 ELSE 0 END) AS reached_key_outcome
  FROM base_events
  GROUP BY week, user_id, source, device_type
)
SELECT
  week,
  source,
  device_type,
  COUNT(DISTINCT user_id) AS users,
  ROUND(AVG(active_days), 2) AS avg_active_days,
  ROUND(AVG(event_diversity), 2) AS avg_event_diversity,
  ROUND(AVG(reached_key_outcome) * 100, 2) AS key_outcome_rate
FROM weekly_user_metrics
GROUP BY week, source, device_type
ORDER BY week, source, device_type;

La query costruisce la superficie di osservazione con trend, segmenti e differenze tra canali. Da qui l’analista formula ipotesi da approfondire con metodi qualitativi.

Il controllo di stabilita in Python

Una metrica utile resta stabile per orientare le decisioni e sensibile per segnalare i cambiamenti reali.

# df contiene: week, segment, users, key_outcome_rate
# key_outcome_rate espresso in percentuale, es. 12.4

df = df.sort_values(['segment', 'week']).copy()
df['previous_rate'] = df.groupby('segment')['key_outcome_rate'].shift(1)
df['wow_change_pp'] = df['key_outcome_rate'] - df['previous_rate']
df['rolling_mean'] = df.groupby('segment')['key_outcome_rate'].transform(
    lambda s: s.rolling(4, min_periods=2).mean()
)
df['rolling_std'] = df.groupby('segment')['key_outcome_rate'].transform(
    lambda s: s.rolling(4, min_periods=2).std()
)
df['z_score'] = (df['key_outcome_rate'] - df['rolling_mean']) / df['rolling_std']

anomalies = df[df['z_score'].abs() >= 2].sort_values('z_score')
print(anomalies[['week', 'segment', 'key_outcome_rate', 'wow_change_pp', 'z_score']])

Il controllo evita reazioni a ogni oscillazione casuale e segnala quando una variazione merita un’indagine mirata con interviste.

Gli errori tipici da evitare

Il primo errore e aggregare troppo presto. La media nasconde i segmenti che si muovono in direzioni opposte. Il secondo e ignorare la qualita del dato: eventi duplicati, tracking incompleto, timezone incoerenti e cambi di definizione producono conclusioni false. Il terzo e confondere correlazione e causalita: se chi usa una feature converte di piu, puo trattarsi di utenti gia motivati. Ogni analisi deve contenere definizione esplicita della metrica, confronto per segmento e controllo contro un periodo precedente o un gruppo di controllo.

Un caso reale: gli host giapponesi di Airbnb

Airbnb lavora con una cultura di ricerca mista tra dati e interviste. Quando i dati mostrarono che gli host in Giappone avevano un tasso di risposta piu basso, i numeri indicavano il problema ma non la causa. Le interviste rivelarono che gli host giapponesi trovavano scortese rispondere con messaggi brevi e preferivano non rispondere piuttosto che sembrare bruschi. La soluzione fu un template di risposta culturalmente appropriato e non una modifica tecnica. Dopo l’intervento il tasso di risposta sali del 21%.

Verdetto: i numeri segnalano dove guardare e le interviste spiegano cosa correggere, nessun metodo decide da solo: usa campioni piccoli e mirati per trovare il meccanismo, poi torna sulle tabelle per misurarne l’ampiezza.

Domande per verificare la tua comprensione

1. Quale decisione concreta migliora integrando dati quantitativi e interviste in questa lezione?
2. Quale baseline useresti per leggere il tasso di abbandono senza farti ingannare dalla media?
3. Quando un segnale quantitativo richiede un approfondimento qualitativo prima di agire?
4. Quale controllo di qualita applichi prima di raccomandare un intervento sul checkout?