Estadística des de zero: el vocabulari que cal entendre
Les paraules bàsiques que cal dominar abans d'aprofundir en l'estadística
Introducció
L'estadística apareix pertot arreu: en una enquesta electoral, en un estudi mèdic, en la previsió de vendes d'una empresa o quan ens diuen que el salari mitjà d'un país ha augmentat.
Però per entendre què ens expliquen realment aquestes dades cal dominar abans un petit vocabulari.
En aquest article veurem els conceptes més importants de l'estadística, sense entrar encara en matemàtiques complicades.
L'objectiu no és aprendre estadística en deu minuts, sinó disposar d'un mapa que ens permeti aprofundir després en cadascun d'aquests conceptes.
Dada
Una dada és una observació o un valor que hem recollit.
Per exemple, si mesurem l'alçada de cinc persones: 168, 175, 171, 182, 169 cm. Cadascun d'aquests valors és una dada.
Una dada tota sola acostuma a dir-nos poca cosa. L'estadística comença a ser interessant quan tenim moltes dades i intentem descobrir què ens expliquen en conjunt.
Variable
Una variable és la característica que estem observant o mesurant.
Per exemple:
- alçada
- edat
- temperatura
- salari
- nombre de fills
- color dels ulls
Les variables poden ser quantitatives, quan s'expressen numèricament, o qualitatives, quan representen categories.
Població
La població és el conjunt complet d'individus o elements que volem estudiar.
Si volem conèixer l'alçada dels adults de Catalunya, la població serien tots els adults de Catalunya.
El problema és evident: estudiar tota una població pot ser molt car, lent o directament impossible. Per això normalment utilitzem una mostra.
Mostra
Una mostra és una part de la població que utilitzem per estudiar-la.
Si seleccionem 1.000 adults per estimar l'alçada mitjana de tots els adults de Catalunya:
- població: tots els adults de Catalunya
- mostra: els 1.000 adults seleccionats
Una gran part de l'estadística consisteix precisament a intentar deduir coses sobre una població a partir d'una mostra.
Una mostra molt gran no garanteix necessàriament un bon resultat. També cal que sigui representativa de la població.
Paràmetre i estadístic
Aquests dos termes són fàcils de confondre.
Un paràmetre descriu una característica de tota la població.
Un estadístic és un valor calculat a partir d'una mostra.
Per exemple, si la veritable alçada mitjana de tots els adults fos de 171,2 cm, aquest valor seria un paràmetre.
Si mesurem una mostra de 1.000 persones i obtenim una mitjana de 171,5 cm, aquest valor és un estadístic.
Normalment coneixem l'estadístic i intentem utilitzar-lo per aproximar-nos al paràmetre desconegut.
Com resumim les dades?
Quan tenim milers o milions de valors necessitem resumir-los. Aquí apareixen alguns dels conceptes més coneguts de l'estadística.
Mitjana
La mitjana aritmètica és el que normalment anomenem simplement mitjana o amb el castellanisme promig.
Sumem tots els valors i dividim pel nombre d'observacions.
Per exemple: 8, 9, 10, 11, 12
La mitjana és: 8+9+10+11+125=10
És una mesura molt útil, però té un problema important: els valors extrems poden modificar-la molt.
Mediana
La mediana és el valor que queda al mig quan ordenem totes les observacions.
Per exemple: 8, 9, 10, 11, 12
La mediana és 10.
Ara imaginem aquests sous mensuals: 1.500, 1.600, 1.700, 1.800, 20.000 €
La mitjana és de 5.320 €, però quatre de les cinc persones cobren menys de 2.000 €.
La mediana, en canvi, és de 1.700 €.
Per això, en distribucions amb valors molt extrems, la mediana pot representar millor el valor central que la mitjana.
Moda
La moda és el valor que apareix més vegades.
En: 2, 3, 3, 3, 4, 5 la moda és 3.
Pot haver-hi més d'una moda i fins i tot pot no haver-hi cap valor clarament dominant.
Mínim, màxim i rang
El mínim és el valor més petit i el màxim, el més gran.
El rang és la diferència entre tots dos.
Si tenim: 12, 15, 18, 21, 27. El rang és: 27 - 12 = 15
És una manera molt simple de saber fins a quin punt estan separades les dades.
La dispersió: la mitjana no ho explica tot
Considerem aquests dos grups:
Grup A
9, 10, 10, 10, 11
Grup B
0, 5, 10, 15, 20
Tots dos tenen una mitjana de 10. Però és evident que no són iguals. En el primer grup els valors estan molt concentrats al voltant de la mitjana. En el segon estan molt més dispersos.
Aquesta idea és fonamental en estadística.
Variància
La variància mesura fins a quin punt les dades s'allunyen de la seva mitjana.
Com més semblants siguin els valors, menor serà la variància i com més dispersos estiguin, més gran serà.
La variància és matemàticament molt útil, encara que té l'inconvenient que queda expressada en les unitats originals elevades al quadrat.
Per això acostuma a ser més intuïtiva la desviació estàndard.
Desviació estàndard
La desviació estàndard és una de les mesures de dispersió més utilitzades.
Ens indica fins a quin punt els valors s'allunyen habitualment de la mitjana.
Una desviació estàndard petita indica dades molt concentrades i una desviació estàndard gran indica dades més disperses.
Aquest concepte serà especialment important quan estudiem la distribució normal.
Valor atípic
Un valor atípic, sovint anomenat també outlier, és una observació extraordinàriament allunyada de la resta.
Per exemple: 18, 19, 20, 21, 22, 150. El valor 150 crida immediatament l'atenció.
Un valor atípic pot ser:
- un error de mesura
- un error introduint les dades
- un cas excepcional
- o una dada perfectament real
No s'ha d'eliminar automàticament. Primer cal entendre per què hi és.
Distribució
Una distribució descriu com es reparteixen els valors d'una variable.
No només ens interessa saber quina és la mitjana, sinó també quants valors hi ha a cada zona.
Algunes distribucions són simètriques, d'altres tenen una cua molt llarga cap a un costat i d'altres poden tenir diversos grups diferenciats.
Freqüència
La freqüència indica quantes vegades apareix un valor.
Si llancem un dau 100 vegades i el número 6 apareix 18 vegades:
- freqüència del 6: 18
- freqüència relativa: 18/100 = 18 %
Quan el nombre d'observacions augmenta, les freqüències relatives ens permeten comparar les dades observades amb probabilitats teòriques.
Histograma
Un histograma és una representació gràfica que agrupa les dades en intervals i mostra quantes observacions hi ha a cadascun.
És una de les formes més senzilles de veure la forma d'una distribució.
Amb un simple histograma podem detectar:
- concentracions de dades
- dispersió
- asimetries
- valors atípics
- diversos grups dins d'un mateix conjunt de dades
Distribució normal
La distribució normal és la famosa distribució amb forma de campana, sovint anomenada campana de Gauss.
Moltes variables naturals i molts errors de mesura poden aproximar-se, en determinades circumstàncies, a aquesta mena de distribució.
La major part dels valors es concentren al voltant de la mitjana i cada vegada n'hi ha menys a mesura que ens allunyem del centre.
La distribució normal té una importància enorme en estadística i mereix un article propi.
Quantils
Són divisions que es fan de la distribució:
Els més usats són:
- Els quartils, que divideixen la distribució en quatre parts (corresponen als quantils 0.25, 0.50 i 0.75);
- Els quintils, que divideixen la distribució en cinc parts (corresponen als quantils 0.20, 0,40, 0,60 i 0,80);
- Els decils, que divideixen la distribució en deu parts;
- Els percentils, que divideixen la distribució en cent parts.
Correlacions espúries
La correlació mesura fins a quin punt dues variables varien conjuntament.
Per exemple, podríem observar que:
- quan augmenta l'alçada, acostuma a augmentar el pes;
- quan augmenta la temperatura, augmenten les vendes de gelats.
Parlem de correlació positiva quan dues variables tendeixen a augmentar conjuntament, de correlació negativa quan una tendeix a disminuir mentre l'altra augmenta, i d'absència de correlació quan no hi ha una relació clara entre totes dues.
El següent mòdul permet veure de forma visual com canvia la correlació quan modifiquem la distribució dels punts:
Però cal recordar una de les advertències més importants de l'estadística:
Correlació no implica causalitat.
Que dues variables evolucionin conjuntament no demostra que una sigui la causa de l'altra. En estadística, una relació espúria o correlació espúria, és una relació matemàtica en la qual dos esdeveniments no tenen connexió lògica, tot i que pot semblar que la tenen a causa d'un tercer factor no considerat anomenat factor de confusió o només passa per atzar.
Un exemple molt clar és el que passa a l'estiu: augmenten tant les vendes de gelats com el nombre d'ofegaments. Les dues variables estan correlacionades, però això no significa que menjar gelats provoqui ofegaments.
En realitat hi ha una tercera variable que ajuda a explicar totes dues: la calor. Quan fa més calor, la gent compra més gelats i també passa més temps a la platja o a la piscina.
Aquest tipus de variable s'anomena variable confusora o factor de confusió.
Dues variables poden moure's juntes sense que una sigui la causa de l'altra.
Un estudiant de criminologia de l'Escola de Lleis de la Universitat de Harvard, Tyler Vigen, va dissenyar un sistema informàtic que cerca en grans conjunts de dades patrons de correlació i publica al seu lloc web milers de correlacions espúries.
La confusió entre correlació i causalitat és un fal·làcia lògica anomenada: Cum hoc ergo propter hoc.
Per saber-ne més de fal·lacies en tenin un post dedicat: Les 25 fal·làcies més habituals
Biaix i mostreig
Un biaix és un error sistemàtic que fa que els resultats tendeixin en una determinada direcció.
Per exemple, si volem saber quantes hores d'esport practiquen els ciutadans i fem l'enquesta exclusivament a la sortida d'un gimnàs, probablement obtindrem una estimació massa elevada. El problema no és el nombre de respostes, sinó com hem seleccionat la mostra. Aquest cas és un exemple de biaix de selecció o de mostreig: la mostra escollida no representa correctament la població que volem estudiar.
Podem tenir milers, o fins i tot milions, de dades i continuar obtenint una conclusió equivocada si aquestes dades no són representatives.
Aquesta idea es resumeix molt bé amb una expressió clàssica de la informàtica:
Garbage in, garbage out (GIGO): si introduïm dades de mala qualitat, esbiaixades o incompletes, obtindrem resultats igualment dolents, per sofisticats que siguin els càlculs.
En estadística passa exactament el mateix. Un model molt avançat no pot corregir automàticament una mostra mal escollida, una pregunta mal formulada o unes dades recollides de manera esbiaixada.
Recollir moltes dades no compensa una mostra mal seleccionada. Una mostra aleatòria ben dissenyada redueix molt el risc de biaix, però no l'elimina completament: també cal evitar problemes de cobertura, preguntes tendencioses i manca de resposta.
Estadística descriptiva i estadística inferencial
A partir d'aquí podem dividir l'estadística, de manera molt simplificada, en dues grans parts.
- Estadística descriptiva. Organitza, resumeix i representa les dades que tenim. Mitjanes, medianes, percentatges, gràfics, desviacions... Com exemple clar, un cens de població.
- Estadística inferencial: Utilitza una mostra per intentar extreure conclusions sobre una població més gran. Per exemple una enquesta on cal "cuinar" les dades per extrapolar-les
Marge d'error
Quan estimem una característica d'una població a partir d'una mostra existeix inevitablement una certa incertesa.
El marge d'error intenta quantificar aquesta incertesa.
Per això una enquesta pot informar, per exemple: 42 % ± 3 %
No significa que el resultat sigui necessàriament exacte dins d'aquests límits en qualsevol circumstància. El marge d'error depèn del model estadístic, de la mida de la mostra i de com s'ha fet el mostreig.
Interval de confiança
Un interval de confiança proporciona un rang de valors plausibles per a un paràmetre desconegut a partir de les dades d'una mostra.
És un dels conceptes fonamentals de l'estadística inferencial.
La seva interpretació exacta, però, és més subtil del que sembla i la deixarem per a un altre article.
Hipòtesi estadística
En moltes investigacions comencem proposant una hipòtesi.
Per exemple:
Aquest medicament redueix la pressió arterial.
A partir de les dades intentarem determinar si els resultats observats són compatibles amb una determinada hipòtesi.
D'aquí apareixen conceptes com:
- hipòtesi nul·la
- hipòtesi alternativa
- significació estadística
- valor p
Tots ells són molt importants, però també són fàcils d'interpretar malament. Per això és millor estudiar-los separadament.
Probabilitat i estadística no són exactament el mateix
La probabilitat i l'estadística estan profundament relacionades, però parteixen de problemes diferents. En probabilitat coneixem un model i intentem calcular què pot passar.
Per exemple: si llancem una moneda equilibrada, quina probabilitat hi ha d'obtenir cara?
En estadística sovint fem el camí contrari: hem llançat una moneda 1.000 vegades i han sortit 570 cares. Podem considerar que aquesta moneda està equilibrada?
A partir d'observacions intentem descobrir alguna cosa sobre el mecanisme que les ha produït.
Tenim un post d'introducció a les probabilitats: Per què no et tocarà mai la Grossa
Per a què serveix l'estadística?
L'estadística és una eina fonamental per prendre decisions a partir de dades, i en el món econòmic això és especialment important. Empreses, administracions, bancs i inversors l'utilitzen per analitzar vendes, costos, preus, salaris, inflació, atur, risc o evolució dels mercats.
En una empresa, per exemple, permet detectar tendències de facturació, conèixer quin pes té cada tipus de client, estimar la demanda futura, comparar períodes, controlar desviacions i identificar riscos de concentració. També és útil per estudiar el comportament dels consumidors, segmentar mercats o valorar si una inversió està obtenint els resultats esperats.
A escala macroeconòmica, bona part dels indicadors que apareixen als mitjans —PIB, IPC, taxa d'atur, renda mitjana o índexs de confiança— són el resultat de processos estadístics.
En economia, les dades no eliminen la incertesa, però permeten mesurar-la i prendre decisions amb més criteri.
Quan l'estadística pot enganyar
L'estadística és una eina molt poderosa, però també es pot utilitzar per presentar una realitat de manera esbiaixada. Escollir només les dades que interessen, utilitzar una mostra poc representativa, destacar una mitjana que amaga grans diferències o manipular l'escala d'un gràfic pot canviar completament la percepció d'un resultat.
Per exemple, no és el mateix dir que les vendes han crescut un 50 % que explicar que han passat de 2 a 3 unitats. La dada és certa, però sense context pot resultar enganyosa.
Una estadística pot ser matemàticament correcta i, al mateix temps, conduir a una conclusió equivocada si es presenta sense context.
Per això, davant de qualsevol dada estadística convé preguntar-se d'on surt, com s'ha calculat i què no ens estan mostrant.
Mark Twain va popularitzar la frase: "Hi ha tres tipus de mentides: les mentides, les maleïdes mentides i les estadístiques"
Així mateix, el químic Fred Menger va escriure: "Si es torturen prou unes dades, acabaran confessant pràcticament qualsevol cosa"
El mapa de l'estadística
Podem resumir tot el recorregut d'aquest article així:
Les gràfiques de la estadística
A continuació tens una infografia amb les principals gràfiques que s'utilitzen en estadística. És una eina visual molt útil per entendre quan convé fer servir un gràfic de barres, un histograma, un gràfic de sectors, un diagrama de dispersió o un diagrama de caixa, entre d'altres. Més enllà de la seva aparença, cada representació respon a una necessitat concreta: comparar valors, estudiar distribucions, veure evolucions o analitzar relacions entre variables.
Conclusions
L'estadística consisteix a recollir dades, resumir-les, entendre la seva variabilitat i utilitzar-les per prendre decisions en condicions d'incertesa.
Conceptes aparentment senzills com mostra, mitjana, desviació estàndard, correlació o interval de confiança són les peces bàsiques d'un llenguatge molt més ampli.
Si entenem bé aquest vocabulari, ja tenim les eines necessàries per començar a estudiar temes més interessants: la distribució normal, els intervals de confiança, els tests d'hipòtesis, la regressió, el teorema central del límit o l'estadística bayesiana.
Referències
- NIST/SEMATECH e-Handbook of Statistical Methods
- Paràmetre estadístic — Viquipèdia
- Glosario de términos estadísticos
- Guía de Estadística Elemental
Recursos interactius
- Seeing Theory — Brown University — visualitzacions interactives de probabilitat i estadística.
Bibliografia
Videos:
Els gràfics permeten resumir i visualitzar grans quantitats de dades per detectar tendències, diferències i distribucions.