Statistici pentru învățarea automată: un ghid pentru începători



Acest articol despre Statistici pentru învățarea automată este un ghid cuprinzător despre diferitele concepte despre statistici, cu exemple.

Înțelegerea datelor și posibilitatea de a crea valoare din acestea sunt abilitățile deceniului. Învățarea automată este o astfel de abilitate de bază care ajută companiile să o îndeplinească. Cu toate acestea, pentru a începe, trebuie să vă construiți temeliile corect. Deci, în acest articol, voi acoperi câteva concepte de bază și vă voi oferi îndrumări pentru a vă începe călătoria în învățarea automată. Deci, în acest articol despre statistici pentru învățarea automată, vor fi discutate următoarele subiecte:

  1. Probabilitate
  2. Statistici
  3. Algebră liniară

Probabilitate și statistici pentru învățarea automată:





Ce este Probabilitatea?

Probabilitatea cuantifică probabilitatea producerii unui eveniment. De exemplu, dacă arunci o matriță corectă și imparțială, atunci probabilitatea unu întoarcerea este 1/6 . Acum, dacă vă întrebați why? Atunci răspunsul este destul de simplu!

Acest lucru se datorează faptului că există șase posibilități și toate sunt la fel de probabile (moarte corectă). Prin urmare, putem adăuga 1 + 1 + 1 + 1 + 1 + 1 = 6. Dar, întrucât suntem interesați de eveniment în care apare 1 . Există un singur mod în care evenimentul poate avea loc. Prin urmare,



Probabilitatea ca 1 să apară = 1/6

Similar este cazul tuturor celorlalte numere, deoarece toate evenimentele sunt la fel de probabile. Simplu, nu?

Ei bine, o definiție frecventistă a probabilității pentru acest exemplu ar suna ca - probabilitatea de 1 întoarcere este raportul dintre numărul de ori 1 prezentat și numărul total de ori când a fost aruncată matrița dacă matrița a fost aruncată un număr infinit ori.Cum are sens acest lucru?



Să-l facem mai interesant. Luați în considerare cele două cazuri - ați aruncat o moară corectă de 5 ori. Într-un caz, secvența numerelor care se ridică este - [1,4,2,6,4,3]. În celălalt caz, obținem - [2,2,2,2,2,2]. Care credeți că este mai probabil?

Ambele sunt la fel de probabile. Pare ciudat nu?

Acum, ia în considerare un alt caz în care sunt toate cele 5 role în fiecare caz independent . Adică, o rolă nu o afectează pe cealaltă. În primul caz, când 6 apar, nu avea nici o idee că 2 au apărut înainte. Prin urmare, toate cele 5 rulouri sunt la fel de probabile.

În mod similar, 2s drepte în al doilea caz pot fi înțelese ca o succesiune de evenimente independente. Și toate aceste evenimente sunt la fel de probabile. Per total, din moment ce avem aceleași zaruri, probabilitatea ca un anumit număr să apară în cazul în care unul este același ca în cazul doi. În continuare, în acest articol despre statistici pentru învățarea automată, să înțelegem termenul Independenţă.

Independenţă

Două evenimente Se spune că A și B sunt independente dacă apariția lui A nu afectează evenimentul B . De exemplu, dacă arunci o monedă și arunci o matriță, rezultatul matriței nu are niciun efect asupra faptului dacă moneda prezintă capete sau cozi. De asemenea, pentru două evenimente independente A și B , probabilitatea ca A și B să poată apărea împreună . Deci, de exemplu, dacă doriți probabilitatea ca moneda să arate capete și moare să arate 3.

P (A și B) = P (A) * P (B)

Prin urmare, P = & frac12 (probabilitatea ridicării capetelor) * ⅙ (probabilitatea creșterii 3) = 1/12

În exemplul anterior, pentru ambele cazuri, P = ⅙ * ⅙ * ⅙ * ⅙ * ⅙ * ⅙.

Acum să vorbim despre evenimente care nu sunt independente. Luați în considerare următorul tabel:

Obezi Nu obezi
Probleme cu inimaPatru cincicincisprezece
Fără probleme cardiace1030

A fost efectuat un sondaj la 100 de persoane. 60 au avut probleme cardiace și 40 nu. Dintre cei 60 care au o problemă cardiacă, 45 erau obezi. Dintre cei 40 care nu au probleme cardiace, 10 erau obezi. Dacă te întreabă cineva -

  1. Care este probabilitatea de a avea o problemă cardiacă?
  2. Care este probabilitatea de a avea o problemă cardiacă și de a nu fi obezi?

Răspunsul la primele întrebări este ușor - 60/100. Pentru a doua, ar fi 15/100. Acum ia în considerare a treia întrebare - O persoană a fost aleasă la întâmplare. S-a descoperit că are boli de inimă. Care este probabilitatea ca el să fie obez?

java creează o serie de obiecte

Acum gândiți-vă la informațiile care vi s-au dat - Se știe că are boli de inimă. Prin urmare, el nu poate fi din cei 40 de ani care nu au boli de inimă. Există doar 60 de opțiuni posibile (rândul de sus din tabel). Acum, printre aceste posibilități reduse, probabilitatea ca el să fie obez este de 45/60. Acum, după ce ați știut, care sunt evenimentele independente, în acest articol despre statistici pentru învățarea automată, permiteți-ne să înțelegem probabilitățile condiționate.

Probabilități condiționate

Pentru a înțelege probabilitățile condiționate, să continuăm discuția cu exemplul de mai sus. Statutul de obezitate și statutul de a fi suferit de probleme cardiace nu sunt independente. Dacă obezitatea nu ar afecta problemele cardiace, atunci numărul cazurilor obeze și non-obeze pentru persoanele cu probleme cardiace ar fi fost același.

De asemenea, ni s-a dat că persoana are probleme cardiace și a trebuit să aflăm probabilitatea că este obeză. Deci, probabilitatea, în acest caz, se spune că este condiționată de faptul că are o problemă cardiacă. Dacă probabilitatea apariției evenimentului A este condiționată de evenimentul B, îl reprezentăm ca

P (A | B)

Acum, există o teoremă care ne ajută să calculăm această probabilitate condițională. Se numește Regula Bayes .

P (A | B) = P (A și B) / P (B)

Puteți verifica această teoremă conectând exemplul pe care tocmai l-am discutat. Dacă ați înțeles până acum, puteți începe cu următoarele - Naive Bayes . Folosește probabilități condiționate pentru a clasifica dacă un e-mail este sau nu spam. Poate îndeplini multe alte sarcini de clasificare. Dar, în esență, probabilitatea condițională se află în centrul .

Statistici:

Statisticile sunt utilizate pentru a rezuma și a face inferențe despre un număr mare de puncte de date. În Știința datelor și învățarea automată, veți întâlni adesea următoarea terminologie

  • Măsuri de centralitate
  • Distribuții (mai ales normale)

Măsuri de centralitate și măsuri de spread

Rău:

Mean este doar un media numerelor . Pentru a afla media, trebuie să însumați numerele și să le împărțiți cu numărul de numere. De exemplu, media [1,2,3,4,5] este 15/5 = 3.

mean-statistics-for-machine-learning

Median:

Mediana este element mijlociu al unui set de numere când sunt aranjate în ordine crescătoare. De exemplu, numerele [1,2,4,3,5] sunt aranjate într-o ordine crescătoare [1,2,3,4,5]. Cel din mijloc este 3. Prin urmare, mediana este 3. Dar dacă numărul de numere este par și, prin urmare, nu are niciun număr de mijloc? În acest caz, luați media celor două numere din mijloc. Pentru o succesiune de 2n numere în ordine crescătoare, mediați al n-lea și (n + 1)anumărul pentru a obține mediana. Exemplu - [1,2,3,4,5,6] are mediana (3 + 4) / 2 = 3,5

Mod:

Modul este pur și simplu cel mai frecvent număr dintr-un set de numere . De exemplu, modul [1,2,3,3,4,5,5,5] este 5.

Varianță:

Varianța nu este o măsură de centralitate. Măsoară modul în care datele dvs. sunt răspândite în jurul valorii medii . Este cuantificat ca

Xeste media de N numere. Iei un punct, scazi media, iei pătratul acestei diferențe. Faceți acest lucru pentru toate cele N numere și promovați-le Rădăcina pătrată a varianței se numește deviație standard. În continuare, în acest articol despre statistici pentru învățarea automată, să înțelegem distribuția normală.

Distributie normala

Distribuția ne ajută să înțelegem cum sunt răspândite datele noastre . De exemplu, într-un eșantion de vârste, putem avea tineri mai mult decât adulții mai în vârstă și, prin urmare, valori de vârstă mai mici decât valori mai mari. Dar cum definim o distribuție? Luați în considerare exemplul de mai jos

Axa y reprezintă densitatea. Modul acestei distribuții este 30, deoarece este vârful și, prin urmare, cel mai frecvent. Putem localiza și mediana. Mediana se află în punctul de pe axa x unde este acoperită jumătate din zona de sub curbă. Aria sub orice distribuție normală este 1 deoarece suma probabilităților tuturor evenimentelor este 1. De exemplu,

Mediana în cazul de mai sus este în jur de 4. Aceasta înseamnă că aria de sub curbă înainte de 4 este aceeași cu cea de după 4. Să luăm în considerare un alt exemplu

cum se folosește system.exit în java

Vedem trei distribuții normale. Cele albastre și roșii au aceeași medie. Cel roșu are o varianță mai mare. Prin urmare, este mai răspândit decât cel albastru. Dar, deoarece zona trebuie să fie 1, vârful curbei roșii este mai scurt decât curba albastră, pentru a menține zona constantă.

Sper că ați înțeles statisticile de bază și distribuțiile normale. Acum, în acest articol despre statistici pentru învățarea automată, permiteți-ne să aflăm despre Algebra Liniară.

Algebră liniară

AI modernă nu ar fi posibilă fără algebră liniară. Formează nucleul Invatare profunda și a fost folosit chiar și în algoritmi simpli precum . Fără alte întârzieri, să începem.

Trebuie să fiți familiarizați cu vectorii. Sunt un fel de reprezentări geometrice în spațiu. De exemplu, un vector [3,4] are 3 unități de-a lungul axei x și 4 unități de-a lungul axei y. Luați în considerare următoarea imagine -

Vectorul d1 are 0,707 unități de-a lungul axei x și 0,707 unități de-a lungul axei y. Un vector are o dimensiune. Are neapărat o magnitudine și o direcție. De exemplu,

Imaginea de mai sus are un vector (4,3). Magnitudinea sa este de 5 și face 36,9 grade cu axa x.

Acum, ce este o matrice? Matricea este o matrice multidimensională de numere. Pentru ce se folosește? Vom vedea înainte. Dar mai întâi, să vedem cum este folosit.

Matrice

O matrice poate avea multe dimensiuni. Să luăm în considerare o matrice bidimensională. Are rânduri (m) și coloane (n). Prin urmare, are m * n elemente.

De exemplu,

Această matrice are 5 rânduri și 5 coloane. Să o numim A. Prin urmare, A (2,3) este intrarea din al doilea rând și a treia coloană care este 8.

Acum, că știți ce este o matrice, ne permite să analizăm diferitele operații ale matricei.

Operațiuni Matrix

Adăugarea matricilor

Două matrice ale la fel se pot adăuga dimensiuni. Adăugarea se întâmplă în funcție de element.

Înmulțirea scalară

O matrice poate fi multiplicată cu o cantitate scalară. O astfel de multiplicare duce la înmulțirea fiecărei intrări din matrice cu scalarul. Un scalar este doar un număr

cum să declarați o variabilă de instanță în java

Transpunerea matricei

Transpunerea matricei este simplă. Pentru o matrice A (m, n), să fie A ’transpusă. Apoi

A '(i, j) = A (j, i)

De exemplu,

Multiplicarea matricei

Acest lucru este probabil puțin dificil decât alte operații. Înainte de a ne arunca cu capul în el, să definim produsul punct între doi vectori.

Luați în considerare vectorul X = [1,4,6,0] și vectorul Y = [2,3,4,5]. Apoi, produsul punct între X și Y este definit ca

X.Y = 1 * 2 + 4 * 3 + 6 * 4 + 0 * 5 = 38

Deci, este multiplicarea și adunarea elementară. Acum,să considerăm două matrice A (m, n) și B (n, k), unde m, n, k sunt dimensiuni și deci numere întregi. Definiți înmulțirea matricei ca

În exemplul de mai sus, primul element al produsului (44) este obținut de produsul punct al primului rând al matricei din stânga cu prima coloană a matricei din dreapta. În mod similar, 72 se obține prin produsul punct al primului rând al matricei din stânga cu a doua coloană a matricei din dreapta.

Rețineți că pentru matricea din stânga, numărul de coloane ar trebui să fie egal cu numărul de rânduri din coloana din dreapta. În cazul nostru, produsul AB există, dar nu BA, deoarece m nu este egal cu k. Pentru două matrice A (m, n) și B (n, k), produsul AB este definit și dimensiunea produsului este (m, k) (cele mai multe dimensiuni exterioare ale lui (m, n), (n, k )). Dar BA nu este definit decât dacă m = k.

Cu aceasta, ajungem la sfârșitul acestui articol despre Statistici pentru învățarea automată. Sper că ați înțeles o parte din jargonul de învățare automată. Totuși, nu se termină aici. Pentru a vă asigura că sunteți pregătit pentru industrie, puteți consulta cursurile Edureka despre știința datelor și AI. Ele pot fi găsite