Minste kvadraters ligning. Minste kvadratiske metode
Den har mange applikasjoner, da den tillater en omtrentlig representasjon av en gitt funksjon med andre enklere. LSM kan være ekstremt nyttig i å behandle observasjoner, og det brukes aktivt til å estimere noen mengder fra resultatene av målinger av andre som inneholder tilfeldige feil. I denne artikkelen lærer du hvordan du implementerer minste kvadraters beregninger i Excel.
Uttalelse av problemet på et spesifikt eksempel
Anta at det er to indikatorer X og Y. Y er dessuten avhengig av X. Siden OLS er av interesse for oss fra et synspunkt om regresjonsanalyse (i Excel implementeres metodene ved hjelp av innebygde funksjoner), bør vi umiddelbart fortsette å vurdere et spesifikt problem.
Så la X være salgsområdet til en dagligvarebutikk, målt i kvadratmeter, og Y den årlige omsetningen, definert i millioner av rubler.
Det kreves å lage en prognose for hvilken omsetning (Y) butikken vil ha dersom den har et eller annet handelsareal. Det er klart at funksjonen Y = f (X) øker, siden hypermarkedet selger flere varer enn boden.
Noen få ord om riktigheten av de første dataene som brukes til prediksjon
La oss si at vi har en tabell bygget med data for n butikker.
I følge matematisk statistikk vil resultatene være mer eller mindre korrekte dersom dataene på minst 5-6 objekter undersøkes. "Anomale" resultater kan heller ikke brukes. Spesielt kan en liten elitebutikk ha en omsetning mange ganger større enn omsetningen til store utsalgssteder i "masmarket"-klassen.
Essensen av metoden
Tabelldataene kan vises på det kartesiske planet som punktene M 1 (x 1, y 1), ... M n (x n, y n). Nå vil løsningen av problemet reduseres til valget av en tilnærmet funksjon y = f (x), som har en graf som passerer så nært som mulig punktene M 1, M 2, .. M n .
Selvfølgelig kan du bruke et polynom i høy grad, men dette alternativet er ikke bare vanskelig å implementere, men rett og slett feil, siden det ikke vil gjenspeile hovedtrenden som må oppdages. Den mest fornuftige løsningen er å søke etter en rett linje y = ax + b, som best tilnærmer de eksperimentelle dataene, og mer presist koeffisientene - a og b.
Nøyaktighetspoeng
For enhver tilnærming er vurderingen av nøyaktigheten av spesiell betydning. Angi med e i forskjellen (avvik) mellom funksjonelle og eksperimentelle verdier for punktet x i, dvs. e i = y i - f (x i).
For å vurdere nøyaktigheten av tilnærmingen kan du selvsagt bruke summen av avvikene, dvs. når du velger en rett linje for en omtrentlig representasjon av avhengigheten til X av Y, bør du foretrekke den som har den minste verdien av summen e i på alle punkter under vurdering. Imidlertid er ikke alt så enkelt, siden sammen med positive avvik vil det praktisk talt være negative.
Du kan løse problemet ved å bruke avviksmodulene eller kvadratene deres. Sistnevnte metode er den mest brukte. Den brukes på mange områder, inkludert regresjonsanalyse (i Excel utføres implementeringen ved hjelp av to innebygde funksjoner), og har lenge vist seg å være effektiv.
Minste kvadratiske metode
I Excel, som du vet, er det en innebygd autosum-funksjon som lar deg beregne verdiene til alle verdier i det valgte området. Dermed vil ingenting hindre oss i å beregne verdien av uttrykket (e 1 2 + e 2 2 + e 3 2 + ... e n 2).
I matematisk notasjon ser dette slik ut:
Siden beslutningen opprinnelig ble tatt om å tilnærme ved hjelp av en rett linje, har vi:
Oppgaven med å finne en rett linje som best beskriver et spesifikt forhold mellom X og Y, utgjør derfor å beregne minimum av en funksjon av to variabler:
Dette krever å likestille med null partielle deriverte med hensyn til nye variabler a og b, og løse et primitivt system som består av to ligninger med 2 ukjente av formen:
Etter enkle transformasjoner, inkludert å dele på 2 og manipulere summene, får vi:
Ved å løse det, for eksempel ved Cramers metode, får vi et stasjonært punkt med visse koeffisienter a * og b * . Dette er minimum, dvs. for å forutsi hvilken omsetning butikken vil ha for et bestemt område, er den rette linjen y = a * x + b * egnet, som er en regresjonsmodell for det aktuelle eksemplet. Selvfølgelig vil det ikke tillate deg å finne det nøyaktige resultatet, men det vil hjelpe å få en ide om hvorvidt det vil lønne seg å kjøpe en butikk på kreditt for et bestemt område.
Hvordan implementere minste kvadraters metode i Excel
Excel har en funksjon for å beregne verdien av minste kvadrater. Den har følgende form: TREND (kjente Y-verdier; kjente X-verdier; nye X-verdier; konstant). La oss bruke formelen for å beregne OLS i Excel på tabellen vår.
For å gjøre dette, i cellen der resultatet av beregningen ved hjelp av minste kvadraters metode i Excel skal vises, skriv inn "="-tegnet og velg "TREND" -funksjonen. Fyll ut de aktuelle feltene i vinduet som åpnes, og uthev:
- rekke kjente verdier for Y (i dette tilfellet data for omsetning);
- rekkevidde x 1 , …x n , dvs. størrelsen på butikklokaler;
- og kjente og ukjente verdier av x, som du trenger for å finne ut størrelsen på omsetningen (for informasjon om deres plassering på regnearket, se nedenfor).
I tillegg er det en logisk variabel "Const" i formelen. Hvis du skriver inn 1 i feltet som tilsvarer det, vil dette bety at beregninger skal utføres, forutsatt at b \u003d 0.
Hvis du trenger å vite prognosen for mer enn én x-verdi, bør du ikke trykke "Enter" etter å ha skrevet inn formelen, men du må skrive kombinasjonen "Shift" + "Control" + "Enter" ("Enter" ) på tastaturet.
Noen funksjoner
Regresjonsanalyse kan være tilgjengelig selv for dummies. Excel-formelen for å forutsi verdien av en rekke ukjente variabler - "TREND" - kan brukes selv av de som aldri har hørt om minste kvadraters metode. Det er nok bare å kjenne til noen funksjoner i arbeidet. Spesielt:
- Hvis du ordner rekkevidden av kjente verdier av variabelen y i en rad eller kolonne, vil hver rad (kolonne) med kjente verdier av x bli oppfattet av programmet som en separat variabel.
- Hvis området med kjent x ikke er spesifisert i TREND-vinduet, vil programmet i tilfelle bruk av funksjonen i Excel betrakte det som en matrise bestående av heltall, hvor nummeret tilsvarer området med de gitte verdiene av variabelen y.
- For å sende ut en matrise med "forutsagte" verdier, må trenduttrykket angis som en matriseformel.
- Hvis ingen nye x-verdier er spesifisert, anser TREND-funksjonen dem som lik de kjente. Hvis de ikke er spesifisert, tas matrise 1 som et argument; 2; 3; 4;…, som er i samsvar med området med allerede gitte parametere y.
- Området som inneholder de nye x-verdiene må ha samme eller flere rader eller kolonner som området med de gitte y-verdiene. Den må med andre ord stå i forhold til de uavhengige variablene.
- En matrise med kjente x-verdier kan inneholde flere variabler. Men hvis vi snakker om bare én, kreves det at områdene med de gitte verdiene av x og y er i samsvar. Ved flere variabler er det nødvendig at området med de gitte y-verdiene passer i en kolonne eller en rad.
PROGNOS funksjon
Det implementeres ved hjelp av flere funksjoner. En av dem heter «PREDICTION». Den ligner på TREND, det vil si at den gir resultatet av beregninger ved bruk av minste kvadraters metode. Imidlertid bare for en X, der verdien av Y er ukjent.
Nå kjenner du Excel-formlene for dummies som lar deg forutsi verdien av den fremtidige verdien av en indikator i henhold til en lineær trend.
Metoden for minste kvadrater (LSM) lar deg estimere ulike mengder ved å bruke resultatene av mange målinger som inneholder tilfeldige feil.
Karakteristisk MNC
Hovedideen med denne metoden er at summen av kvadrerte feil betraktes som et kriterium for nøyaktigheten av løsningen av problemet, som søkes minimert. Ved bruk av denne metoden kan både numeriske og analytiske tilnærminger brukes.
Spesielt, som en numerisk implementering, innebærer minste kvadraters metode å gjøre så mange målinger av en ukjent tilfeldig variabel som mulig. Dessuten, jo flere beregninger, jo mer nøyaktig vil løsningen være. På dette settet med beregninger (initielle data) oppnås et annet sett med foreslåtte løsninger, hvorfra den beste deretter velges. Hvis settet med løsninger er parametrisert, vil minste kvadraters metode reduseres til å finne den optimale verdien av parameterne.
Som en analytisk tilnærming til implementeringen av LSM på settet med innledende data (målinger) og det foreslåtte settet med løsninger, er noen (funksjonelle) definert, som kan uttrykkes ved en formel oppnådd som en viss hypotese som må bekreftes . I dette tilfellet reduseres metoden med minste kvadrater til å finne minimum av denne funksjonelle på settet med kvadratfeil i de innledende dataene.
Merk at ikke feilene i seg selv, men kvadratene til feilene. Hvorfor? Faktum er at ofte er avvikene til målinger fra den eksakte verdien både positive og negative. Når du bestemmer gjennomsnittet, kan enkel summering føre til en feil konklusjon om kvaliteten på estimatet, siden gjensidig kansellering av positive og negative verdier vil redusere prøvetakingskraften til settet med målinger. Og følgelig nøyaktigheten av vurderingen.
For å forhindre at dette skjer, summeres de kvadratiske avvikene. Enda mer enn det, for å utjevne dimensjonen til den målte verdien og det endelige estimatet, brukes summen av kvadrerte feil for å trekke ut
Noen anvendelser av MNCs
MNC er mye brukt i ulike felt. For eksempel, i sannsynlighetsteori og matematisk statistikk, brukes metoden til å bestemme en slik karakteristikk av en tilfeldig variabel som standardavviket, som bestemmer bredden på verdiområdet til en tilfeldig variabel.
- opplæringen
Introduksjon
Jeg er en dataprogrammerer. Jeg tok det største spranget i karrieren min da jeg lærte å si: "Jeg forstår ingenting!" Nå skammer jeg meg ikke over å fortelle vitenskapens lysmann at han holder meg en forelesning, at jeg ikke forstår hva den, lysmannen, snakker til meg om. Og det er veldig vanskelig. Ja, det er vanskelig og flaut å innrømme at du ikke vet. Som liker å innrømme at han ikke kan det grunnleggende om noe-der. I kraft av yrket mitt må jeg overvære et stort antall presentasjoner og forelesninger, der jeg innrømmer at jeg i de aller fleste tilfeller føler meg trøtt, fordi jeg ikke forstår noe. Og jeg forstår ikke fordi det store problemet med den nåværende situasjonen i naturfag ligger i matematikk. Den forutsetter at alle elever er kjent med absolutt alle områder av matematikken (noe som er absurd). Å innrømme at du ikke vet hva et derivat er (at dette er litt senere) er synd.
Men jeg har lært å si at jeg ikke vet hva multiplikasjon er. Ja, jeg vet ikke hva en subalgebra over en Lie-algebra er. Ja, jeg vet ikke hvorfor andregradsligninger er nødvendig i livet. Forresten, hvis du er sikker på at du vet, så har vi noe å snakke om! Matematikk er en rekke triks. Matematikere prøver å forvirre og skremme publikum; der det ikke er forvirring, ikke noe rykte, ingen autoritet. Ja, det er prestisjefylt å snakke på et mest mulig abstrakt språk, noe som er fullstendig tull i seg selv.
Vet du hva et derivat er? Mest sannsynlig vil du fortelle meg om grensen for forskjellsforholdet. I det første året av matematikk ved St. Petersburg State University, Viktor Petrovich Khavin meg definert derivat som koeffisienten til det første leddet i Taylor-serien til funksjonen på punktet (det var en egen gymnastikk for å bestemme Taylor-serien uten derivater). Jeg lo lenge av denne definisjonen, helt til jeg endelig forsto hva den handlet om. Den deriverte er ikke noe mer enn bare et mål på hvor mye funksjonen vi differensierer er lik funksjonen y=x, y=x^2, y=x^3.
Jeg har nå æren av å forelese studenter som frykt matematikk. Er du redd for matematikk - vi er på vei. Så snart du prøver å lese en tekst og det virker som om den er altfor komplisert, så vet du at den er dårlig skrevet. Jeg argumenterer for at det ikke er et eneste område av matematikk som ikke kan snakkes om "på fingrene" uten å miste nøyaktigheten.
Utfordringen for nær fremtid: Jeg instruerte elevene mine til å forstå hva en lineær-kvadratisk kontroller er. Ikke vær sjenert, kast bort tre minutter av livet ditt, følg linken. Hvis du ikke forstår noe, så er vi på vei. Jeg (en profesjonell matematiker-programmerer) forsto heller ingenting. Og jeg forsikrer deg, dette kan ordnes "på fingrene." For øyeblikket vet jeg ikke hva det er, men jeg forsikrer deg om at vi vil klare å finne ut av det.
Så, den første forelesningen jeg skal holde for studentene mine etter at de kommer løpende til meg forskrekket med ordene om at en lineær-kvadratisk kontroller er en forferdelig feil som du aldri vil mestre i livet ditt, er minste kvadraters metoder. Kan du løse lineære ligninger? Hvis du leser denne teksten, så mest sannsynlig ikke.
Så gitt to punkter (x0, y0), (x1, y1), for eksempel (1,1) og (3,2), er oppgaven å finne ligningen til en rett linje som går gjennom disse to punktene:
illustrasjon
Denne rette linjen skal ha en ligning som følgende:
Her er alfa og beta ukjent for oss, men to punkter på denne linjen er kjent:
Du kan skrive denne ligningen i matriseform:
Her bør vi gjøre en lyrisk digresjon: hva er en matrise? En matrise er ikke annet enn en todimensjonal matrise. Dette er en måte å lagre data på, det skal ikke gis flere verdier. Det er opp til oss hvordan vi skal tolke en bestemt matrise. Med jevne mellomrom vil jeg tolke det som en lineær kartlegging, med jevne mellomrom som en kvadratisk form, og noen ganger ganske enkelt som et sett med vektorer. Alt dette vil bli avklart i sammenheng.
La oss erstatte spesifikke matriser med deres symbolske representasjon:
Da (alfa, beta) kan du enkelt finne:
Mer spesifikt for våre tidligere data:
Som fører til følgende ligning av en rett linje som går gjennom punktene (1,1) og (3,2):
Ok, alt er klart her. Og la oss finne ligningen til en rett linje som går gjennom tre poeng: (x0,y0), (x1,y1) og (x2,y2):
Å-å-å, men vi har tre ligninger for to ukjente! Standardmatematikeren vil si at det ikke finnes noen løsning. Hva vil programmereren si? Og han vil først omskrive det forrige likningssystemet i følgende form:
I vårt tilfelle er vektorene i, j, b tredimensjonale, derfor (i det generelle tilfellet) er det ingen løsning på dette systemet. Enhver vektor (alfa\*i + beta\*j) ligger i planet som strekkes av vektorene (i, j). Hvis b ikke tilhører dette planet, er det ingen løsning (likhet i ligningen kan ikke oppnås). Hva å gjøre? La oss se etter et kompromiss. La oss betegne med e (alfa, beta) hvordan vi ikke oppnådde likestilling:
Og vi vil prøve å minimere denne feilen:
Hvorfor en firkant?
Vi ser ikke bare etter minimum av normen, men minimum av kvadratet av normen. Hvorfor? Selve minimumspunktet er sammenfallende, og kvadratet gir en jevn funksjon (en kvadratisk funksjon av argumentene (alfa,beta)), mens bare lengden gir en funksjon i form av en kjegle, ikke-differensierbar ved minimumspunktet. Brr. Square er mer praktisk.
Åpenbart er feilen minimert når vektoren e ortogonalt til planet som spennes over av vektorene Jeg og j.
Illustrasjon
Med andre ord: vi ser etter en linje slik at summen av de kvadrerte lengdene av avstandene fra alle punktene til denne linjen er minimal:
OPPDATERING: her har jeg en jamb, avstanden til linjen skal måles vertikalt, ikke ortografisk projeksjon. kommentatoren har rett.
Illustrasjon
Med helt andre ord (forsiktig, dårlig formalisert, men det skal være tydelig på fingrene): vi tar alle mulige linjer mellom alle punktpar og ser etter gjennomsnittslinjen mellom alle:
Illustrasjon
En annen forklaring på fingrene: vi fester en fjær mellom alle datapunkter (her har vi tre) og linjen som vi ser etter, og linjen til likevektstilstanden er akkurat det vi ser etter.
Minimum kvadratisk form
Så gitt vektoren b og planet som strekkes av kolonne-vektorene til matrisen EN(i dette tilfellet (x0,x1,x2) og (1,1,1)), leter vi etter en vektor e med minimum kvadratisk lengde. Åpenbart er minimum oppnåelig bare for vektoren e, ortogonalt til planet som strekkes av søyle-vektorene til matrisen EN:Med andre ord, vi ser etter en vektor x=(alfa, beta) slik at:
Jeg minner deg om at denne vektoren x=(alfa, beta) er minimum av den kvadratiske funksjonen ||e(alfa, beta)||^2:
Her er det nyttig å huske at matrisen kan tolkes så vel som den kvadratiske formen, for eksempel kan identitetsmatrisen ((1,0),(0,1)) tolkes som en funksjon av x^2 + y ^2:
kvadratisk form
All denne gymnastikken er kjent som lineær regresjon.
Laplace-likning med Dirichlet-grensebetingelse
Nå er det enkleste virkelige problemet: det er en viss triangulert overflate, det er nødvendig å glatte den. La oss for eksempel laste inn ansiktsmodellen min:
Den originale forpliktelsen er tilgjengelig. For å minimere eksterne avhengigheter tok jeg koden til programvaregjengiveren min, allerede på Habré. For å løse det lineære systemet bruker jeg OpenNL , det er en flott løsning, men det er veldig vanskelig å installere: du må kopiere to filer (.h + .c) til prosjektmappen din. All utjevning gjøres med følgende kode:
For (int d=0; d<3; d++) {
nlNewContext();
nlSolverParameteri(NL_NB_VARIABLES, verts.size());
nlSolverParameteri(NL_LEAST_SQUARES, NL_TRUE);
nlBegin(NL_SYSTEM);
nlBegin(NL_MATRIX);
for (int i=0; i<(int)verts.size(); i++) {
nlBegin(NL_ROW);
nlCoefficient(i, 1);
nlRightHandSide(verts[i][d]);
nlEnd(NL_ROW);
}
for (unsigned int i=0; i
X-, Y- og Z-koordinater kan separeres, jeg glatter dem separat. Det vil si at jeg løser tre systemer med lineære ligninger, hver med samme antall variabler som antall toppunkter i modellen min. De første n radene av matrise A har bare én 1 per rad, og de første n radene av vektor b har originale modellkoordinater. Det vil si at jeg fjærer mellom den nye toppunktet og den gamle toppunktet - de nye bør ikke være for langt unna de gamle.
Alle påfølgende rader av matrise A (faces.size()*3 = antall kanter til alle trekanter i rutenettet) har én forekomst av 1 og én forekomst av -1, mens vektoren b har null komponenter motsatt. Dette betyr at jeg setter en fjær på hver kant av vårt trekantede nett: alle kanter prøver å få samme toppunkt som start- og sluttpunktene.
Nok en gang: alle toppunkter er variable, og de kan ikke avvike langt fra sin opprinnelige posisjon, men samtidig prøver de å bli like hverandre.
Her er resultatet:
Alt ville være bra, modellen er virkelig glattet, men den har beveget seg bort fra den opprinnelige kanten. La oss endre koden litt:
For (int i=0; i<(int)verts.size(); i++) { float scale = border[i] ? 1000: 1; nlBegin(NL_ROW); nlCoefficient(i, scale); nlRightHandSide(scale*verts[i][d]); nlEnd(NL_ROW); }
I vår matrise A, for toppunktene som er på kanten, legger jeg ikke til en rad fra kategorien v_i = verts[i][d], men 1000*v_i = 1000*verts[i][d]. Hva endrer det? Og dette endrer vår kvadratiske form av feilen. Nå vil et enkelt avvik fra toppen ved kanten ikke koste én enhet, som før, men 1000 * 1000 enheter. Det vil si at vi hang en sterkere fjær på de ekstreme hjørnene, løsningen foretrekker å strekke andre sterkere. Her er resultatet:
La oss doble styrken til fjærene mellom toppunktene:
nlKoeffisient(ansikt[ j ], 2); nlKoeffisient(ansikt[(j+1)%3], -2);
Det er logisk at overflaten har blitt jevnere:
Og nå til og med hundre ganger sterkere:
Hva er dette? Tenk deg at vi har dyppet en trådring i såpevann. Som et resultat vil den resulterende såpefilmen prøve å ha minst mulig krumning, og berøre den samme grensen - trådringen vår. Dette er akkurat det vi fikk ved å fikse kanten og be om en glatt overflate inni. Gratulerer, vi har nettopp løst Laplace-ligningen med Dirichlets grensebetingelser. Høres kult ut? Men faktisk bare ett system med lineære ligninger å løse.
Poisson-ligningen
La oss få et annet kult navn.La oss si at jeg har et bilde som dette:
Alle er flinke, men jeg liker ikke stolen.
Jeg kuttet bildet i to: 
Og jeg vil velge en stol med hendene: 
Deretter vil jeg dra alt som er hvitt i masken til venstre side av bildet, og samtidig vil jeg si gjennom hele bildet at forskjellen mellom to nabopiksler skal være lik forskjellen mellom to nabopiksler av høyre bilde:
For (int i=0; i Her er resultatet: Kode og bilder er tilgjengelig Vi tilnærmer funksjonen med et polynom av 2. grad. For å gjøre dette, beregner vi koeffisientene til det normale ligningssystemet: , La oss komponere et normalt system av minste kvadrater, som har formen: Løsningen til systemet er lett å finne:, , . Dermed er polynomet av 2. grad funnet: . Teoretisk bakgrunn Tilbake til siden<Введение в вычислительную математику. Примеры> Eksempel 2. Finne den optimale graden av et polynom. Tilbake til siden<Введение в вычислительную математику. Примеры> Eksempel 3. Utledning av et normalt ligningssystem for å finne parametrene til en empirisk avhengighet. La oss utlede et likningssystem for å bestemme koeffisientene og funksjonene Deretter vil det normale systemet ha formen: Vi har fått et lineært ligningssystem for ukjente parametere og, som er lett å løse. Teoretisk bakgrunn Tilbake til siden<Введение в вычислительную математику. Примеры> Eksempel. Eksperimentelle data om verdiene til variabler X og på er gitt i tabellen. Som et resultat av deres justering, funksjonen Ved hjelp av minste kvadrat-metoden, tilnærme disse dataene med en lineær avhengighet y=ax+b(finn parametere en og b). Finn ut hvilken av de to linjene som er best (i betydningen minste kvadraters metode) som justerer eksperimentelle data. Lag en tegning. Problemet er å finne de lineære avhengighetskoeffisientene som funksjonen til to variabler en og b Dermed er løsningen av eksempelet redusert til å finne ekstremumet til en funksjon av to variabler. Et system med to ligninger med to ukjente er kompilert og løst. Finne partielle deriverte av funksjoner Vi løser det resulterende likningssystemet ved hjelp av en hvilken som helst metode (for eksempel substitusjonsmetode eller Cramers metode) og få formler for å finne koeffisienter ved bruk av minste kvadraters metode (LSM). Med data en og b funksjon Det er hele metoden med minste kvadrater. Formel for å finne parameteren en inneholder summene , , og parameteren n er mengden eksperimentelle data. Verdiene av disse summene anbefales å beregnes separat. Koeffisient b funnet etter beregning en. Det er på tide å huske det originale eksemplet. Løsning. I vårt eksempel n=5. Vi fyller ut tabellen for å gjøre det lettere å beregne beløpene som er inkludert i formlene til de nødvendige koeffisientene. Verdiene i den fjerde raden i tabellen oppnås ved å multiplisere verdiene i den andre raden med verdiene i den tredje raden for hvert tall Jeg. Verdiene i den femte raden i tabellen oppnås ved å kvadrere verdiene i den andre raden for hvert tall Jeg. Verdiene i den siste kolonnen i tabellen er summene av verdiene på tvers av radene. Vi bruker formlene til minste kvadraters metode for å finne koeffisientene en og b. Vi erstatter i dem de tilsvarende verdiene fra den siste kolonnen i tabellen: Følgelig y=0,165x+2,184 er den ønskede tilnærmede rette linjen. Det gjenstår å finne ut hvilken av linjene y=0,165x+2,184 eller For å gjøre dette må du beregne summene av kvadrerte avvik fra de opprinnelige dataene fra disse linjene Siden , så linjen y=0,165x+2,184 tilnærmer de opprinnelige dataene bedre. Alt ser bra ut på listene. Den røde linjen er den funnet linjen y=0,165x+2,184, er den blå linjen Hva er det for, hva er alle disse tilnærmingene til? Jeg bruker personlig til å løse datautjevningsproblemer, interpolasjons- og ekstrapolasjonsproblemer (i det originale eksemplet kan du bli bedt om å finne verdien av den observerte verdien y på x=3 eller når x=6 i henhold til MNC-metoden). Men vi vil snakke mer om dette senere i en annen del av nettstedet. Toppen av siden Bevis. Så når funnet en og b funksjonen tar den minste verdien, er det nødvendig at på dette punktet matrisen til kvadratisk form av andreordens differensial for funksjonen Den andre ordensdifferensialen har formen: Det er Derfor har matrisen til den kvadratiske formen formen La oss vise at matrisen er positiv bestemt. Dette krever at vinkelminorene er positive. Kantet moll av første orden Kantet moll av andre orden La oss bevise det Konklusjon: funnet verdier en og b tilsvarer den minste verdien av funksjonen Har du noen gang forstått? Toppen av siden Ekstrapolering
- Dette er en metode for vitenskapelig forskning, som er basert på formidling av tidligere og nåværende trender, mønstre, forhold til fremtidig utvikling av prognoseobjektet. Ekstrapoleringsmetoder inkluderer
glidende gjennomsnittsmetode, eksponentiell utjevningsmetode, minste kvadraters metode. Essens minste kvadraters metode
består i å minimere summen av kvadratavvik mellom de observerte og beregnede verdier. De beregnede verdiene er funnet i henhold til den valgte ligningen - regresjonsligningen. Jo mindre avstanden er mellom de faktiske verdiene og de beregnede, desto mer nøyaktig er prognosen basert på regresjonsligningen. Den teoretiske analysen av essensen av fenomenet som studeres, hvor endringen vises av en tidsserie, tjener som grunnlag for å velge en kurve. Betraktninger om arten av veksten av nivåene i serien blir noen ganger tatt i betraktning. Så hvis veksten av produksjonen forventes i en aritmetisk progresjon, utføres utjevning i en rett linje. Hvis det viser seg at veksten er eksponentiell, bør utjevning gjøres i henhold til eksponentiell funksjon. Arbeidsformelen til metoden for minste kvadrater
: Y t+1 = a*X + b, hvor t + 1 er prognoseperioden; Уt+1 – predikert indikator; a og b er koeffisienter; X er et symbol på tid. Koeffisientene a og b beregnes i henhold til følgende formler: hvor, Uf - de faktiske verdiene for serien av dynamikk; n er antall nivåer i tidsserien; Utjevningen av tidsserier med minste kvadraters metode tjener til å reflektere utviklingsmønstrene til fenomenet som studeres. I det analytiske uttrykket av en trend betraktes tid som en uavhengig variabel, og nivåene i serien fungerer som en funksjon av denne uavhengige variabelen. Utviklingen av et fenomen avhenger ikke av hvor mange år som har gått siden utgangspunktet, men av hvilke faktorer som påvirket utviklingen, i hvilken retning og med hvilken intensitet. Fra dette er det klart at utviklingen av et fenomen i tid vises som et resultat av virkningen av disse faktorene. Korrekt innstilling av kurvetypen, typen analytisk avhengighet av tid er en av de vanskeligste oppgavene med pre-prediktiv analyse.
. Valget av typen funksjon som beskriver trenden, hvis parametere bestemmes av minste kvadraters metode, er i de fleste tilfeller empirisk, ved å konstruere en rekke funksjoner og sammenligne dem med hverandre når det gjelder verdien av roten -middel-kvadratfeil, beregnet ved formelen: hvor Uf - de faktiske verdiene for serien med dynamikk; Ur - beregnede (utjevnede) verdier av tidsserien; n er antall nivåer i tidsserien; p er antall parametere definert i formlene som beskriver trenden (utviklingstrend). Ulemper med minste kvadraters metode
: En oppgave
. Det finnes data som karakteriserer nivået på arbeidsledigheten i regionen, % Minste kvadraters løsning
For løsningen vil vi sette sammen en tabell der vi vil gjøre de nødvendige beregningene: ε = 28,63/10 = 2,86 % prognosenøyaktighet høy. Konklusjon
: Sammenligning av resultatene oppnådd i beregningene glidende gjennomsnittsmetode
, eksponensiell utjevning
og minste kvadraters metode, kan vi si at den gjennomsnittlige relative feilen i beregninger med eksponentiell utjevningsmetode faller innenfor 20-50 %. Dette betyr at prediksjonsnøyaktigheten i dette tilfellet bare er tilfredsstillende. I det første og tredje tilfellet er prognosenøyaktigheten høy, siden den gjennomsnittlige relative feilen er mindre enn 10 %. Men metoden med glidende gjennomsnitt gjorde det mulig å oppnå mer pålitelige resultater (prognose for november - 1,52%, prognose for desember - 1,53%, prognose for januar - 1,49%), siden den gjennomsnittlige relative feilen ved bruk av denne metoden er den minste - 1 ,1. 3%. Liste over kilder som er brukt Jeg- nummeret på forsøkspunktet; Klikk på diagrammet I datafeltet skriver du inn verdiene for "x" og "y" på hver separate linje på ett eksperimentelt punkt. Verdier må skilles med mellomrom (mellomrom eller tabulator). Den tredje verdien kan være poengvekten til "w". Hvis punktvekten ikke er spesifisert, er den lik én. I det overveldende flertallet av tilfellene er vekten av forsøkspunktene ukjent eller ikke beregnet; alle eksperimentelle data anses som likeverdige. Noen ganger er vektene i det studerte verdiområdet definitivt ikke ekvivalente og kan til og med beregnes teoretisk. For eksempel, i spektrofotometri, kan vekter beregnes ved hjelp av enkle formler, selv om i utgangspunktet alle neglisjerer dette for å redusere arbeidskostnadene. Data kan limes inn gjennom utklippstavlen fra et regneark for en kontorpakke, for eksempel Excel fra Microsoft Office eller Calc fra Open Office. For å gjøre dette, i regnearket, velg dataområdet som skal kopieres, kopier til utklippstavlen og lim inn dataene i datafeltet på denne siden. For å beregne med minste kvadraters metode, kreves det minst to punkter for å bestemme to koeffisienter "b" - tangensen til helningsvinkelen til den rette linjen og "a" - verdien avskåret av den rette linjen på "y ` akse. For å estimere feilen til de beregnede regresjonskoeffisientene, er det nødvendig å sette antall eksperimentelle punkter til mer enn to. Jo større antall eksperimentelle poeng, jo mer nøyaktig er det statistiske estimatet av koeffisientene (på grunn av reduksjonen i elevens koeffisient) og jo nærmere estimatet er estimatet for det generelle utvalget. Innhenting av verdier på hvert eksperimentelt punkt er ofte forbundet med betydelige arbeidskostnader, derfor blir det ofte utført et kompromiss antall eksperimenter, noe som gir et fordøyelig estimat og ikke fører til for høye arbeidskostnader. Som regel velges antall eksperimentelle punkter for en lineær minste kvadraters avhengighet med to koeffisienter i området 5-7 poeng. Anta at vi har et sett med eksperimentelle data i form av par med verdier [`y_i`, `x_i`], der `i` er tallet på én eksperimentell måling fra 1 til `n`; `y_i` - verdien av den målte verdien ved punktet `i`; `x_i` - verdien av parameteren vi satte i punktet `i`. Et eksempel er driften av Ohms lov. Ved å endre spenningen (potensialforskjellen) mellom seksjoner av den elektriske kretsen, måler vi mengden strøm som går gjennom denne seksjonen. Fysikken gir oss avhengigheten funnet eksperimentelt: `I=U/R`, I dette tilfellet er `y_i` den målte strømverdien, og `x_i` er spenningsverdien. Som et annet eksempel, tenk på absorpsjonen av lys av en løsning av et stoff i løsning. Kjemi gir oss formelen: `A = εl C`, I dette tilfellet er `y_i` den målte optiske tettheten `A`, og `x_i` er konsentrasjonen av stoffet vi angir. Vi vil vurdere tilfellet når den relative feilen ved innstilling av `x_i` er mye mindre enn den relative feilen ved måling av `y_i`. Vi vil også anta at alle målte verdier av `y_i` er tilfeldige og normalfordelte, dvs. følge normalfordelingsloven. I tilfellet med en lineær avhengighet av `y` av `x`, kan vi skrive den teoretiske avhengigheten: Fra et geometrisk synspunkt angir koeffisienten "b" tangenten til linjens helningsvinkel til "x"-aksen, og koeffisienten "a" - verdien av "y" ved skjæringspunktet mellom linje med `y`-aksen (for `x = 0`). I et eksperiment kan ikke de målte verdiene til `y_i` ligge nøyaktig på den teoretiske linjen på grunn av målefeil, som alltid er iboende i det virkelige liv. Derfor må en lineær ligning representeres av et ligningssystem: Avhengighet (1) kalles også regresjon, dvs. avhengigheten av de to størrelsene av hverandre med statistisk signifikans. Oppgaven med å gjenopprette avhengigheten er å finne koeffisientene `a` og `b` fra forsøkspunktene [`y_i`, `x_i`]. For å finne koeffisientene brukes vanligvis `a` og `b` minste kvadrat-metoden(MNK). Det er et spesielt tilfelle av maksimum sannsynlighetsprinsippet. La oss omskrive (1) som `ε_i = y_i - a - b x_i`. Da blir summen av kvadrerte feil Prinsippet for minste kvadraters metode er å minimere summen (2) med hensyn til parameterne `a` og `b`. Minimumet nås når de partielle deriverte av summen (2) med hensyn til koeffisientene `a` og `b` er lik null: Ved å utvide de deriverte får vi et system med to ligninger med to ukjente: Vi åpner parentesene og overfører summene uavhengig av de ønskede koeffisientene til den andre halvdelen, vi får et system med lineære ligninger: Ved å løse det resulterende systemet finner vi formler for koeffisientene `a` og `b`: `a = frac(sum_(i=1)^(n) y_i sum_(i=1)^(n) x_i^2 - sum_(i=1)^(n) x_i sum_(i=1)^(n) ) x_iy_i) (n sum_(i=1)^(n) x_i^2 — (sum_(i=1)^(n) x_i)^2)` (3.1) `b = frac(n sum_(i=1)^(n) x_iy_i - sum_(i=1)^(n) x_i sum_(i=1)^(n) y_i) (n sum_(i=1)^ (n) x_i^2 - (sum_(i=1)^(n) x_i)^2)` (3.2) Disse formlene har løsninger når `n > 1` (linjen kan tegnes med minst 2 punkter) og når determinanten `D = n sum_(i=1)^(n) x_i^2 — (sum_(i= 1) )^(n) x_i)^2 != 0`, dvs. når «x_i»-punktene i eksperimentet er forskjellige (dvs. når linjen ikke er vertikal). For et mer nøyaktig estimat av feilen ved beregning av koeffisientene `a` og `b`, er et stort antall eksperimentelle punkter ønskelig. Når `n = 2`, er det umulig å estimere feilen til koeffisientene, fordi den tilnærmede linjen vil unikt gå gjennom to punkter. Feilen til den tilfeldige variabelen "V" bestemmes lov om feilakkumulering La oss skrive loven om akkumulering av feil for feilen til koeffisientene `a` og `b` `S_y^2 = S_(y_i)^2` - feilen (varians, kvadratisk standardavvik) i `y`-dimensjonen, forutsatt at feilen er enhetlig for alle `y`-verdier. Ved å erstatte formler for å beregne `a` og `b` i de resulterende uttrykkene, får vi `S_a^2 = S_y^2 frac(sum_(i=1)^(n) (sum_(i=1)^(n) x_i^2 - x_i sum_(i=1)^(n) x_i)^2 ) (D^2) = S_y^2 frac((n sum_(i=1)^(n) x_i^2 - (sum_(i=1)^(n) x_i)^2) sum_(i=1) ^(n) x_i^2) (D^2) = S_y^2 frac(sum_(i=1)^(n) x_i^2) (D)` (4.1) `S_b^2 = S_y^2 frac(sum_(i=1)^(n) (n x_i - sum_(i=1)^(n) x_i)^2) (D^2) = S_y^2 frac( n (n sum_(i=1)^(n) x_i^2 - (sum_(i=1)^(n) x_i)^2)) (D^2) = S_y^2 frac(n) (D) ` (4.2) I de fleste virkelige eksperimenter måles ikke verdien av "Sy". For å gjøre dette er det nødvendig å utføre flere parallelle målinger (eksperimenter) på ett eller flere punkter i planen, noe som øker tiden (og muligens kostnaden) for eksperimentet. Derfor antas det vanligvis at avviket til `y` fra regresjonslinjen kan betraktes som tilfeldig. Variansestimatet "y" i dette tilfellet beregnes ved hjelp av formelen. `S_y^2 = S_(y, hvile)^2 = frac(sum_(i=1)^n (y_i - a - b x_i)^2) (n-2)". Divisoren `n-2` vises fordi vi har redusert antall frihetsgrader på grunn av beregningen av to koeffisienter for samme utvalg av eksperimentelle data. Dette estimatet kalles også restvariansen i forhold til regresjonslinjen `S_(y, rest)^2`. Vurderingen av koeffisientenes betydning foretas etter Studentens kriterium `t_a = frac(|a|) (S_a)`, `t_b = frac(|b|) (S_b)` Hvis de beregnede kriteriene `t_a`, `t_b` er mindre enn tabellkriteriene `t(P, n-2)`, anses det at den tilsvarende koeffisienten ikke er signifikant forskjellig fra null med en gitt sannsynlighet `P`. For å vurdere kvaliteten på beskrivelsen av et lineært forhold, kan du sammenligne `S_(y, hvile)^2` og `S_(bar y)` i forhold til gjennomsnittet ved å bruke Fisher-kriteriet. `S_(bar y) = frac(sum_(i=1)^n (y_i - bar y)^2) (n-1) = frac(sum_(i=1)^n (y_i - (sum_(i= 1)^n y_i) /n)^2) (n-1)` - utvalgsestimat av variansen til `y` i forhold til gjennomsnittet. For å evaluere effektiviteten til regresjonsligningen for å beskrive avhengigheten, beregnes Fisher-koeffisienten Hvis `F > F(P, n-1, n-2)`, regnes forskjellen mellom beskrivelsen av avhengigheten `y = f(x)` ved bruk av regresjonsligningen og beskrivelsen som bruker gjennomsnittet statistisk signifikant med sannsynlighet `P`. De. regresjonen beskriver avhengigheten bedre enn spredningen av `y` rundt gjennomsnittet. Klikk på diagrammet Metoden med minste kvadrater betyr bestemmelse av ukjente parametere a, b, c, … akseptert funksjonell avhengighet y = f(x,a,b,c,...), som ville gi et minimum av middelkvadraten (variansen) av feilen hvor x i , y i - sett med tallpar hentet fra eksperimentet. Siden betingelsen for ekstremumet til en funksjon av flere variabler er betingelsen om at dens partielle derivater forsvinner, vil parameterne a, b, c, … bestemmes ut fra ligningssystemet: ; ; ; … (25) Det må huskes at minste kvadraters metode brukes til å velge parametere etter formen til funksjonen y = f(x) definert. Hvis det ut fra teoretiske betraktninger er umulig å trekke noen konklusjoner om hva den empiriske formelen skal være, så må man ledes av visuelle representasjoner, først og fremst en grafisk representasjon av de observerte dataene. I praksis, oftest begrenset til følgende typer funksjoner: 1) lineær 2) kvadratisk a .
, 
, som utfører rot-middel-kvadrat-tilnærmingen til den gitte funksjonen med hensyn til punkter. Lag en funksjon 
og skriv den nødvendige ekstremumbetingelsen for det:
Essensen av metoden for minste kvadrater (LSM).
tar den minste verdien. Det vil si gitt dataene en og b summen av de kvadrerte avvikene til eksperimentelle data fra den funnet rette linjen vil være den minste. Dette er hele poenget med minste kvadraters metode.Utledning av formler for å finne koeffisienter.
etter variabler en og b, likestiller vi disse derivatene til null. 
tar den minste verdien. Beviset for dette er gitt nedenfor i teksten på slutten av siden.
tilnærmer de opprinnelige dataene bedre, det vil si å lage et estimat ved å bruke minste kvadraters metode.Estimering av feilen til minste kvadraters metode.
og 
, tilsvarer en mindre verdi en linje som bedre tilnærmer de opprinnelige dataene i form av minste kvadraters metode. 
Grafisk illustrasjon av minste kvadraters metode (LSM).
, de rosa prikkene er de originale dataene.
var positiv definitivt. La oss vise det.
og verdiene til elementene avhenger ikke av en og b.
. Ulikheten er streng, siden punktene ikke er sammenfallende. Dette vil bli antydet i det følgende.
metode for matematisk induksjon.
, derfor er de ønskede parameterne for minste kvadraters metode.
Bestill en løsningUtvikling av en prognose ved bruk av minste kvadraters metode. Eksempel på problemløsning
Et eksempel på bruk av minste kvadraters metode for å utvikle en prognose
Minste kvadratiske metode
Andre relaterte artikler:
MNE-program
Skriv inn data
Data og tilnærming y = a + b x
x i- verdien av den faste parameteren på punktet Jeg;
y jeg- verdien av den målte parameteren på punktet Jeg;
ω i- målingsvekt på punkt Jeg;
y i, beregnet.- forskjellen mellom den målte verdien og verdien beregnet fra regresjonen y på punktet Jeg;
S x i (x i)- feilestimat x i ved måling y på punktet Jeg.Data og tilnærming y = kx
Jeg
x i
y jeg
ω i
y i, beregnet.
Δy i
S x i (x i)
Brukerhåndbok for MNC online-programmet.
Minste kvadraters metode (LSM).
En kort teori om minste kvadrater for lineær avhengighet
hvor `I` - strømstyrke; `R` - motstand; `U` - spenning.
hvor "A" er den optiske tettheten til løsningen; `ε` - transmittans av oppløst stoff; `l` - banelengde når lys passerer gjennom en kyvette med en løsning; `C` er konsentrasjonen av det oppløste stoffet.
`y = a + bx`.Finne parametrene til regresjonslinjen.
`y_i = a + b x_i + ε_i` (1),
der "ε_i" er den ukjente målefeilen til "y" i det "i" eksperimentet.
`Φ = sum_(i=1)^(n) ε_i^2 = sum_(i=1)^(n) (y_i - a - b x_i)^2`. (2)
`frac(delvis Φ)(delvis a) = frac(delsum_(i=1)^(n) (y_i - a - b x_i)^2)(delvis a) = 0`
`frac(delvis Φ)(delvis b) = frac(delsum_(i=1)^(n) (y_i - a - b x_i)^2)(delvis b) = 0`
`sum_(i=1)^(n) (2a + 2bx_i - 2y_i) = sum_(i=1)^(n) (a + bx_i - y_i) = 0`
`sum_(i=1)^(n) (2bx_i^2 + 2ax_i - 2x_iy_i) = sum_(i=1)^(n) (bx_i^2 + ax_i - x_iy_i) = 0`
`sum_(i=1)^(n) y_i = a n + b sum_(i=1)^(n) bx_i`
`sum_(i=1)^(n) x_iy_i = a sum_(i=1)^(n) x_i + b sum_(i=1)^(n) x_i^2`Estimering av feil i koeffisientene til regresjonslinjen
`S_V^2 = sum_(i=1)^p (frac(delvis f)(delvis z_i))^2 S_(z_i)^2`,
hvor `p` er antall `z_i`-parametere med `S_(z_i)`-feil som påvirker `S_V`-feilen;
`f` er en avhengighetsfunksjon av `V` på `z_i`.
`S_a^2 = sum_(i=1)^(n)(frac(delvis a)(delvis y_i))^2 S_(y_i)^2 + sum_(i=1)^(n)(frac(delvis a) )(delvis x_i))^2 S_(x_i)^2 = S_y^2 sum_(i=1)^(n)(frac(delvis a)(delvis y_i))^2 `,
`S_b^2 = sum_(i=1)^(n)(frac(delvis b)(delvis y_i))^2 S_(y_i)^2 + sum_(i=1)^(n)(frac(delvis b )(delvis x_i))^2 S_(x_i)^2 = S_y^2 sum_(i=1)^(n)(frac(delvis b)(delvis y_i))^2 `,
fordi `S_(x_i)^2 = 0` (vi har tidligere tatt forbehold om at feilen til `x` er ubetydelig).
`F = S_(takt y) / S_(y, hvile)^2`,
som sammenlignes med den tabellformede Fisher-koeffisienten `F(p, n-1, n-2)`.
for å legge til verdier til tabellenMinste kvadratiske metode. Metoden med minste kvadrater betyr bestemmelse av ukjente parametere a, b, c, den aksepterte funksjonelle avhengigheten
, (24)
;