Tredimensjonal metode for minste kvadrater. Tilnærming av eksperimentelle data

Som finner den bredeste anvendelsen innen ulike felt av vitenskap og praksis. Det kan være fysikk, kjemi, biologi, økonomi, sosiologi, psykologi og så videre og så videre. Etter skjebnens vilje må jeg ofte forholde meg til økonomien, og derfor vil jeg i dag ordne for deg en billett til et fantastisk land kalt Økonometri=) … Hvordan vil du ikke ha det?! Det er veldig bra der - du må bare bestemme deg! ...Men det du sannsynligvis vil er å lære å løse problemer minste kvadrater. Og spesielt flittige lesere vil lære å løse dem ikke bare nøyaktig, men også VELDIG RASK ;-) Men først generell problemstilling+ relatert eksempel:

La indikatorer studeres innen et fagområde som har et kvantitativt uttrykk. Samtidig er det all grunn til å tro at indikatoren er avhengig av indikatoren. Denne antakelsen kan både være en vitenskapelig hypotese og basert på elementær sunn fornuft. La oss imidlertid legge vitenskapen til side og utforske mer appetittvekkende områder – nemlig dagligvarebutikker. Angi med:

– butikkareal til en dagligvarebutikk, kvm,
- årlig omsetning for en dagligvarebutikk, millioner rubler.

Det er helt klart at jo større areal butikken er, jo større er omsetningen i de fleste tilfeller.

Anta at etter å ha utført observasjoner / eksperimenter / beregninger / dans med en tamburin, har vi numeriske data til vår disposisjon:

Med dagligvarebutikker tror jeg alt er klart: - dette er arealet til den første butikken, - dens årlige omsetning, - arealet til den andre butikken, - dens årlige omsetning, etc. Forresten, det er slett ikke nødvendig å ha tilgang til klassifisert materiale - en ganske nøyaktig vurdering av omsetningen kan fås ved å bruke matematisk statistikk. Imidlertid, ikke bli distrahert, løpet av kommersiell spionasje er allerede betalt =)

Tabelldata kan også skrives i form av punkter og avbildes på vanlig måte for oss. Kartesisk system .

La oss svare på et viktig spørsmål: hvor mange poeng trengs for en kvalitativ studie?

Jo større jo bedre. Minste tillatte sett består av 5-6 poeng. I tillegg, med en liten mengde data, bør ikke "unormale" resultater inkluderes i utvalget. Så, for eksempel, kan en liten elitebutikk hjelpe størrelsesordener mer enn "deres kolleger", og dermed forvrenge det generelle mønsteret som må finnes!

Hvis det er ganske enkelt, må vi velge en funksjon, rute som passerer så nærme punktene som mulig . En slik funksjon kalles tilnærmet (tilnærming - tilnærming) eller teoretisk funksjon . Generelt sett vises her umiddelbart en åpenbar "pretender" - et polynom av høy grad, hvis graf går gjennom ALLE punkter. Men dette alternativet er komplisert, og ofte rett og slett feil. (fordi diagrammet vil "vinde" hele tiden og reflekterer hovedtrenden dårlig).

Dermed må den ønskede funksjonen være tilstrekkelig enkel og samtidig reflektere avhengigheten tilstrekkelig. Som du kanskje gjetter, kalles en av metodene for å finne slike funksjoner minste kvadrater. La oss først analysere essensen på en generell måte. La en funksjon tilnærme de eksperimentelle dataene:


Hvordan evaluere nøyaktigheten av denne tilnærmingen? La oss også beregne forskjellene (avvikene) mellom de eksperimentelle og funksjonelle verdiene (vi studerer tegningen). Den første tanken som dukker opp er å anslå hvor stor summen er, men problemet er at forskjellene kan være negative. (For eksempel, ) og avvik som følge av slik summering vil oppheve hverandre. Derfor, som et estimat for nøyaktigheten av tilnærmingen, foreslår den seg selv å ta summen moduler avvik:

eller i foldet form: (plutselig, hvem vet ikke: er sum-ikonet, og er en hjelpevariabel - "teller", som tar verdier fra 1 til ).

Ved å tilnærme de eksperimentelle punktene med forskjellige funksjoner vil vi få forskjellige verdier av , og det er åpenbart at der denne summen er mindre, er denne funksjonen mer nøyaktig.

En slik metode finnes og kalles minste modul metoden. Men i praksis har det blitt mye mer utbredt. minste kvadrat-metoden, der mulige negative verdier elimineres ikke av modulen, men ved å kvadrere avvikene:

, hvoretter innsatsen rettes mot valg av en slik funksjon at summen av kvadrerte avvik var så liten som mulig. Faktisk, derav navnet på metoden.

Og nå kommer vi tilbake til et annet viktig poeng: som nevnt ovenfor, bør den valgte funksjonen være ganske enkel - men det er også mange slike funksjoner: lineær , hyperbolsk, eksponentiell, logaritmisk, kvadratisk etc. Og her vil jeg selvsagt umiddelbart «redusere aktivitetsfeltet». Hvilken klasse funksjoner å velge for forskning? Primitiv, men effektiv teknikk:

- Den enkleste måten å trekke poeng på på tegningen og analyser deres plassering. Hvis de har en tendens til å være i en rett linje, bør du se etter rettlinjeligning med optimale verdier og . Oppgaven er med andre ord å finne SLIKE koeffisienter – slik at summen av de kvadrerte avvikene blir minst.

Hvis punktene er plassert, for eksempel langs overdrivelse, så er det klart at den lineære funksjonen vil gi en dårlig tilnærming. I dette tilfellet ser vi etter de mest "gunstige" koeffisientene for hyperbelligningen - de som gir minimumsummen av kvadrater .

Legg nå merke til at i begge tilfeller snakker vi om funksjoner til to variabler, hvis argumenter er søkte på avhengighetsalternativer:

Og i hovedsak må vi løse et standardproblem - å finne minimum av en funksjon av to variabler.

Husk eksempelet vårt: anta at "butikk"-punktene har en tendens til å være plassert i en rett linje, og det er all grunn til å tro at de er tilstede lineær avhengighet omsetning fra handelsområdet. La oss finne SLIKE koeffisientene "a" og "være" slik at summen av kvadrerte avvik var den minste. Alt som vanlig - først partielle derivater av 1. orden. I følge linearitetsregel du kan skille rett under sum-ikonet:

Hvis du vil bruke denne informasjonen til et essay eller kurs, vil jeg være veldig takknemlig for lenken i kildelisten, du finner ikke slike detaljerte beregninger noe sted:

La oss lage et standard system:

Vi reduserer hver ligning med en "to", og i tillegg "bryter vi fra hverandre" summene:

Merk : analyser uavhengig hvorfor "a" og "be" kan tas ut av sumikonet. Forresten, formelt sett kan dette gjøres med summen

La oss omskrive systemet i en "anvendt" form:

hvoretter algoritmen for å løse problemet vårt begynner å bli tegnet:

Kjenner vi koordinatene til punktene? Vi vet. Summer kan vi finne? Lett. Vi komponerer det enkleste system av to lineære ligninger med to ukjente("a" og "beh"). Vi løser systemet f.eks. Cramers metode, noe som resulterer i et stasjonært punkt . Sjekker tilstrekkelig tilstand for et ekstremum, kan vi bekrefte at funksjonen på dette tidspunktet når presist minimum. Verifikasjon er forbundet med tilleggsberegninger og derfor vil vi la det stå bak kulissene. (om nødvendig kan den manglende rammen sees). Vi trekker den endelige konklusjonen:

Funksjon den beste måten (i det minste sammenlignet med en hvilken som helst annen lineær funksjon) bringer eksperimentelle poeng nærmere . Grovt sett passerer grafen så nært disse punktene som mulig. I tradisjon økonometri den resulterende tilnærmelsesfunksjonen kalles også paret lineær regresjonsligning .

Problemet som vurderes er av stor praktisk betydning. I situasjonen med vårt eksempel, ligningen lar deg forutsi hva slags omsetning ("yig") vil være på butikken med en eller annen verdi av salgsarealet (en eller annen betydning av "x"). Ja, den resulterende prognosen vil bare være en prognose, men i mange tilfeller vil den vise seg å være ganske nøyaktig.

Jeg vil analysere bare ett problem med "ekte" tall, siden det ikke er noen vanskeligheter med det - alle beregninger er på nivå med skolepensum i klasse 7-8. I 95 prosent av tilfellene vil du bli bedt om å finne bare en lineær funksjon, men helt på slutten av artikkelen vil jeg vise at det ikke er vanskeligere å finne ligningene for den optimale hyperbelen, eksponenten og noen andre funksjoner.

Faktisk gjenstår det å distribuere de lovede godsakene - slik at du lærer hvordan du løser slike eksempler ikke bare nøyaktig, men også raskt. Vi studerer standarden nøye:

Oppgave

Som et resultat av å studere forholdet mellom to indikatorer, ble følgende tallpar oppnådd:

Bruk minste kvadraters metode, finn den lineære funksjonen som best tilnærmer empirien (opplevde) data. Lag en tegning som, i et kartesisk rektangulært koordinatsystem, plotter eksperimentelle punkter og en graf over den tilnærmede funksjonen . Finn summen av kvadrerte avvik mellom empiriske og teoretiske verdier. Finn ut om funksjonen er bedre (i form av minste kvadraters metode) omtrentlige eksperimentelle poeng.

Merk at "x"-verdier er naturlige verdier, og dette har en karakteristisk meningsfull betydning, som jeg vil snakke om litt senere; men de kan selvfølgelig være brøkdeler. I tillegg, avhengig av innholdet i en bestemt oppgave, kan både "X" og "G" verdier være helt eller delvis negative. Vel, vi har fått en "ansiktsløs" oppgave, og vi starter den løsning:

Vi finner koeffisientene til den optimale funksjonen som en løsning på systemet:

For en mer kompakt notasjon kan "teller"-variabelen utelates, siden det allerede er klart at summeringen utføres fra 1 til .

Det er mer praktisk å beregne de nødvendige beløpene i tabellform:


Beregninger kan utføres på en mikrokalkulator, men det er mye bedre å bruke Excel - både raskere og uten feil; se en kort video:

Dermed får vi følgende system:

Her kan du gange den andre ligningen med 3 og trekk 2. fra 1. ligning ledd for ledd. Men dette er flaks - i praksis er systemer ofte ikke begavede, og i slike tilfeller sparer det Cramers metode:
, så systemet har en unik løsning.

La oss ta en sjekk. Jeg forstår at jeg ikke vil, men hvorfor hoppe over feil der du absolutt ikke kan gå glipp av dem? Bytt inn den funnet løsningen på venstre side av hver likning av systemet:

De riktige delene av de tilsvarende ligningene oppnås, noe som betyr at systemet er løst riktig.

Dermed vil den ønskede tilnærmelsesfunksjonen: – fra alle lineære funksjoner eksperimentelle data er best tilnærmet med det.

I motsetning til rett avhengighet av butikkens omsetning på sitt areal, er den funnet avhengigheten omvendt (prinsippet "jo mer - jo mindre"), og dette faktum avsløres umiddelbart av det negative vinkelkoeffisient. Funksjon informerer oss om at med en økning i en viss indikator med 1 enhet, synker verdien av den avhengige indikatoren gjennomsnitt med 0,65 enheter. Som de sier, jo høyere pris på bokhvete, jo mindre solgt.

For å plotte den tilnærmede funksjonen finner vi to av dens verdier:

og utfør tegningen:


Den konstruerte linjen kalles trendlinje (nemlig en lineær trendlinje, dvs. i det generelle tilfellet er en trend ikke nødvendigvis en rett linje). Alle kjenner til uttrykket «å være i trend», og jeg tenker at dette begrepet ikke trenger ytterligere kommentarer.

Regn ut summen av kvadrerte avvik mellom empiriske og teoretiske verdier. Geometrisk er dette summen av kvadratene av lengdene til de "crimson" segmentene (hvorav to er så små at du ikke engang kan se dem).

La oss oppsummere beregningene i en tabell:


De kan igjen utføres manuelt, i tilfelle jeg skal gi et eksempel for det første punktet:

men det er mye mer effektivt å gjøre den allerede kjente måten:

La oss gjenta: hva er meningen med resultatet? Fra alle lineære funksjoner funksjon eksponenten er den minste, det vil si at den er den beste tilnærmingen i familien. Og her, forresten, er det endelige spørsmålet om problemet ikke tilfeldig: hva om den foreslåtte eksponentielle funksjonen vil det være bedre å tilnærme de eksperimentelle punktene?

La oss finne den tilsvarende summen av kvadrerte avvik - for å skille dem, vil jeg utpeke dem med bokstaven "epsilon". Teknikken er nøyaktig den samme:


Og igjen for hver brannberegning for 1. poeng:

I Excel bruker vi standardfunksjonen EXP (Syntaks finner du i Excel Hjelp).

Konklusjon: , så eksponentialfunksjonen tilnærmer forsøkspunktene dårligere enn den rette linjen .

Men det skal bemerkes her at "verre" er betyr ikke ennå, hva er galt. Nå har jeg bygget en graf av denne eksponentialfunksjonen - og den passerer også nærme punktene - så mye at uten en analytisk studie er det vanskelig å si hvilken funksjon som er mer nøyaktig.

Dette fullfører løsningen, og jeg kommer tilbake til spørsmålet om naturverdiene til argumentet. I ulike studier er som regel økonomiske eller sosiologiske, måneder, år eller andre like tidsintervaller nummerert med naturlig "X". Tenk for eksempel på et slikt problem.

Minste kvadratiske metode

I den siste leksjonen av emnet vil vi bli kjent med den mest kjente applikasjonen FNP, som finner den bredeste anvendelsen innen ulike felt av vitenskap og praksis. Det kan være fysikk, kjemi, biologi, økonomi, sosiologi, psykologi og så videre og så videre. Etter skjebnens vilje må jeg ofte forholde meg til økonomien, og derfor vil jeg i dag ordne for deg en billett til et fantastisk land kalt Økonometri=) … Hvordan vil du ikke ha det?! Det er veldig bra der - du må bare bestemme deg! ...Men det du sannsynligvis vil er å lære å løse problemer minste kvadrater. Og spesielt flittige lesere vil lære å løse dem ikke bare nøyaktig, men også VELDIG RASK ;-) Men først generell problemstilling+ relatert eksempel:

La indikatorer studeres innen et fagområde som har et kvantitativt uttrykk. Samtidig er det all grunn til å tro at indikatoren er avhengig av indikatoren. Denne antakelsen kan både være en vitenskapelig hypotese og basert på elementær sunn fornuft. La oss imidlertid legge vitenskapen til side og utforske mer appetittvekkende områder – nemlig dagligvarebutikker. Angi med:

– butikkareal til en dagligvarebutikk, kvm,
- årlig omsetning for en dagligvarebutikk, millioner rubler.

Det er helt klart at jo større areal butikken er, jo større er omsetningen i de fleste tilfeller.

Anta at etter å ha utført observasjoner / eksperimenter / beregninger / dans med en tamburin, har vi numeriske data til vår disposisjon:

Med dagligvarebutikker tror jeg alt er klart: - dette er arealet til den første butikken, - dens årlige omsetning, - arealet til den andre butikken, - dens årlige omsetning, etc. Forresten, det er slett ikke nødvendig å ha tilgang til klassifisert materiale - en ganske nøyaktig vurdering av omsetningen kan fås ved å bruke matematisk statistikk. Imidlertid, ikke bli distrahert, løpet av kommersiell spionasje er allerede betalt =)

Tabelldata kan også skrives i form av punkter og avbildes på vanlig måte for oss. Kartesisk system .

La oss svare på et viktig spørsmål: hvor mange poeng trengs for en kvalitativ studie?

Jo større jo bedre. Minste tillatte sett består av 5-6 poeng. I tillegg, med en liten mengde data, bør ikke "unormale" resultater inkluderes i utvalget. Så, for eksempel, kan en liten elitebutikk hjelpe størrelsesordener mer enn "deres kolleger", og dermed forvrenge det generelle mønsteret som må finnes!

Hvis det er ganske enkelt, må vi velge en funksjon, rute som passerer så nærme punktene som mulig . En slik funksjon kalles tilnærmet (tilnærming - tilnærming) eller teoretisk funksjon . Generelt sett vises her umiddelbart en åpenbar "pretender" - et polynom av høy grad, hvis graf går gjennom ALLE punkter. Men dette alternativet er komplisert, og ofte rett og slett feil. (fordi diagrammet vil "vinde" hele tiden og reflekterer hovedtrenden dårlig).

Dermed må den ønskede funksjonen være tilstrekkelig enkel og samtidig reflektere avhengigheten tilstrekkelig. Som du kanskje gjetter, kalles en av metodene for å finne slike funksjoner minste kvadrater. La oss først analysere essensen på en generell måte. La en funksjon tilnærme de eksperimentelle dataene:


Hvordan evaluere nøyaktigheten av denne tilnærmingen? La oss også beregne forskjellene (avvikene) mellom de eksperimentelle og funksjonelle verdiene (vi studerer tegningen). Den første tanken som dukker opp er å anslå hvor stor summen er, men problemet er at forskjellene kan være negative. (For eksempel, ) og avvik som følge av slik summering vil oppheve hverandre. Derfor, som et estimat for nøyaktigheten av tilnærmingen, foreslår den seg selv å ta summen moduler avvik:

eller i foldet form: (for de som ikke vet: er sumikonet, og - hjelpevariabel - "teller", som tar verdier fra 1 til ) .

Ved å tilnærme de eksperimentelle punktene med forskjellige funksjoner vil vi få forskjellige verdier, og det er åpenbart hvor denne summen er mindre - den funksjonen er mer nøyaktig.

En slik metode finnes og kalles minste modul metoden. Men i praksis har det blitt mye mer utbredt. minste kvadrat-metoden, der mulige negative verdier elimineres ikke av modulen, men ved å kvadrere avvikene:

, hvoretter innsatsen rettes mot valg av en slik funksjon at summen av kvadrerte avvik var så liten som mulig. Faktisk, derav navnet på metoden.

Og nå kommer vi tilbake til et annet viktig poeng: som nevnt ovenfor, bør den valgte funksjonen være ganske enkel - men det er også mange slike funksjoner: lineær , hyperbolsk , eksponentiell , logaritmisk , kvadratisk etc. Og her vil jeg selvsagt umiddelbart «redusere aktivitetsfeltet». Hvilken klasse funksjoner å velge for forskning? Primitiv, men effektiv teknikk:

- Den enkleste måten å trekke poeng på på tegningen og analyser deres plassering. Hvis de har en tendens til å være i en rett linje, bør du se etter rettlinjeligning med optimale verdier og . Oppgaven er med andre ord å finne SLIKE koeffisienter – slik at summen av de kvadrerte avvikene blir minst.

Hvis punktene er plassert, for eksempel langs overdrivelse, så er det klart at den lineære funksjonen vil gi en dårlig tilnærming. I dette tilfellet ser vi etter de mest "gunstige" koeffisientene for hyperbelligningen - de som gir minimumsummen av kvadrater .

Legg nå merke til at i begge tilfeller snakker vi om funksjoner til to variabler, hvis argumenter er søkte på avhengighetsalternativer:

Og i hovedsak må vi løse et standardproblem - å finne minimum av en funksjon av to variabler.

Husk eksempelet vårt: anta at "butikk"-punktene har en tendens til å være plassert i en rett linje, og det er all grunn til å tro at de er tilstede lineær avhengighet omsetning fra handelsområdet. La oss finne SLIKE koeffisientene "a" og "være" slik at summen av kvadrerte avvik var den minste. Alt som vanlig - først partielle derivater av 1. orden. I følge linearitetsregel du kan skille rett under sum-ikonet:

Hvis du vil bruke denne informasjonen til et essay eller kurs, vil jeg være veldig takknemlig for lenken i kildelisten, du finner ikke slike detaljerte beregninger noe sted:

La oss lage et standard system:

Vi reduserer hver ligning med en "to", og i tillegg "bryter vi fra hverandre" summene:

Merk : analyser uavhengig hvorfor "a" og "be" kan tas ut av sumikonet. Forresten, formelt sett kan dette gjøres med summen

La oss omskrive systemet i en "anvendt" form:

hvoretter algoritmen for å løse problemet vårt begynner å bli tegnet:

Kjenner vi koordinatene til punktene? Vi vet. Summer kan vi finne? Lett. Vi komponerer det enkleste system av to lineære ligninger med to ukjente("a" og "beh"). Vi løser systemet f.eks. Cramers metode, noe som resulterer i et stasjonært punkt . Sjekker tilstrekkelig tilstand for et ekstremum, kan vi bekrefte at funksjonen på dette tidspunktet når presist minimum. Verifikasjon er forbundet med tilleggsberegninger og derfor vil vi la det stå bak kulissene. (om nødvendig kan den manglende rammen seesher ) . Vi trekker den endelige konklusjonen:

Funksjon den beste måten (i det minste sammenlignet med en hvilken som helst annen lineær funksjon) bringer eksperimentelle poeng nærmere . Grovt sett passerer grafen så nært disse punktene som mulig. I tradisjon økonometri den resulterende tilnærmelsesfunksjonen kalles også paret lineær regresjonsligning .

Problemet som vurderes er av stor praktisk betydning. I situasjonen med vårt eksempel, ligningen lar deg forutsi hva slags omsetning ("yig") vil være på butikken med en eller annen verdi av salgsarealet (en eller annen betydning av "x"). Ja, den resulterende prognosen vil bare være en prognose, men i mange tilfeller vil den vise seg å være ganske nøyaktig.

Jeg vil analysere bare ett problem med "ekte" tall, siden det ikke er noen vanskeligheter med det - alle beregninger er på nivå med skolepensum i klasse 7-8. I 95 prosent av tilfellene vil du bli bedt om å finne bare en lineær funksjon, men helt på slutten av artikkelen vil jeg vise at det ikke er vanskeligere å finne ligningene for den optimale hyperbelen, eksponenten og noen andre funksjoner.

Faktisk gjenstår det å distribuere de lovede godsakene - slik at du lærer hvordan du løser slike eksempler ikke bare nøyaktig, men også raskt. Vi studerer standarden nøye:

Oppgave

Som et resultat av å studere forholdet mellom to indikatorer, ble følgende tallpar oppnådd:

Bruk minste kvadraters metode, finn den lineære funksjonen som best tilnærmer empirien (opplevde) data. Lag en tegning som, i et kartesisk rektangulært koordinatsystem, plotter eksperimentelle punkter og en graf over den tilnærmede funksjonen . Finn summen av kvadrerte avvik mellom empiriske og teoretiske verdier. Finn ut om funksjonen er bedre (i form av minste kvadraters metode) omtrentlige eksperimentelle poeng.

Merk at "x"-verdier er naturlige verdier, og dette har en karakteristisk meningsfull betydning, som jeg vil snakke om litt senere; men de kan selvfølgelig være brøkdeler. I tillegg, avhengig av innholdet i en bestemt oppgave, kan både "X" og "G" verdier være helt eller delvis negative. Vel, vi har fått en "ansiktsløs" oppgave, og vi starter den løsning:

Vi finner koeffisientene til den optimale funksjonen som en løsning på systemet:

For en mer kompakt notasjon kan "teller"-variabelen utelates, siden det allerede er klart at summeringen utføres fra 1 til .

Det er mer praktisk å beregne de nødvendige beløpene i tabellform:


Beregninger kan utføres på en mikrokalkulator, men det er mye bedre å bruke Excel - både raskere og uten feil; se en kort video:

Dermed får vi følgende system:

Her kan du gange den andre ligningen med 3 og trekk 2. fra 1. ligning ledd for ledd. Men dette er flaks - i praksis er systemer ofte ikke begavede, og i slike tilfeller sparer det Cramers metode:
, så systemet har en unik løsning.

La oss ta en sjekk. Jeg forstår at jeg ikke vil, men hvorfor hoppe over feil der du absolutt ikke kan gå glipp av dem? Bytt inn den funnet løsningen på venstre side av hver likning av systemet:

De riktige delene av de tilsvarende ligningene oppnås, noe som betyr at systemet er løst riktig.

Dermed vil den ønskede tilnærmelsesfunksjonen: – fra alle lineære funksjoner eksperimentelle data er best tilnærmet med det.

I motsetning til rett avhengighet av butikkens omsetning på sitt areal, er den funnet avhengigheten omvendt (prinsippet "jo mer - jo mindre"), og dette faktum avsløres umiddelbart av det negative vinkelkoeffisient. Funksjonen forteller oss at med en økning i en viss indikator med 1 enhet, synker verdien av den avhengige indikatoren gjennomsnitt med 0,65 enheter. Som de sier, jo høyere pris på bokhvete, jo mindre solgt.

For å plotte den tilnærmede funksjonen finner vi to av dens verdier:

og utfør tegningen:

Den konstruerte linjen kalles trendlinje (nemlig en lineær trendlinje, dvs. i det generelle tilfellet er en trend ikke nødvendigvis en rett linje). Alle kjenner til uttrykket «å være i trend», og jeg tenker at dette begrepet ikke trenger ytterligere kommentarer.

Regn ut summen av kvadrerte avvik mellom empiriske og teoretiske verdier. Geometrisk er dette summen av kvadratene av lengdene til de "crimson" segmentene (hvorav to er så små at du ikke engang kan se dem).

La oss oppsummere beregningene i en tabell:


De kan igjen utføres manuelt, i tilfelle jeg skal gi et eksempel for det første punktet:

men det er mye mer effektivt å gjøre den allerede kjente måten:

La oss gjenta: hva er meningen med resultatet? Fra alle lineære funksjoner funksjonen har den minste eksponenten, det vil si i sin familie, dette er den beste tilnærmingen. Og her, forresten, er det endelige spørsmålet om problemet ikke tilfeldig: hva om den foreslåtte eksponentielle funksjonen vil det være bedre å tilnærme de eksperimentelle punktene?

La oss finne den tilsvarende summen av kvadrerte avvik - for å skille dem, vil jeg utpeke dem med bokstaven "epsilon". Teknikken er nøyaktig den samme:

Og igjen for hver brannberegning for 1. poeng:

I Excel bruker vi standardfunksjonen EXP (Syntaks finner du i Excel Hjelp).

Konklusjon: , som betyr at eksponentialfunksjonen tilnærmer forsøkspunktene dårligere enn den rette linjen.

Men det skal bemerkes her at "verre" er betyr ikke ennå, hva er galt. Nå har jeg bygget en graf av denne eksponentielle funksjonen – og den passerer også nærme punktene – så mye at uten en analytisk studie er det vanskelig å si hvilken funksjon som er mer nøyaktig.

Dette fullfører løsningen, og jeg kommer tilbake til spørsmålet om naturverdiene til argumentet. I ulike studier er som regel økonomiske eller sosiologiske, måneder, år eller andre like tidsintervaller nummerert med naturlig "X". Tenk for eksempel på følgende problem:

Vi har følgende data om butikkens detaljomsetning for første halvår:

Bruk analytisk linjejustering for å finne salgsvolumet for juli.

Ja, ikke noe problem: vi nummererer månedene 1, 2, 3, 4, 5, 6 og bruker den vanlige algoritmen, som et resultat av at vi får en ligning - det eneste når det kommer til tid er vanligvis bokstaven "te ” (selv om det ikke er kritisk). Den resulterende ligningen viser at i første halvår økte omsetningen med et gjennomsnitt på CU 27,74. per måned. Få en prognose for juli (måned #7): e.u.

Og lignende oppgaver - mørket er mørkt. De som ønsker det kan benytte en tilleggstjeneste, nemlig min Excel kalkulator (demo versjon), som løser problemet nesten umiddelbart! Arbeidsversjonen av programmet er tilgjengelig I bytte eller for symbolsk betaling.

På slutten av leksjonen, en kort informasjon om å finne avhengigheter av noen andre typer. Faktisk er det ikke noe spesielt å fortelle, siden den grunnleggende tilnærmingen og løsningsalgoritmen forblir den samme.

La oss anta at plasseringen av de eksperimentelle punktene ligner en hyperbel. Deretter, for å finne koeffisientene til den beste hyperbelen, må du finne minimum av funksjonen - de som ønsker kan utføre detaljerte beregninger og komme til et lignende system:

Fra et formelt teknisk synspunkt er det hentet fra det "lineære" systemet (la oss markere det med en stjerne) erstatte "x" med . Vel, beløpene beregne, deretter til de optimale koeffisientene "a" og "være" for hånden.

Hvis det er all grunn til å tro at poengene er arrangert langs en logaritmisk kurve, for deretter å søke etter de optimale verdiene og finne minimum av funksjonen . Formelt sett bør (*) i systemet erstattes av:

Når du regner i Excel, bruk funksjonen LN. Jeg innrømmer at det ikke vil være vanskelig for meg å lage kalkulatorer for hver av sakene som vurderes, men det vil likevel være bedre om du "programmerer" beregningene selv. Videoopplæringer for å hjelpe.

Med eksponentiell avhengighet er situasjonen litt mer komplisert. For å redusere saken til det lineære tilfellet tar vi logaritmen til funksjonen og bruker egenskapene til logaritmen:

Når vi nå sammenligner den oppnådde funksjonen med den lineære funksjonen , kommer vi til den konklusjon at (*) i systemet må erstattes med , og - med . For enkelhets skyld angir vi:

Vær oppmerksom på at systemet er løst med hensyn til og , og derfor, etter å ha funnet røttene, må du ikke glemme å finne selve koeffisienten.

For å tilnærme eksperimentelle poeng optimal parabel , bør finnes minimum av en funksjon av tre variabler . Etter å ha utført standardhandlinger får vi følgende "fungerende" system:

Ja, selvfølgelig, det er flere beløp her, men det er ingen problemer i det hele tatt når du bruker favorittapplikasjonen din. Og til slutt vil jeg fortelle deg hvordan du raskt sjekker ved hjelp av Excel og bygger ønsket trendlinje: lag et punktdiagram, velg et av punktene med musen og høyreklikk velg alternativ "Legg til trendlinje". Deretter velger du type diagram og på fanen "Parametere" aktivere alternativet "Vis ligning på diagram". OK

Som alltid vil jeg avslutte artikkelen med en vakker setning, og jeg skrev nesten "Vær i trend!". Men med tiden ombestemte han seg. Og ikke fordi det er formelt. Jeg vet ikke hvordan noen, men jeg ønsker ikke å følge den promoterte amerikanske og spesielt europeiske trenden i det hele tatt =) Derfor ønsker jeg at hver av dere holder seg til deres egen linje!

http://www.grandars.ru/student/vysshaya-matematika/metod-naimenshih-kvadratov.html

Minste kvadraters metode er en av de vanligste og mest utviklet på grunn av sin enkelhet og effektivitet av metoder for å estimere parametrene til lineære økonometriske modeller. Samtidig bør det utvises en viss forsiktighet når du bruker den, siden modellene som er bygget ved hjelp av den, kanskje ikke oppfyller en rekke krav til kvaliteten på parameterne deres og som et resultat ikke "godt" gjenspeiler mønstrene for prosessutvikling.

La oss vurdere prosedyren for å estimere parametrene til en lineær økonometrisk modell ved å bruke minste kvadraters metode mer detaljert. En slik modell i generell form kan representeres ved ligning (1.2):

y t = a 0 + a 1 x 1t +...+ a n x nt + ε t .

De første dataene ved estimering av parameterne a 0 , a 1 ,..., a n er vektoren av verdier til den avhengige variabelen y= (y 1 , y 2 , ... , y T)" og matrisen av verdier for uavhengige variabler

der den første kolonnen, bestående av enere, tilsvarer koeffisienten til modellen .

Metoden med minste kvadrater har fått navnet sitt basert på det grunnleggende prinsippet som parameterestimatene oppnådd på grunnlag av den skal tilfredsstille: summen av kvadrater av modellfeilen skal være minimal.

Eksempler på å løse problemer med minste kvadraters metode

Eksempel 2.1. Handelsbedriften har et nettverk bestående av 12 butikker, informasjon om aktivitetene til disse er presentert i tabell. 2.1.

Selskapets ledelse vil gjerne vite hvordan størrelsen på den årlige omsetningen avhenger av butikkarealet.

Tabell 2.1

Minste kvadraters løsning. La oss angi - den årlige omsetningen til den -th butikken, millioner rubler; - salgsareal av den th butikken, tusen m 2.

Fig.2.1. Scatterplot for eksempel 2.1

For å bestemme formen på den funksjonelle sammenhengen mellom variablene og konstruere et spredningsplott (fig. 2.1).

Basert på spredningsdiagrammet kan vi konkludere med at den årlige omsetningen er positivt avhengig av salgsarealet (dvs. y vil øke med veksten på ). Den mest hensiktsmessige formen for funksjonell tilkobling er lineær.

Informasjon for videre beregninger er presentert i tabell. 2.2. Ved å bruke minste kvadraters metode estimerer vi parametrene til den lineære en-faktor økonometriske modellen

Tabell 2.2

På denne måten,

Derfor, med en økning i handelsområdet med 1 tusen m 2, alt annet like, øker den gjennomsnittlige årlige omsetningen med 67,8871 millioner rubler.

Eksempel 2.2. Ledelsen i bedriften la merke til at den årlige omsetningen ikke bare avhenger av salgsområdet til butikken (se eksempel 2.1), men også av gjennomsnittlig antall besøkende. Den relevante informasjonen er presentert i tabellen. 2.3.

Tabell 2.3

Løsning. Angi - gjennomsnittlig antall besøkende til den -th butikken per dag, tusen mennesker.

For å bestemme formen på den funksjonelle sammenhengen mellom variablene og konstruere et spredningsplott (fig. 2.2).

Basert på spredningsdiagrammet kan vi konkludere med at den årlige omsetningen er positivt relatert til gjennomsnittlig antall besøkende per dag (dvs. y vil øke med veksten på ). Formen for funksjonell avhengighet er lineær.

Ris. 2.2. Scatterplot for eksempel 2.2

Tabell 2.4

Generelt er det nødvendig å bestemme parametrene til den to-faktor økonometriske modellen

y t \u003d a 0 + a 1 x 1t + a 2 x 2t + ε t

Informasjonen som kreves for videre beregninger er presentert i tabell. 2.4.

La oss estimere parametrene til en lineær to-faktor økonometrisk modell ved å bruke minste kvadraters metode.

På denne måten,

Evaluering av koeffisienten = 61,6583 viser at, alt annet likt, med en økning i salgsarealet med 1 tusen m 2, vil den årlige omsetningen øke med gjennomsnittlig 61,6583 millioner rubler.

Estimatet av koeffisienten = 2,2748 viser at alt annet likt, med en økning i gjennomsnittlig antall besøkende per tusen mennesker. per dag vil den årlige omsetningen øke med et gjennomsnitt på 2,2748 millioner rubler.

Eksempel 2.3. Bruker informasjonen presentert i tabellen. 2.2 og 2.4, estimer parameteren til en enkeltfaktor økonometrisk modell

hvor er den sentrerte verdien av den årlige omsetningen til den -th butikken, millioner rubler; - sentrert verdi av gjennomsnittlig daglig antall besøkende til den t-te butikken, tusen mennesker. (se eksempel 2.1-2.2).

Løsning. Ytterligere informasjon som kreves for beregninger er presentert i tabell. 2.5.

Tabell 2.5

Ved å bruke formel (2.35) får vi

På denne måten,

http://www.cleverstudents.ru/articles/mnk.html

Eksempel.

Eksperimentelle data om verdiene til variabler X og på er gitt i tabellen.

Som et resultat av deres justering, funksjonen

Ved hjelp av minste kvadrat-metoden, tilnærme disse dataene med en lineær avhengighet y=ax+b(finn alternativer en og b). Finn ut hvilken av de to linjene som er best (i betydningen minste kvadraters metode) som justerer eksperimentelle data. Lag en tegning.

Løsning.

I vårt eksempel n=5. Vi fyller ut tabellen for å gjøre det lettere å beregne beløpene som er inkludert i formlene til de nødvendige koeffisientene.

Verdiene i den fjerde raden i tabellen oppnås ved å multiplisere verdiene i den andre raden med verdiene i den tredje raden for hvert tall Jeg.

Verdiene i den femte raden i tabellen oppnås ved å kvadrere verdiene i den andre raden for hvert tall Jeg.

Verdiene i den siste kolonnen i tabellen er summene av verdiene på tvers av radene.

Vi bruker formlene til minste kvadraters metode for å finne koeffisientene en og b. Vi erstatter i dem de tilsvarende verdiene fra den siste kolonnen i tabellen:

Derfor, y=0,165x+2,184 er den ønskede tilnærmede rette linjen.

Det gjenstår å finne ut hvilken av linjene y=0,165x+2,184 eller tilnærmer de opprinnelige dataene bedre, det vil si å lage et estimat ved å bruke minste kvadraters metode.

Bevis.

Så når funnet en og b funksjonen tar den minste verdien, er det nødvendig at på dette tidspunktet matrisen til kvadratisk form av andreordens differensial for funksjonen var positiv definitivt. La oss vise det.

Den andre ordensdifferensialen har formen:

Det er

Derfor har matrisen til den kvadratiske formen formen

og verdiene til elementene avhenger ikke av en og b.

La oss vise at matrisen er positiv bestemt. Dette krever at vinkelminorene er positive.

Kantet moll av første orden . Ulikheten er streng, siden poengene

Etter justering får vi en funksjon av følgende form: g (x) = x + 1 3 + 1 .

Vi kan tilnærme disse dataene med en lineær sammenheng y = a x + b ved å beregne de riktige parameterne. For å gjøre dette må vi bruke den såkalte minste kvadraters metoden. Du må også lage en tegning for å sjekke hvilken linje som best vil justere eksperimentelle data.

Yandex.RTB R-A-339285-1

Hva er egentlig OLS (minste kvadraters metode)

Det viktigste vi må gjøre er å finne slike lineære avhengighetskoeffisienter der verdien av funksjonen til to variabler F (a, b) = ∑ i = 1 n (yi - (akse + b)) 2 vil være den minste . Med andre ord, for visse verdier av a og b, vil summen av kvadrerte avvik av de presenterte dataene fra den resulterende rette linjen ha en minimumsverdi. Dette er meningen med minste kvadraters metode. Alt vi trenger å gjøre for å løse eksemplet er å finne ytterpunktet for funksjonen til to variabler.

Hvordan utlede formler for beregning av koeffisienter

For å utlede formler for beregning av koeffisientene, er det nødvendig å komponere og løse et likningssystem med to variabler. For å gjøre dette, beregner vi de partielle deriverte av uttrykket F (a , b) = ∑ i = 1 n (y i - (a x i + b)) 2 med hensyn til a og b og likestiller dem til 0 .

δ F (a, b) δ a = 0 δ F (a, b) δ b = 0 ⇔ - 2 ∑ i = 1 n (yi - (axi + b)) xi = 0 - 2 ∑ i = 1 n ( yi - (axi + b)) = 0 ⇔ a ∑ i = 1 nxi 2 + b ∑ i = 1 nxi = ∑ i = 1 nxiyia ∑ i = 1 nxi + ∑ i = 1 nb = ∑ i = 1 a nyi ⇔ ∑ i = 1 nxi 2 + b ∑ i = 1 nxi = ∑ i = 1 nxiyia ∑ i = 1 nxi + nb = ∑ i = 1 nyi

For å løse et ligningssystem kan du bruke hvilken som helst metode, for eksempel substitusjon eller Cramers metode. Som et resultat bør vi få formler som beregner koeffisientene ved å bruke minste kvadraters metode.

n ∑ i = 1 n x i y i - ∑ i = 1 n x i ∑ i = 1 n y i n ∑ i = 1 n - ∑ i = 1 n x i 2 b = ∑ i = 1 n y i - a ∑ i = 1 n

Vi har beregnet verdiene til variablene som funksjonen har
F (a , b) = ∑ i = 1 n (y i - (a x i + b)) 2 vil ta minimumsverdien. I tredje ledd skal vi bevise hvorfor det er slik.

Dette er bruken av minste kvadraters metode i praksis. Formelen hans, som brukes til å finne parameteren a , inkluderer ∑ i = 1 n x i , ∑ i = 1 n y i , ∑ i = 1 n x i y i , ∑ i = 1 n x i 2 , og parameteren
n - det angir mengden eksperimentelle data. Vi anbefaler deg å beregne hvert beløp separat. Koeffisientverdien b beregnes umiddelbart etter a .

La oss gå tilbake til det opprinnelige eksemplet.

Eksempel 1

Her har vi n lik fem. For å gjøre det mer praktisk å beregne de nødvendige beløpene som er inkludert i koeffisientformlene, fyller vi ut tabellen.

Løsning

Den fjerde raden inneholder dataene oppnådd ved å multiplisere verdiene fra den andre raden med verdiene til den tredje for hver enkelt i . Den femte linjen inneholder dataene fra den andre kvadraten. Den siste kolonnen viser summene av verdiene til de enkelte radene.

La oss bruke minste kvadraters metode for å beregne koeffisientene a og b vi trenger. For å gjøre dette, bytt ut de ønskede verdiene fra den siste kolonnen og beregn summene:

n ∑ i = 1 nxiyi - ∑ i = 1 nxi ∑ i = 1 nyin ∑ i = 1 n - ∑ i = 1 nxi 2 b = ∑ i = 1 nyi - a ∑ i = 1 nxin ⇒ a = 5 3 - 12 12, 9 5 46 - 12 2 b = 12, 9 - a 12 5 ⇒ a ≈ 0, 165 b ≈ 2, 184

Vi fikk at den ønskede tilnærmede rette linjen vil se ut som y = 0 , 165 x + 2 , 184 . Nå må vi bestemme hvilken linje som best tilnærmer dataene - g (x) = x + 1 3 + 1 eller 0 , 165 x + 2 , 184 . La oss lage et estimat ved å bruke minste kvadraters metode.

For å beregne feilen må vi finne summen av kvadrerte avvik for dataene fra linjene σ 1 = ∑ i = 1 n (yi - (akse + bi)) 2 og σ 2 = ∑ i = 1 n (yi - g (xi)) 2 vil minimumsverdien tilsvare en mer passende linje.

σ 1 = ∑ i = 1 n (yi - (axi + bi)) 2 = = ∑ i = 1 5 (yi - (0 , 165 xi + 2 , 184)) 2 ≈ 0 , 019 σ 2 = ∑ i = 1 n (yi - g (xi)) 2 = = ∑ i = 1 5 (yi - (xi + 1 3 + 1)) 2 ≈ 0 , 096

Svar: siden σ 1< σ 2 , то прямой, наилучшим образом аппроксимирующей исходные данные, будет
y = 0, 165 x + 2, 184.

Minste kvadraters metode er tydelig vist i den grafiske illustrasjonen. Den røde linjen markerer den rette linjen g (x) = x + 1 3 + 1, den blå linjen markerer y = 0, 165 x + 2, 184. Rådata er merket med rosa prikker.

La oss forklare hvorfor nøyaktige tilnærminger av denne typen er nødvendige.

De kan brukes i problemer som krever datautjevning, så vel som i de der dataene må interpoleres eller ekstrapoleres. For eksempel, i problemet diskutert ovenfor, kan man finne verdien av den observerte mengden y ved x = 3 eller ved x = 6 . Vi har viet en egen artikkel til slike eksempler.

Bevis på LSM-metoden

For at funksjonen skal ta minimumsverdien for beregnet a og b, er det nødvendig at på et gitt punkt matrisen til kvadratisk form av differensialen til funksjonen til formen F (a, b) = ∑ i = 1 n ( yi - (akse + b)) 2 være positiv bestemt. La oss vise deg hvordan det skal se ut.

Eksempel 2

Vi har en annenordens differensial av følgende form:

d 2 F (a ; b) = δ 2 F (a ; b) δ a 2 d 2 a + 2 δ 2 F (a ; b) δ a δ bdadb + δ 2 F (a ; b) δ b 2 d 2b

Løsning

δ 2 F (a ; b) δ a 2 = δ δ F (a ; b) δ a δ a = = δ - 2 ∑ i = 1 n (yi - (axi + b)) xi δ a = 2 ∑ i = 1 n (xi) 2 δ 2 F (a ; b) δ a δ b = δ δ F (a ; b) δ a δ b = = δ - 2 ∑ i = 1 n (yi - (axi + b) ) xi δ b = 2 ∑ i = 1 nxi δ 2 F (a ; b) δ b 2 = δ δ F (a ; b) δ b δ b = δ - 2 ∑ i = 1 n (yi - (axi + b)) δ b = 2 ∑ i = 1 n (1) = 2 n

Det kan med andre ord skrives slik: d 2 F (a ; b) = 2 ∑ i = 1 n (x i) 2 d 2 a + 2 2 ∑ x i i = 1 n d a d b + (2 n) d 2 b .

Vi har fått en matrise med kvadratisk form M = 2 ∑ i = 1 n (x i) 2 2 ∑ i = 1 n x i 2 ∑ i = 1 n x i 2 n .

I dette tilfellet vil verdiene til individuelle elementer ikke endres avhengig av a og b . Er denne matrisen positiv bestemt? For å svare på dette spørsmålet, la oss sjekke om de kantede mindreårige er positive.

Beregn første ordens vinkelmoll: 2 ∑ i = 1 n (x i) 2 > 0 . Siden punktene x i ikke er sammenfallende, er ulikheten streng. Dette vil vi ha i bakhodet i videre beregninger.

Vi beregner andreordens vinkelmoll:

d e t (M) = 2 ∑ i = 1 n (x i) 2 2 ∑ i = 1 n x i 2 ∑ i = 1 n x i 2 n = 4 n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2

Deretter går vi videre til beviset på ulikheten n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 > 0 ved hjelp av matematisk induksjon.

1. La oss sjekke om denne ulikheten er gyldig for vilkårlig n . La oss ta 2 og regne ut:

2 ∑ i = 1 2 (xi) 2 - ∑ i = 1 2 xi 2 = 2 x 1 2 + x 2 2 - x 1 + x 2 2 = = x 1 2 - 2 x 1 x 2 + x 2 2 = x 1 + x 2 2 > 0

Vi fikk riktig likhet (hvis verdiene x 1 og x 2 ikke stemmer overens).

1. La oss anta at denne ulikheten vil være sann for n , dvs. n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 > 0 – sant.
2. La oss nå bevise gyldigheten for n + 1, dvs. at (n + 1) ∑ i = 1 n + 1 (xi) 2 - ∑ i = 1 n + 1 xi 2 > 0 hvis n ∑ i = 1 n (xi) 2 - ∑ i = 1 nxi 2 > 0 .

Vi beregner:

(n + 1) ∑ i = 1 n + 1 (xi) 2 - ∑ i = 1 n + 1 xi 2 = = (n + 1) ∑ i = 1 n (xi) 2 + xn + 1 2 - ∑ i = 1 nxi + xn + 1 2 = = n ∑ i = 1 n (xi) 2 + n xn + 1 2 + ∑ i = 1 n (xi) 2 + xn + 1 2 - - ∑ i = 1 nxi 2 + 2 xn + 1 ∑ i = 1 nxi + xn + 1 2 = = ∑ i = 1 n (xi) 2 - ∑ i = 1 nxi 2 + n xn + 1 2 - xn + 1 ∑ i = 1 nxi + ∑ i = 1 n (xi) 2 = = ∑ i = 1 n (xi) 2 - ∑ i = 1 nxi 2 + xn + 1 2 - 2 xn + 1 x 1 + x 1 2 + + xn + 1 2 - 2 xn + 1 x 2 + x 2 2 + . . . + xn + 1 2 - 2 xn + 1 x 1 + xn 2 = = n ∑ i = 1 n (xi) 2 - ∑ i = 1 nxi 2 + + (xn + 1 - x 1) 2 + (xn + 1 - x 2) 2 + . . . + (x n - 1 - x n) 2 > 0

Uttrykket omsluttet av krøllete klammer vil være større enn 0 (basert på det vi antok i trinn 2), og resten av leddene vil være større enn 0 fordi de alle er kvadrater av tall. Vi har bevist ulikheten.

Svar: de funnet a og b vil tilsvare den minste verdien av funksjonen F (a, b) = ∑ i = 1 n (yi - (akse + b)) 2, som betyr at de er de ønskede parametere for minste kvadraters metode (LSM).

Hvis du oppdager en feil i teksten, merk den og trykk Ctrl+Enter

Metoden for minste kvadrater (LSM) lar deg estimere ulike mengder ved å bruke resultatene av mange målinger som inneholder tilfeldige feil.

Karakteristisk MNC

Hovedideen med denne metoden er at summen av kvadrerte feil betraktes som et kriterium for nøyaktigheten av løsningen av problemet, som søkes minimert. Ved bruk av denne metoden kan både numeriske og analytiske tilnærminger brukes.

Spesielt, som en numerisk implementering, innebærer minste kvadraters metode å gjøre så mange målinger av en ukjent tilfeldig variabel som mulig. Dessuten, jo flere beregninger, desto mer nøyaktig vil løsningen være. På dette settet med beregninger (initielle data) oppnås et annet sett med foreslåtte løsninger, hvorfra den beste deretter velges. Hvis settet med løsninger er parametrisert, vil minste kvadraters metode reduseres til å finne den optimale verdien av parameterne.

Som en analytisk tilnærming til implementeringen av LSM på settet med innledende data (målinger) og det foreslåtte settet med løsninger, er noen (funksjonelle) definert, som kan uttrykkes ved en formel oppnådd som en viss hypotese som må bekreftes . I dette tilfellet reduseres metoden med minste kvadrater til å finne minimum av denne funksjonelle på settet med kvadratiske feil i de innledende dataene.

Merk at ikke feilene i seg selv, men kvadratene til feilene. Hvorfor? Faktum er at ofte er avvikene til målinger fra den eksakte verdien både positive og negative. Når du bestemmer gjennomsnittet, kan enkel summering føre til en feil konklusjon om kvaliteten på estimatet, siden gjensidig kansellering av positive og negative verdier vil redusere prøvetakingskraften til settet med målinger. Og følgelig nøyaktigheten av vurderingen.

For å forhindre at dette skjer, summeres de kvadratiske avvikene. Enda mer enn det, for å utjevne dimensjonen til den målte verdien og det endelige estimatet, fra summen av kvadrerte feil,

Noen anvendelser av MNCs

MNC er mye brukt i ulike felt. For eksempel, i sannsynlighetsteori og matematisk statistikk, brukes metoden til å bestemme en slik karakteristikk av en tilfeldig variabel som standardavviket, som bestemmer bredden på verdiområdet til en tilfeldig variabel.

• opplæringen

Introduksjon

Jeg er en dataprogrammerer. Jeg tok det største spranget i karrieren min da jeg lærte å si: "Jeg forstår ingenting!" Nå skammer jeg meg ikke over å fortelle vitenskapens lysmann at han holder meg en forelesning, at jeg ikke forstår hva den, lysmannen, snakker til meg om. Og det er veldig vanskelig. Ja, det er vanskelig og flaut å innrømme at du ikke vet. Som liker å innrømme at han ikke kan det grunnleggende om noe-der. I kraft av yrket mitt må jeg delta på et stort antall presentasjoner og forelesninger, der jeg innrømmer at jeg i de aller fleste tilfeller føler meg trøtt, fordi jeg ikke forstår noe. Og jeg forstår ikke fordi det store problemet med den nåværende situasjonen i naturfag ligger i matematikk. Den forutsetter at alle elever er kjent med absolutt alle områder av matematikken (noe som er absurd). Å innrømme at du ikke vet hva et derivat er (at dette er litt senere) er synd.

Men jeg har lært å si at jeg ikke vet hva multiplikasjon er. Ja, jeg vet ikke hva en subalgebra over en Lie-algebra er. Ja, jeg vet ikke hvorfor andregradsligninger er nødvendig i livet. Forresten, hvis du er sikker på at du vet, så har vi noe å snakke om! Matematikk er en rekke triks. Matematikere prøver å forvirre og skremme publikum; hvor det ikke er forvirring, ikke noe rykte, ingen autoritet. Ja, det er prestisjefylt å snakke på et mest mulig abstrakt språk, noe som er fullstendig tull i seg selv.

Vet du hva et derivat er? Mest sannsynlig vil du fortelle meg om grensen for forskjellsforholdet. I det første året av matematikk ved St. Petersburg State University, Viktor Petrovich Khavin meg definert derivat som koeffisienten til det første leddet i Taylor-serien til funksjonen på punktet (det var en egen gymnastikk for å bestemme Taylor-serien uten derivater). Jeg lo lenge av denne definisjonen, helt til jeg endelig forsto hva den handlet om. Den deriverte er ikke noe mer enn bare et mål på hvor mye funksjonen vi differensierer er lik funksjonen y=x, y=x^2, y=x^3.

Jeg har nå æren av å forelese studenter som frykt matematikk. Er du redd for matematikk - vi er på vei. Så snart du prøver å lese en tekst og det virker som om den er altfor komplisert, så vet du at den er dårlig skrevet. Jeg argumenterer for at det ikke er et eneste område av matematikk som ikke kan snakkes om "på fingrene" uten å miste nøyaktigheten.

Utfordringen for nær fremtid: Jeg instruerte elevene mine til å forstå hva en lineær-kvadratisk kontroller er. Ikke vær sjenert, kast bort tre minutter av livet ditt, følg linken. Hvis du ikke forstår noe, så er vi på vei. Jeg (en profesjonell matematiker-programmerer) forsto heller ingenting. Og jeg forsikrer deg, dette kan ordnes "på fingrene." For øyeblikket vet jeg ikke hva det er, men jeg forsikrer deg om at vi vil klare å finne ut av det.

Så, den første forelesningen jeg skal holde for studentene mine etter at de kommer løpende til meg forskrekket med ordene om at en lineær-kvadratisk kontroller er en forferdelig feil som du aldri vil mestre i livet ditt, er minste kvadraters metoder. Kan du løse lineære ligninger? Hvis du leser denne teksten, så mest sannsynlig ikke.

Så gitt to punkter (x0, y0), (x1, y1), for eksempel (1,1) og (3,2), er oppgaven å finne ligningen til en rett linje som går gjennom disse to punktene:

illustrasjon

Denne rette linjen skal ha en ligning som følgende:

Her er alfa og beta ukjent for oss, men to punkter på denne linjen er kjent:

Du kan skrive denne ligningen i matriseform:

Her bør vi gjøre en lyrisk digresjon: hva er en matrise? En matrise er ikke annet enn en todimensjonal matrise. Dette er en måte å lagre data på, ingen flere verdier skal gis til den. Det er opp til oss hvordan vi skal tolke en bestemt matrise. Med jevne mellomrom vil jeg tolke det som en lineær kartlegging, med jevne mellomrom som en kvadratisk form, og noen ganger ganske enkelt som et sett med vektorer. Alt dette vil bli avklart i sammenheng.

La oss erstatte spesifikke matriser med deres symbolske representasjon:

Da (alfa, beta) kan du enkelt finne:

Mer spesifikt for våre tidligere data:

Som fører til følgende ligning av en rett linje som går gjennom punktene (1,1) og (3,2):

Ok, alt er klart her. Og la oss finne ligningen til en rett linje som går gjennom tre poeng: (x0,y0), (x1,y1) og (x2,y2):

Å-å-å, men vi har tre ligninger for to ukjente! Standardmatematikeren vil si at det ikke finnes noen løsning. Hva vil programmereren si? Og han vil først omskrive det forrige likningssystemet i følgende form:

I vårt tilfelle er vektorene i, j, b tredimensjonale, derfor (i det generelle tilfellet) er det ingen løsning på dette systemet. Enhver vektor (alfa\*i + beta\*j) ligger i planet som strekkes av vektorene (i, j). Hvis b ikke tilhører dette planet, er det ingen løsning (likhet i ligningen kan ikke oppnås). Hva å gjøre? La oss se etter et kompromiss. La oss betegne med e (alfa, beta) nøyaktig hvordan vi ikke oppnådde likestilling:

Og vi vil prøve å minimere denne feilen:

Hvorfor en firkant?

Vi ser ikke bare etter minimum av normen, men etter minimum av kvadratet av normen. Hvorfor? Selve minimumspunktet er sammenfallende, og kvadratet gir en jevn funksjon (en kvadratisk funksjon av argumentene (alfa,beta)), mens bare lengden gir en funksjon i form av en kjegle, ikke-differensierbar ved minimumspunktet. Brr. Square er mer praktisk.

Åpenbart er feilen minimert når vektoren e ortogonalt på planet som spennes over av vektorene Jeg og j.

Illustrasjon

Med andre ord: vi ser etter en linje slik at summen av de kvadrerte lengdene av avstandene fra alle punktene til denne linjen er minimal:

OPPDATERING: her har jeg en jamb, avstanden til linjen skal måles vertikalt, ikke ortografisk projeksjon. Denne kommentatoren er riktig.

Illustrasjon

Med helt andre ord (forsiktig, dårlig formalisert, men det skal være tydelig på fingrene): vi tar alle mulige linjer mellom alle punktpar og ser etter gjennomsnittslinjen mellom alle:

Illustrasjon

En annen forklaring på fingrene: vi fester en fjær mellom alle datapunkter (her har vi tre) og linjen som vi ser etter, og linjen til likevektstilstanden er akkurat det vi ser etter.

Minimum kvadratisk form

Med andre ord, vi ser etter en vektor x=(alfa, beta) slik at:

Jeg minner deg om at denne vektoren x=(alfa, beta) er minimum av den kvadratiske funksjonen ||e(alfa, beta)||^2:

Her er det nyttig å huske at matrisen kan tolkes så vel som den kvadratiske formen, for eksempel kan identitetsmatrisen ((1,0),(0,1)) tolkes som en funksjon av x^2 + y ^2:

kvadratisk form

All denne gymnastikken er kjent som lineær regresjon.

Laplace-likning med Dirichlet-grensebetingelse

Den originale forpliktelsen er tilgjengelig. For å minimere eksterne avhengigheter tok jeg koden til programvarerendereren min, allerede på Habré. For å løse det lineære systemet bruker jeg OpenNL , det er en flott løser, men det er veldig vanskelig å installere: du må kopiere to filer (.h + .c) til prosjektmappen din. All utjevning gjøres med følgende kode:

For (int d=0; d<3; d++) { nlNewContext(); nlSolverParameteri(NL_NB_VARIABLES, verts.size()); nlSolverParameteri(NL_LEAST_SQUARES, NL_TRUE); nlBegin(NL_SYSTEM); nlBegin(NL_MATRIX); for (int i=0; i<(int)verts.size(); i++) { nlBegin(NL_ROW); nlCoefficient(i, 1); nlRightHandSide(verts[i][d]); nlEnd(NL_ROW); } for (unsigned int i=0; i&ansikt = ansikter[i]; for (int j=0; j<3; j++) { nlBegin(NL_ROW); nlCoefficient(face[ j ], 1); nlCoefficient(face[(j+1)%3], -1); nlEnd(NL_ROW); } } nlEnd(NL_MATRIX); nlEnd(NL_SYSTEM); nlSolve(); for (int i=0; i<(int)verts.size(); i++) { verts[i][d] = nlGetVariable(i); } }

X-, Y- og Z-koordinater kan separeres, jeg jevner dem ut separat. Det vil si at jeg løser tre systemer med lineære ligninger, hver med samme antall variabler som antall toppunkter i modellen min. De første n radene av matrise A har bare én 1 per rad, og de første n radene av vektor b har originale modellkoordinater. Det vil si at jeg fjærer mellom den nye toppunktet og den gamle toppunktet - de nye bør ikke være for langt unna de gamle.

Alle påfølgende rader av matrise A (faces.size()*3 = antall kanter til alle trekanter i rutenettet) har én forekomst av 1 og én forekomst av -1, mens vektoren b har null komponenter motsatt. Dette betyr at jeg setter en fjær på hver kant av vårt trekantede nett: alle kanter prøver å få samme toppunkt som start- og sluttpunktene.

Nok en gang: alle toppunkter er variable, og de kan ikke avvike langt fra sin opprinnelige posisjon, men samtidig prøver de å bli like hverandre.

Her er resultatet:

Alt ville være bra, modellen er veldig glatt, men den har beveget seg bort fra den opprinnelige kanten. La oss endre koden litt:

For (int i=0; i<(int)verts.size(); i++) { float scale = border[i] ? 1000: 1; nlBegin(NL_ROW); nlCoefficient(i, scale); nlRightHandSide(scale*verts[i][d]); nlEnd(NL_ROW); }

I vår matrise A, for toppunktene som er på kanten, legger jeg ikke til en rad fra kategorien v_i = verts[i][d], men 1000*v_i = 1000*verts[i][d]. Hva endrer det? Og dette endrer vår kvadratiske form av feilen. Nå vil et enkelt avvik fra toppen ved kanten ikke koste én enhet, som før, men 1000 * 1000 enheter. Det vil si at vi hang en sterkere fjær på de ekstreme toppene, løsningen foretrekker å strekke andre sterkere. Her er resultatet:

La oss doble styrken til fjærene mellom toppunktene:
nlKoeffisient(ansikt[ j ], 2); nlKoeffisient(ansikt[(j+1)%3], -2);

Det er logisk at overflaten har blitt jevnere:

Og nå til og med hundre ganger sterkere:

Hva er dette? Tenk deg at vi har dyppet en trådring i såpevann. Som et resultat vil den resulterende såpefilmen prøve å ha minst mulig krumning, og berøre den samme grensen - trådringen vår. Dette er akkurat det vi fikk ved å fikse kanten og be om en glatt overflate inni. Gratulerer, vi har nettopp løst Laplace-ligningen med Dirichlet-grensebetingelser. Høres kult ut? Men faktisk bare ett system med lineære ligninger å løse.

Poisson-ligningen

La oss si at jeg har et bilde som dette:

Alle er flinke, men jeg liker ikke stolen.

Jeg kuttet bildet i to:

Og jeg vil velge en stol med hendene:

Deretter vil jeg dra alt som er hvitt i masken til venstre side av bildet, og samtidig vil jeg si gjennom hele bildet at forskjellen mellom to nabopiksler skal være lik forskjellen mellom to nabopiksler av høyre bilde:

For (int i=0; i

Her er resultatet:

Kode og bilder er tilgjengelig