Tredimensionel metode for mindste kvadrater. Approksimation af eksperimentelle data

Som finder den bredeste anvendelse inden for forskellige områder af videnskab og praksis. Det kan være fysik, kemi, biologi, økonomi, sociologi, psykologi og så videre og så videre. Efter skæbnens vilje skal jeg ofte beskæftige mig med økonomien, og derfor vil jeg i dag sørge for en billet for dig til et fantastisk land kaldet Økonometri=) … Hvordan vil du ikke have det?! Det er meget godt der – du skal bare beslutte dig! …Men det, du sikkert vil, er at lære at løse problemer mindste kvadrater. Og særligt flittige læsere vil lære at løse dem ikke kun præcist, men også MEGET HURTIG ;-) Men først generel redegørelse for problemet+ relateret eksempel:

Lad indikatorer studeres inden for et eller andet fagområde, der har et kvantitativt udtryk. Samtidig er der al mulig grund til at tro, at indikatoren afhænger af indikatoren. Denne antagelse kan både være en videnskabelig hypotese og baseret på elementær sund fornuft. Lad os dog lægge videnskaben til side og udforske mere appetitlige områder – nemlig dagligvarebutikker. Betegn med:

– butiksareal til en dagligvarebutik, kvm.
- årlig omsætning for en købmand, millioner rubler.

Det er helt klart, at jo større areal butikken er, jo større er omsætningen i de fleste tilfælde.

Antag, at vi efter at have udført observationer / eksperimenter / beregninger / dans med en tamburin har numeriske data til vores rådighed:

Med dagligvarebutikker tror jeg, at alt er klart: - dette er arealet af den 1. butik, - dens årlige omsætning, - arealet af den 2. butik, - dens årlige omsætning osv. Det er i øvrigt slet ikke nødvendigt at have adgang til klassificerede materialer - en ret præcis vurdering af omsætningen kan fås vha. matematisk statistik. Du skal dog ikke blive distraheret, kommerciel spionage er allerede betalt =)

Tabeldata kan også skrives i form af punkter og afbildes på den for os sædvanlige måde. Kartesisk system .

Lad os besvare et vigtigt spørgsmål: hvor mange point skal der til en kvalitativ undersøgelse?

Jo større, jo bedre. Det mindst tilladte sæt består af 5-6 point. Derudover, med en lille mængde data, bør "unormale" resultater ikke inkluderes i stikprøven. Så for eksempel kan en lille elitebutik hjælpe størrelsesordener mere end "deres kolleger", og derved forvrænge det generelle mønster, der skal findes!

Hvis det er ret simpelt, skal vi vælge en funktion, tidsplan som passerer så tæt som muligt på punkterne . Sådan en funktion kaldes tilnærmelsesvis (tilnærmelse - tilnærmelse) eller teoretisk funktion . Generelt optræder her umiddelbart en åbenlys "pretender" - et polynomium af høj grad, hvis graf går gennem ALLE punkter. Men denne mulighed er kompliceret og ofte simpelthen forkert. (fordi diagrammet vil "vinde" hele tiden og dårligt afspejle hovedtendensen).

Den ønskede funktion skal således være tilstrækkelig enkel og samtidig afspejle afhængigheden tilstrækkeligt. Som du måske kan gætte, kaldes en af ​​metoderne til at finde sådanne funktioner mindste kvadrater. Lad os først analysere dens essens på en generel måde. Lad en funktion tilnærme de eksperimentelle data:


Hvordan vurderer man nøjagtigheden af ​​denne tilnærmelse? Lad os også beregne forskellene (afvigelserne) mellem de eksperimentelle og funktionelle værdier (vi studerer tegningen). Den første tanke, der kommer til at tænke på, er at vurdere, hvor stor summen er, men problemet er, at forskellene kan være negative. (For eksempel, ) og afvigelser som følge af en sådan summering vil ophæve hinanden. Derfor, som et estimat for nøjagtigheden af ​​tilnærmelsen, foreslår den sig selv at tage summen moduler afvigelser:

eller i foldet form: (pludselig, hvem ved ikke: er sum-ikonet, og er en hjælpevariabel-"tæller", som tager værdier fra 1 til ).

Ved at tilnærme de eksperimentelle punkter med forskellige funktioner, vil vi opnå forskellige værdier af , og det er indlysende, at hvor denne sum er mindre, er den funktion mere nøjagtig.

Sådan en metode findes og kaldes mindste modul metode. Men i praksis er det blevet meget mere udbredt. mindste kvadraters metode, hvor mulige negative værdier elimineres ikke af modulet, men ved at kvadrere afvigelserne:

, hvorefter indsatsen rettes mod udvælgelsen af ​​en sådan funktion, at summen af ​​de kvadrerede afvigelser var så lille som muligt. Faktisk deraf navnet på metoden.

Og nu vender vi tilbage til et andet vigtigt punkt: Som nævnt ovenfor skal den valgte funktion være ret enkel - men der er også mange sådanne funktioner: lineær , hyperbolsk, eksponentiel, logaritmisk, kvadratisk etc. Og her vil jeg selvfølgelig umiddelbart gerne "indskrænke aktivitetsfeltet." Hvilken klasse af funktioner skal man vælge til forskning? Primitiv men effektiv teknik:

- Den nemmeste måde at tegne point på på tegningen og analysere deres placering. Hvis de har tendens til at være i en lige linje, så skal du kigge efter lige linje ligning med optimale værdier og . Med andre ord er opgaven at finde SÅDAN koefficienter - så summen af ​​de kvadrerede afvigelser er mindst.

Hvis punkterne er placeret f.eks. langs hyperbole, så er det klart, at den lineære funktion vil give en dårlig tilnærmelse. I dette tilfælde leder vi efter de mest "gunstige" koefficienter for hyperbelligningen - dem, der giver minimumsummen af ​​kvadrater .

Læg nu mærke til, at vi i begge tilfælde taler om funktioner af to variable, hvis argumenter er søgte afhængighedsmuligheder:

Og i det væsentlige skal vi løse et standardproblem - at finde minimum af en funktion af to variable.

Husk vores eksempel: antag, at "butik"-punkterne har en tendens til at være placeret i en lige linje, og der er al mulig grund til at tro, at tilstedeværelsen lineær afhængighed omsætning fra handelsområdet. Lad os finde SÅDAN koefficienter "a" og "være", så summen af ​​kvadrerede afvigelser var den mindste. Alt som normalt - først partielle afledte af 1. orden. Ifølge linearitetsregel du kan skelne lige under sum-ikonet:

Hvis du vil bruge disse oplysninger til et essay eller et kursus, vil jeg være meget taknemmelig for linket i kildelisten, du finder ikke sådanne detaljerede beregninger nogen steder:

Lad os lave et standardsystem:

Vi reducerer hver ligning med en "to", og derudover "bryder vi fra hinanden" summerne:

Bemærk : analyser uafhængigt, hvorfor "a" og "be" kan tages ud af sumikonet. Formelt kan det i øvrigt lade sig gøre med summen

Lad os omskrive systemet i en "anvendt" form:

hvorefter algoritmen til at løse vores problem begynder at blive tegnet:

Kender vi punkternes koordinater? Vi ved. Summer kan vi finde? Let. Vi komponerer det enkleste system af to lineære ligninger med to ubekendte("a" og "beh"). Vi løser systemet f.eks. Cramers metode, hvilket resulterer i et stationært punkt . Tjekker tilstrækkelig betingelse for et ekstremum, kan vi bekræfte, at funktionen på dette tidspunkt når præcist minimum. Verifikation er forbundet med yderligere beregninger, og derfor vil vi lade det stå bag kulisserne. (om nødvendigt kan den manglende ramme ses). Vi drager den endelige konklusion:

Fungere den bedste måde (i det mindste sammenlignet med enhver anden lineær funktion) bringer eksperimentelle punkter tættere på . Groft sagt passerer dens graf så tæt som muligt på disse punkter. I traditionen økonometri den resulterende tilnærmelsesfunktion kaldes også parret lineær regressionsligning .

Det undersøgte problem er af stor praktisk betydning. I situationen med vores eksempel, ligningen giver dig mulighed for at forudsige, hvilken slags omsætning ("yig") vil være i butikken med en eller anden værdi af salgsarealet (en eller anden betydning af "x"). Ja, den resulterende prognose vil kun være en prognose, men i mange tilfælde vil den vise sig at være ret nøjagtig.

Jeg vil kun analysere et problem med "rigtige" tal, da der ikke er nogen vanskeligheder i det - alle beregninger er på niveau med skolepensum i klasse 7-8. I 95 procent af tilfældene bliver du bedt om blot at finde en lineær funktion, men helt til sidst i artiklen vil jeg vise, at det ikke er sværere at finde ligningerne for den optimale hyperbel, eksponent og nogle andre funktioner.

Faktisk er det tilbage at distribuere de lovede godbidder - så du lærer at løse sådanne eksempler ikke kun præcist, men også hurtigt. Vi studerer omhyggeligt standarden:

Opgave

Som et resultat af at studere forholdet mellem to indikatorer blev følgende par af tal opnået:

Brug mindste kvadraters metode, find den lineære funktion, der bedst tilnærmer empirien (erfaren) data. Lav en tegning, hvorpå i et kartesisk rektangulært koordinatsystem plotte eksperimentelle punkter og en graf over den tilnærmede funktion . Find summen af ​​kvadrerede afvigelser mellem empiriske og teoretiske værdier. Find ud af om funktionen er bedre (i form af mindste kvadraters metode) omtrentlige forsøgspunkter.

Bemærk, at "x"-værdier er naturlige værdier, og dette har en karakteristisk meningsfuld betydning, som jeg vil tale om lidt senere; men de kan selvfølgelig være brøkdele. Derudover, afhængigt af indholdet af en bestemt opgave, kan både "X" og "G" værdier være helt eller delvist negative. Nå, vi har fået en "ansigtsløs" opgave, og den starter vi afgørelse:

Vi finder koefficienterne for den optimale funktion som en løsning på systemet:

Med henblik på en mere kompakt notation kan "tæller"-variablen udelades, da det allerede er klart, at summeringen udføres fra 1 til .

Det er mere bekvemt at beregne de nødvendige beløb i en tabelform:


Beregninger kan udføres på en mikroberegner, men det er meget bedre at bruge Excel - både hurtigere og uden fejl; se en kort video:

Således får vi følgende system:

Her kan du gange den anden ligning med 3 og trække 2. fra 1. ligning led for led. Men det er held - i praksis er systemer ofte ikke begavede, og i sådanne tilfælde sparer det Cramers metode:
, så systemet har en unik løsning.

Lad os tage et tjek. Jeg forstår, at jeg ikke vil, men hvorfor springe fejl, hvor du absolut ikke kan gå glip af dem? Erstat den fundne løsning i venstre side af hver ligning i systemet:

De rigtige dele af de tilsvarende ligninger opnås, hvilket betyder, at systemet er løst korrekt.

Den ønskede tilnærmelsesfunktion: – fra alle lineære funktioner eksperimentelle data tilnærmes bedst ved det.

I modsætning til lige afhængighed af butikkens omsætning af sit areal, er den fundne afhængighed baglæns (princippet "jo mere - jo mindre"), og dette faktum afsløres straks af det negative vinkelkoefficient. Fungere informerer os om, at med en stigning i en bestemt indikator med 1 enhed, falder værdien af ​​den afhængige indikator gennemsnit med 0,65 enheder. Som de siger, jo højere prisen på boghvede er, jo mindre sælges.

For at plotte den tilnærmede funktion finder vi to af dens værdier:

og udfør tegningen:


Den konstruerede linje kaldes trendlinje (nemlig en lineær trendlinje, dvs. i det generelle tilfælde er en trend ikke nødvendigvis en lige linje). Alle kender udtrykket "at være i trend", og jeg tror, ​​at dette udtryk ikke behøver yderligere kommentarer.

Beregn summen af ​​kvadrerede afvigelser mellem empiriske og teoretiske værdier. Geometrisk er dette summen af ​​kvadraterne af længderne af de "crimson" segmenter (hvoraf to er så små, at du ikke engang kan se dem).

Lad os opsummere beregningerne i en tabel:


De kan igen udføres manuelt, bare hvis jeg vil give et eksempel til 1. punkt:

men det er meget mere effektivt at gøre den allerede kendte måde:

Lad os gentage: hvad er meningen med resultatet? Fra alle lineære funktioner fungere eksponenten er den mindste, dvs. den er den bedste tilnærmelse i sin familie. Og her er det sidste spørgsmål om problemet i øvrigt ikke tilfældigt: hvad nu hvis den foreslåede eksponentielle funktion vil det være bedre at tilnærme de eksperimentelle punkter?

Lad os finde den tilsvarende sum af kvadrerede afvigelser - for at skelne dem vil jeg udpege dem med bogstavet "epsilon". Teknikken er nøjagtig den samme:


Og igen for hver brandberegning for 1. punkt:

I Excel bruger vi standardfunktionen EXP (Syntaks kan findes i Excel Hjælp).

Konklusion: , så eksponentialfunktionen tilnærmer forsøgspunkterne værre end den rette linje .

Men det skal her bemærkes, at "værre" er betyder ikke endnu, hvad er der galt. Nu har jeg bygget en graf over denne eksponentielle funktion - og den passerer også tæt på punkterne - så meget, at det uden en analytisk undersøgelse er svært at sige, hvilken funktion der er mere præcis.

Dette fuldender løsningen, og jeg vender tilbage til spørgsmålet om argumentets naturværdier. I forskellige undersøgelser er som regel økonomiske eller sociologiske, måneder, år eller andre lige tidsintervaller nummereret med naturligt "X". Overvej for eksempel et sådant problem.

Mindste kvadratisk metode

I den sidste lektion af emnet vil vi stifte bekendtskab med den mest berømte applikation FNP, som finder den bredeste anvendelse inden for forskellige områder af videnskab og praksis. Det kan være fysik, kemi, biologi, økonomi, sociologi, psykologi og så videre og så videre. Efter skæbnens vilje skal jeg ofte beskæftige mig med økonomien, og derfor vil jeg i dag sørge for en billet for dig til et fantastisk land kaldet Økonometri=) … Hvordan vil du ikke have det?! Det er meget godt der – du skal bare beslutte dig! …Men det, du sikkert vil, er at lære at løse problemer mindste kvadrater. Og særligt flittige læsere vil lære at løse dem ikke kun præcist, men også MEGET HURTIG ;-) Men først generel redegørelse for problemet+ relateret eksempel:

Lad indikatorer studeres inden for et eller andet fagområde, der har et kvantitativt udtryk. Samtidig er der al mulig grund til at tro, at indikatoren afhænger af indikatoren. Denne antagelse kan både være en videnskabelig hypotese og baseret på elementær sund fornuft. Lad os dog lægge videnskaben til side og udforske mere appetitlige områder – nemlig dagligvarebutikker. Betegn med:

– butiksareal til en dagligvarebutik, kvm.
- årlig omsætning for en købmand, millioner rubler.

Det er helt klart, at jo større areal butikken er, jo større er omsætningen i de fleste tilfælde.

Antag, at vi efter at have udført observationer / eksperimenter / beregninger / dans med en tamburin har numeriske data til vores rådighed:

Med dagligvarebutikker tror jeg, at alt er klart: - dette er arealet af den 1. butik, - dens årlige omsætning, - arealet af den 2. butik, - dens årlige omsætning osv. Det er i øvrigt slet ikke nødvendigt at have adgang til klassificerede materialer - en ret præcis vurdering af omsætningen kan fås vha. matematisk statistik. Du skal dog ikke blive distraheret, kommerciel spionage er allerede betalt =)

Tabeldata kan også skrives i form af punkter og afbildes på den for os sædvanlige måde. Kartesisk system .

Lad os besvare et vigtigt spørgsmål: hvor mange point skal der til en kvalitativ undersøgelse?

Jo større, jo bedre. Det mindst tilladte sæt består af 5-6 point. Derudover, med en lille mængde data, bør "unormale" resultater ikke inkluderes i stikprøven. Så for eksempel kan en lille elitebutik hjælpe størrelsesordener mere end "deres kolleger", og derved forvrænge det generelle mønster, der skal findes!

Hvis det er ret simpelt, skal vi vælge en funktion, tidsplan som passerer så tæt som muligt på punkterne . Sådan en funktion kaldes tilnærmelsesvis (tilnærmelse - tilnærmelse) eller teoretisk funktion . Generelt optræder her umiddelbart en åbenlys "pretender" - et polynomium af høj grad, hvis graf går gennem ALLE punkter. Men denne mulighed er kompliceret og ofte simpelthen forkert. (fordi diagrammet vil "vinde" hele tiden og dårligt afspejle hovedtendensen).

Den ønskede funktion skal således være tilstrækkelig enkel og samtidig afspejle afhængigheden tilstrækkeligt. Som du måske kan gætte, kaldes en af ​​metoderne til at finde sådanne funktioner mindste kvadrater. Lad os først analysere dens essens på en generel måde. Lad en funktion tilnærme de eksperimentelle data:


Hvordan vurderer man nøjagtigheden af ​​denne tilnærmelse? Lad os også beregne forskellene (afvigelserne) mellem de eksperimentelle og funktionelle værdier (vi studerer tegningen). Den første tanke, der kommer til at tænke på, er at vurdere, hvor stor summen er, men problemet er, at forskellene kan være negative. (For eksempel, ) og afvigelser som følge af en sådan summering vil ophæve hinanden. Derfor, som et estimat for nøjagtigheden af ​​tilnærmelsen, foreslår den sig selv at tage summen moduler afvigelser:

eller i foldet form: (for dem der ikke ved det: er sum-ikonet, og - hjælpevariabel - "tæller", som tager værdier fra 1 til ) .

Tilnærmer man forsøgspunkterne med forskellige funktioner, vil vi få forskellige værdier, og det er tydeligt, hvor denne sum er mindre - den funktion er mere nøjagtig.

Sådan en metode findes og kaldes mindste modul metode. Men i praksis er det blevet meget mere udbredt. mindste kvadraters metode, hvor mulige negative værdier elimineres ikke af modulet, men ved at kvadrere afvigelserne:

, hvorefter indsatsen rettes mod udvælgelsen af ​​en sådan funktion, at summen af ​​de kvadrerede afvigelser var så lille som muligt. Faktisk deraf navnet på metoden.

Og nu vender vi tilbage til et andet vigtigt punkt: Som nævnt ovenfor skal den valgte funktion være ret enkel - men der er også mange sådanne funktioner: lineær , hyperbolsk , eksponentiel , logaritmisk , kvadratisk etc. Og her vil jeg selvfølgelig umiddelbart gerne "indskrænke aktivitetsfeltet." Hvilken klasse af funktioner skal man vælge til forskning? Primitiv men effektiv teknik:

- Den nemmeste måde at tegne point på på tegningen og analysere deres placering. Hvis de har tendens til at være i en lige linje, så skal du kigge efter lige linje ligning med optimale værdier og . Med andre ord er opgaven at finde SÅDAN koefficienter - så summen af ​​de kvadrerede afvigelser er mindst.

Hvis punkterne er placeret f.eks. langs hyperbole, så er det klart, at den lineære funktion vil give en dårlig tilnærmelse. I dette tilfælde leder vi efter de mest "gunstige" koefficienter for hyperbelligningen - dem, der giver minimumsummen af ​​kvadrater .

Læg nu mærke til, at vi i begge tilfælde taler om funktioner af to variable, hvis argumenter er søgte afhængighedsmuligheder:

Og i det væsentlige skal vi løse et standardproblem - at finde minimum af en funktion af to variable.

Husk vores eksempel: antag, at "butik"-punkterne har en tendens til at være placeret i en lige linje, og der er al mulig grund til at tro, at tilstedeværelsen lineær afhængighed omsætning fra handelsområdet. Lad os finde SÅDAN koefficienter "a" og "være", så summen af ​​kvadrerede afvigelser var den mindste. Alt som normalt - først partielle afledte af 1. orden. Ifølge linearitetsregel du kan skelne lige under sum-ikonet:

Hvis du vil bruge disse oplysninger til et essay eller et kursus, vil jeg være meget taknemmelig for linket i kildelisten, du finder ikke sådanne detaljerede beregninger nogen steder:

Lad os lave et standardsystem:

Vi reducerer hver ligning med en "to", og derudover "bryder vi fra hinanden" summerne:

Bemærk : analyser uafhængigt, hvorfor "a" og "be" kan tages ud af sumikonet. Formelt kan det i øvrigt lade sig gøre med summen

Lad os omskrive systemet i en "anvendt" form:

hvorefter algoritmen til at løse vores problem begynder at blive tegnet:

Kender vi punkternes koordinater? Vi ved. Summer kan vi finde? Let. Vi komponerer det enkleste system af to lineære ligninger med to ubekendte("a" og "beh"). Vi løser systemet f.eks. Cramers metode, hvilket resulterer i et stationært punkt . Tjekker tilstrækkelig betingelse for et ekstremum, kan vi bekræfte, at funktionen på dette tidspunkt når præcist minimum. Verifikation er forbundet med yderligere beregninger, og derfor vil vi lade det stå bag kulisserne. (om nødvendigt kan den manglende ramme sesher ) . Vi drager den endelige konklusion:

Fungere den bedste måde (i det mindste sammenlignet med enhver anden lineær funktion) bringer eksperimentelle punkter tættere på . Groft sagt passerer dens graf så tæt som muligt på disse punkter. I traditionen økonometri den resulterende tilnærmelsesfunktion kaldes også parret lineær regressionsligning .

Det undersøgte problem er af stor praktisk betydning. I situationen med vores eksempel, ligningen giver dig mulighed for at forudsige, hvilken slags omsætning ("yig") vil være i butikken med en eller anden værdi af salgsarealet (en eller anden betydning af "x"). Ja, den resulterende prognose vil kun være en prognose, men i mange tilfælde vil den vise sig at være ret nøjagtig.

Jeg vil kun analysere et problem med "rigtige" tal, da der ikke er nogen vanskeligheder i det - alle beregninger er på niveau med skolepensum i klasse 7-8. I 95 procent af tilfældene bliver du bedt om blot at finde en lineær funktion, men helt til sidst i artiklen vil jeg vise, at det ikke er sværere at finde ligningerne for den optimale hyperbel, eksponent og nogle andre funktioner.

Faktisk er det tilbage at distribuere de lovede godbidder - så du lærer at løse sådanne eksempler ikke kun præcist, men også hurtigt. Vi studerer omhyggeligt standarden:

Opgave

Som et resultat af at studere forholdet mellem to indikatorer blev følgende par af tal opnået:

Brug mindste kvadraters metode, find den lineære funktion, der bedst tilnærmer empirien (erfaren) data. Lav en tegning, hvorpå i et kartesisk rektangulært koordinatsystem plotte eksperimentelle punkter og en graf over den tilnærmede funktion . Find summen af ​​kvadrerede afvigelser mellem empiriske og teoretiske værdier. Find ud af om funktionen er bedre (i form af mindste kvadraters metode) omtrentlige forsøgspunkter.

Bemærk, at "x"-værdier er naturlige værdier, og dette har en karakteristisk meningsfuld betydning, som jeg vil tale om lidt senere; men de kan selvfølgelig være brøkdele. Derudover, afhængigt af indholdet af en bestemt opgave, kan både "X" og "G" værdier være helt eller delvist negative. Nå, vi har fået en "ansigtsløs" opgave, og den starter vi afgørelse:

Vi finder koefficienterne for den optimale funktion som en løsning på systemet:

Med henblik på en mere kompakt notation kan "tæller"-variablen udelades, da det allerede er klart, at summeringen udføres fra 1 til .

Det er mere bekvemt at beregne de nødvendige beløb i en tabelform:


Beregninger kan udføres på en mikroberegner, men det er meget bedre at bruge Excel - både hurtigere og uden fejl; se en kort video:

Således får vi følgende system:

Her kan du gange den anden ligning med 3 og trække 2. fra 1. ligning led for led. Men det er held - i praksis er systemer ofte ikke begavede, og i sådanne tilfælde sparer det Cramers metode:
, så systemet har en unik løsning.

Lad os tage et tjek. Jeg forstår, at jeg ikke vil, men hvorfor springe fejl, hvor du absolut ikke kan gå glip af dem? Erstat den fundne løsning i venstre side af hver ligning i systemet:

De rigtige dele af de tilsvarende ligninger opnås, hvilket betyder, at systemet er løst korrekt.

Den ønskede tilnærmelsesfunktion: – fra alle lineære funktioner eksperimentelle data tilnærmes bedst ved det.

I modsætning til lige afhængighed af butikkens omsætning af sit areal, er den fundne afhængighed baglæns (princippet "jo mere - jo mindre"), og dette faktum afsløres straks af det negative vinkelkoefficient. Funktionen fortæller os, at med en stigning i en bestemt indikator med 1 enhed, falder værdien af ​​den afhængige indikator gennemsnit med 0,65 enheder. Som de siger, jo højere prisen på boghvede er, jo mindre sælges.

For at plotte den tilnærmede funktion finder vi to af dens værdier:

og udfør tegningen:

Den konstruerede linje kaldes trendlinje (nemlig en lineær trendlinje, dvs. i det generelle tilfælde er en trend ikke nødvendigvis en lige linje). Alle kender udtrykket "at være i trend", og jeg tror, ​​at dette udtryk ikke behøver yderligere kommentarer.

Beregn summen af ​​kvadrerede afvigelser mellem empiriske og teoretiske værdier. Geometrisk er dette summen af ​​kvadraterne af længderne af de "crimson" segmenter (hvoraf to er så små, at du ikke engang kan se dem).

Lad os opsummere beregningerne i en tabel:


De kan igen udføres manuelt, bare hvis jeg vil give et eksempel til 1. punkt:

men det er meget mere effektivt at gøre den allerede kendte måde:

Lad os gentage: hvad er meningen med resultatet? Fra alle lineære funktioner funktionen har den mindste eksponent, det vil sige i sin familie, er dette den bedste tilnærmelse. Og her er det sidste spørgsmål om problemet i øvrigt ikke tilfældigt: hvad nu hvis den foreslåede eksponentielle funktion vil det være bedre at tilnærme de eksperimentelle punkter?

Lad os finde den tilsvarende sum af kvadrerede afvigelser - for at skelne dem vil jeg udpege dem med bogstavet "epsilon". Teknikken er nøjagtig den samme:

Og igen for hver brandberegning for 1. punkt:

I Excel bruger vi standardfunktionen EXP (Syntaks kan findes i Excel Hjælp).

Konklusion: , hvilket betyder, at eksponentialfunktionen tilnærmer forsøgspunkterne dårligere end den rette linje.

Men det skal her bemærkes, at "værre" er betyder ikke endnu, hvad er der galt. Nu har jeg bygget en graf over denne eksponentielle funktion - og den passerer også tæt på punkterne - så meget, at det uden en analytisk undersøgelse er svært at sige, hvilken funktion der er mere præcis.

Dette fuldender løsningen, og jeg vender tilbage til spørgsmålet om argumentets naturværdier. I forskellige undersøgelser er som regel økonomiske eller sociologiske, måneder, år eller andre lige tidsintervaller nummereret med naturligt "X". Overvej for eksempel følgende problem:

Vi har følgende data om butikkens detailomsætning for første halvår:

Find salgsvolumen for juli ved hjælp af lige linje analytisk justering.

Ja, intet problem: vi nummererer månederne 1, 2, 3, 4, 5, 6 og bruger den sædvanlige algoritme, som et resultat af hvilken vi får en ligning - det eneste, når det kommer til tid, er normalt bogstavet "te ” (selvom det ikke er kritisk). Den resulterende ligning viser, at omsætningen i første halvår steg i gennemsnit med CU 27,74. om måneden. Få en vejrudsigt for juli (måned #7): e.u.

Og lignende opgaver - mørket er mørkt. De der ønsker det kan benytte en ekstra service, nemlig min Excel lommeregner (demo version), hvilken løser problemet næsten øjeblikkeligt! Den fungerende version af programmet er tilgængelig I bytte eller for symbolsk betaling.

I slutningen af ​​lektionen en kort information om at finde afhængigheder af nogle andre typer. Faktisk er der ikke noget særligt at fortælle, da den grundlæggende tilgang og løsningsalgoritme forbliver den samme.

Lad os antage, at placeringen af ​​de eksperimentelle punkter ligner en hyperbel. Derefter, for at finde koefficienterne for den bedste hyperbel, skal du finde minimum af funktionen - dem, der ønsker det, kan udføre detaljerede beregninger og komme til et lignende system:

Fra et formelt teknisk synspunkt opnås det fra det "lineære" system (lad os markere det med en stjerne) erstatte "x" med . Nå, beløbene beregne, hvorefter til de optimale koefficienter "a" og "være" ved hånden.

Hvis der er al mulig grund til at tro, at pointerne er arrangeret langs en logaritmisk kurve, for derefter at søge efter de optimale værdier og finde minimum af funktionen . Formelt skal (*) i systemet erstattes af:

Når du regner i Excel, skal du bruge funktionen LN. Jeg indrømmer, at det ikke vil være svært for mig at lave lommeregnere til hver af de sager, der er under behandling, men det vil stadig være bedre, hvis du selv "programmerer" beregningerne. Video tutorials til at hjælpe.

Med eksponentiel afhængighed er situationen lidt mere kompliceret. For at reducere sagen til det lineære tilfælde tager vi logaritmen af ​​funktionen og bruger egenskaber ved logaritmen:

Når vi nu sammenligner den opnåede funktion med den lineære funktion , kommer vi til den konklusion, at (*) i systemet skal erstattes af , og - med . For nemheds skyld angiver vi:

Bemærk venligst, at systemet er løst med hensyn til og , og derfor må du, efter at have fundet rødderne, ikke glemme at finde selve koefficienten.

For at tilnærme eksperimentelle punkter optimal parabel , skal findes minimum af en funktion af tre variable . Efter at have udført standardhandlinger får vi følgende "fungerende" system:

Ja, selvfølgelig er der flere beløb her, men der er ingen vanskeligheder overhovedet, når du bruger din yndlingsapplikation. Og endelig vil jeg fortælle dig, hvordan du hurtigt kontrollerer ved hjælp af Excel og bygger den ønskede trendlinje: opret et punktdiagram, vælg et af punkterne med musen og højreklik på vælg mulighed "Tilføj trendlinje". Vælg derefter diagramtypen og på fanen "Muligheder" aktivere muligheden "Vis ligning på diagrammet". Okay

Som altid vil jeg afslutte artiklen med en smuk sætning, og jeg skrev næsten "Vær i trend!". Men med tiden ændrede han mening. Og ikke fordi det er formelt. Jeg ved ikke hvordan nogen, men jeg vil slet ikke følge den promoverede amerikanske og især europæiske trend =) Derfor ønsker jeg, at I hver især holder fast i jeres egen linje!

http://www.grandars.ru/student/vysshaya-matematika/metod-naimenshih-kvadratov.html

Mindste kvadraters metode er en af ​​de mest almindelige og mest udviklede på grund af dens enkelhed og effektivitet af metoder til at estimere parametrene for lineære økonometriske modeller. Samtidig skal der udvises en vis forsigtighed, når du bruger det, da modellerne, der er bygget ved hjælp af det, muligvis ikke opfylder en række krav til kvaliteten af ​​deres parametre og som følge heraf ikke "godt" afspejler mønstrene for procesudvikling.

Lad os overveje proceduren til at estimere parametrene for en lineær økonometrisk model ved hjælp af mindste kvadraters metode mere detaljeret. En sådan model i generel form kan repræsenteres ved ligning (1.2):

y t = a 0 + a 1 x 1t +...+ a n x nt + ε t .

De indledende data ved estimering af parametrene a 0 , a 1 ,..., a n er vektoren af ​​værdier for den afhængige variabel y= (y 1 , y 2 , ... , y T)" og matrixen af ​​værdier af uafhængige variabler

hvor den første kolonne, der består af enere, svarer til modellens koefficient .

Metoden med mindste kvadrater har fået sit navn baseret på det grundlæggende princip, som parameterestimater opnået på grundlag af den skal opfylde: summen af ​​kvadrater af modelfejlen skal være minimal.

Eksempler på løsning af opgaver ved mindste kvadraters metode

Eksempel 2.1. Handelsvirksomheden har et netværk bestående af 12 butikker, information om hvis aktiviteter er præsenteret i tabel. 2.1.

Virksomhedens ledelse vil gerne vide, hvordan størrelsen af ​​den årlige omsætning afhænger af butikkens butiksareal.

Tabel 2.1

Mindste kvadraters løsning. Lad os udpege - den årlige omsætning af den -th butik, millioner rubler; - salgsareal af den th butik, tusind m 2.

Fig.2.1. Scatterplot for eksempel 2.1

For at bestemme formen for den funktionelle sammenhæng mellem variablerne og konstruere et scatterplot (fig. 2.1).

Ud fra punktdiagrammet kan vi konkludere, at den årlige omsætning er positivt afhængig af salgsarealet (dvs. y vil stige med væksten på ). Den mest passende form for funktionel forbindelse er lineær.

Oplysninger til yderligere beregninger er vist i tabel. 2.2. Ved hjælp af mindste kvadraters metode estimerer vi parametrene for den lineære en-faktor økonometriske model

Tabel 2.2

Dermed,

Derfor, med en stigning i handelsområdet med 1 tusind m 2, alt andet lige, stiger den gennemsnitlige årlige omsætning med 67,8871 millioner rubler.

Eksempel 2.2. Virksomhedens ledelse bemærkede, at den årlige omsætning ikke kun afhænger af butikkens salgsområde (se eksempel 2.1), men også af det gennemsnitlige antal besøgende. De relevante oplysninger er præsenteret i tabel. 2.3.

Tabel 2.3

Afgørelse. Angiv - det gennemsnitlige antal besøgende til den th butik om dagen, tusind mennesker.

For at bestemme formen for den funktionelle sammenhæng mellem variablerne og konstruere et scatterplot (fig. 2.2).

Baseret på punktdiagrammet kan vi konkludere, at den årlige omsætning er positivt relateret til det gennemsnitlige antal besøgende pr. dag (dvs. y vil stige med væksten på ). Formen for funktionel afhængighed er lineær.

Ris. 2.2. Scatterplot for eksempel 2.2

Tabel 2.4

Generelt er det nødvendigt at bestemme parametrene for den to-faktor økonometriske model

y t \u003d a 0 + a 1 x 1t + a 2 x 2t + ε t

De nødvendige oplysninger til yderligere beregninger er vist i tabel. 2.4.

Lad os estimere parametrene for en lineær to-faktor økonometrisk model ved hjælp af mindste kvadraters metode.

Dermed,

Evaluering af koefficienten = 61.6583 viser, at alt andet lige, med en stigning i salgsarealet med 1 tusinde m 2, vil den årlige omsætning stige med et gennemsnit på 61.6583 millioner rubler.

Estimatet af koefficienten = 2,2748 viser, alt andet lige, med en stigning i det gennemsnitlige antal besøgende pr. 1 tusinde mennesker. om dagen vil den årlige omsætning stige med et gennemsnit på 2,2748 millioner rubler.

Eksempel 2.3. Ved hjælp af oplysningerne i tabellen. 2.2 og 2.4, estimere parameteren for en enkeltfaktor økonometrisk model

hvor er den centrerede værdi af den årlige omsætning i -th butik, millioner rubler; - centreret værdi af det gennemsnitlige daglige antal besøgende til den t-te butik, tusinde mennesker. (se eksempel 2.1-2.2).

Afgørelse. Yderligere oplysninger, der kræves til beregninger, er vist i tabel. 2.5.

Tabel 2.5

Ved hjælp af formel (2.35) får vi

Dermed,

http://www.cleverstudents.ru/articles/mnk.html

Eksempel.

Eksperimentelle data om værdier af variable x og på er angivet i tabellen.

Som et resultat af deres tilpasning, funktionen

Ved brug af mindste kvadraters metode, tilnærme disse data med en lineær afhængighed y=ax+b(find parametre -en og b). Find ud af, hvilken af ​​de to linjer der er bedst (i betydningen af ​​mindste kvadraters metode), der justerer de eksperimentelle data. Lav en tegning.

Afgørelse.

I vores eksempel n=5. Vi udfylder tabellen for at gøre det nemmere at beregne de beløb, der er inkluderet i formlerne for de nødvendige koefficienter.

Værdierne i den fjerde række i tabellen opnås ved at gange værdierne i den 2. række med værdierne i den 3. række for hvert tal jeg.

Værdierne i den femte række i tabellen opnås ved at kvadrere værdierne i den 2. række for hvert tal jeg.

Værdierne i den sidste kolonne i tabellen er summen af ​​værdierne på tværs af rækkerne.

Vi bruger formlerne for mindste kvadraters metode til at finde koefficienterne -en og b. Vi erstatter i dem de tilsvarende værdier fra den sidste kolonne i tabellen:

Derfor, y=0,165x+2,184 er den ønskede tilnærmede rette linje.

Det er tilbage at finde ud af, hvilken af ​​linjerne y=0,165x+2,184 eller tilnærmer de originale data bedre, dvs. at lave et skøn ved hjælp af mindste kvadraters metode.

Bevis.

Så når fundet -en og b funktion tager den mindste værdi, er det nødvendigt, at på dette tidspunkt matrixen af ​​den kvadratiske form af andenordens differentialet for funktionen var positiv bestemt. Lad os vise det.

Anden ordens differential har formen:

dvs

Derfor har den kvadratiske forms matrix formen

og elementernes værdier afhænger ikke af -en og b.

Lad os vise, at matrixen er positiv bestemt. Dette kræver, at vinkelminorerne er positive.

Kantet mol af første orden . Uligheden er streng, da pointerne

Efter justering får vi en funktion af følgende form: g (x) = x + 1 3 + 1 .

Vi kan tilnærme disse data med en lineær sammenhæng y = a x + b ved at beregne de passende parametre. For at gøre dette skal vi anvende den såkaldte mindste kvadraters metode. Du skal også lave en tegning for at kontrollere, hvilken linje der bedst justerer de eksperimentelle data.

Yandex.RTB R-A-339285-1

Hvad er OLS (mindste kvadraters metode)

Det vigtigste, vi skal gøre, er at finde sådanne lineære afhængighedskoefficienter, hvor værdien af ​​funktionen af ​​to variable F (a, b) = ∑ i = 1 n (y i - (a x i + b)) 2 vil være den mindste . Med andre ord, for visse værdier af a og b vil summen af ​​de kvadrerede afvigelser af de præsenterede data fra den resulterende rette linje have en minimumsværdi. Dette er meningen med mindste kvadraters metode. Alt, hvad vi skal gøre for at løse eksemplet, er at finde yderpunktet for funktionen af ​​to variable.

Hvordan man udleder formler til beregning af koefficienter

For at udlede formler til beregning af koefficienterne er det nødvendigt at sammensætte og løse et ligningssystem med to variable. For at gøre dette beregner vi de partielle afledte af udtrykket F (a , b) = ∑ i = 1 n (y i - (a x i + b)) 2 med hensyn til a og b og sidestiller dem med 0 .

δ F (a, b) δ a = 0 δ F (a, b) δ b = 0 ⇔ - 2 ∑ i = 1 n (y i - (a x i + b)) x i = 0 - 2 ∑ i = 1 n ( y i - (a x i + b)) = 0 ⇔ a ∑ i = 1 n x i 2 + b ∑ i = 1 n x i = ∑ i = 1 n x i y i a ∑ i = 1 n x i + ∑ i = 1 n b = ∑ y i = ∑ i = 1 n x i 2 + b ∑ i = 1 n x i = ∑ i = 1 n x i y i a ∑ i = 1 n x i + n b = ∑ i = 1 n y i

For at løse et ligningssystem kan du bruge alle metoder, såsom substitution eller Cramers metode. Som et resultat bør vi få formler, der beregner koefficienterne ved hjælp af mindste kvadraters metode.

n ∑ i = 1 n x i y i - ∑ i = 1 n x i ∑ i = 1 n y i n ∑ i = 1 n - ∑ i = 1 n x i 2 b = ∑ i = 1 n y i - a ∑ i = 1 n

Vi har beregnet værdierne af de variable, for hvilke funktionen
F (a , b) = ∑ i = 1 n (y i - (a x i + b)) 2 vil tage minimumsværdien. I tredje afsnit vil vi bevise, hvorfor det er sådan.

Dette er anvendelsen af ​​mindste kvadraters metode i praksis. Hans formel, som bruges til at finde parameteren a , omfatter ∑ i = 1 n x i , ∑ i = 1 n y i , ∑ i = 1 n x i y i , ∑ i = 1 n x i 2 , og parameteren
n - det angiver mængden af ​​eksperimentelle data. Vi råder dig til at beregne hvert beløb separat. Koefficientværdien b beregnes umiddelbart efter a .

Lad os gå tilbage til det oprindelige eksempel.

Eksempel 1

Her har vi n lig med fem. For at gøre det mere bekvemt at beregne de nødvendige mængder inkluderet i koefficientformlerne, udfylder vi tabellen.

Afgørelse

Den fjerde række indeholder data opnået ved at gange værdierne fra den anden række med værdierne af den tredje for hver enkelt i. Den femte linje indeholder dataene fra den anden kvadrat. Den sidste kolonne viser summen af ​​værdierne for de enkelte rækker.

Lad os bruge mindste kvadraters metode til at beregne de koefficienter a og b, vi skal bruge. For at gøre dette skal du erstatte de ønskede værdier fra den sidste kolonne og beregne summen:

n ∑ i = 1 n x i y i - ∑ i = 1 n x i ∑ i = 1 n y i n ∑ i = 1 n - ∑ i = 1 n x i 2 b = ∑ i = 1 n y i - a ∑ i = 1, 3 x n = 3 - 12 12, 9 5 46 - 12 2 b = 12, 9 - a 12 5 ⇒ a ≈ 0, 165 b ≈ 2, 184

Vi fik, at den ønskede tilnærmede rette linje vil se ud som y = 0, 165 x + 2, 184. Nu skal vi bestemme, hvilken linje der bedst tilnærmer dataene - g (x) = x + 1 3 + 1 eller 0 , 165 x + 2 , 184 . Lad os lave et skøn ved at bruge mindste kvadraters metode.

For at beregne fejlen skal vi finde summen af ​​kvadrerede afvigelser af data fra linjerne σ 1 = ∑ i = 1 n (y i - (a x i + b i)) 2 og σ 2 = ∑ i = 1 n (y i - g (x i)) 2 vil minimumsværdien svare til en mere passende linje.

σ 1 = ∑ i = 1 n (y i - (a x i + b i)) 2 = = ∑ i = 1 5 (y i - (0 , 165 x i + 2 , 184)) 2 ≈ 0 , 019 σ 2 = ∑ i = 1 n (y i - g (x i)) 2 = = ∑ i = 1 5 (y i - (x i + 1 3 + 1)) 2 ≈ 0 , 096

Svar: siden σ 1< σ 2 , то прямой, наилучшим образом аппроксимирующей исходные данные, будет
y = 0, 165 x + 2, 184.

Mindste kvadraters metode er tydeligt vist i den grafiske illustration. Den røde linje markerer den lige linje g (x) = x + 1 3 + 1, den blå linje markerer y = 0, 165 x + 2, 184. Rådata er markeret med lyserøde prikker.

Lad os forklare, hvorfor præcis tilnærmelser af denne type er nødvendige.

De kan bruges i problemer, der kræver dataudjævning, såvel som i dem, hvor dataene skal interpoleres eller ekstrapoleres. For eksempel kunne man i det ovenfor diskuterede problem finde værdien af ​​den observerede mængde y ved x = 3 eller ved x = 6 . Vi har viet en separat artikel til sådanne eksempler.

Bevis for LSM-metoden

For at funktionen skal tage minimumsværdien for beregnet a og b, er det nødvendigt, at matrixen af ​​den kvadratiske form af differentialet for funktionen af ​​formen F (a, b) = ∑ i = 1 n ( y i - (a x i + b)) 2 være positiv bestemt. Lad os vise dig, hvordan det skal se ud.

Eksempel 2

Vi har en andenordens differential af følgende form:

d 2 F (a ; b) = δ 2 F (a ; b) δ a 2 d 2 a + 2 δ 2 F (a ; b) δ a δ b d a d b + δ 2 F (a ; b) δ b 2 d 2b

Afgørelse

δ 2 F (a ; b) δ a 2 = δ δ F (a ; b) δ a δ a = = δ - 2 ∑ i = 1 n (y i - (a x i + b)) x i δ a = 2 ∑ i = 1 n (x i) 2 δ 2 F (a ; b) δ a δ b = δ δ F (a ; b) δ a δ b = = δ - 2 ∑ i = 1 n (y i - (a x i + b) ) x i δ b = 2 ∑ i = 1 n x i δ 2 F (a ; b) δ b 2 = δ δ F (a ; b) δ b δ b = δ - 2 ∑ i = 1 n (y i - (a x i + b)) δ b = 2 ∑ i = 1 n (1) = 2 n

Det kan med andre ord skrives som følger: d 2 F (a ; b) = 2 ∑ i = 1 n (x i) 2 d 2 a + 2 2 ∑ x i i = 1 n d a d b + (2 n) d 2 b .

Vi har fået en matrix af kvadratisk form M = 2 ∑ i = 1 n (x i) 2 2 ∑ i = 1 n x i 2 ∑ i = 1 n x i 2 n .

I dette tilfælde vil værdierne af individuelle elementer ikke ændre sig afhængigt af a og b . Er denne matrix positiv bestemt? For at besvare dette spørgsmål, lad os tjekke, om dens kantede mindreårige er positive.

Beregn første ordens vinkel-moll: 2 ∑ i = 1 n (x i) 2 > 0 . Da punkterne x i ikke er sammenfaldende, er uligheden streng. Det vil vi huske på i videre beregninger.

Vi beregner andenordens vinkel-moll:

d e t (M) = 2 ∑ i = 1 n (x i) 2 2 ∑ i = 1 n x i 2 ∑ i = 1 n x i 2 n = 4 n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2

Derefter går vi videre til beviset for uligheden n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 > 0 ved hjælp af matematisk induktion.

1. Lad os kontrollere, om denne ulighed er gyldig for vilkårlig n . Lad os tage 2 og beregne:

2 ∑ i = 1 2 (x i) 2 - ∑ i = 1 2 x i 2 = 2 x 1 2 + x 2 2 - x 1 + x 2 2 = = x 1 2 - 2 x 1 x 2 + x 2 2 = x 1 + x 2 2 > 0

Vi fik den korrekte lighed (hvis værdierne x 1 og x 2 ikke stemmer overens).

1. Lad os antage, at denne ulighed vil være sand for n , dvs. n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 > 0 – sand.
2. Lad os nu bevise gyldigheden for n + 1, dvs. at (n + 1) ∑ i = 1 n + 1 (x i) 2 - ∑ i = 1 n + 1 x i 2 > 0 hvis n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 > 0 .

Vi beregner:

(n + 1) ∑ i = 1 n + 1 (x i) 2 - ∑ i = 1 n + 1 x i 2 = = (n + 1) ∑ i = 1 n (x i) 2 + x n + 1 2 - ∑ i = 1 n x i + x n + 1 2 = = n ∑ i = 1 n (x i) 2 + n x n + 1 2 + ∑ i = 1 n (x i) 2 + x n + 1 2 - - ∑ i = 1 n x i 2 + 2 x n + 1 ∑ i = 1 n x i + x n + 1 2 = = ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 + n x n + 1 2 - x n + 1 ∑ i = 1 n x i + ∑ i n (x i) 2 = = ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 + x n + 1 2 - 2 x n + 1 x 1 + x 1 2 + + x n + 1 2 - 2 x n + 1 x 2 + x 2 2 + . . . + x n + 1 2 - 2 x n + 1 x 1 + x n 2 = = n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 + + (x n + 1 - x 1) 2 + (x n + 1 - x 2) 2+. . . + (x n - 1 - x n) 2 > 0

Udtrykket omsluttet af krøllede klammeparenteser vil være større end 0 (baseret på det, vi antog i trin 2), og resten af ​​termerne vil være større end 0, fordi de alle er kvadrater af tal. Vi har bevist uligheden.

Svar: de fundne a og b vil svare til den mindste værdi af funktionen F (a, b) = ∑ i = 1 n (y i - (a x i + b)) 2, hvilket betyder, at de er de ønskede parametre for mindste kvadraters metode (LSM).

Hvis du bemærker en fejl i teksten, skal du markere den og trykke på Ctrl+Enter

Metoden med mindste kvadraters (LSM) giver dig mulighed for at estimere forskellige mængder ved hjælp af resultaterne af mange målinger, der indeholder tilfældige fejl.

Karakteristisk MNC

Hovedideen med denne metode er, at summen af ​​kvadrerede fejl betragtes som et kriterium for nøjagtigheden af ​​løsningen af ​​problemet, som søges minimeret. Ved brug af denne metode kan både numeriske og analytiske tilgange anvendes.

Især som en numerisk implementering indebærer mindste kvadraters metode at lave så mange målinger af en ukendt tilfældig variabel som muligt. Desuden, jo flere beregninger, jo mere nøjagtig vil løsningen være. På dette sæt af beregninger (startdata) opnås endnu et sæt foreslåede løsninger, hvorfra den bedste så vælges. Hvis mængden af ​​løsninger er parametriseret, vil mindste kvadraters metode blive reduceret til at finde den optimale værdi af parametrene.

Som en analytisk tilgang til implementeringen af ​​LSM på sættet af indledende data (målinger) og det foreslåede sæt af løsninger, er nogle (funktionelle) defineret, som kan udtrykkes ved en formel opnået som en bestemt hypotese, der skal bekræftes . I dette tilfælde reduceres metoden med mindste kvadrater til at finde minimum af denne funktionelle på sættet af kvadratiske fejl i de indledende data.

Bemærk, at ikke selve fejlene, men kvadraterne af fejlene. Hvorfor? Faktum er, at ofte er afvigelserne af målinger fra den nøjagtige værdi både positive og negative. Ved bestemmelse af gennemsnittet kan simpel summering føre til en forkert konklusion om kvaliteten af ​​estimatet, da den gensidige annullering af positive og negative værdier vil reducere prøvetagningskraften af ​​sættet af målinger. Og dermed nøjagtigheden af ​​vurderingen.

For at forhindre dette i at ske opsummeres de kvadrerede afvigelser. Endnu mere end det, for at udligne dimensionen af ​​den målte værdi og det endelige estimat, fra summen af ​​kvadrerede fejl,

Nogle anvendelser af MNC'er

MNC er meget udbredt inden for forskellige områder. For eksempel i sandsynlighedsteori og matematisk statistik bruges metoden til at bestemme en sådan karakteristik af en tilfældig variabel som standardafvigelsen, som bestemmer bredden af ​​værdiområdet for en tilfældig variabel.

• tutorial

Introduktion

Jeg er computerprogrammør. Jeg tog det største spring i min karriere, da jeg lærte at sige: "Jeg forstår ikke noget!" Nu skammer jeg mig ikke over at fortælle videnskabens lyskilde, at han holder mig et foredrag, at jeg ikke forstår, hvad det, lyset, taler til mig om. Og det er meget svært. Ja, det er svært og pinligt at indrømme, at man ikke ved det. Som kan lide at indrømme, at han ikke kender det grundlæggende i noget-der. I kraft af mit fag skal jeg overvære en lang række oplæg og foredrag, hvor jeg indrømmer, at jeg i langt de fleste tilfælde føler mig søvnig, fordi jeg ikke forstår noget. Og jeg forstår det ikke, fordi det store problem med den nuværende situation inden for naturvidenskab ligger i matematik. Det forudsætter, at alle elever er fortrolige med absolut alle områder af matematikken (hvilket er absurd). At indrømme, at du ikke ved, hvad en derivat er (at dette er lidt senere) er en skam.

Men jeg har lært at sige, at jeg ikke ved, hvad multiplikation er. Ja, jeg ved ikke hvad en subalgebra over en Lie algebra er. Ja, jeg ved ikke hvorfor andengradsligninger er nødvendige i livet. Forresten, hvis du er sikker på, at du ved det, så har vi noget at snakke om! Matematik er en række tricks. Matematikere forsøger at forvirre og intimidere offentligheden; hvor der ikke er nogen forvirring, intet omdømme, ingen autoritet. Ja, det er prestigefyldt at tale i det mest abstrakte sprog som muligt, hvilket er fuldstændig nonsens i sig selv.

Ved du hvad et derivat er? Mest sandsynligt vil du fortælle mig om grænsen for forskelsforholdet. I det første år af matematik på St. Petersburg State University, Viktor Petrovich Khavin mig defineret afledt som koefficienten for det første led i Taylor-rækken af ​​funktionen ved punktet (det var en separat gymnastik at bestemme Taylor-rækken uden afledte). Jeg grinede længe af denne definition, indtil jeg endelig forstod, hvad den handlede om. Den afledte er ikke andet end blot et mål for, hvor meget den funktion, vi differentierer, ligner funktionen y=x, y=x^2, y=x^3.

Jeg har nu æren af ​​at undervise studerende, der frygt matematik. Hvis du er bange for matematik – er vi på vej. Så snart du prøver at læse noget tekst, og det forekommer dig, at det er alt for kompliceret, så ved, at det er dårligt skrevet. Jeg hævder, at der ikke er et eneste område af matematik, der ikke kan tales om "på fingrene" uden at miste nøjagtigheden.

Udfordringen for den nærmeste fremtid: Jeg instruerede mine elever i at forstå, hvad en lineær-kvadratisk controller er. Vær ikke genert, spild tre minutter af dit liv, følg linket. Hvis du ikke forstår noget, så er vi på vej. Jeg (en professionel matematiker-programmør) forstod heller ikke noget. Og jeg forsikrer dig, at dette kan ordnes "på fingrene." I øjeblikket ved jeg ikke, hvad det er, men jeg forsikrer dig om, at vi vil være i stand til at finde ud af det.

Så det første foredrag, som jeg skal holde for mine elever, efter at de kommer løbende til mig i rædsel med ordene om, at en lineær-kvadratisk controller er en frygtelig fejl, som du aldrig vil mestre i dit liv, er mindste kvadraters metoder. Kan du løse lineære ligninger? Hvis du læser denne tekst, så højst sandsynligt ikke.

Så givet to punkter (x0, y0), (x1, y1), for eksempel (1,1) og (3,2), er opgaven at finde ligningen for en ret linje, der går gennem disse to punkter:

illustration

Denne rette linje skal have en ligning som følgende:

Her er alfa og beta ukendte for os, men to punkter på denne linje er kendt:

Du kan skrive denne ligning i matrixform:

Her bør vi lave en lyrisk digression: hvad er en matrix? En matrix er intet andet end en todimensionel matrix. Dette er en måde at gemme data på, der skal ikke gives flere værdier til det. Det er op til os, hvordan vi præcist skal fortolke en bestemt matrix. Periodisk vil jeg fortolke det som en lineær afbildning, periodisk som en kvadratisk form og nogle gange blot som et sæt af vektorer. Dette vil alt sammen blive afklaret i sammenhæng.

Lad os erstatte specifikke matricer med deres symbolske repræsentation:

Så (alfa, beta) kan nemt findes:

Mere specifikt for vores tidligere data:

Hvilket fører til følgende ligning for en ret linje, der går gennem punkterne (1,1) og (3,2):

Okay, alt er klart her. Og lad os finde ligningen for en lige linje, der går igennem tre point: (x0,y0), (x1,y1) og (x2,y2):

Åh-åh-åh, men vi har tre ligninger for to ubekendte! Standardmatematikeren vil sige, at der ikke er nogen løsning. Hvad vil programmøren sige? Og han vil først omskrive det tidligere ligningssystem i følgende form:

I vores tilfælde er vektorerne i, j, b tredimensionelle, derfor er der (i det generelle tilfælde) ingen løsning på dette system. Enhver vektor (alfa\*i + beta\*j) ligger i det plan, der spændes over af vektorerne (i, j). Hvis b ikke hører til dette plan, så er der ingen løsning (lighed i ligningen kan ikke opnås). Hvad skal man gøre? Lad os se efter et kompromis. Lad os betegne med e (alfa, beta) hvordan opnåede vi ikke ligestilling:

Og vi vil forsøge at minimere denne fejl:

Hvorfor en firkant?

Vi leder ikke kun efter minimum af normen, men efter minimum af kvadratet af normen. Hvorfor? Selve minimumspunktet er sammenfaldende, og kvadratet giver en jævn funktion (en kvadratisk funktion af argumenterne (alfa,beta)), mens blot længden giver en funktion i form af en kegle, der ikke kan differentieres ved minimumspunktet. Brr. Square er mere praktisk.

Det er klart, at fejlen minimeres, når vektoren e ortogonalt i forhold til det plan, som vektorerne spænder over jeg og j.

Illustration

Med andre ord: vi leder efter en linje, således at summen af ​​de kvadrerede længder af afstandene fra alle punkter til denne linje er minimal:

OPDATERING: her har jeg en jamb, afstanden til linjen skal måles lodret, ikke ortografisk projektion. Denne kommentator er korrekt.

Illustration

Med helt andre ord (omhyggeligt, dårligt formaliseret, men det skal være klart på fingrene): vi tager alle mulige linjer mellem alle par af punkter og leder efter den gennemsnitlige linje mellem alle:

Illustration

En anden forklaring på fingrene: vi fastgør en fjeder mellem alle datapunkter (her har vi tre) og den linje, vi leder efter, og ligevægtstilstandens linje er præcis, hvad vi leder efter.

Minimum kvadratisk form

Med andre ord leder vi efter en vektor x=(alfa, beta), sådan at:

Jeg minder dig om, at denne vektor x=(alfa, beta) er minimum af den kvadratiske funktion ||e(alfa, beta)||^2:

Her er det nyttigt at huske, at matrixen kan fortolkes såvel som den kvadratiske form, f.eks. kan identitetsmatrixen ((1,0),(0,1)) fortolkes som en funktion af x^2 + y ^2:

kvadratisk form

Al denne gymnastik er kendt som lineær regression.

Laplace-ligning med Dirichlet-grænsebetingelse

Den originale tilsagn er tilgængelig. For at minimere eksterne afhængigheder tog jeg koden til min softwarerenderer, allerede på Habré. For at løse det lineære system bruger jeg OpenNL , det er en fantastisk løser, men det er meget svært at installere: du skal kopiere to filer (.h + .c) til din projektmappe. Al udjævning udføres med følgende kode:

For (int d=0; d<3; d++) { nlNewContext(); nlSolverParameteri(NL_NB_VARIABLES, verts.size()); nlSolverParameteri(NL_LEAST_SQUARES, NL_TRUE); nlBegin(NL_SYSTEM); nlBegin(NL_MATRIX); for (int i=0; i<(int)verts.size(); i++) { nlBegin(NL_ROW); nlCoefficient(i, 1); nlRightHandSide(verts[i][d]); nlEnd(NL_ROW); } for (unsigned int i=0; i&ansigt = ansigter[i]; for (int j=0; j<3; j++) { nlBegin(NL_ROW); nlCoefficient(face[ j ], 1); nlCoefficient(face[(j+1)%3], -1); nlEnd(NL_ROW); } } nlEnd(NL_MATRIX); nlEnd(NL_SYSTEM); nlSolve(); for (int i=0; i<(int)verts.size(); i++) { verts[i][d] = nlGetVariable(i); } }

X-, Y- og Z-koordinater kan adskilles, jeg udglatter dem separat. Det vil sige, at jeg løser tre systemer af lineære ligninger, hver med det samme antal variable som antallet af hjørner i min model. De første n rækker af matrix A har kun én 1 pr. række, og de første n rækker af vektor b har originale modelkoordinater. Det vil sige, at jeg springer mellem den nye topposition og den gamle topposition - de nye skal ikke være for langt væk fra de gamle.

Alle efterfølgende rækker af matrix A (faces.size()*3 = antallet af kanter af alle trekanter i gitteret) har én forekomst af 1 og én forekomst af -1, mens vektoren b har nul komponenter modsat. Det betyder, at jeg sætter en fjeder på hver kant af vores trekantede maske: alle kanter forsøger at få det samme toppunkt som deres start- og slutpunkter.

Endnu en gang: alle hjørner er variable, og de kan ikke afvige langt fra deres oprindelige position, men de forsøger samtidig at blive ens hinanden.

Her er resultatet:

Alt ville være fint, modellen er virkelig glattet, men den bevægede sig væk fra sin oprindelige kant. Lad os ændre koden lidt:

For (int i=0; i<(int)verts.size(); i++) { float scale = border[i] ? 1000: 1; nlBegin(NL_ROW); nlCoefficient(i, scale); nlRightHandSide(scale*verts[i][d]); nlEnd(NL_ROW); }

I vores matrix A, for de hjørner, der er på kanten, tilføjer jeg ikke en række fra kategorien v_i = verts[i][d], men 1000*v_i = 1000*verts[i][d]. Hvad ændrer det? Og dette ændrer vores kvadratiske form af fejlen. Nu vil en enkelt afvigelse fra toppen ved kanten ikke koste en enhed, som før, men 1000 * 1000 enheder. Det vil sige, at vi hang en stærkere fjeder på de ekstreme hjørner, løsningen foretrækker at strække andre stærkere. Her er resultatet:

Lad os fordoble styrken af ​​fjedrene mellem hjørnerne:
nlKoefficient(ansigt[ j ], 2); nlKoefficient(flade[(j+1)%3], -2);

Det er logisk, at overfladen er blevet glattere:

Og nu endda hundrede gange stærkere:

Hvad er det? Forestil dig, at vi har dyppet en trådring i sæbevand. Som et resultat vil den resulterende sæbefilm forsøge at have den mindst mulige krumning og røre ved den samme kant - vores trådring. Det er præcis, hvad vi fik ved at fikse kanten og bede om en glat overflade indeni. Tillykke, vi har netop løst Laplace-ligningen med Dirichlet-grænsebetingelser. Lyder fedt? Men faktisk kun et system af lineære ligninger at løse.

Poisson ligning

Lad os sige, at jeg har et billede som dette:

Alle er gode, men jeg kan ikke lide stolen.

Jeg har klippet billedet i to:

Og jeg vil vælge en stol med mine hænder:

Så vil jeg trække alt, hvad der er hvidt i masken til venstre side af billedet, og samtidig vil jeg sige gennem hele billedet, at forskellen mellem to nabopixels skal være lig med forskellen mellem to nabopixels af højre billede:

For (int i=0; i

Her er resultatet:

Kode og billeder er tilgængelige