Trojrozmerná metóda najmenších štvorcov. Aproximácia experimentálnych údajov

Ktorý nachádza najširšie uplatnenie v rôznych oblastiach vedy a praxe. Môže to byť fyzika, chémia, biológia, ekonómia, sociológia, psychológia a tak ďalej a tak ďalej. Z vôle osudu sa často musím popasovať s ekonomikou, a preto vám dnes vybavím letenku do úžasnej krajiny tzv. Ekonometria=) ... Ako to nechceš?! Je to tam veľmi dobré - stačí sa rozhodnúť! ...Ale to, čo pravdepodobne určite chcete, je naučiť sa riešiť problémy najmenších štvorcov. A hlavne usilovní čitatelia sa ich naučia riešiť nielen presne, ale aj VEĽMI RÝCHLO ;-) Ale najskôr všeobecné vyjadrenie problému+ súvisiaci príklad:

Nech sa študujú ukazovatele v nejakej tematickej oblasti, ktoré majú kvantitatívne vyjadrenie. Zároveň existujú všetky dôvody domnievať sa, že ukazovateľ závisí od ukazovateľa. Tento predpoklad môže byť vedeckou hypotézou aj založenou na elementárnom zdravom rozume. Nechajme však vedu bokom a preskúmajme chutnejšie oblasti – menovite obchody s potravinami. Označiť podľa:

– obchodný priestor predajne potravín, m2,
- ročný obrat obchodu s potravinami, milióny rubľov.

Je úplne jasné, že čím väčšia je plocha predajne, tým väčší je jej obrat vo väčšine prípadov.

Predpokladajme, že po vykonaní pozorovaní / experimentov / výpočtov / tanca s tamburínou máme k dispozícii číselné údaje:

Pri obchodoch s potravinami je myslím všetko jasné: - toto je plocha 1. predajne, - jej ročný obrat, - plocha 2. predajne, - jej ročný obrat atď. Mimochodom, nie je vôbec potrebné mať prístup k utajovaným materiálom - pomerne presné vyhodnotenie obratu možno získať pomocou matematickej štatistiky. Nenechajte sa však rozptyľovať, kurz komerčnej špionáže je už zaplatený =)

Tabuľkové údaje môžu byť zapísané aj vo forme bodov a zobrazené pre nás obvyklým spôsobom. karteziánsky systém .

Odpovedzme si na dôležitú otázku: koľko bodov je potrebných na kvalitatívnu štúdiu?

Čím väčšie, tým lepšie. Minimálny prípustný set pozostáva z 5-6 bodov. Okrem toho pri malom množstve údajov by do vzorky nemali byť zahrnuté „abnormálne“ výsledky. Takže napríklad malý elitný obchod môže pomôcť rádovo viac ako „ich kolegovia“, čím skresľuje všeobecný vzorec, ktorý je potrebné nájsť!

Ak je to celkom jednoduché, musíme vybrať funkciu, harmonogram ktorý prechádza čo najbližšie k bodom . Takáto funkcia sa nazýva aproximácia (aproximácia - aproximácia) alebo teoretická funkcia . Vo všeobecnosti sa tu okamžite objaví zjavný „predstierač“ - polynóm vysokého stupňa, ktorého graf prechádza VŠETKÝMI bodmi. Táto možnosť je však komplikovaná a často jednoducho nesprávna. (pretože graf sa bude neustále „navíjať“ a zle odráža hlavný trend).

Požadovaná funkcia teda musí byť dostatočne jednoduchá a zároveň primerane odrážať závislosť. Ako asi tušíte, jedna z metód na nájdenie takýchto funkcií je tzv najmenších štvorcov. Najprv analyzujme jeho podstatu všeobecným spôsobom. Nechajte nejakú funkciu aproximovať experimentálne údaje:


Ako vyhodnotiť presnosť tejto aproximácie? Vypočítajme aj rozdiely (odchýlky) medzi experimentálnymi a funkčnými hodnotami (študujeme kresbu). Prvá myšlienka, ktorá príde na myseľ, je odhadnúť, aká veľká je suma, ale problém je, že rozdiely môžu byť negatívne. (Napríklad, ) a odchýlky v dôsledku takéhoto súčtu sa navzájom vyrušia. Preto sa ako odhad presnosti aproximácie navrhuje použiť súčet modulov odchýlky:

alebo v zloženom tvare: (zrazu, kto nevie: je ikona súčtu a je to pomocná premenná - „počítadlo“, ktoré nadobúda hodnoty od 1 do ).

Aproximáciou experimentálnych bodov s rôznymi funkciami získame rôzne hodnoty a je zrejmé, že kde je tento súčet menší, je táto funkcia presnejšia.

Takáto metóda existuje a volá sa metóda najmenšieho modulu. V praxi sa však výrazne rozšíril. metóda najmenších štvorcov, v ktorom možné záporné hodnoty nie sú eliminované modulom, ale kvadratúrou odchýlok:

, po ktorom úsilie smeruje k výberu takej funkcie, aby súčet kvadrátov odchýlok bol čo najmenší. Odtiaľ vlastne pochádza aj názov metódy.

A teraz sa vrátime k ďalšiemu dôležitému bodu: ako je uvedené vyššie, vybraná funkcia by mala byť pomerne jednoduchá - existuje však aj veľa takýchto funkcií: lineárne , hyperbolický, exponenciálny, logaritmický, kvadratický atď. A, samozrejme, tu by som okamžite rád „zmenšil pole pôsobnosti“. Akú triedu funkcií zvoliť pre výskum? Primitívna, ale účinná technika:

- Najjednoduchší spôsob kreslenia bodov na výkrese a analyzovať ich umiestnenie. Ak majú tendenciu byť v priamej línii, mali by ste hľadať priamka rovnica s optimálnymi hodnotami a . Inými slovami, úlohou je nájsť TAKÉTO koeficienty – tak, aby súčet kvadrátov odchýlok bol najmenší.

Ak sú body umiestnené napr hyperbola, potom je jasné, že lineárna funkcia poskytne zlú aproximáciu. V tomto prípade hľadáme „najpriaznivejšie“ koeficienty pre rovnicu hyperboly - tie, ktoré dávajú minimálny súčet štvorcov .

Teraz si všimnite, že v oboch prípadoch hovoríme o funkcie dvoch premenných, ktorých argumenty sú hľadal možnosti závislosti:

A v podstate potrebujeme vyriešiť štandardný problém – nájsť minimálne funkcie dvoch premenných.

Pripomeňme si náš príklad: Predpokladajme, že body „obchodu“ majú tendenciu byť umiestnené v priamej línii a existuje každý dôvod domnievať sa, že existuje lineárna závislosť obrat z obchodnej oblasti. Nájdite TAKÉTO koeficienty "a" a "be" tak, aby bol súčet kvadrátov odchýlok bol najmenší. Všetko ako obvykle - prvé parciálne deriváty 1. rádu. Podľa pravidlo linearity môžete rozlišovať priamo pod ikonou sumy:

Ak chcete použiť tieto informácie na esej alebo semestrálnu prácu, budem veľmi vďačný za odkaz v zozname zdrojov, nikde nenájdete také podrobné výpočty:

Urobme štandardný systém:

Každú rovnicu zredukujeme o „dvojku“ a navyše „rozdelíme“ súčty:

Poznámka : nezávisle analyzovať, prečo je možné z ikony súčtu vyňať „a“ a „byť“. Mimochodom, formálne sa to dá urobiť so sumou

Prepíšme systém do „aplikovanej“ formy:

potom sa začne kresliť algoritmus na riešenie nášho problému:

Poznáme súradnice bodov? Vieme. Sumy môžeme nájsť? Jednoducho. Skladáme to najjednoduchšie sústava dvoch lineárnych rovníc s dvoma neznámymi("a" a "beh"). Systém riešime napr. Cramerova metóda, výsledkom čoho je stacionárny bod . Kontrola postačujúca podmienka pre extrém, môžeme overiť, že v tomto bode je funkcia dosiahne presne minimálne. Overenie je spojené s dodatočnými výpočtami a preto ho necháme v zákulisí. (v prípade potreby je možné zobraziť chýbajúci rámček). Vyvodzujeme konečný záver:

Funkcia najlepšia cesta (aspoň v porovnaní s akoukoľvek inou lineárnou funkciou) približuje experimentálne body . Zhruba povedané, jeho graf prechádza čo najbližšie k týmto bodom. V tradícii ekonometrie sa nazýva aj výsledná aproximačná funkcia párová lineárna regresná rovnica .

Uvažovaný problém má veľký praktický význam. V situácii s naším príkladom, rovnica umožňuje predpovedať, aký druh obratu ("yig") bude v predajni s jednou alebo druhou hodnotou predajnej plochy (jeden alebo iný význam "x"). Áno, výsledná predpoveď bude len predpoveďou, no v mnohých prípadoch sa ukáže ako celkom presná.

Rozoberiem len jeden problém so „skutočnými“ číslami, keďže v ňom nie sú žiadne ťažkosti – všetky výpočty sú na úrovni školských osnov v 7. – 8. ročníku. V 95 percentách prípadov budete požiadaní, aby ste našli len lineárnu funkciu, ale na samom konci článku ukážem, že nájsť rovnice pre optimálnu hyperbolu, exponent a niektoré ďalšie funkcie nie je o nič zložitejšie.

V skutočnosti zostáva rozdávať sľúbené dobroty – aby ste sa naučili takéto príklady riešiť nielen presne, ale aj rýchlo. Starostlivo študujeme štandard:

Úloha

Ako výsledok štúdia vzťahu medzi dvoma ukazovateľmi sa získali nasledujúce dvojice čísel:

Pomocou metódy najmenších štvorcov nájdite lineárnu funkciu, ktorá najlepšie aproximuje empirickú funkciu (skúsený)údajov. Vytvorte výkres, na ktorom v karteziánskom pravouhlom súradnicovom systéme nakreslite experimentálne body a graf aproximačnej funkcie . Nájdite súčet štvorcových odchýlok medzi empirickými a teoretickými hodnotami. Zistite, či je funkcia lepšia (v zmysle metódy najmenších štvorcov) približné experimentálne body.

Všimnite si, že hodnoty „x“ sú prirodzené hodnoty a to má charakteristický zmysluplný význam, o ktorom budem hovoriť o niečo neskôr; ale, samozrejme, môžu byť zlomkové. Okrem toho v závislosti od obsahu konkrétnej úlohy môžu byť hodnoty „X“ aj „G“ úplne alebo čiastočne záporné. Dostali sme „netvárnu“ úlohu a začíname s ňou Riešenie:

Nájdeme koeficienty optimálnej funkcie ako riešenie systému:

Na účely kompaktnejšieho zápisu možno premennú „counter“ vynechať, pretože už je jasné, že sčítanie sa vykonáva od 1 do .

Je vhodnejšie vypočítať požadované množstvá v tabuľkovej forme:


Výpočty je možné vykonávať na mikrokalkulačke, ale oveľa lepšie je použiť Excel - rýchlejšie a bez chýb; pozrite si krátke video:

Dostávame teda nasledovné systému:

Tu môžete vynásobiť druhú rovnicu 3 a odčítajte 2. od 1. rovnice člen po člene. Ale to je šťastie - v praxi systémy často nie sú nadané a v takýchto prípadoch šetrí Cramerova metóda:
, takže systém má jedinečné riešenie.

Urobme kontrolu. Chápem, že to nechcem, ale prečo preskakovať chyby tam, kde si ich nemôžete nechať ujsť? Nájdené riešenie dosaďte na ľavú stranu každej rovnice systému:

Získajú sa správne časti zodpovedajúcich rovníc, čo znamená, že systém je vyriešený správne.

Požadovaná aproximačná funkcia: – od všetky lineárne funkcie najlepšie sa ním priblížia experimentálne údaje.

Na rozdiel od rovno závislosť obratu predajne od jej plochy, zistená závislosť je obrátene (zásada „čím viac – tým menej“), a túto skutočnosť okamžite odhalí negatív uhlový koeficient. Funkcia nás informuje, že so zvýšením určitého ukazovateľa o 1 jednotku sa hodnota závislého ukazovateľa znižuje priemer o 0,65 jednotky. Ako sa hovorí, čím vyššia je cena pohánky, tým menej sa predáva.

Na vykreslenie aproximačnej funkcie nájdeme dve jej hodnoty:

a vykonajte kreslenie:


Vybudovaná čiara je tzv trendová čiara (konkrétne lineárna trendová čiara, t. j. vo všeobecnom prípade trend nemusí byť nevyhnutne priamka). Výraz „byť v trende“ pozná každý a myslím si, že tento výraz nepotrebuje ďalší komentár.

Vypočítajte súčet štvorcových odchýlok medzi empirickými a teoretickými hodnotami. Geometricky ide o súčet druhých mocnín dĺžok „karmínových“ segmentov (dve z nich sú také malé, že ich ani nevidíte).

Zhrňme si výpočty do tabuľky:


Môžu byť opäť vykonané ručne, len v prípade, že uvediem príklad pre 1. bod:

ale oveľa efektívnejšie je urobiť už známy spôsob:

Zopakujme si: aký je zmysel výsledku? Od všetky lineárne funkcie funkciu exponent je najmenší, to znamená, že je to najlepšia aproximácia vo svojej rodine. A tu, mimochodom, posledná otázka problému nie je náhodná: čo ak navrhovaná exponenciálna funkcia bude lepšie aproximovať experimentálne body?

Nájdite zodpovedajúci súčet štvorcových odchýlok - aby som ich rozlíšil, označím ich písmenom "epsilon". Technika je úplne rovnaká:


A opäť pre každý výpočet požiaru pre 1. bod:

V Exceli používame štandardnú funkciu EXP (Syntax nájdete v Pomocníkovi programu Excel).

Záver: , takže exponenciálna funkcia aproximuje experimentálne body horšie ako priamka .

Tu však treba poznamenať, že „horšie“ je ešte neznamená, čo je zle. Teraz som vytvoril graf tejto exponenciálnej funkcie - a tiež prechádza blízko k bodom - natoľko, že bez analytickej štúdie je ťažké povedať, ktorá funkcia je presnejšia.

Tým je riešenie dokončené a vraciam sa k otázke prirodzených hodnôt argumentu. V rôznych štúdiách sú spravidla ekonomické alebo sociologické mesiace, roky alebo iné rovnaké časové intervaly očíslované prirodzeným „X“. Zvážte napríklad takýto problém.

Metóda najmenších štvorcov

V záverečnej lekcii témy sa zoznámime s najznámejšou aplikáciou FNP, ktorý nachádza najširšie uplatnenie v rôznych oblastiach vedy a praxe. Môže to byť fyzika, chémia, biológia, ekonómia, sociológia, psychológia a tak ďalej a tak ďalej. Z vôle osudu sa často musím popasovať s ekonomikou, a preto vám dnes vybavím letenku do úžasnej krajiny tzv. Ekonometria=) ... Ako to nechceš?! Je to tam veľmi dobré - stačí sa rozhodnúť! ...Ale to, čo pravdepodobne určite chcete, je naučiť sa riešiť problémy najmenších štvorcov. A hlavne usilovní čitatelia sa ich naučia riešiť nielen presne, ale aj VEĽMI RÝCHLO ;-) Ale najskôr všeobecné vyjadrenie problému+ súvisiaci príklad:

Nech sa študujú ukazovatele v nejakej tematickej oblasti, ktoré majú kvantitatívne vyjadrenie. Zároveň existujú všetky dôvody domnievať sa, že ukazovateľ závisí od ukazovateľa. Tento predpoklad môže byť vedeckou hypotézou aj založenou na elementárnom zdravom rozume. Nechajme však vedu bokom a preskúmajme chutnejšie oblasti – menovite obchody s potravinami. Označiť podľa:

– obchodný priestor predajne potravín, m2,
- ročný obrat obchodu s potravinami, milióny rubľov.

Je úplne jasné, že čím väčšia je plocha predajne, tým väčší je jej obrat vo väčšine prípadov.

Predpokladajme, že po vykonaní pozorovaní / experimentov / výpočtov / tanca s tamburínou máme k dispozícii číselné údaje:

Pri obchodoch s potravinami je myslím všetko jasné: - toto je plocha 1. predajne, - jej ročný obrat, - plocha 2. predajne, - jej ročný obrat atď. Mimochodom, nie je vôbec potrebné mať prístup k utajovaným materiálom - pomerne presné vyhodnotenie obratu možno získať pomocou matematickej štatistiky. Nenechajte sa však rozptyľovať, kurz komerčnej špionáže je už zaplatený =)

Tabuľkové údaje môžu byť zapísané aj vo forme bodov a zobrazené pre nás obvyklým spôsobom. karteziánsky systém .

Odpovedzme si na dôležitú otázku: koľko bodov je potrebných na kvalitatívnu štúdiu?

Čím väčšie, tým lepšie. Minimálny prípustný set pozostáva z 5-6 bodov. Okrem toho pri malom množstve údajov by do vzorky nemali byť zahrnuté „abnormálne“ výsledky. Takže napríklad malý elitný obchod môže pomôcť rádovo viac ako „ich kolegovia“, čím skresľuje všeobecný vzorec, ktorý je potrebné nájsť!

Ak je to celkom jednoduché, musíme vybrať funkciu, harmonogram ktorý prechádza čo najbližšie k bodom . Takáto funkcia sa nazýva aproximácia (aproximácia - aproximácia) alebo teoretická funkcia . Vo všeobecnosti sa tu okamžite objaví zjavný „predstierač“ - polynóm vysokého stupňa, ktorého graf prechádza VŠETKÝMI bodmi. Táto možnosť je však komplikovaná a často jednoducho nesprávna. (pretože graf sa bude neustále „navíjať“ a zle odráža hlavný trend).

Požadovaná funkcia teda musí byť dostatočne jednoduchá a zároveň primerane odrážať závislosť. Ako asi tušíte, jedna z metód na nájdenie takýchto funkcií je tzv najmenších štvorcov. Najprv analyzujme jeho podstatu všeobecným spôsobom. Nechajte nejakú funkciu aproximovať experimentálne údaje:


Ako vyhodnotiť presnosť tejto aproximácie? Vypočítajme aj rozdiely (odchýlky) medzi experimentálnymi a funkčnými hodnotami (študujeme kresbu). Prvá myšlienka, ktorá príde na myseľ, je odhadnúť, aká veľká je suma, ale problém je, že rozdiely môžu byť negatívne. (Napríklad, ) a odchýlky v dôsledku takéhoto súčtu sa navzájom vyrušia. Preto sa ako odhad presnosti aproximácie navrhuje použiť súčet modulov odchýlky:

alebo v zloženom tvare: (pre tých čo nevedia: je ikona súčtu a - pomocná premenná - "počítadlo", ktoré nadobúda hodnoty od 1 do ) .

Aproximáciou experimentálnych bodov s rôznymi funkciami dostaneme rôzne hodnoty a je zrejmé, kde je tento súčet menší - tá funkcia je presnejšia.

Takáto metóda existuje a volá sa metóda najmenšieho modulu. V praxi sa však výrazne rozšíril. metóda najmenších štvorcov, v ktorom možné záporné hodnoty nie sú eliminované modulom, ale kvadratúrou odchýlok:

, po ktorom úsilie smeruje k výberu takej funkcie, aby súčet kvadrátov odchýlok bol čo najmenší. Odtiaľ vlastne pochádza aj názov metódy.

A teraz sa vrátime k ďalšiemu dôležitému bodu: ako je uvedené vyššie, vybraná funkcia by mala byť pomerne jednoduchá - existuje však aj veľa takýchto funkcií: lineárne , hyperbolický , exponenciálny , logaritmický , kvadratický atď. A, samozrejme, tu by som okamžite rád „zmenšil pole pôsobnosti“. Akú triedu funkcií zvoliť pre výskum? Primitívna, ale účinná technika:

- Najjednoduchší spôsob kreslenia bodov na výkrese a analyzovať ich umiestnenie. Ak majú tendenciu byť v priamej línii, mali by ste hľadať priamka rovnica s optimálnymi hodnotami a . Inými slovami, úlohou je nájsť TAKÉTO koeficienty – tak, aby súčet kvadrátov odchýlok bol najmenší.

Ak sú body umiestnené napr hyperbola, potom je jasné, že lineárna funkcia poskytne zlú aproximáciu. V tomto prípade hľadáme „najpriaznivejšie“ koeficienty pre rovnicu hyperboly - tie, ktoré dávajú minimálny súčet štvorcov .

Teraz si všimnite, že v oboch prípadoch hovoríme o funkcie dvoch premenných, ktorých argumenty sú hľadal možnosti závislosti:

A v podstate potrebujeme vyriešiť štandardný problém – nájsť minimálne funkcie dvoch premenných.

Pripomeňme si náš príklad: Predpokladajme, že body „obchodu“ majú tendenciu byť umiestnené v priamej línii a existuje každý dôvod domnievať sa, že existuje lineárna závislosť obrat z obchodnej oblasti. Nájdite TAKÉTO koeficienty "a" a "be" tak, aby bol súčet kvadrátov odchýlok bol najmenší. Všetko ako obvykle - prvé parciálne deriváty 1. rádu. Podľa pravidlo linearity môžete rozlišovať priamo pod ikonou sumy:

Ak chcete použiť tieto informácie na esej alebo semestrálnu prácu, budem veľmi vďačný za odkaz v zozname zdrojov, nikde nenájdete také podrobné výpočty:

Urobme štandardný systém:

Každú rovnicu zredukujeme o „dvojku“ a navyše „rozdelíme“ súčty:

Poznámka : nezávisle analyzovať, prečo je možné z ikony súčtu vyňať „a“ a „byť“. Mimochodom, formálne sa to dá urobiť so sumou

Prepíšme systém do „aplikovanej“ formy:

potom sa začne kresliť algoritmus na riešenie nášho problému:

Poznáme súradnice bodov? Vieme. Sumy môžeme nájsť? Jednoducho. Skladáme to najjednoduchšie sústava dvoch lineárnych rovníc s dvoma neznámymi("a" a "beh"). Systém riešime napr. Cramerova metóda, výsledkom čoho je stacionárny bod . Kontrola postačujúca podmienka pre extrém, môžeme overiť, že v tomto bode je funkcia dosiahne presne minimálne. Overenie je spojené s dodatočnými výpočtami a preto ho necháme v zákulisí. (v prípade potreby je možné zobraziť chýbajúci rámTu ) . Vyvodzujeme konečný záver:

Funkcia najlepšia cesta (aspoň v porovnaní s akoukoľvek inou lineárnou funkciou) približuje experimentálne body . Zhruba povedané, jeho graf prechádza čo najbližšie k týmto bodom. V tradícii ekonometrie sa nazýva aj výsledná aproximačná funkcia párová lineárna regresná rovnica .

Uvažovaný problém má veľký praktický význam. V situácii s naším príkladom, rovnica umožňuje predpovedať, aký druh obratu ("yig") bude v predajni s jednou alebo druhou hodnotou predajnej plochy (jeden alebo iný význam "x"). Áno, výsledná predpoveď bude len predpoveďou, no v mnohých prípadoch sa ukáže ako celkom presná.

Rozoberiem len jeden problém so „skutočnými“ číslami, keďže v ňom nie sú žiadne ťažkosti – všetky výpočty sú na úrovni školských osnov v 7. – 8. ročníku. V 95 percentách prípadov budete požiadaní, aby ste našli len lineárnu funkciu, ale na samom konci článku ukážem, že nájsť rovnice pre optimálnu hyperbolu, exponent a niektoré ďalšie funkcie nie je o nič zložitejšie.

V skutočnosti zostáva rozdávať sľúbené dobroty – aby ste sa naučili takéto príklady riešiť nielen presne, ale aj rýchlo. Starostlivo študujeme štandard:

Úloha

Ako výsledok štúdia vzťahu medzi dvoma ukazovateľmi sa získali nasledujúce dvojice čísel:

Pomocou metódy najmenších štvorcov nájdite lineárnu funkciu, ktorá najlepšie aproximuje empirickú funkciu (skúsený)údajov. Vytvorte výkres, na ktorom v karteziánskom pravouhlom súradnicovom systéme nakreslite experimentálne body a graf aproximačnej funkcie . Nájdite súčet štvorcových odchýlok medzi empirickými a teoretickými hodnotami. Zistite, či je funkcia lepšia (v zmysle metódy najmenších štvorcov) približné experimentálne body.

Všimnite si, že hodnoty „x“ sú prirodzené hodnoty a to má charakteristický zmysluplný význam, o ktorom budem hovoriť o niečo neskôr; ale, samozrejme, môžu byť zlomkové. Okrem toho v závislosti od obsahu konkrétnej úlohy môžu byť hodnoty „X“ aj „G“ úplne alebo čiastočne záporné. Dostali sme „netvárnu“ úlohu a začíname s ňou Riešenie:

Nájdeme koeficienty optimálnej funkcie ako riešenie systému:

Na účely kompaktnejšieho zápisu možno premennú „counter“ vynechať, pretože už je jasné, že sčítanie sa vykonáva od 1 do .

Je vhodnejšie vypočítať požadované množstvá v tabuľkovej forme:


Výpočty je možné vykonávať na mikrokalkulačke, ale oveľa lepšie je použiť Excel - rýchlejšie a bez chýb; pozrite si krátke video:

Dostávame teda nasledovné systému:

Tu môžete vynásobiť druhú rovnicu 3 a odčítajte 2. od 1. rovnice člen po člene. Ale to je šťastie - v praxi systémy často nie sú nadané a v takýchto prípadoch šetrí Cramerova metóda:
, takže systém má jedinečné riešenie.

Urobme kontrolu. Chápem, že to nechcem, ale prečo preskakovať chyby tam, kde si ich nemôžete nechať ujsť? Nájdené riešenie dosaďte na ľavú stranu každej rovnice systému:

Získajú sa správne časti zodpovedajúcich rovníc, čo znamená, že systém je vyriešený správne.

Požadovaná aproximačná funkcia: – od všetky lineárne funkcie najlepšie sa ním priblížia experimentálne údaje.

Na rozdiel od rovno závislosť obratu predajne od jej plochy, zistená závislosť je obrátene (zásada „čím viac – tým menej“), a túto skutočnosť okamžite odhalí negatív uhlový koeficient. Funkcia nám hovorí, že so zvýšením určitého ukazovateľa o 1 jednotku klesá hodnota závislého ukazovateľa priemer o 0,65 jednotky. Ako sa hovorí, čím vyššia je cena pohánky, tým menej sa predáva.

Na vykreslenie aproximačnej funkcie nájdeme dve jej hodnoty:

a vykonajte kreslenie:

Vybudovaná čiara je tzv trendová čiara (konkrétne lineárna trendová čiara, t. j. vo všeobecnom prípade trend nemusí byť nevyhnutne priamka). Výraz „byť v trende“ pozná každý a myslím si, že tento výraz nepotrebuje ďalší komentár.

Vypočítajte súčet štvorcových odchýlok medzi empirickými a teoretickými hodnotami. Geometricky ide o súčet druhých mocnín dĺžok „karmínových“ segmentov (dve z nich sú také malé, že ich ani nevidíte).

Zhrňme si výpočty do tabuľky:


Môžu byť opäť vykonané ručne, len v prípade, že uvediem príklad pre 1. bod:

ale oveľa efektívnejšie je urobiť už známy spôsob:

Zopakujme si: aký je zmysel výsledku? Od všetky lineárne funkcie funkcia má najmenší exponent, teda vo svojej rodine je to najlepšia aproximácia. A tu, mimochodom, posledná otázka problému nie je náhodná: čo ak navrhovaná exponenciálna funkcia bude lepšie aproximovať experimentálne body?

Nájdite zodpovedajúci súčet štvorcových odchýlok - aby som ich rozlíšil, označím ich písmenom "epsilon". Technika je úplne rovnaká:

A opäť pre každý výpočet požiaru pre 1. bod:

V Exceli používame štandardnú funkciu EXP (Syntax nájdete v Pomocníkovi programu Excel).

Záver:, čo znamená, že exponenciálna funkcia aproximuje experimentálne body horšie ako priamka.

Tu však treba poznamenať, že „horšie“ je ešte neznamená, čo je zle. Teraz som vytvoril graf tejto exponenciálnej funkcie - a tiež prechádza blízko k bodom - natoľko, že bez analytickej štúdie je ťažké povedať, ktorá funkcia je presnejšia.

Tým je riešenie dokončené a vraciam sa k otázke prirodzených hodnôt argumentu. V rôznych štúdiách sú spravidla ekonomické alebo sociologické mesiace, roky alebo iné rovnaké časové intervaly očíslované prirodzeným „X“. Zvážte napríklad nasledujúci problém:

O maloobchodnom obrate predajne za prvý polrok máme nasledujúce údaje:

Pomocou lineárneho analytického zarovnania nájdite objem predaja za júl.

Áno, žiadny problém: očíslujeme mesiace 1, 2, 3, 4, 5, 6 a použijeme zvyčajný algoritmus, v dôsledku čoho dostaneme rovnicu – jediné, čo sa týka času, je zvyčajne písmeno „te " (aj keď to nie je kritické). Výsledná rovnica ukazuje, že v prvom polroku sa obrat zvýšil v priemere o 27,74 CU. za mesiac. Získajte predpoveď na júl (7. mesiac): EÚ.

A podobné úlohy – tma je tma. Tí, ktorí si to želajú, môžu využiť doplnkovú službu, a to moju Excel kalkulačka (demo verzia), ktorý problém vyrieši takmer okamžite! K dispozícii je pracovná verzia programu výmenou za alebo pre symbolická platba.

Na konci lekcie stručná informácia o hľadaní závislostí niektorých ďalších typov. V skutočnosti nie je čo povedať, pretože základný prístup a algoritmus riešenia zostávajú rovnaké.

Predpokladajme, že umiestnenie experimentálnych bodov pripomína hyperbolu. Potom, aby ste našli koeficienty najlepšej hyperboly, musíte nájsť minimum funkcie - tí, ktorí chcú, môžu vykonať podrobné výpočty a prísť k podobnému systému:

Z formálneho technického hľadiska sa získava z „lineárneho“ systému (označme to hviezdičkou) nahradenie "x" znakom . No tie sumy vypočítajte, po ktorom sa dosiahnu optimálne koeficienty "a" a "be" po ruke.

Ak existujú všetky dôvody domnievať sa, že body sú usporiadané pozdĺž logaritmickej krivky, potom hľadať optimálne hodnoty a nájsť minimum funkcie . Formálne by sa v systéme (*) malo nahradiť:

Pri výpočte v Exceli použite funkciu LN. Priznám sa, že nebude pre mňa ťažké vytvárať kalkulačky pre každý z uvažovaných prípadov, no predsa len bude lepšie, ak si výpočty „naprogramujete“ sami. Videonávody, ktoré vám pomôžu.

Pri exponenciálnej závislosti je situácia o niečo komplikovanejšia. Aby sme to zredukovali na lineárny prípad, vezmeme logaritmus funkcie a použijeme vlastnosti logaritmu:

Teraz, porovnaním získanej funkcie s lineárnou funkciou , dospejeme k záveru, že v systéme (*) musí byť nahradené , a - . Pre pohodlie uvádzame:

Upozorňujeme, že systém je riešený vzhľadom na a , a preto po nájdení koreňov nesmiete zabudnúť nájsť samotný koeficient.

Na priblíženie experimentálnych bodov optimálna parabola , treba nájsť minimálne funkcie troch premenných . Po vykonaní štandardných akcií dostaneme nasledujúce „pracovné“ systému:

Áno, samozrejme, je tu viac súm, ale pri používaní vašej obľúbenej aplikácie nie sú žiadne ťažkosti. A nakoniec vám poviem, ako rýchlo skontrolovať pomocou Excelu a vytvoriť požadovanú trendovú čiaru: vytvorte bodový graf, vyberte ľubovoľný z bodov pomocou myši a kliknite pravým tlačidlom myši vyberte možnosť "Pridať trendovú čiaru". Ďalej vyberte typ grafu a na karte "Možnosti" aktivovať možnosť "Zobraziť rovnicu na grafe". OK

Ako vždy chcem ukončiť článok krásnou frázou a takmer som napísal „Buďte v trende!“. Časom však zmenil názor. A nie preto, že je to formulované. Neviem ako kto, ale mne sa vôbec nechce nasledovať propagovaný americký a hlavne európsky trend =) Preto prajem každému z vás, aby ste sa držali svojej línie!

http://www.grandars.ru/student/vysshaya-matematika/metod-naimenshih-kvadratov.html

Metóda najmenších štvorcov je jednou z najbežnejších a najrozvinutejších vďaka jej jednoduchosť a efektívnosť metód odhadu parametrov lineárnych ekonometrických modelov. Zároveň je potrebné dbať na istú opatrnosť pri jeho používaní, pretože modely s jeho pomocou nemusia spĺňať množstvo požiadaviek na kvalitu svojich parametrov a v dôsledku toho „nezodpovedajú“ vzorom vývoja procesov.

Pozrime sa podrobnejšie na postup odhadu parametrov lineárneho ekonometrického modelu metódou najmenších štvorcov. Takýto model vo všeobecnej forme môže byť reprezentovaný rovnicou (1.2):

yt = a 0 + a 1 x 1t +...+ a n x nt + ε t.

Počiatočný údaj pri odhade parametrov a 0 , a 1 ,..., a n je vektor hodnôt závislej premennej r= (y 1 , y 2 , ... , y T)“ a matica hodnôt nezávislých premenných

v ktorom prvý stĺpec pozostávajúci z jednotiek zodpovedá koeficientu modelu .

Metóda najmenších štvorcov dostala svoj názov na základe základného princípu, že odhady parametrov získané na jej základe by mali spĺňať: súčet štvorcov chyby modelu by mal byť minimálny.

Príklady riešenia úloh metódou najmenších štvorcov

Príklad 2.1. Obchodný podnik má sieť 12 predajní, o ktorých činnosti sú uvedené v tabuľke. 2.1.

Vedenie spoločnosti by chcelo vedieť, ako závisí veľkosť ročného obratu od predajnej plochy predajne.

Tabuľka 2.1

Riešenie najmenších štvorcov. Označme - ročný obrat -tého obchodu, milióny rubľov; - predajná plocha predajne, tisíc m 2.

Obr.2.1. Bodový graf pre príklad 2.1

Určiť formu funkčného vzťahu medzi premennými a zostrojiť bodový graf (obr. 2.1).

Na základe rozptylového diagramu môžeme konštatovať, že ročný obrat je pozitívne závislý od predajnej plochy (t.j. y sa zvýši s rastom o ). Najvhodnejšia forma funkčného spojenia je lineárne.

Informácie pre ďalšie výpočty sú uvedené v tabuľke. 2.2. Pomocou metódy najmenších štvorcov odhadujeme parametre lineárneho jednofaktorového ekonometrického modelu

Tabuľka 2.2

teda

Preto so zvýšením obchodnej oblasti o 1 000 m 2, ak sú ostatné veci rovnaké, priemerný ročný obrat sa zvyšuje o 67,8871 milióna rubľov.

Príklad 2.2. Vedenie podniku si všimlo, že ročný obrat nezávisí len od predajnej plochy predajne (pozri príklad 2.1), ale aj od priemerného počtu návštevníkov. Príslušné informácie sú uvedené v tabuľke. 2.3.

Tabuľka 2.3

Riešenie. Označte - priemerný počet návštevníkov obchodu za deň, tisíc ľudí.

Určiť formu funkčného vzťahu medzi premennými a zostrojiť bodový graf (obr. 2.2).

Na základe rozptylového diagramu môžeme konštatovať, že ročný obrat pozitívne súvisí s priemerným počtom návštevníkov za deň (t. j. y sa bude zvyšovať s rastom o ). Forma funkčnej závislosti je lineárna.

Ryža. 2.2. Napríklad bodový graf 2.2

Tabuľka 2.4

Vo všeobecnosti je potrebné určiť parametre dvojfaktorového ekonometrického modelu

y t \u003d a 0 + a 1 x 1 t + a 2 x 2 t + ε t

Informácie potrebné pre ďalšie výpočty sú uvedené v tabuľke. 2.4.

Odhadnime parametre lineárneho dvojfaktorového ekonometrického modelu metódou najmenších štvorcov.

teda

Z vyhodnotenia koeficientu = 61,6583 vyplýva, že za rovnakých okolností pri zvýšení obchodnej plochy o 1 tisíc m 2 vzrastie ročný obrat v priemere o 61,6583 milióna rubľov.

Z odhadu koeficientu = 2,2748 vyplýva, že za nezmenených okolností pri náraste priemernej návštevnosti na 1 tisíc ľudí. za deň sa ročný obrat zvýši v priemere o 2,2748 milióna rubľov.

Príklad 2.3. Použitie informácií uvedených v tabuľke. 2.2 a 2.4 odhadnite parameter jednofaktorového ekonometrického modelu

kde je stredná hodnota ročného obratu -tého obchodu, milión rubľov; - centrovaná hodnota priemerného denného počtu návštevníkov t-tej predajne, tisíc ľudí. (pozri príklady 2.1-2.2).

Riešenie.Ďalšie informácie potrebné na výpočty sú uvedené v tabuľke. 2.5.

Tabuľka 2.5

Pomocou vzorca (2.35) dostaneme

teda

http://www.cleverstudents.ru/articles/mnk.html

Príklad.

Experimentálne údaje o hodnotách premenných X A pri sú uvedené v tabuľke.

Výsledkom ich zosúladenia je funkcia

Použitím metóda najmenších štvorcov, aproximovať tieto údaje s lineárnou závislosťou y=ax+b(nájdite možnosti A A b). Zistite, ktorý z dvoch riadkov je lepší (v zmysle metódy najmenších štvorcov) zarovnáva experimentálne údaje. Urobte si kresbu.

Riešenie.

V našom príklade n=5. Tabuľku vypĺňame pre pohodlie výpočtu súm, ktoré sú zahrnuté vo vzorcoch požadovaných koeficientov.

Hodnoty vo štvrtom riadku tabuľky sa získajú vynásobením hodnôt v 2. riadku hodnotami v 3. riadku pre každé číslo i.

Hodnoty v piatom riadku tabuľky sa získajú umocnením hodnôt v 2. riadku pre každé číslo i.

Hodnoty posledného stĺpca tabuľky sú súčty hodnôt v riadkoch.

Na zistenie koeficientov používame vzorce metódy najmenších štvorcov A A b. Nahradíme v nich zodpovedajúce hodnoty z posledného stĺpca tabuľky:

teda y = 0,165 x + 2,184 je požadovaná približná priamka.

Zostáva zistiť, ktorý z riadkov y = 0,165 x + 2,184 alebo lepšie aproximuje pôvodné údaje, t. j. urobiť odhad pomocou metódy najmenších štvorcov.

Dôkaz.

Takže keď sa nájde A A b funkcia nadobúda najmenšiu hodnotu, je potrebné, aby v tomto bode bola matica kvadratického tvaru diferenciálu druhého rádu pre funkciu bol pozitívny jednoznačný. Ukážme to.

Rozdiel druhého rádu má tvar:

Teda

Preto má matica kvadratickej formy tvar

a hodnoty prvkov nezávisia od A A b.

Ukážme, že matica je pozitívne definitívna. To si vyžaduje, aby uhol maloletých bol pozitívny.

Uhlová moll prvého rádu . Nerovnosť je prísna, keďže body

Po zarovnaní dostaneme funkciu v nasledujúcom tvare: g (x) = x + 1 3 + 1 .

Tieto údaje môžeme aproximovať lineárnym vzťahom y = a x + b výpočtom príslušných parametrov. Aby sme to dosiahli, budeme musieť použiť takzvanú metódu najmenších štvorcov. Budete tiež musieť urobiť nákres, aby ste skontrolovali, ktorá čiara najlepšie zarovná experimentálne údaje.

Yandex.RTB R-A-339285-1

Čo presne je OLS (metóda najmenších štvorcov)

Hlavná vec, ktorú musíme urobiť, je nájsť také koeficienty lineárnej závislosti, pri ktorých bude hodnota funkcie dvoch premenných F (a, b) = ∑ i = 1 n (y i - (a x i + b)) 2 najmenší. Inými slovami, pre určité hodnoty a a b bude mať súčet štvorcových odchýlok prezentovaných údajov od výslednej priamky minimálnu hodnotu. Toto je význam metódy najmenších štvorcov. Na vyriešenie príkladu nám stačí nájsť extrém funkcie dvoch premenných.

Ako odvodiť vzorce na výpočet koeficientov

Na odvodenie vzorcov na výpočet koeficientov je potrebné zostaviť a vyriešiť sústavu rovníc s dvoma premennými. Na tento účel vypočítame parciálne derivácie výrazu F (a , b) = ∑ i = 1 n (y i - (a x i + b)) 2 vzhľadom na a a b a prirovnáme ich k 0 .

δ F (a, b) δ a = 0 δ F (a, b) δ b = 0 ⇔ - 2 ∑ i = 1 n (y i - (a x i + b)) x i = 0 - 2 ∑ i = 1 n ( y i - (a x i + b)) = 0 ⇔ a ∑ i = 1 n x i 2 + b ∑ i = 1 n x i = ∑ i = 1 n x i y i a ∑ i = 1 n x i + ∑ i = 1 n b = ∇ y i = ∇ y i = ∑ i = 1 n x i 2 + b ∑ i = 1 n x i = ∑ i = 1 n x i y i a ∑ i = 1 n x i + n b = ∑ i = 1 n y i

Na vyriešenie sústavy rovníc môžete použiť ľubovoľné metódy, napríklad substitúciu alebo Cramerovu metódu. V dôsledku toho by sme mali dostať vzorce, ktoré vypočítajú koeficienty pomocou metódy najmenších štvorcov.

n ∑ i = 1 n x i y i - ∑ i = 1 n x i ∑ i = 1 n y i n ∑ i = 1 n - ∑ i = 1 n x i 2 b = ∑ i = 1 n y i - a ∑ x i = 1 n

Vypočítali sme hodnoty premenných, pre ktoré je funkcia
F (a , b) = ∑ i = 1 n (y i - (a x i + b)) 2 nadobudne minimálnu hodnotu. V treťom odseku si ukážeme, prečo je to tak.

Ide o aplikáciu metódy najmenších štvorcov v praxi. Jeho vzorec, ktorý sa používa na nájdenie parametra a, obsahuje ∑ i = 1 n x i , ∑ i = 1 n y i , ∑ i = 1 n x i y i , ∑ i = 1 n x i 2 a parameter
n - označuje množstvo experimentálnych údajov. Odporúčame vypočítať každú sumu samostatne. Hodnota koeficientu b sa vypočíta bezprostredne po a .

Vráťme sa k pôvodnému príkladu.

Príklad 1

Tu máme n rovné päť. Aby sme uľahčili výpočet požadovaných súm zahrnutých vo vzorcoch koeficientov, vyplníme tabuľku.

Riešenie

Štvrtý riadok obsahuje údaje získané vynásobením hodnôt z druhého riadku hodnotami tretieho pre každú jednotlivú i . Piaty riadok obsahuje údaje z druhého štvorca. Posledný stĺpec zobrazuje súčty hodnôt jednotlivých riadkov.

Na výpočet koeficientov a a b, ktoré potrebujeme, použijeme metódu najmenších štvorcov. Za týmto účelom nahraďte požadované hodnoty z posledného stĺpca a vypočítajte súčty:

n ∑ i = 1 n x i y i - ∑ i = 1 n x i ∑ i = 1 n y i n ∑ i = 1 n - ∑ i = 1 n x i 2 b = ∑ i = 1 n y i - a ∑ i 3 a = n 8 - 12 12, 9 5 46 - 12 2 b = 12, 9 - a 12 5 ⇒ a ≈ 0, 165 b ≈ 2, 184

Dostali sme, že požadovaná aproximačná priamka bude vyzerať ako y = 0, 165 x + 2, 184. Teraz musíme určiť, ktorá čiara bude najlepšie aproximovať údaje - g (x) = x + 1 3 + 1 alebo 0 , 165 x + 2 , 184 . Urobme odhad pomocou metódy najmenších štvorcov.

Na výpočet chyby potrebujeme nájsť súčty kvadrátov odchýlok údajov od priamok σ 1 = ∑ i = 1 n (y i - (a x i + b i)) 2 a σ 2 = ∑ i = 1 n (y i - g (x i)) 2, minimálna hodnota bude zodpovedať vhodnejšej čiare.

σ 1 = ∑ i = 1 n (y i - (a x i + b i)) 2 = = ∑ i = 1 5 (y i - (0, 165 x i + 2, 184)) 2 ≈ 0, 019 σ 2 = ∑ i = 1 n (y i - g (x i)) 2 = = ∑ i = 1 5 (y i - (x i + 1 3 + 1)) 2 ≈ 0 , 096

odpoveď: keďže σ 1< σ 2 , то прямой, наилучшим образом аппроксимирующей исходные данные, будет
y = 0,165 x + 2,184.

Metóda najmenších štvorcov je jasne znázornená na grafickom znázornení. Červená čiara označuje priamku g (x) = x + 1 3 + 1, modrá čiara označuje y = 0, 165 x + 2, 184. Nespracované údaje sú označené ružovými bodkami.

Vysvetlíme, prečo sú potrebné práve aproximácie tohto typu.

Môžu byť použité v problémoch, ktoré vyžadujú vyhladzovanie údajov, ako aj v tých, kde je potrebné údaje interpolovať alebo extrapolovať. Napríklad v probléme diskutovanom vyššie je možné nájsť hodnotu pozorovanej veličiny y pri x = 3 alebo pri x = 6 . Takýmto príkladom sme venovali samostatný článok.

Dôkaz metódy LSM

Aby funkcia nadobudla minimálnu hodnotu pri výpočte a a b, je potrebné, aby v danom bode matica kvadratického tvaru diferenciálu funkcie tvaru F (a, b) = ∑ i = 1 n (y i - (a x i + b)) 2 byť pozitívne určité. Poďme si ukázať, ako by to malo vyzerať.

Príklad 2

Máme diferenciál druhého rádu v nasledujúcom tvare:

d 2 F (a ; b) = δ 2 F (a ; b) δ a 2 d 2 a + 2 δ 2 F (a ; b) δ a δ b d a d b + δ 2 F (a ; b) δ b 2 d 2b

Riešenie

δ 2 F (a ; b) δ a 2 = δ δ F (a ; b) δ a δ a = = δ - 2 ∑ i = 1 n (y i - (a x i + b)) x i δ a = 2 ∑ i = 1 n (x i) 2 δ 2 F (a ; b) δ a δ b = δ δ F (a ; b) δ a δ b = = δ - 2 ∑ i = 1 n (y i - (a x i + b) ) x i δ b = 2 ∑ i = 1 n x i δ 2 F (a ; b) δ b 2 = δ δ F (a ; b) δ b δ b = δ - 2 ∑ i = 1 n (y i - (a x i + b)) δ b = 2 ∑ i = 1 n (1) = 2 n

Inými slovami, možno to zapísať takto: d 2 F (a ; b) = 2 ∑ i = 1 n (x i) 2 d 2 a + 2 2 ∑ x i i = 1 n d a d b + (2 n) d 2 b .

Získali sme maticu kvadratickej formy M = 2 ∑ i = 1 n (x i) 2 2 ∑ i = 1 n x i 2 ∑ i = 1 n x i 2 n .

V tomto prípade sa hodnoty jednotlivých prvkov nezmenia v závislosti od a a b . Je táto matica pozitívna definitívna? Aby sme odpovedali na túto otázku, skontrolujme, či sú jeho uhlové neplnoleté osoby pozitívne.

Vypočítajte uhlovú minor prvého rádu: 2 ∑ i = 1 n (x i) 2 > 0 . Keďže body x i sa nezhodujú, nerovnosť je prísna. To budeme mať na pamäti pri ďalších výpočtoch.

Vypočítame uhlovú minor druhého rádu:

d e t (M) = 2 ∑ i = 1 n (x i) 2 2 ∑ i = 1 n x i 2 ∑ i = 1 n x i 2 n = 4 n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2

Potom pristúpime k dôkazu nerovnosti n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 > 0 pomocou matematickej indukcie.

1. Pozrime sa, či táto nerovnosť platí pre ľubovoľné n . Vezmime si 2 a vypočítame:

2 ∑ i = 1 2 (x i) 2 - ∑ i = 1 2 x i 2 = 2 x 1 2 + x 2 2 - x 1 + x 2 2 = = x 1 2 - 2 x 1 x 2 + x 2 2 = x 1 + x 2 2 > 0

Dostali sme správnu rovnosť (ak sa hodnoty x 1 a x 2 nezhodujú).

1. Predpokladajme, že táto nerovnosť bude platiť pre n , t.j. n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 > 0 – pravda.
2. Teraz dokážme platnosť pre n + 1 , t.j. že (n + 1) ∑ i = 1 n + 1 (x i) 2 - ∑ i = 1 n + 1 x i 2 > 0, ak n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 > 0 .

Vypočítame:

(n + 1) ∑ i = 1 n + 1 (x i) 2 - ∑ i = 1 n + 1 x i 2 = = (n + 1) ∑ i = 1 n (x i) 2 + x n + 1 2 - ∑ i = 1 n x i + x n + 1 2 = = n ∑ i = 1 n (x i) 2 + n x n + 1 2 + ∑ i = 1 n (x i) 2 + x n + 1 2 - - ∑ i = 1 n x i 2 + 2 x n + 1 ∑ i = 1 n x i + x n + 1 2 = = ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 + n x n + 1 2 - x n + 1 ∑ i = 1 n x i + 1 ∑ i n (x i) 2 = = ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 + x n + 1 2 - 2 x n + 1 x 1 + x 1 2 + + x n + 1 2 - 2 x n + 1 x 2 + x 2 2 + . . . + x n + 1 2 - 2 x n + 1 x 1 + x n 2 = = n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 + + (x n + 1 - x 1) 2 + (x n + 1 - x 2) 2 + . . . + (x n - 1 - x n) 2 > 0

Výraz uzavretý v zložených zátvorkách bude väčší ako 0 (na základe toho, čo sme predpokladali v kroku 2) a ostatné výrazy budú väčšie ako 0, pretože sú to všetky druhé mocniny čísel. Dokázali sme nerovnosť.

odpoveď: nájdené a a b budú zodpovedať najmenšej hodnote funkcie F (a, b) = ∑ i = 1 n (y i - (a x i + b)) 2, čo znamená, že sú to požadované parametre metódy najmenších štvorcov. (LSM).

Ak si všimnete chybu v texte, zvýraznite ju a stlačte Ctrl+Enter

Metóda najmenších štvorcov (LSM) umožňuje odhadnúť rôzne veličiny pomocou výsledkov mnohých meraní obsahujúcich náhodné chyby.

Charakteristika MNC

Hlavnou myšlienkou tejto metódy je, že súčet štvorcových chýb sa považuje za kritérium presnosti riešenia problému, ktoré sa má minimalizovať. Pri použití tejto metódy je možné použiť numerický aj analytický prístup.

Konkrétne, ako numerická implementácia, metóda najmenších štvorcov zahŕňa vykonanie čo najväčšieho počtu meraní neznámej náhodnej premennej. Navyše, čím viac výpočtov, tým presnejšie bude riešenie. Na tomto súbore výpočtov (počiatočných údajov) sa získa ďalší súbor navrhnutých riešení, z ktorých sa potom vyberie to najlepšie. Ak je množina riešení parametrizovaná, potom sa metóda najmenších štvorcov zredukuje na nájdenie optimálnej hodnoty parametrov.

Ako analytický prístup k implementácii LSM na súbore počiatočných údajov (meraní) a navrhovanom súbore riešení sú definované niektoré (funkčné), ktoré možno vyjadriť pomocou vzorca získaného ako určitú hypotézu, ktorú je potrebné potvrdiť. V tomto prípade je metóda najmenších štvorcov redukovaná na nájdenie minima tejto funkcionality na množine štvorcových chýb počiatočných údajov.

Všimnite si, že nie samotné chyby, ale druhé mocniny chýb. prečo? Faktom je, že často sú odchýlky meraní od presnej hodnoty pozitívne aj negatívne. Pri určovaní priemeru môže jednoduchý súčet viesť k nesprávnemu záveru o kvalite odhadu, pretože vzájomné zrušenie kladných a záporných hodnôt zníži vzorkovaciu silu súboru meraní. A následne aj presnosť hodnotenia.

Aby sa tomu zabránilo, štvorcové odchýlky sa spočítajú. Ba čo viac, na vyrovnanie rozmeru nameranej hodnoty a konečného odhadu sa na extrakciu používa súčet štvorcových chýb.

Niektoré aplikácie nadnárodných spoločností

MNC sa široko používa v rôznych oblastiach. Napríklad v teórii pravdepodobnosti a matematickej štatistike sa metóda používa na určenie takej charakteristiky náhodnej premennej, ako je štandardná odchýlka, ktorá určuje šírku rozsahu hodnôt náhodnej premennej.

• tutoriál

Úvod

Som počítačový programátor. Najväčší skok vo svojej kariére som urobil, keď som sa naučil povedať: "Ničomu nerozumiem!" Teraz sa nehanbím povedať osvetľovačovi vedy, že mi robí prednášku, že nerozumiem, o čom ona, svetlica, so mnou hovorí. A je to veľmi ťažké. Áno, je ťažké a trápne priznať, že to neviete. Kto sa rád prizná, že nevie základy niečoho-tam. Z titulu svojej profesie musím absolvovať veľké množstvo prezentácií a prednášok, kde, priznám sa, v drvivej väčšine prípadov pociťujem ospalosť, pretože ničomu nerozumiem. A nerozumiem, pretože obrovský problém súčasnej situácie vo vede spočíva v matematike. Predpokladá, že všetci študenti poznajú absolútne všetky oblasti matematiky (čo je absurdné). Priznať, že neviete, čo je derivát (že toto je trochu neskôr), je škoda.

Ale naučil som sa povedať, že neviem, čo je násobenie. Áno, neviem, čo je subalgebra nad Lieovou algebrou. Áno, neviem, prečo sú v živote potrebné kvadratické rovnice. Mimochodom, ak ste si istí, že viete, potom sa máme o čom rozprávať! Matematika je séria trikov. Matematici sa snažia zmiasť a zastrašiť verejnosť; kde nie je zmätok, povesť, autorita. Áno, je prestížne hovoriť čo najabstraktnejším jazykom, čo je samo o sebe úplný nezmysel.

Viete, čo je derivát? S najväčšou pravdepodobnosťou mi poviete o limite rozdielového vzťahu. V prvom ročníku matematiky na Petrohradskej štátnej univerzite ma Viktor Petrovič Khavin definované derivácia ako koeficient prvého člena Taylorovho radu funkcie v bode (bola to samostatná gymnastika na určenie Taylorovho radu bez derivácií). Dlho som sa na tejto definícii smial, až som konečne pochopil, o čo ide. Derivácia nie je nič iné ako len miera toho, nakoľko je funkcia, ktorú derivujeme, podobná funkcii y=x, y=x^2, y=x^3.

Teraz mám tú česť prednášať študentom, ktorí strach matematiky. Ak sa bojíte matematiky - sme na ceste. Akonáhle sa pokúsite prečítať nejaký text a bude sa vám zdať, že je prehnane komplikovaný, tak vedzte, že je napísaný zle. Tvrdím, že neexistuje jediná oblasť matematiky, o ktorej by sa nedalo hovoriť „na prstoch“ bez straty presnosti.

Výzva pre blízku budúcnosť: Inštruoval som svojich študentov, aby pochopili, čo je lineárny-kvadratický regulátor. Nehanbite sa, premárnite tri minúty svojho života, nasledujte odkaz. Ak niečomu nerozumiete, sme na ceste. Ja (profesionálny matematik-programátor) som tiež ničomu nerozumel. A uisťujem vás, že sa to dá vyriešiť „na prstoch“. Momentálne neviem, čo to je, ale ubezpečujem vás, že na to prídeme.

Takže prvá prednáška, ktorú dám svojim študentom po tom, ako ku mne zdesene pribehnú so slovami, že lineárny kvadratický regulátor je strašná chyba, ktorú nikdy v živote nezvládnete, je metódy najmenších štvorcov. Viete riešiť lineárne rovnice? Ak čítate tento text, tak s najväčšou pravdepodobnosťou nie.

Takže ak sú dané dva body (x0, y0), (x1, y1), napríklad (1,1) a (3,2), úlohou je nájsť rovnicu priamky prechádzajúcej týmito dvoma bodmi:

ilustrácie

Táto priamka by mala mať rovnicu, ako je táto:

Alfa a beta sú nám neznáme, ale známe sú dva body tejto čiary:

Túto rovnicu môžete napísať v maticovom tvare:

Tu by sme mali urobiť lyrickú odbočku: čo je matrica? Matica nie je nič iné ako dvojrozmerné pole. Toto je spôsob ukladania údajov, nemali by sa mu dávať žiadne ďalšie hodnoty. Je na nás, ako presne interpretovať určitú maticu. Periodicky to budem interpretovať ako lineárne zobrazenie, periodicky ako kvadratickú formu a niekedy jednoducho ako množinu vektorov. Toto všetko bude objasnené v kontexte.

Nahraďme konkrétne matice ich symbolickým znázornením:

Potom (alfa, beta) možno ľahko nájsť:

Konkrétnejšie pre naše predchádzajúce údaje:

Čo vedie k nasledujúcej rovnici priamky prechádzajúcej bodmi (1,1) a (3,2):

Dobre, tu je všetko jasné. A nájdime rovnicu priamky prechádzajúcej cez tri body: (x0,y0), (x1,y1) a (x2,y2):

Oh-och-och, ale máme tri rovnice pre dve neznáme! Štandardný matematik povie, že neexistuje žiadne riešenie. Čo povie programátor? A najprv prepíše predchádzajúci systém rovníc v nasledujúcom tvare:

V našom prípade sú vektory i, j, b trojrozmerné, preto (vo všeobecnom prípade) neexistuje riešenie tohto systému. Akýkoľvek vektor (alpha\*i + beta\*j) leží v rovine preklenutej vektormi (i, j). Ak b nepatrí do tejto roviny, potom neexistuje riešenie (rovnosť v rovnici nemožno dosiahnuť). Čo robiť? Hľadajme kompromis. Označme podľa e (alfa, beta) ako presne sme nedosiahli rovnosť:

A túto chybu sa pokúsime minimalizovať:

Prečo štvorec?

Hľadáme nielen minimum normy, ale aj minimum druhej mocniny normy. prečo? Samotný minimálny bod sa zhoduje a štvorec dáva hladkú funkciu (kvadratická funkcia argumentov (alfa,beta)), zatiaľ čo len dĺžka dáva funkciu vo forme kužeľa, nediferencovateľného v minimálnom bode. Brr. Námestie je pohodlnejšie.

Je zrejmé, že chyba je minimalizovaná, keď vektor e ortogonálne k rovine preklenutej vektormi i A j.

Ilustračné

Inými slovami: hľadáme takú priamku, aby súčet druhých mocnín vzdialeností od všetkých bodov k tejto priamke bol minimálny:

AKTUALIZÁCIA: tu mám zárubňu, vzdialenosť k čiare by sa mala merať vertikálne, nie ortografická projekcia. Tento komentátor má pravdu.

Ilustračné

Úplne inými slovami (opatrne, zle formalizované, ale malo by to byť jasné na prstoch): vezmeme všetky možné čiary medzi všetkými pármi bodov a hľadáme priemernú čiaru medzi všetkými:

Ilustračné

Ďalšie vysvetlenie na prstoch: medzi všetky dátové body (tu máme tri) a čiaru, ktorú hľadáme, pripevníme pružinu a čiara rovnovážneho stavu je presne to, čo hľadáme.

Kvadratické minimum tvaru

Inými slovami, hľadáme vektor x=(alfa, beta) taký, že:

Pripomínam vám, že tento vektor x=(alfa, beta) je minimum kvadratickej funkcie ||e(alfa, beta)||^2:

Tu je užitočné pripomenúť, že maticu možno interpretovať rovnako ako kvadratickú formu, napríklad maticu identity ((1,0), (0,1)) možno interpretovať ako funkciu x^2 + y ^2:

kvadratická forma

Celá táto gymnastika je známa ako lineárna regresia.

Laplaceova rovnica s Dirichletovou okrajovou podmienkou

Pôvodný záväzok je k dispozícii. Aby som minimalizoval externé závislosti, zobral som kód môjho softvérového renderera, už na Habré. Na vyriešenie lineárneho systému používam OpenNL , je to skvelý riešič, ale jeho inštalácia je veľmi náročná: musíte skopírovať dva súbory (.h + .c) do priečinka projektu. Celé vyhladenie sa vykonáva pomocou nasledujúceho kódu:

Pre (int d=0; d<3; d++) { nlNewContext(); nlSolverParameteri(NL_NB_VARIABLES, verts.size()); nlSolverParameteri(NL_LEAST_SQUARES, NL_TRUE); nlBegin(NL_SYSTEM); nlBegin(NL_MATRIX); for (int i=0; i<(int)verts.size(); i++) { nlBegin(NL_ROW); nlCoefficient(i, 1); nlRightHandSide(verts[i][d]); nlEnd(NL_ROW); } for (unsigned int i=0; i&face = tváre[i]; pre (int j=0; j<3; j++) { nlBegin(NL_ROW); nlCoefficient(face[ j ], 1); nlCoefficient(face[(j+1)%3], -1); nlEnd(NL_ROW); } } nlEnd(NL_MATRIX); nlEnd(NL_SYSTEM); nlSolve(); for (int i=0; i<(int)verts.size(); i++) { verts[i][d] = nlGetVariable(i); } }

Súradnice X, Y a Z sú oddeliteľné, hladkám ich samostatne. To znamená, že riešim tri sústavy lineárnych rovníc, každú s rovnakým počtom premenných ako je počet vrcholov v mojom modeli. Prvých n riadkov matice A má iba jednu 1 na riadok a prvých n riadkov vektora b má pôvodné súradnice modelu. To znamená, že prepojím novú pozíciu vrcholu a starú pozíciu vrcholu - nové by nemali byť príliš ďaleko od starých.

Všetky nasledujúce riadky matice A (faces.size()*3 = počet hrán všetkých trojuholníkov v mriežke) majú jeden výskyt 1 a jeden výskyt -1, pričom vektor b má nulové zložky oproti. To znamená, že na každý okraj našej trojuholníkovej siete vložím pružinu: všetky okraje sa snažia získať rovnaký vrchol ako ich počiatočný a koncový bod.

Ešte raz: všetky vrcholy sú premenné a nemôžu sa odchýliť ďaleko od svojej pôvodnej polohy, ale zároveň sa snažia navzájom podobať.

Tu je výsledok:

Všetko by bolo v poriadku, model je naozaj vyhladený, no vzdialil sa od pôvodného okraja. Poďme trochu zmeniť kód:

Pre (int i=0; i<(int)verts.size(); i++) { float scale = border[i] ? 1000: 1; nlBegin(NL_ROW); nlCoefficient(i, scale); nlRightHandSide(scale*verts[i][d]); nlEnd(NL_ROW); }

V našej matici A pre vrcholy, ktoré sú na okraji, pridávam nie riadok z kategórie v_i = verts[i][d], ale 1000*v_i = 1000*verts[i][d]. Čo sa tým mení? A to mení našu kvadratickú formu chyby. Teraz jedna odchýlka od vrcholu na okraji nebude stáť jednu jednotku, ako predtým, ale 1 000 * 1 000 jednotiek. To znamená, že na krajné vrcholy sme zavesili silnejšiu pružinu, riešenie radšej silnejšie natiahne ostatné. Tu je výsledok:

Zdvojnásobme silu pružín medzi vrcholmi:
nlKoeficient(tvár[ j], 2); nlKoeficient(tvár[(j+1)%3], -2);

Je logické, že povrch je hladší:

A teraz ešte stokrát silnejšie:

Čo to je? Predstavte si, že sme drôtený krúžok ponorili do mydlovej vody. Výsledkom je, že výsledný mydlový film sa bude snažiť mať čo najmenšie zakrivenie a dotýkať sa rovnakej hranice - nášho drôteného krúžku. To je presne to, čo sme získali, keď sme upevnili okraj a požiadali o hladký povrch vo vnútri. Gratulujeme, práve sme vyriešili Laplaceovu rovnicu s Dirichletovými okrajovými podmienkami. To znie dobre? Ale v skutočnosti stačí vyriešiť len jeden systém lineárnych rovníc.

Poissonova rovnica

Povedzme, že mám takýto obrázok:

Všetci sú dobrí, ale stolička sa mi nepáči.

Rozrezal som obrázok na polovicu:

A vyberiem si stoličku rukami:

Potom pretiahnem všetko, čo je v maske biele, na ľavú stranu obrázka a zároveň cez celý obrázok poviem, že rozdiel dvoch susedných pixelov by sa mal rovnať rozdielu dvoch susedných pixelov obrázka. pravý obrázok:

Pre (int i=0; i

Tu je výsledok:

Kód a obrázky sú k dispozícii