Trójwymiarowa metoda najmniejszych kwadratów. Aproksymacja danych eksperymentalnych

Który znajduje najszersze zastosowanie w różnych dziedzinach nauki i praktyki. Może to być fizyka, chemia, biologia, ekonomia, socjologia, psychologia i tak dalej i tak dalej. Z woli losu często mam do czynienia z gospodarką, dlatego dziś załatwię dla Ciebie bilet do niesamowitego kraju o nazwie Ekonometria=) … Jak tego nie chcesz?! Tam jest bardzo dobrze - musisz tylko zdecydować! …Ale na pewno chcesz się nauczyć, jak rozwiązywać problemy najmniejsze kwadraty. A szczególnie pilni czytelnicy nauczą się je rozwiązywać nie tylko dokładnie, ale i BARDZO SZYBKO ;-) Ale najpierw ogólne określenie problemu+ powiązany przykład:

Niech wskaźniki będą badane w jakimś obszarze tematycznym, które mają wyraz ilościowy. Jednocześnie istnieją wszelkie powody, by sądzić, że wskaźnik zależy od wskaźnika. Założenie to może być zarówno hipotezą naukową, jak i opierać się na elementarnym zdrowym rozsądku. Zostawmy jednak naukę na boku i zbadajmy bardziej apetyczne obszary - a mianowicie sklepy spożywcze. Oznacz przez:

– powierzchnia handlowa sklepu spożywczego, mkw.,
- roczny obrót sklepu spożywczego, mln rubli.

Oczywiste jest, że im większa powierzchnia sklepu, tym w większości przypadków jego obroty są większe.

Załóżmy, że po przeprowadzeniu obserwacji / eksperymentów / obliczeń / tańca z tamburynem mamy do dyspozycji dane liczbowe:

W przypadku sklepów spożywczych wszystko jest jasne: - to powierzchnia sklepu I, - jego roczny obrót, - powierzchnia sklepu II, - jego roczny obrót itp. Swoją drogą wcale nie jest konieczny dostęp do materiałów niejawnych – dość dokładną ocenę obrotów można uzyskać za pomocą statystyka matematyczna. Jednak nie rozpraszaj się, kurs szpiegostwa handlowego jest już opłacony =)

Dane tabelaryczne można również zapisać w postaci punktów i przedstawić w zwykły dla nas sposób. Układ kartezjański .

Odpowiedzmy na ważne pytanie: ile punktów potrzeba na badanie jakościowe?

Im większy tym lepszy. Minimalny dopuszczalny zestaw składa się z 5-6 punktów. Ponadto przy niewielkiej ilości danych „nieprawidłowe” wyniki nie powinny być uwzględniane w próbie. Na przykład mały sklep elitarny może pomóc o rząd wielkości bardziej niż „swoim kolegom”, zniekształcając w ten sposób ogólny wzór, który należy znaleźć!

Jeśli jest to dość proste, musimy wybrać funkcję , harmonogram który przechodzi jak najbliżej punktów . Taka funkcja nazywa się przybliżanie (przybliżenie - przybliżenie) lub funkcja teoretyczna . Ogólnie rzecz biorąc, od razu pojawia się tu oczywisty „udacznik” – wielomian wysokiego stopnia, którego wykres przechodzi przez WSZYSTKIE punkty. Ale ta opcja jest skomplikowana i często po prostu niepoprawna. (ponieważ wykres będzie cały czas „wijał” i słabo odzwierciedlał główny trend).

Pożądana funkcja musi więc być wystarczająco prosta i jednocześnie odpowiednio odzwierciedlać zależność. Jak można się domyślić, jedną z metod znajdowania takich funkcji jest najmniejsze kwadraty. Najpierw przeanalizujmy jego istotę w sposób ogólny. Niech jakaś funkcja przybliży dane eksperymentalne:


Jak ocenić dokładność tego przybliżenia? Obliczmy też różnice (odchylenia) między wartościami doświadczalnymi i funkcjonalnymi (studiujemy rysunek). Pierwsza myśl, jaka przychodzi mi do głowy, to oszacowanie, jak duża jest kwota, ale problem polega na tym, że różnice mogą być ujemne. (na przykład, ) a odchylenia w wyniku takiego podsumowania znoszą się nawzajem. Dlatego jako oszacowanie dokładności aproksymacji sugeruje się przyjęcie sumy moduły odchylenia:

lub w formie złożonej: (nagle kto nie wie: jest ikoną sumy, a jest zmienną pomocniczą- „licznik”, która przyjmuje wartości od 1 do ).

Aproksymując punkty eksperymentalne różnymi funkcjami, otrzymamy różne wartości , i jest oczywiste, że im ta suma jest mniejsza, tym funkcja jest dokładniejsza.

Taka metoda istnieje i nazywa się metoda najmniejszego modułu. Jednak w praktyce stał się znacznie bardziej rozpowszechniony. metoda najmniejszych kwadratów, w którym możliwe wartości ujemne są eliminowane nie przez moduł, ale przez podniesienie do kwadratu odchyleń:

, po czym kieruje się wysiłki na wybór takiej funkcji, aby suma kwadratów odchyleń był tak mały, jak to tylko możliwe. Właściwie stąd nazwa metody.

A teraz wracamy do kolejnego ważnego punktu: jak wspomniano powyżej, wybrana funkcja powinna być dość prosta - ale jest też wiele takich funkcji: liniowy , hiperboliczny, wykładniczy, logarytmiczny, kwadratowy itp. I oczywiście tutaj od razu chciałbym „zredukować pole działania”. Jaką klasę funkcji wybrać do badań? Prymitywna, ale skuteczna technika:

- Najłatwiejszy sposób na losowanie punktów na rysunku i przeanalizuj ich lokalizację. Jeśli mają tendencję do układania się w linii prostej, powinieneś poszukać równanie linii prostej z optymalnymi wartościami i . Innymi słowy zadanie polega na znalezieniu TAKICH współczynników - aby suma kwadratów odchyleń była jak najmniejsza.

Jeśli punkty znajdują się na przykład wzdłuż hiperbola, to jasne jest, że funkcja liniowa da słabe przybliżenie. W tym przypadku szukamy najbardziej „korzystnych” współczynników dla równania hiperboli - te, które dają minimalną sumę kwadratów .

Teraz zauważ, że w obu przypadkach mówimy o funkcje dwóch zmiennych, którego argumentami są przeszukane opcje zależności:

I w gruncie rzeczy musimy rozwiązać standardowy problem - znaleźć minimum funkcji dwóch zmiennych.

Przypomnijmy nasz przykład: załóżmy, że punkty „sklepowe” mają tendencję do układania się w linii prostej i są wszelkie powody, by sądzić, że ich obecność zależność liniowa obrót z obszaru handlowego. Znajdźmy TAKIE współczynniki „a” i „be”, aby suma kwadratów odchyleń był najmniejszy. Wszystko jak zwykle - najpierw pochodne cząstkowe I rzędu. Według zasada liniowości możesz rozróżnić tuż pod ikoną sumy:

Jeśli chcesz wykorzystać te informacje do eseju lub zajęć, będę bardzo wdzięczny za link na liście źródeł, nigdzie nie znajdziesz tak szczegółowych obliczeń:

Zróbmy standardowy system:

Każde równanie redukujemy o „dwa” i dodatkowo „rozbijamy” sumy:

Notatka : niezależnie przeanalizuj, dlaczego „a” i „be” mogą zostać usunięte z ikony sumy. Nawiasem mówiąc, formalnie można to zrobić za pomocą sumy

Przepiszmy system w formie „stosowanej”:

po czym zaczyna się rysować algorytm rozwiązania naszego problemu:

Czy znamy współrzędne punktów? Wiemy. Sumy możemy znaleźć? Łatwo. Komponujemy najprostsze układ dwóch równań liniowych z dwiema niewiadomymi(„a” i „beh”). Rozwiązujemy system, na przykład Metoda Cramera, w wyniku czego powstaje punkt stacjonarny . Kontrola warunek wystarczający dla ekstremum, możemy zweryfikować, że w tym momencie funkcja dociera dokładnie minimum. Weryfikacja wiąże się z dodatkowymi obliczeniami i dlatego zostawimy ją za kulisami. (w razie potrzeby można wyświetlić brakującą ramkę). Wyciągamy ostateczny wniosek:

Funkcjonować Najlepszym sposobem (przynajmniej w porównaniu z jakąkolwiek inną funkcją liniową) przybliża punkty eksperymentalne . Z grubsza mówiąc, jego wykres zbliża się do tych punktów jak najbliżej. W tradycji ekonometria wynikowa funkcja aproksymująca jest również nazywana sparowane równanie regresji liniowej .

Rozważany problem ma duże znaczenie praktyczne. W sytuacji z naszym przykładem równanie pozwala przewidzieć jaki rodzaj obrotów ("yig") będzie w sklepie z taką lub inną wartością powierzchni sprzedaży (jedno lub inne znaczenie „x”). Tak, wynikowa prognoza będzie tylko prognozą, ale w wielu przypadkach okaże się całkiem dokładna.

Przeanalizuję tylko jeden problem z „prawdziwymi” liczbami, ponieważ nie ma w tym żadnych trudności - wszystkie obliczenia są na poziomie szkolnego programu nauczania w klasach 7-8. W 95 procentach przypadków zostaniesz poproszony o znalezienie funkcji liniowej, ale na samym końcu artykułu pokażę, że nie jest trudniej znaleźć równania dla optymalnej hiperboli, wykładnika i kilku innych funkcji.

W rzeczywistości pozostaje dystrybuować obiecane gadżety - abyś nauczył się rozwiązywać takie przykłady nie tylko dokładnie, ale także szybko. Dokładnie studiujemy standard:

Zadanie

W wyniku badania zależności między dwoma wskaźnikami uzyskano następujące pary liczb:

Korzystając z metody najmniejszych kwadratów, znajdź funkcję liniową, która najlepiej przybliża funkcję empiryczną (doświadczony) dane. Zrób rysunek, na którym w kartezjańskim prostokątnym układzie współrzędnych narysuj punkty doświadczalne i wykres funkcji aproksymującej . Znajdź sumę kwadratów odchyleń między wartościami empirycznymi i teoretycznymi. Dowiedz się, czy funkcja jest lepsza (pod względem metody najmniejszych kwadratów) przybliżone punkty doświadczalne.

Zauważ, że wartości „x” są wartościami naturalnymi, a to ma charakterystyczne znaczące znaczenie, o którym opowiem nieco później; ale oczywiście mogą być ułamkowe. Dodatkowo, w zależności od treści konkretnego zadania, zarówno wartości „X”, jak i „G” mogą być całkowicie lub częściowo ujemne. No cóż, dostaliśmy zadanie „bez twarzy” i zaczynamy je rozwiązanie:

Znajdujemy współczynniki funkcji optymalnej jako rozwiązanie układu:

Dla celów bardziej zwartej notacji można pominąć zmienną „licznik”, ponieważ jest już jasne, że sumowanie odbywa się od 1 do .

Wygodniej jest obliczyć wymagane kwoty w formie tabelarycznej:


Obliczenia można przeprowadzić na mikrokalkulatorze, ale znacznie lepiej jest korzystać z Excela – zarówno szybciej, jak i bez błędów; obejrzyj krótki film:

W ten sposób otrzymujemy następujące system:

Tutaj możesz pomnożyć drugie równanie przez 3 i odjąć drugi od pierwszego członu równania przez termin. Ale to szczęście – w praktyce systemy często nie są uzdolnione, a w takich przypadkach to oszczędza Metoda Cramera:
, dzięki czemu system posiada unikalne rozwiązanie.

Sprawdźmy. Rozumiem, że nie chcę, ale po co pomijać błędy, których absolutnie nie można przegapić? Podstaw znalezione rozwiązanie po lewej stronie każdego równania układu:

Otrzymane są właściwe części odpowiednich równań, co oznacza, że ​​układ jest rozwiązany poprawnie.

Zatem pożądana funkcja aproksymująca: – od wszystkie funkcje liniowe dane eksperymentalne są przez nią najlepiej przybliżone.

w odróżnieniu proste zależność obrotów sklepu od jego powierzchni, stwierdzona zależność to odwrócić (zasada „im więcej – tym mniej”), a fakt ten jest natychmiast ujawniany przez negatyw współczynnik kątowy. Funkcjonować informuje nas, że wraz ze wzrostem pewnego wskaźnika o 1 jednostkę, wartość wskaźnika zależnego maleje przeciętny o 0,65 jednostki. Jak mówią, im wyższa cena gryki, tym mniej sprzedawana.

Aby wykreślić funkcję aproksymującą, znajdujemy dwie jej wartości:

i wykonaj rysunek:


Zbudowana linia nazywa się linia trendu (mianowicie liniowa linia trendu, czyli w ogólnym przypadku trend niekoniecznie musi być linią prostą). Wszyscy znają wyrażenie „być w trendzie” i myślę, że ten termin nie wymaga dodatkowych komentarzy.

Oblicz sumę kwadratów odchyleń między wartościami empirycznymi i teoretycznymi. Geometrycznie jest to suma kwadratów długości „szkarłatnych” odcinków (dwa z nich są tak małe, że nawet ich nie widać).

Podsumujmy obliczenia w tabeli:


Można je ponownie przeprowadzić ręcznie, na wszelki wypadek podam przykład dla pierwszego punktu:

ale znacznie wydajniej jest zrobić znany już sposób:

Powtórzmy: jakie jest znaczenie wyniku? Z wszystkie funkcje liniowe funkcjonować wykładnik jest najmniejszy, to znaczy jest najlepszym przybliżeniem w swojej rodzinie. I tutaj, nawiasem mówiąc, ostatnie pytanie problemu nie jest przypadkowe: co jeśli proponowana funkcja wykładnicza czy lepiej będzie przybliżyć punkty doświadczalne?

Znajdźmy odpowiednią sumę kwadratów odchyleń - aby je rozróżnić, oznaczę je literą „epsilon”. Technika jest dokładnie taka sama:


I znowu dla każdego obliczenia pożaru za 1 punkt:

W Excelu używamy funkcji standardowej DO POTĘGI (Składnię można znaleźć w pomocy programu Excel).

Wniosek: , więc funkcja wykładnicza aproksymuje punkty eksperymentalne gorzej niż linia prosta .

Należy jednak zauważyć, że „gorsze” jest jeszcze nie znaczy, co jest nie tak. Teraz zbudowałem wykres tej funkcji wykładniczej - i ona również przechodzi blisko punktów - do tego stopnia, że ​​bez badania analitycznego trudno powiedzieć, która funkcja jest dokładniejsza.

To kończy rozwiązanie i wracam do pytania o naturalne wartości argumentu. W różnych opracowaniach, z reguły, miesiące, lata lub inne równe przedziały czasowe, ekonomiczne lub socjologiczne, numeruje się naturalnym „X”. Rozważmy na przykład taki problem.

Metoda najmniejszych kwadratów

W końcowej lekcji tematu zapoznamy się z najsłynniejszą aplikacją FNP, który znajduje najszersze zastosowanie w różnych dziedzinach nauki i praktyki. Może to być fizyka, chemia, biologia, ekonomia, socjologia, psychologia i tak dalej i tak dalej. Z woli losu często mam do czynienia z gospodarką, dlatego dziś załatwię dla Ciebie bilet do niesamowitego kraju o nazwie Ekonometria=) … Jak tego nie chcesz?! Tam jest bardzo dobrze - musisz tylko zdecydować! …Ale na pewno chcesz się nauczyć, jak rozwiązywać problemy najmniejsze kwadraty. A szczególnie pilni czytelnicy nauczą się je rozwiązywać nie tylko dokładnie, ale i BARDZO SZYBKO ;-) Ale najpierw ogólne określenie problemu+ powiązany przykład:

Niech wskaźniki będą badane w jakimś obszarze tematycznym, które mają wyraz ilościowy. Jednocześnie istnieją wszelkie powody, by sądzić, że wskaźnik zależy od wskaźnika. Założenie to może być zarówno hipotezą naukową, jak i opierać się na elementarnym zdrowym rozsądku. Zostawmy jednak naukę na boku i zbadajmy bardziej apetyczne obszary - a mianowicie sklepy spożywcze. Oznacz przez:

– powierzchnia handlowa sklepu spożywczego, mkw.,
- roczny obrót sklepu spożywczego, mln rubli.

Oczywiste jest, że im większa powierzchnia sklepu, tym w większości przypadków jego obroty są większe.

Załóżmy, że po przeprowadzeniu obserwacji / eksperymentów / obliczeń / tańca z tamburynem mamy do dyspozycji dane liczbowe:

W przypadku sklepów spożywczych wszystko jest jasne: - to powierzchnia sklepu I, - jego roczny obrót, - powierzchnia sklepu II, - jego roczny obrót itp. Swoją drogą wcale nie jest konieczny dostęp do materiałów niejawnych – dość dokładną ocenę obrotów można uzyskać za pomocą statystyka matematyczna. Jednak nie rozpraszaj się, kurs szpiegostwa handlowego jest już opłacony =)

Dane tabelaryczne można również zapisać w postaci punktów i przedstawić w zwykły dla nas sposób. Układ kartezjański .

Odpowiedzmy na ważne pytanie: ile punktów potrzeba na badanie jakościowe?

Im większy tym lepszy. Minimalny dopuszczalny zestaw składa się z 5-6 punktów. Ponadto przy niewielkiej ilości danych „nieprawidłowe” wyniki nie powinny być uwzględniane w próbie. Na przykład mały sklep elitarny może pomóc o rząd wielkości bardziej niż „swoim kolegom”, zniekształcając w ten sposób ogólny wzór, który należy znaleźć!

Jeśli jest to dość proste, musimy wybrać funkcję , harmonogram który przechodzi jak najbliżej punktów . Taka funkcja nazywa się przybliżanie (przybliżenie - przybliżenie) lub funkcja teoretyczna . Ogólnie rzecz biorąc, od razu pojawia się tu oczywisty „udacznik” – wielomian wysokiego stopnia, którego wykres przechodzi przez WSZYSTKIE punkty. Ale ta opcja jest skomplikowana i często po prostu niepoprawna. (ponieważ wykres będzie cały czas „wijał” i słabo odzwierciedlał główny trend).

Pożądana funkcja musi więc być wystarczająco prosta i jednocześnie odpowiednio odzwierciedlać zależność. Jak można się domyślić, jedną z metod znajdowania takich funkcji jest najmniejsze kwadraty. Najpierw przeanalizujmy jego istotę w sposób ogólny. Niech jakaś funkcja przybliży dane eksperymentalne:


Jak ocenić dokładność tego przybliżenia? Obliczmy też różnice (odchylenia) między wartościami doświadczalnymi i funkcjonalnymi (studiujemy rysunek). Pierwsza myśl, jaka przychodzi mi do głowy, to oszacowanie, jak duża jest kwota, ale problem polega na tym, że różnice mogą być ujemne. (na przykład, ) a odchylenia w wyniku takiego podsumowania znoszą się nawzajem. Dlatego jako oszacowanie dokładności aproksymacji sugeruje się przyjęcie sumy moduły odchylenia:

lub w formie złożonej: (dla tych, którzy nie wiedzą: to ikona sumy, i - zmienna pomocnicza - "licznik", która przyjmuje wartości od 1 do ) .

Przybliżając punkty eksperymentalne różnymi funkcjami, otrzymamy różne wartości, a jest oczywiste, gdzie ta suma jest mniejsza - ta funkcja jest dokładniejsza.

Taka metoda istnieje i nazywa się metoda najmniejszego modułu. Jednak w praktyce stał się znacznie bardziej rozpowszechniony. metoda najmniejszych kwadratów, w którym możliwe wartości ujemne są eliminowane nie przez moduł, ale przez podniesienie do kwadratu odchyleń:

, po czym kieruje się wysiłki na wybór takiej funkcji, aby suma kwadratów odchyleń był tak mały, jak to tylko możliwe. Właściwie stąd nazwa metody.

A teraz wracamy do kolejnego ważnego punktu: jak wspomniano powyżej, wybrana funkcja powinna być dość prosta - ale jest też wiele takich funkcji: liniowy , hiperboliczny , wykładniczy , logarytmiczny , kwadratowy itp. I oczywiście tutaj od razu chciałbym „zredukować pole działania”. Jaką klasę funkcji wybrać do badań? Prymitywna, ale skuteczna technika:

- Najłatwiejszy sposób na losowanie punktów na rysunku i przeanalizuj ich lokalizację. Jeśli mają tendencję do układania się w linii prostej, powinieneś poszukać równanie linii prostej z optymalnymi wartościami i . Innymi słowy zadanie polega na znalezieniu TAKICH współczynników - aby suma kwadratów odchyleń była jak najmniejsza.

Jeśli punkty znajdują się na przykład wzdłuż hiperbola, to jasne jest, że funkcja liniowa da słabe przybliżenie. W tym przypadku szukamy najbardziej „korzystnych” współczynników dla równania hiperboli - te, które dają minimalną sumę kwadratów .

Teraz zauważ, że w obu przypadkach mówimy o funkcje dwóch zmiennych, którego argumentami są przeszukane opcje zależności:

I w gruncie rzeczy musimy rozwiązać standardowy problem - znaleźć minimum funkcji dwóch zmiennych.

Przypomnijmy nasz przykład: załóżmy, że punkty „sklepowe” mają tendencję do układania się w linii prostej i są wszelkie powody, by sądzić, że ich obecność zależność liniowa obrót z obszaru handlowego. Znajdźmy TAKIE współczynniki „a” i „be”, aby suma kwadratów odchyleń był najmniejszy. Wszystko jak zwykle - najpierw pochodne cząstkowe I rzędu. Według zasada liniowości możesz rozróżnić tuż pod ikoną sumy:

Jeśli chcesz wykorzystać te informacje do eseju lub zajęć, będę bardzo wdzięczny za link na liście źródeł, nigdzie nie znajdziesz tak szczegółowych obliczeń:

Zróbmy standardowy system:

Każde równanie redukujemy o „dwa” i dodatkowo „rozbijamy” sumy:

Notatka : niezależnie przeanalizuj, dlaczego „a” i „be” mogą zostać usunięte z ikony sumy. Nawiasem mówiąc, formalnie można to zrobić za pomocą sumy

Przepiszmy system w formie „stosowanej”:

po czym zaczyna się rysować algorytm rozwiązania naszego problemu:

Czy znamy współrzędne punktów? Wiemy. Sumy możemy znaleźć? Łatwo. Komponujemy najprostsze układ dwóch równań liniowych z dwiema niewiadomymi(„a” i „beh”). Rozwiązujemy system, na przykład Metoda Cramera, w wyniku czego powstaje punkt stacjonarny . Kontrola warunek wystarczający dla ekstremum, możemy zweryfikować, że w tym momencie funkcja dociera dokładnie minimum. Weryfikacja wiąże się z dodatkowymi obliczeniami i dlatego zostawimy ją za kulisami. (w razie potrzeby można wyświetlić brakującą ramkę)tutaj ) . Wyciągamy ostateczny wniosek:

Funkcjonować Najlepszym sposobem (przynajmniej w porównaniu z jakąkolwiek inną funkcją liniową) przybliża punkty eksperymentalne . Z grubsza mówiąc, jego wykres zbliża się do tych punktów jak najbliżej. W tradycji ekonometria wynikowa funkcja aproksymująca jest również nazywana sparowane równanie regresji liniowej .

Rozważany problem ma duże znaczenie praktyczne. W sytuacji z naszym przykładem równanie pozwala przewidzieć jaki rodzaj obrotów ("yig") będzie w sklepie z taką lub inną wartością powierzchni sprzedaży (jedno lub inne znaczenie „x”). Tak, wynikowa prognoza będzie tylko prognozą, ale w wielu przypadkach okaże się całkiem dokładna.

Przeanalizuję tylko jeden problem z „prawdziwymi” liczbami, ponieważ nie ma w tym żadnych trudności - wszystkie obliczenia są na poziomie szkolnego programu nauczania w klasach 7-8. W 95 procentach przypadków zostaniesz poproszony o znalezienie funkcji liniowej, ale na samym końcu artykułu pokażę, że nie jest trudniej znaleźć równania dla optymalnej hiperboli, wykładnika i kilku innych funkcji.

W rzeczywistości pozostaje dystrybuować obiecane gadżety - abyś nauczył się rozwiązywać takie przykłady nie tylko dokładnie, ale także szybko. Dokładnie studiujemy standard:

Zadanie

W wyniku badania zależności między dwoma wskaźnikami uzyskano następujące pary liczb:

Korzystając z metody najmniejszych kwadratów, znajdź funkcję liniową, która najlepiej przybliża funkcję empiryczną (doświadczony) dane. Zrób rysunek, na którym w kartezjańskim prostokątnym układzie współrzędnych narysuj punkty doświadczalne i wykres funkcji aproksymującej . Znajdź sumę kwadratów odchyleń między wartościami empirycznymi i teoretycznymi. Dowiedz się, czy funkcja jest lepsza (pod względem metody najmniejszych kwadratów) przybliżone punkty doświadczalne.

Zauważ, że wartości „x” są wartościami naturalnymi, a to ma charakterystyczne znaczące znaczenie, o którym opowiem nieco później; ale oczywiście mogą być ułamkowe. Dodatkowo, w zależności od treści konkretnego zadania, zarówno wartości „X”, jak i „G” mogą być całkowicie lub częściowo ujemne. No cóż, dostaliśmy zadanie „bez twarzy” i zaczynamy je rozwiązanie:

Znajdujemy współczynniki funkcji optymalnej jako rozwiązanie układu:

Dla celów bardziej zwartej notacji można pominąć zmienną „licznik”, ponieważ jest już jasne, że sumowanie odbywa się od 1 do .

Wygodniej jest obliczyć wymagane kwoty w formie tabelarycznej:


Obliczenia można przeprowadzić na mikrokalkulatorze, ale znacznie lepiej jest korzystać z Excela – zarówno szybciej, jak i bez błędów; obejrzyj krótki film:

W ten sposób otrzymujemy następujące system:

Tutaj możesz pomnożyć drugie równanie przez 3 i odjąć drugi od pierwszego członu równania przez termin. Ale to szczęście – w praktyce systemy często nie są uzdolnione, a w takich przypadkach to oszczędza Metoda Cramera:
, dzięki czemu system posiada unikalne rozwiązanie.

Sprawdźmy. Rozumiem, że nie chcę, ale po co pomijać błędy, których absolutnie nie można przegapić? Podstaw znalezione rozwiązanie po lewej stronie każdego równania układu:

Otrzymane są właściwe części odpowiednich równań, co oznacza, że ​​układ jest rozwiązany poprawnie.

Zatem pożądana funkcja aproksymująca: – od wszystkie funkcje liniowe dane eksperymentalne są przez nią najlepiej przybliżone.

w odróżnieniu proste zależność obrotów sklepu od jego powierzchni, stwierdzona zależność to odwrócić (zasada „im więcej – tym mniej”), a fakt ten jest natychmiast ujawniany przez negatyw współczynnik kątowy. Funkcja mówi nam, że wraz ze wzrostem pewnego wskaźnika o 1 jednostkę, wartość wskaźnika zależnego maleje przeciętny o 0,65 jednostki. Jak mówią, im wyższa cena gryki, tym mniej sprzedawana.

Aby wykreślić funkcję aproksymującą, znajdujemy dwie jej wartości:

i wykonaj rysunek:

Zbudowana linia nazywa się linia trendu (mianowicie liniowa linia trendu, czyli w ogólnym przypadku trend niekoniecznie musi być linią prostą). Wszyscy znają wyrażenie „być w trendzie” i myślę, że ten termin nie wymaga dodatkowych komentarzy.

Oblicz sumę kwadratów odchyleń między wartościami empirycznymi i teoretycznymi. Geometrycznie jest to suma kwadratów długości „szkarłatnych” odcinków (dwa z nich są tak małe, że nawet ich nie widać).

Podsumujmy obliczenia w tabeli:


Można je ponownie przeprowadzić ręcznie, na wszelki wypadek podam przykład dla pierwszego punktu:

ale znacznie wydajniej jest zrobić znany już sposób:

Powtórzmy: jakie jest znaczenie wyniku? Z wszystkie funkcje liniowe funkcja ma najmniejszy wykładnik, czyli w swojej rodzinie jest to najlepsze przybliżenie. I tutaj, nawiasem mówiąc, ostatnie pytanie problemu nie jest przypadkowe: co jeśli proponowana funkcja wykładnicza czy lepiej będzie przybliżyć punkty doświadczalne?

Znajdźmy odpowiednią sumę kwadratów odchyleń - aby je rozróżnić, oznaczę je literą „epsilon”. Technika jest dokładnie taka sama:

I znowu dla każdego obliczenia pożaru za 1 punkt:

W Excelu używamy funkcji standardowej DO POTĘGI (Składnię można znaleźć w pomocy programu Excel).

Wniosek: , co oznacza, że ​​funkcja wykładnicza aproksymuje punkty eksperymentalne gorzej niż linia prosta.

Należy jednak zauważyć, że „gorsze” jest jeszcze nie znaczy, co jest nie tak. Teraz zbudowałem wykres tej funkcji wykładniczej – i również przechodzi on blisko punktów – do tego stopnia, że ​​bez analizy analitycznej trudno powiedzieć, która funkcja jest dokładniejsza.

To kończy rozwiązanie i wracam do pytania o naturalne wartości argumentu. W różnych opracowaniach, z reguły, miesiące, lata lub inne równe przedziały czasowe, ekonomiczne lub socjologiczne, numeruje się naturalnym „X”. Rozważmy na przykład następujący problem:

Posiadamy następujące dane o obrotach detalicznych sklepu za pierwsze półrocze:

Korzystając z wyrównania analitycznego w linii prostej, znajdź wielkość sprzedaży w lipcu.

Tak, nie ma problemu: liczymy miesiące 1, 2, 3, 4, 5, 6 i używamy zwykłego algorytmu, w wyniku którego otrzymujemy równanie - jedyne, co jeśli chodzi o czas to zwykle litera „te ” (choć to nie jest krytyczne). Z otrzymanego równania wynika, że ​​w pierwszym półroczu obroty wzrosły średnio o 27,74 jp. na miesiąc. Uzyskaj prognozę na lipiec (miesiąc #7): j.m.

I podobne zadania - ciemność jest ciemna. Chętni mogą skorzystać z dodatkowej usługi, a mianowicie my Kalkulator Excela (wersja demo), który rozwiązuje problem niemal natychmiast! Dostępna jest działająca wersja programu w zamian albo za symboliczna płatność.

Na koniec lekcji krótka informacja o znajdowaniu zależności niektórych innych typów. Właściwie nie ma nic specjalnego do powiedzenia, ponieważ podstawowe podejście i algorytm rozwiązania pozostają takie same.

Załóżmy, że położenie punktów doświadczalnych przypomina hiperbolę. Następnie, aby znaleźć współczynniki najlepszej hiperboli, musisz znaleźć minimum funkcji - chętni mogą przeprowadzić szczegółowe obliczenia i przejść do podobnego układu:

Z formalnego technicznego punktu widzenia uzyskuje się go z systemu „liniowego” (oznaczmy to gwiazdką) zastępując „x” . Cóż, kwoty obliczyć, po czym do optymalnych współczynników „a” i „być” na dłoni.

Jeśli są wszelkie powody, by sądzić, że punkty są ułożone wzdłuż krzywej logarytmicznej, a następnie w celu wyszukania optymalnych wartości i znalezienia minimum funkcji . Formalnie w systemie (*) należy zastąpić:

Podczas obliczania w Excelu użyj funkcji LN. Przyznaję, że nie będzie mi trudno tworzyć kalkulatory dla każdego z rozważanych przypadków, ale i tak będzie lepiej, jeśli samemu "zaprogramujecie" obliczenia. Samouczki wideo, które pomogą.

W przypadku zależności wykładniczej sytuacja jest nieco bardziej skomplikowana. Aby sprowadzić sprawę do przypadku liniowego, bierzemy logarytm funkcji i używamy własności logarytmu:

Teraz porównując otrzymaną funkcję z funkcją liniową , dochodzimy do wniosku, że w układzie (*) należy zastąpić przez , oraz - przez . Dla wygody oznaczamy:

Należy pamiętać, że system jest rozwiązany w odniesieniu do i , dlatego po znalezieniu pierwiastków nie można zapomnieć o znalezieniu samego współczynnika.

Aby przybliżyć punkty eksperymentalne optymalna parabola , należy znaleźć minimum funkcji trzech zmiennych . Po wykonaniu standardowych czynności otrzymujemy następujące "działanie" system:

Tak, oczywiście, jest tu więcej kwot, ale nie ma żadnych trudności podczas korzystania z ulubionej aplikacji. Na koniec powiem Ci, jak szybko sprawdzić za pomocą Excela i zbudować pożądaną linię trendu: utwórz wykres punktowy, wybierz dowolny punkt za pomocą myszy i kliknij prawym przyciskiem myszy wybierz opcję "Dodaj linię trendu". Następnie wybierz typ wykresu i na zakładce „Opcje” aktywuj opcję "Pokaż równanie na wykresie". OK

Jak zawsze chcę zakończyć artykuł jakimś pięknym zwrotem i prawie wpisałem „Bądź w trendzie!”. Ale z czasem zmienił zdanie. I nie dlatego, że jest schematyczny. Nie wiem jak ktokolwiek, ale nie chcę w ogóle podążać za promowanym amerykańskim, a zwłaszcza europejskim trendem =) Dlatego życzę każdemu z Was, aby trzymał się swojej linii!

http://www.grandars.ru/student/vysshaya-matematika/metod-naimenshih-kvadratov.html

Metoda najmniejszych kwadratów jest jedną z najczęstszych i najbardziej rozwiniętych ze względu na jej prostota i efektywność metod szacowania parametrów liniowych modeli ekonometrycznych. Jednocześnie należy zachować ostrożność przy jego stosowaniu, gdyż budowane z jego pomocą modele mogą nie spełniać szeregu wymagań jakościowych swoich parametrów, a w efekcie nie „dobrze” odzwierciedlać wzorców rozwoju procesów.

Rozważmy bardziej szczegółowo procedurę szacowania parametrów liniowego modelu ekonometrycznego metodą najmniejszych kwadratów. Taki model w postaci ogólnej można przedstawić równaniem (1.2):

yt = a 0 + a 1 x 1t +...+ a n x nt + ε t .

Dane początkowe przy szacowaniu parametrów a 0 , a 1 ,..., a n to wektor wartości zmiennej zależnej tak= (y 1 , y 2 , ... , y T)" oraz macierz wartości zmiennych niezależnych

w której pierwsza kolumna składająca się z jedynek odpowiada współczynnikowi modelu .

Metoda najmniejszych kwadratów otrzymała swoją nazwę w oparciu o podstawową zasadę, że otrzymane na jej podstawie oszacowania parametrów powinny spełniać: suma kwadratów błędu modelu powinna być minimalna.

Przykłady rozwiązywania problemów metodą najmniejszych kwadratów

Przykład 2.1. Przedsiębiorstwo handlowe posiada sieć składającą się z 12 sklepów, których informacje o działalności przedstawia tabela. 2.1.

Kierownictwo firmy chciałoby wiedzieć, jak wielkość rocznych obrotów zależy od powierzchni handlowej sklepu.

Tabela 2.1

Rozwiązanie najmniejszych kwadratów. Wyznaczmy - roczny obrót -tego sklepu, miliony rubli; - powierzchnia sprzedaży sklepu, tys. m2.

Rys.2.1. Wykres punktowy dla przykładu 2.1

Wyznaczenie postaci zależności funkcjonalnej między zmiennymi i skonstruowanie wykresu rozrzutu (rys. 2.1).

Na podstawie wykresu rozrzutu możemy stwierdzić, że roczny obrót jest dodatnio zależny od obszaru sprzedaży (tj. y będzie rosło wraz ze wzrostem ). Najbardziej odpowiednią formą połączenia funkcjonalnego jest: liniowy.

Informacje do dalszych obliczeń przedstawiono w tabeli. 2.2. Metodą najmniejszych kwadratów estymujemy parametry liniowego jednoczynnikowego modelu ekonometrycznego

Tabela 2.2

W ten sposób,

W związku z tym przy wzroście powierzchni handlowej o 1 tys. m 2, przy innych warunkach bez zmian, średni roczny obrót wzrasta o 67,8871 mln rubli.

Przykład 2.2. Kierownictwo przedsiębiorstwa zauważyło, że roczny obrót zależy nie tylko od powierzchni sprzedażowej sklepu (patrz przykład 2.1), ale także od średniej liczby odwiedzających. Odpowiednie informacje przedstawiono w tabeli. 2.3.

Tabela 2.3

Rozwiązanie. Oznacz - średnia liczba odwiedzających th sklep dziennie, tysiąc osób.

Wyznaczenie postaci zależności funkcjonalnej między zmiennymi i skonstruowanie wykresu rozrzutu (rys. 2.2).

Na podstawie wykresu rozrzutu możemy wywnioskować, że roczny obrót jest dodatnio powiązany ze średnią liczbą odwiedzających dziennie (tj. y będzie rosło wraz ze wzrostem ). Forma zależności funkcjonalnej jest liniowa.

Ryż. 2.2. Wykres punktowy na przykład 2.2

Tabela 2.4

Generalnie konieczne jest wyznaczenie parametrów dwuczynnikowego modelu ekonometrycznego

y t \u003d a 0 + a 1 x 1t + a 2 x 2t + ε t

Informacje potrzebne do dalszych obliczeń przedstawia tabela. 2.4.

Oszacujmy parametry liniowego dwuczynnikowego modelu ekonometrycznego metodą najmniejszych kwadratów.

W ten sposób,

Ocena współczynnika = 61,6583 pokazuje, że przy wszystkich innych warunkach bez zmian, przy wzroście powierzchni sprzedaży o 1 tys. m 2 roczny obrót wzrośnie średnio o 61,6583 mln rubli.

Szacunek współczynnika = 2,2748 pokazuje, że przy innych warunkach niezmienionych, przy wzroście średniej liczby odwiedzających na 1 tys. osób. dziennie roczny obrót wzrośnie średnio o 2,2748 mln rubli.

Przykład 2.3. Korzystając z informacji przedstawionych w tabeli. 2.2 i 2.4, oszacuj parametr jednoczynnikowego modelu ekonometrycznego

gdzie jest wyśrodkowana wartość rocznego obrotu -tego sklepu, miliony rubli; - wyśrodkowana wartość średniej dziennej liczby odwiedzających t-ty sklep, tys. osób. (patrz przykłady 2.1-2.2).

Rozwiązanie. Dodatkowe informacje wymagane do obliczeń przedstawiono w tabeli. 2.5.

Tabela 2.5

Korzystając ze wzoru (2.35), otrzymujemy

W ten sposób,

http://www.cleverstudents.ru/articles/mnk.html

Przykład.

Dane eksperymentalne dotyczące wartości zmiennych X oraz w podano w tabeli.

W wyniku ich wyrównania funkcja

Za pomocą metoda najmniejszych kwadratów, przybliż te dane liniową zależnością y=ax+b(znajdź parametry a oraz b). Dowiedz się, która z dwóch linii jest lepsza (w sensie metody najmniejszych kwadratów) dopasowuje dane eksperymentalne. Narysuj coś.

Rozwiązanie.

W naszym przykładzie n=5. Wypełniamy tabelę dla wygody obliczania kwot zawartych we wzorach wymaganych współczynników.

Wartości w czwartym rzędzie tabeli uzyskuje się mnożąc wartości drugiego rzędu przez wartości trzeciego rzędu dla każdej liczby i.

Wartości w piątym rzędzie tabeli uzyskuje się podnosząc do kwadratu wartości drugiego rzędu dla każdej liczby i.

Wartości ostatniej kolumny tabeli to sumy wartości w wierszach.

Aby obliczyć współczynniki, korzystamy ze wzorów metody najmniejszych kwadratów a oraz b. Zastępujemy w nich odpowiednie wartości z ostatniej kolumny tabeli:

W konsekwencji, y=0,165x+2,184 jest pożądaną przybliżoną linią prostą.

Pozostaje dowiedzieć się, która z linii y=0,165x+2,184 lub lepiej przybliża oryginalne dane, tj. dokonuje oszacowania metodą najmniejszych kwadratów.

Dowód.

Więc kiedy zostanie znaleziony a oraz b funkcja przyjmuje najmniejszą wartość, konieczne jest, aby w tym miejscu macierz kwadratowej postaci różniczki drugiego rzędu dla funkcji był pozytywny. Pokażmy to.

Różnica drugiego rzędu ma postać:

To znaczy

Dlatego macierz postaci kwadratowej ma postać

a wartości elementów nie zależą od a oraz b.

Pokażmy, że matryca jest pozytywna. Wymaga to, aby małe kąty były dodatnie.

Moll kątowy pierwszego rzędu . Nierówność jest ścisła, ponieważ punkty

Po wyrównaniu otrzymujemy funkcję o postaci: g (x) = x + 1 3 + 1 .

Możemy przybliżyć te dane za pomocą zależności liniowej y = a x + b, obliczając odpowiednie parametry. W tym celu będziemy musieli zastosować tzw. metodę najmniejszych kwadratów. Będziesz także musiał wykonać rysunek, aby sprawdzić, która linia najlepiej dopasuje dane eksperymentalne.

Yandex.RTB R-A-339285-1

Czym dokładnie jest OLS (metoda najmniejszych kwadratów)

Najważniejsze, co musimy zrobić, to znaleźć takie współczynniki zależności liniowej, przy których wartość funkcji dwóch zmiennych F (a, b) = ∑ i = 1 n (y i - (a x i + b)) 2 będzie najmniejsza . Innymi słowy, dla pewnych wartości a i b suma kwadratów odchyleń prezentowanych danych od wynikowej linii prostej będzie miała wartość minimalną. Takie jest znaczenie metody najmniejszych kwadratów. Aby rozwiązać ten przykład, wystarczy znaleźć ekstremum funkcji dwóch zmiennych.

Jak wyprowadzić wzory do obliczania współczynników

W celu uzyskania wzorów na obliczanie współczynników konieczne jest ułożenie i rozwiązanie układu równań z dwiema zmiennymi. Aby to zrobić, obliczamy pochodne cząstkowe wyrażenia F (a , b) = ∑ i = 1 n (y i - (a x i + b)) 2 względem a i b i przyrównujemy je do 0 .

δ F (a , b) δ a = 0 δ F (a , b) δ b = 0 ⇔ - 2 ∑ i = 1 n (y i - (a x i + b)) x i = 0 - 2 ∑ i = 1 n ( y i - (a x i + b)) = 0 ⇔ a ∑ i = 1 n x i 2 + b ∑ i = 1 n x i = ∑ i = 1 n x i y i a ∑ i = 1 n x i + ∑ i = 1 n b = ∑ i = 1 n y i ⇔ a ∑ i = 1 n x i 2 + b ∑ i = 1 n x i = ∑ i = 1 n x i y ja a ∑ i = 1 n x i + n b = ∑ i = 1 n y i

Aby rozwiązać układ równań, możesz użyć dowolnych metod, takich jak podstawienie lub metoda Cramera. W efekcie powinniśmy otrzymać formuły obliczające współczynniki metodą najmniejszych kwadratów.

n ∑ i = 1 n x i y i - ∑ i = 1 n x i ∑ i = 1 n y i n ∑ i = 1 n - ∑ i = 1 n x i 2 b = ∑ i = 1 n y i - a ∑ i = 1 n x i n

Obliczyliśmy wartości zmiennych, dla których funkcja
F (a , b) = ∑ i = 1 n (y i - (a x i + b)) 2 przyjmie wartość minimalną. W trzecim akapicie pokażemy, dlaczego tak jest.

Jest to zastosowanie w praktyce metody najmniejszych kwadratów. Jego wzór, który służy do znalezienia parametru a , obejmuje ∑ i = 1 n x i , ∑ i = 1 n y i , ∑ i = 1 n x i y i , ∑ i = 1 n x i 2 , oraz parametr
n - oznacza ilość danych eksperymentalnych. Radzimy obliczyć każdą kwotę osobno. Wartość współczynnika b jest obliczana bezpośrednio po a .

Wróćmy do oryginalnego przykładu.

Przykład 1

Tutaj mamy n równe pięć. Aby wygodniej było obliczyć wymagane kwoty zawarte we wzorach współczynników, wypełniamy tabelę.

Rozwiązanie

Czwarty wiersz zawiera dane uzyskane przez pomnożenie wartości z drugiego wiersza przez wartości trzeciego dla każdej osoby i . Piąty wiersz zawiera dane z drugiego do kwadratu. Ostatnia kolumna pokazuje sumy wartości poszczególnych wierszy.

Użyjmy metody najmniejszych kwadratów do obliczenia współczynników aib, których potrzebujemy. Aby to zrobić, zastąp żądane wartości z ostatniej kolumny i oblicz sumy:

n ∑ i = 1 n x i y i - ∑ i = 1 n x i ∑ i = 1 n y i n ∑ i = 1 n - ∑ i = 1 n x i 2 b = ∑ i = 1 n y i - a ∑ i = 1 n x i n ⇒ a = 5 33, 8 - 12 12, 9 5 46 - 12 2 b = 12, 9 - a 12 5 ⇒ a ≈ 0,165 b ≈ 2, 184

Otrzymaliśmy, że pożądana przybliżająca linia prosta będzie wyglądać tak: y = 0,165 x + 2,184 . Teraz musimy określić, która linia najlepiej przybliży dane - g (x) = x + 1 3 + 1 lub 0 , 165 x + 2 , 184 . Zróbmy oszacowanie metodą najmniejszych kwadratów.

Aby obliczyć błąd, musimy znaleźć sumy kwadratów odchyleń danych z linii σ 1 = ∑ i = 1 n (y i - (a x i + b i)) 2 i σ 2 = ∑ i = 1 n (y i - g (x i)) 2 , minimalna wartość będzie odpowiadać bardziej odpowiedniej linii.

σ 1 = ∑ i = 1 n (y i - (a x i + b i)) 2 = = ∑ i = 1 5 (y i - (0 , 165 x i + 2 , 184)) 2 ≈ 0 , 019 σ 2 = ∑ i = 1 n (y i - g (x i)) 2 = = ∑ i = 1 5 (y i - (x i + 1 3 + 1)) 2 ≈ 0 , 096

Odpowiadać: ponieważ σ 1< σ 2 , то прямой, наилучшим образом аппроксимирующей исходные данные, будет
y = 0,165 x + 2 , 184 .

Metoda najmniejszych kwadratów jest wyraźnie pokazana na ilustracji graficznej. Czerwona linia oznacza linię prostą g (x) = x + 1 3 + 1, niebieska linia oznacza y = 0,165 x + 2, 184. Surowe dane są oznaczone różowymi kropkami.

Wyjaśnijmy, dlaczego dokładnie tego typu przybliżenia są potrzebne.

Mogą być stosowane w problemach wymagających wygładzania danych, a także w tych, w których dane muszą być interpolowane lub ekstrapolowane. Na przykład w omawianym powyżej zadaniu można znaleźć wartość obserwowanej wielkości y przy x = 3 lub przy x = 6 . Takim przykładom poświęciliśmy osobny artykuł.

Dowód metody LSM

Aby funkcja przyjęła wartość minimalną dla obliczonych a i b, konieczne jest, aby w danym punkcie macierz kwadratowej postaci różniczki funkcji postaci F (a, b) = ∑ i = 1 n ( y i - (a x i + b)) 2 być dodatnio określone. Pokażmy Ci, jak to powinno wyglądać.

Przykład 2

Mamy do czynienia z różniczką drugiego rzędu o następującej postaci:

d 2 F (a ; b) = δ 2 F (a ; b) δ a 2 d 2 a + 2 δ 2 F (a ; b) δ a δ b da d b + δ 2 F (a ; b) δ b 2 d 2b

Rozwiązanie

δ 2 F (a ; b) δ a 2 = δ δ F (a ; b) δ a δ a = = δ - 2 ∑ i = 1 n (y i - (a x i + b)) x i δ a = 2 ∑ i = 1 n (x i) 2 δ 2 F (a ; b) δ a δ b = δ δ F (a ; b) δ a δ b = = δ - 2 ∑ i = 1 n (y i - (a x i + b) ) x i δ b = 2 ∑ i = 1 n x i δ 2 F (a ; b) δ b 2 = δ δ F (a ; b) δ b δ b = δ - 2 ∑ i = 1 n (y i - (a x i + b)) δ b = 2 ∑ i = 1 n (1) = 2 n

Innymi słowy, można to zapisać w następujący sposób: d 2 F (a ; b) = 2 ∑ i = 1 n (x i) 2 d 2 a + 2 2 ∑ x i i = 1 n da d b + (2 n) d 2 b .

Otrzymaliśmy macierz o postaci kwadratowej M = 2 ∑ i = 1 n (x i) 2 2 ∑ i = 1 n x i 2 ∑ i = 1 n x i 2 n .

W takim przypadku wartości poszczególnych elementów nie ulegną zmianie w zależności od a i b . Czy ta macierz dodatnia jest określona? Aby odpowiedzieć na to pytanie, sprawdźmy, czy jego drobne kątowe są pozytywne.

Oblicz molowe kątowe pierwszego rzędu: 2 ∑ i = 1 n (x i) 2 > 0 . Ponieważ punkty x i nie pokrywają się, nierówność jest ścisła. Będziemy o tym pamiętać w dalszych obliczeniach.

Obliczamy drobne kątowe drugiego rzędu:

d e t (M) = 2 ∑ i = 1 n (x i) 2 2 ∑ i = 1 n x i 2 ∑ i = 1 n x i 2 n = 4 n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2

Następnie przechodzimy do dowodu nierówności n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 > 0 za pomocą indukcji matematycznej.

1. Sprawdźmy, czy ta nierówność jest poprawna dla dowolnego n . Weźmy 2 i obliczmy:

2 ∑ i = 1 2 (x i) 2 - ∑ i = 1 2 x i 2 = 2 x 1 2 + x 2 2 - x 1 + x 2 2 = = x 1 2 - 2 x 1 x 2 + x 2 2 = x 1 + x 2 2 > 0

Otrzymaliśmy poprawną równość (jeśli wartości x 1 i x 2 się nie zgadzają).

1. Załóżmy, że ta nierówność będzie prawdziwa dla n , tj. n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 > 0 – prawda.
2. Teraz udowodnijmy poprawność dla n + 1 , tj. że (n + 1) ∑ i = 1 n + 1 (x i) 2 - ∑ i = 1 n + 1 x i 2 > 0 jeśli n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 > 0 .

Obliczamy:

(n + 1) ∑ i = 1 n + 1 (x i) 2 - ∑ i = 1 n + 1 x i 2 = = (n + 1) ∑ i = 1 n (x i) 2 + x n + 1 2 - ∑ i = 1 n x i + x n + 1 2 = = n ∑ i = 1 n (x i) 2 + n x n + 1 2 + ∑ i = 1 n (x i) 2 + x n + 1 2 - - ∑ i = 1 n x i 2 + 2 x n + 1 ∑ i = 1 n x i + x n + 1 2 = = ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 + n x n + 1 2 - x n + 1 ∑ i = 1 n x i + ∑ i = 1 n (x i) 2 = = ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 + x n + 1 2 - 2 x n + 1 x 1 + x 1 2 + + x n + 1 2 - 2 x n + 1 x 2 + x 2 2 + . . . + x n + 1 2 - 2 x n + 1 x 1 + x n 2 = = n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 + + (x n + 1 - x 1) 2 + (x n + 1 - x 2) 2 + . . . + (x n - 1 - x n) 2 > 0

Wyrażenie ujęte w nawiasy klamrowe będzie większe od 0 (na podstawie tego, co założyliśmy w kroku 2), a pozostałe wyrażenia będą większe od 0, ponieważ wszystkie są kwadratami liczb. Udowodniliśmy nierówność.

Odpowiadać: znalezione a i b będą odpowiadały najmniejszej wartości funkcji F (a, b) = ∑ i = 1 n (y i - (a x i + b)) 2, co oznacza, że ​​są pożądanymi parametrami metody najmniejszych kwadratów (LSM).

Jeśli zauważysz błąd w tekście, zaznacz go i naciśnij Ctrl+Enter

Metoda najmniejszych kwadratów (LSM) pozwala oszacować różne wielkości na podstawie wyników wielu pomiarów zawierających błędy losowe.

Charakterystyka MNC

Główną ideą tej metody jest to, że suma kwadratów błędów jest traktowana jako kryterium dokładności rozwiązania problemu, który ma być zminimalizowany. Korzystając z tej metody, można zastosować zarówno podejście numeryczne, jak i analityczne.

W szczególności, jako implementacja numeryczna, metoda najmniejszych kwadratów zakłada wykonanie jak największej liczby pomiarów nieznanej zmiennej losowej. Co więcej, im więcej obliczeń, tym dokładniejsze będzie rozwiązanie. Na tym zestawie obliczeń (dane wyjściowe) uzyskuje się kolejny zestaw proponowanych rozwiązań, z którego następnie wybiera się najlepsze. Jeżeli zbiór rozwiązań jest sparametryzowany, to metoda najmniejszych kwadratów sprowadzi się do znalezienia optymalnej wartości parametrów.

Jako analityczne podejście do realizacji LSM na zbiorze danych wyjściowych (pomiarów) i proponowanym zbiorze rozwiązań określa się pewne (funkcjonalne), które można wyrazić wzorem uzyskanym jako pewna hipoteza wymagająca potwierdzenia . W tym przypadku metoda najmniejszych kwadratów sprowadza się do znalezienia minimum tego funkcjonału na zbiorze kwadratów błędów danych początkowych.

Zauważ, że nie same błędy, ale kwadraty błędów. Czemu? Faktem jest, że często odchylenia pomiarów od dokładnej wartości są zarówno dodatnie, jak i ujemne. Przy określaniu średniej proste sumowanie może prowadzić do błędnego wniosku na temat jakości oszacowania, ponieważ wzajemne anulowanie wartości dodatnich i ujemnych zmniejszy moc próbkowania zestawu pomiarów. A w konsekwencji dokładność oceny.

Aby temu zapobiec, sumuje się kwadraty odchyleń. Co więcej, w celu wyrównania wymiaru mierzonej wartości i ostatecznego oszacowania, do wyodrębnienia wykorzystuje się sumę kwadratów błędów

Niektóre zastosowania MNC

MNC jest szeroko stosowany w różnych dziedzinach. Na przykład w teorii prawdopodobieństwa i statystyce matematycznej metoda służy do określenia takiej cechy zmiennej losowej, jak odchylenie standardowe, które określa szerokość zakresu wartości zmiennej losowej.

• instruktaż

Wstęp

Jestem programistą komputerowym. Zrobiłem największy skok w mojej karierze, kiedy nauczyłem się mówić: "Niczego nierozumiem!" Teraz nie wstydzę się powiedzieć luminarzowi nauki, że wygłasza mi wykład, że nie rozumiem, o czym ten luminarz do mnie mówi. A to bardzo trudne. Tak, trudno i wstyd przyznać, że nie wiesz. Kto lubi przyznać, że nie zna podstaw czegoś-tam. Z racji wykonywanego zawodu muszę uczęszczać na dużą ilość prezentacji i wykładów, na których, przyznaję, w zdecydowanej większości przypadków czuję się senna, bo nic nie rozumiem. I nie rozumiem, bo ogromny problem obecnej sytuacji w nauce leży w matematyce. Zakłada, że ​​wszyscy uczniowie znają absolutnie wszystkie dziedziny matematyki (co jest absurdalne). Przyznać, że nie wiesz, co to jest pochodna (że to jest trochę później), to wstyd.

Ale nauczyłem się mówić, że nie wiem, czym jest mnożenie. Tak, nie wiem, czym jest podalgebra nad algebrą Liego. Tak, nie wiem, dlaczego równania kwadratowe są potrzebne w życiu. Przy okazji, jeśli jesteś pewien, że wiesz, to mamy o czym porozmawiać! Matematyka to seria sztuczek. Matematycy próbują zmylić i zastraszyć opinię publiczną; gdzie nie ma zamieszania, reputacji, autorytetu. Tak, mówienie w najbardziej abstrakcyjnym języku jest prestiżowe, co samo w sobie jest kompletnym nonsensem.

Czy wiesz, co to jest pochodna? Najprawdopodobniej powiesz mi o granicy relacji różnicy. Na pierwszym roku matematyki na Petersburskim Uniwersytecie Państwowym Wiktor Pietrowicz Chawin me zdefiniowany pochodną jako współczynnik pierwszego członu szeregu Taylora funkcji w punkcie (oddzielną gimnastyką było wyznaczenie szeregu Taylora bez pochodnych). Śmiałem się z tej definicji przez długi czas, aż w końcu zrozumiałem, o co chodzi. Pochodna jest niczym więcej jak tylko miarą tego, jak bardzo różniczkowana funkcja jest podobna do funkcji y=x, y=x^2, y=x^3.

Mam teraz zaszczyt wykładać studentów, którzy: strach matematyka. Jeśli boisz się matematyki - jesteśmy w drodze. Jak tylko spróbujesz przeczytać jakiś tekst i wydaje ci się, że jest zbyt skomplikowany, to wiedz, że jest źle napisany. Twierdzę, że nie ma ani jednego obszaru matematyki, o którym nie można mówić „na palcach” bez utraty dokładności.

Wyzwanie na najbliższą przyszłość: poinstruowałem moich uczniów, aby zrozumieli, czym jest kontroler liniowo-kwadratowy. Nie wstydź się, zmarnuj trzy minuty swojego życia, skorzystaj z linku. Jeśli nic nie rozumiesz, to jesteśmy w drodze. Ja (zawodowy matematyk-programista) też nic nie rozumiałem. I zapewniam, że można to rozwiązać „na palcach”. W tej chwili nie wiem, co to jest, ale zapewniam, że uda nam się to rozgryźć.

Tak więc pierwszy wykład, który wygłoszę moim uczniom po tym, jak przybiegną do mnie z przerażeniem ze słowami, że kontroler liniowo-kwadratowy to okropny błąd, którego nigdy w życiu nie opanujesz, jest metody najmniejszych kwadratów. Czy potrafisz rozwiązywać równania liniowe? Jeśli czytasz ten tekst, to najprawdopodobniej nie.

Tak więc, biorąc pod uwagę dwa punkty (x0, y0), (x1, y1), na przykład (1,1) i (3,2), zadanie polega na znalezieniu równania prostej przechodzącej przez te dwa punkty:

ilustracja

Ta linia prosta powinna mieć równanie podobne do następującego:

Tutaj alfa i beta są nam nieznane, ale znane są dwa punkty tej linii:

Możesz zapisać to równanie w postaci macierzowej:

Tu należy zrobić liryczną dygresję: czym jest matryca? Matryca to nic innego jak dwuwymiarowa tablica. Jest to sposób przechowywania danych, nie należy im już podawać więcej wartości. Od nas zależy, jak dokładnie zinterpretować daną macierz. Okresowo będę interpretował to jako odwzorowanie liniowe, okresowo jako formę kwadratową, a czasem po prostu jako zbiór wektorów. To wszystko zostanie wyjaśnione w kontekście.

Zamieńmy konkretne macierze na ich symboliczną reprezentację:

Wtedy (alfa, beta) można łatwo znaleźć:

Dokładniej dla naszych poprzednich danych:

Co prowadzi do następującego równania prostej przechodzącej przez punkty (1,1) i (3,2):

Dobra, tutaj wszystko jest jasne. I znajdźmy równanie przechodzącej przez nią linii prostej trzy punkty: (x0,y0), (x1,y1) i (x2,y2):

Oh-oh-oh, ale mamy trzy równania dla dwóch niewiadomych! Standardowy matematyk powie, że nie ma rozwiązania. Co powie programista? I najpierw przepisze poprzedni układ równań w następującej postaci:

W naszym przypadku wektory i, j, b są trójwymiarowe, dlatego (w ogólnym przypadku) nie ma rozwiązania tego układu. Każdy wektor (alfa\*i + beta\*j) leży w płaszczyźnie rozpiętej przez wektory (i, j). Jeżeli b nie należy do tej płaszczyzny, to nie ma rozwiązania (równość w równaniu nie może być osiągnięta). Co robić? Poszukajmy kompromisu. Oznaczmy przez e(alfa, beta) jak dokładnie nie osiągnęliśmy równości:

I postaramy się zminimalizować ten błąd:

Dlaczego kwadrat?

Szukamy nie tylko minimum normy, ale minimum kwadratu normy. Czemu? Sam punkt minimum jest zbieżny, a kwadrat daje funkcję gładką (kwadratowa funkcja argumentów (alfa,beta)), podczas gdy tylko długość daje funkcję w postaci stożka, nieróżnicowalnej w punkcie minimum. Br. Kwadrat jest wygodniejszy.

Oczywiście błąd jest minimalizowany, gdy wektor mi prostopadły do ​​płaszczyzny rozpiętej przez wektory i oraz j.

Ilustracja

Innymi słowy: szukamy prostej takiej, aby suma kwadratów długości odległości od wszystkich punktów do tej linii była minimalna:

AKTUALIZACJA: tutaj mam ościeżnicę, odległość do linii powinna być mierzona w pionie, a nie w rzucie prostokątnym. Ten komentator ma rację.

Ilustracja

Zupełnie innymi słowami (ostrożnie, słabo sformalizowane, ale powinno to być jasne na palcach): bierzemy wszystkie możliwe linie między wszystkimi parami punktów i szukamy średniej linii między wszystkimi:

Ilustracja

Kolejne wyjaśnienie na palcach: między wszystkimi punktami danych (tu mamy trzy) a linią, której szukamy, przyczepiamy sprężynę, a linia stanu równowagi jest dokładnie tym, czego szukamy.

Minimalna forma kwadratowa

Innymi słowy szukamy wektora x=(alfa, beta) takiego, że:

Przypominam, że ten wektor x=(alfa, beta) jest minimum funkcji kwadratowej ||e(alfa, beta)||^2:

W tym miejscu warto pamiętać, że macierz może być interpretowana tak samo jak forma kwadratowa, na przykład macierz jednostkowa ((1,0),(0,1)) może być interpretowana jako funkcja x^2 + y ^2:

forma kwadratowa

Cała ta gimnastyka jest znana jako regresja liniowa.

Równanie Laplace'a z warunkiem brzegowym Dirichleta

Dostępne jest oryginalne zatwierdzenie. Aby zminimalizować zewnętrzne zależności, wziąłem kod mojego oprogramowania do renderowania, już na Habré. Aby rozwiązać system liniowy, używam OpenNL , to świetny solver, ale bardzo trudny do zainstalowania: musisz skopiować dwa pliki (.h + .c) do folderu projektu. Całe wygładzanie odbywa się za pomocą następującego kodu:

Dla (int d=0; d<3; d++) { nlNewContext(); nlSolverParameteri(NL_NB_VARIABLES, verts.size()); nlSolverParameteri(NL_LEAST_SQUARES, NL_TRUE); nlBegin(NL_SYSTEM); nlBegin(NL_MATRIX); for (int i=0; i<(int)verts.size(); i++) { nlBegin(NL_ROW); nlCoefficient(i, 1); nlRightHandSide(verts[i][d]); nlEnd(NL_ROW); } for (unsigned int i=0; i&twarz = twarze[i]; dla (int j=0; j<3; j++) { nlBegin(NL_ROW); nlCoefficient(face[ j ], 1); nlCoefficient(face[(j+1)%3], -1); nlEnd(NL_ROW); } } nlEnd(NL_MATRIX); nlEnd(NL_SYSTEM); nlSolve(); for (int i=0; i<(int)verts.size(); i++) { verts[i][d] = nlGetVariable(i); } }

Współrzędne X, Y i Z są rozdzielne, wygładzam je osobno. Oznacza to, że rozwiązuję trzy układy równań liniowych, z których każdy ma taką samą liczbę zmiennych, jak liczba wierzchołków w moim modelu. Pierwsze n wierszy macierzy A ma tylko 1 na wiersz, a pierwsze n wierszy wektora b ma oryginalne współrzędne modelu. Oznacza to, że wiązuję sprężynę między nową pozycją wierzchołka a starą pozycją wierzchołka - nowe nie powinny znajdować się zbyt daleko od starych.

Wszystkie kolejne wiersze macierzy A (faces.size()*3 = liczba krawędzi wszystkich trójkątów w siatce) mają jedno wystąpienie 1 i jedno wystąpienie -1, podczas gdy wektor b ma zero składowych przeciwnych. Oznacza to, że umieszczam sprężynę na każdej krawędzi naszej trójkątnej siatki: wszystkie krawędzie starają się uzyskać ten sam wierzchołek, co ich punkty początkowe i końcowe.

Jeszcze raz: wszystkie wierzchołki są zmiennymi i nie mogą odbiegać daleko od swojej pierwotnej pozycji, ale jednocześnie starają się upodobnić do siebie.

Oto wynik:

Wszystko byłoby w porządku, model jest naprawdę wygładzony, ale odsunął się od pierwotnej krawędzi. Zmieńmy trochę kod:

Dla (int i=0; i<(int)verts.size(); i++) { float scale = border[i] ? 1000: 1; nlBegin(NL_ROW); nlCoefficient(i, scale); nlRightHandSide(scale*verts[i][d]); nlEnd(NL_ROW); }

W naszej macierzy A dla wierzchołków znajdujących się na krawędzi nie dodaję wiersza z kategorii v_i = verts[i][d], ale 1000*v_i = 1000*verts[i][d]. Co to zmienia? A to zmienia naszą kwadratową formę błędu. Teraz pojedyncze odchylenie od góry na krawędzi będzie kosztować nie jedną jednostkę, jak poprzednio, ale 1000 * 1000 jednostek. Oznacza to, że na skrajnych wierzchołkach zawiesiliśmy mocniejszą sprężynę, rozwiązanie woli mocniej rozciągać inne. Oto wynik:

Podwójmy siłę sprężyn między wierzchołkami:
nlCoefficient(twarz[ j ], 2); nlCoficiency(face[(j+1)%3], -2);

Logiczne jest, że powierzchnia stała się gładsza:

A teraz nawet sto razy silniejszy:

Co to jest? Wyobraź sobie, że zanurzyliśmy druciany pierścień w wodzie z mydłem. W rezultacie powstały film mydlany będzie starał się mieć jak najmniej krzywiznę, dotykając tej samej granicy - naszego pierścienia z drutu. To właśnie dostaliśmy, naprawiając obramowanie i prosząc o gładką powierzchnię wewnątrz. Gratulacje, właśnie rozwiązaliśmy równanie Laplace'a z warunkami brzegowymi Dirichleta. Brzmi nieźle? Ale tak naprawdę do rozwiązania jest tylko jeden układ równań liniowych.

Równanie Poissona

Powiedzmy, że mam taki obraz:

Wszyscy są dobrzy, ale nie lubię krzesła.

Obraz przeciąłem na pół:

I wybiorę krzesło własnymi rękami:

Następnie przeciągnę wszystko, co jest białe w masce na lewą stronę obrazu, a jednocześnie na całym obrazku będę mówił, że różnica między dwoma sąsiednimi pikselami powinna być równa różnicy między dwoma sąsiednimi pikselami obrazu. prawy obraz:

Dla (int i=0; i

Oto wynik:

Kod i zdjęcia są dostępne