Üç boyutlu en küçük kareler yöntemi. Deneysel verilerin yaklaştırılması

Bilim ve uygulamanın çeşitli alanlarında en geniş uygulamayı bulan. Fizik, kimya, biyoloji, ekonomi, sosyoloji, psikoloji vb. olabilir. Kaderin iradesiyle, sık sık ekonomiyle uğraşmak zorunda kalıyorum ve bu nedenle bugün sizin için harika bir ülkeye bir bilet ayarlayacağım. Ekonometri=) … Bunu nasıl istemezsin?! Orası çok iyi - sadece karar vermelisin! …Ama muhtemelen kesinlikle istediğiniz şey, problemlerin nasıl çözüleceğini öğrenmektir. en küçük kareler. Ve özellikle çalışkan okuyucular, bunları yalnızca doğru bir şekilde değil, aynı zamanda ÇOK HIZLI çözmeyi öğrenecekler ;-) Ama önce sorunun genel ifadesi+ ilgili örnek:

Nicel bir ifadeye sahip bazı konu alanlarında göstergelerin çalışılmasına izin verin. Aynı zamanda, göstergenin göstergeye bağlı olduğuna inanmak için her türlü neden var. Bu varsayım hem bilimsel bir hipotez hem de temel sağduyuya dayalı olabilir. Yine de bilimi bir kenara bırakalım ve daha iştah açıcı alanları, yani marketleri keşfedelim. Şununla göster:

– bir bakkalın satış alanı, metrekare,
- bir bakkalın yıllık cirosu, milyon ruble.

Mağazanın alanı ne kadar genişse, çoğu durumda cirosunun o kadar yüksek olduğu oldukça açıktır.

Bir tef ile gözlemler / deneyler / hesaplamalar / dans yaptıktan sonra elimizde sayısal veriler olduğunu varsayalım:

Marketlerde her şeyin açık olduğunu düşünüyorum: - burası 1. mağazanın alanı, - yıllık cirosu, - 2. mağazanın alanı, - yıllık cirosu vb. Bu arada, sınıflandırılmış materyallere erişime sahip olmak hiç gerekli değildir - ciro hakkında oldukça doğru bir değerlendirme, kullanılarak elde edilebilir. matematiksel istatistik. Ancak, dikkatinizi dağıtmayın, ticari casusluğun ücreti zaten ödenmiştir =)

Tablo verileri nokta şeklinde de yazılabilir ve bizim için olağan şekilde tasvir edilebilir. Kartezyen sistem .

Önemli bir soruya cevap verelim: nitel bir çalışma için kaç puan gerekir?

Daha büyük daha iyi. Kabul edilebilir minimum set 5-6 puandan oluşur. Ayrıca az miktarda veri ile “anormal” sonuçlar örneğe dahil edilmemelidir. Bu nedenle, örneğin, küçük bir elit mağaza, "meslektaşlarından" daha büyük siparişlere yardımcı olabilir ve böylece bulunması gereken genel modeli bozabilir!

Çok basitse, bir fonksiyon seçmemiz gerekiyor, takvim noktalara mümkün olduğu kadar yakından geçen . Böyle bir işlev denir yaklaşan (yaklaşım - yaklaşım) veya teorik fonksiyon . Genel olarak konuşursak, burada hemen bariz bir "taklitçi" belirir - grafiği TÜM noktalardan geçen yüksek dereceli bir polinom. Ancak bu seçenek karmaşıktır ve genellikle yanlıştır. (çünkü grafik her zaman "sallanır" ve ana eğilimi zayıf bir şekilde yansıtır).

Bu nedenle, istenen işlev yeterince basit olmalı ve aynı zamanda bağımlılığı yeterince yansıtmalıdır. Tahmin edebileceğiniz gibi, bu tür işlevleri bulma yöntemlerinden birine denir. en küçük kareler. İlk olarak, özünü genel bir şekilde analiz edelim. Bazı işlevlerin deneysel verilere yaklaşmasına izin verin:


Bu yaklaşımın doğruluğu nasıl değerlendirilir? Deneysel ve fonksiyonel değerler arasındaki farkları (sapmaları) da hesaplayalım. (çizi inceliyoruz). Akla gelen ilk düşünce, toplamın ne kadar büyük olduğunu tahmin etmektir, ancak sorun şu ki, farklılıklar negatif olabilir. (Örneğin, ) ve bu tür bir toplamanın sonucu olan sapmalar birbirini götürecektir. Bu nedenle, yaklaşımın doğruluğunun bir tahmini olarak, toplamı almayı önerir. modüller sapmalar:

veya katlanmış biçimde: (aniden, kim bilmiyor: toplam simgesidir ve yardımcı bir değişkendir - 1 ile 1 arasındaki değerleri alan “sayaç”).

Deneysel noktaları farklı fonksiyonlarla yaklaştırarak, farklı değerler elde edeceğiz ve bu toplamın daha küçük olduğu yerde, o fonksiyonun daha doğru olduğu açıktır.

Böyle bir yöntem var ve denir en küçük modül yöntemi. Ancak pratikte çok daha yaygın hale geldi. en küçük kareler yöntemi olası negatif değerlerin modül tarafından değil, sapmaların karesi alınarak ortadan kaldırıldığı:

, bundan sonra çabalar öyle bir fonksiyonun seçimine yönlendirilir ki, sapmaların karesi toplamı olabildiğince küçüktü. Aslında, dolayısıyla yöntemin adı.

Ve şimdi başka bir önemli noktaya dönüyoruz: yukarıda belirtildiği gibi, seçilen işlev oldukça basit olmalıdır - ancak bu tür birçok işlev de vardır: doğrusal , hiperbolik, üstel, logaritmik, ikinci dereceden vesaire. Ve tabii ki burada hemen "faaliyet alanını azaltmak" istiyorum. Araştırma için hangi fonksiyon sınıfı seçilmelidir? İlkel ama etkili teknik:

- Puan çekmenin en kolay yolu çizim üzerinde ve konumlarını analiz edin. Düz bir çizgide olma eğilimindeyseler, düz çizgi denklemi optimal değerlerle ve . Başka bir deyişle, görev BÖYLE katsayıları bulmaktır - böylece kare sapmaların toplamı en küçük olur.

Noktalar, örneğin, abartı, o zaman doğrusal fonksiyonun zayıf bir yaklaşım vereceği açıktır. Bu durumda, hiperbol denklemi için en “elverişli” katsayıları arıyoruz. - minimum kareler toplamını verenler .

Şimdi her iki durumda da bahsettiğimize dikkat edin. iki değişkenli fonksiyonlar, kimin argümanları aranan bağımlılık seçenekleri:

Ve özünde, standart bir sorunu çözmemiz gerekiyor - bulmak için iki değişkenli bir fonksiyonun minimumu.

Örneğimizi hatırlayın: "mağaza" noktalarının düz bir çizgide olma eğiliminde olduğunu ve varlığına inanmak için her türlü nedenin olduğunu varsayalım. doğrusal bağımlılık ticaret alanından ciro. "a" ve "be" SUCH katsayılarını bulalım, böylece sapmaların karesi toplamı en küçüğüydü. Her şey her zamanki gibi - ilk 1. dereceden kısmi türevler. Buna göre doğrusallık kuralı toplam simgesinin hemen altında ayırt edebilirsiniz:

Bu bilgiyi bir makale veya dönem ödevi için kullanmak isterseniz, kaynaklar listesindeki bağlantı için çok minnettar olacağım, bu kadar ayrıntılı hesaplamaları hiçbir yerde bulamayacaksınız:

Standart bir sistem yapalım:

Her denklemi bir "iki" azaltırız ve ek olarak toplamları "ayırırız":

Not : "a" ve "be"nin neden toplam simgesinden çıkarılabileceğini bağımsız olarak analiz edin. Bu arada, resmi olarak bu toplamla yapılabilir.

Sistemi "uygulanmış" bir biçimde yeniden yazalım:

bundan sonra problemimizi çözmek için algoritma çizilmeye başlar:

Noktaların koordinatlarını biliyor muyuz? Biliyoruz. toplamlar bulabilir miyiz? Kolayca. En basitini oluşturuyoruz iki bilinmeyenli iki lineer denklem sistemi("a" ve "beh"). Sistemi çözüyoruz, örneğin, Cramer'in yöntemi, sabit bir nokta ile sonuçlanır . Kontrol etme bir ekstremum için yeterli koşul, bu noktada işlevin doğrulanabileceğini doğrulayabiliriz. kesin olarak ulaşır minimum. Doğrulama ek hesaplamalarla ilişkilidir ve bu nedenle onu perde arkasında bırakacağız. (gerekirse eksik çerçeve görüntülenebilir). Nihai sonucu çıkarıyoruz:

İşlev en iyi yol (en azından diğer herhangi bir doğrusal fonksiyonla karşılaştırıldığında) deneysel noktaları yakınlaştırır . Kabaca söylemek gerekirse, grafiği bu noktalara olabildiğince yakın geçer. Gelenekte Ekonometri ortaya çıkan yaklaşık fonksiyon da denir eşleştirilmiş doğrusal regresyon denklemi .

Ele alınan problem büyük pratik öneme sahiptir. Örneğimizdeki durumda, denklem ne tür bir ciro tahmin etmenizi sağlar ("yig") satış alanının bir veya daha fazla değerine sahip mağazada olacak ("x"in şu veya bu anlamı). Evet, ortaya çıkan tahmin yalnızca bir tahmin olacaktır, ancak çoğu durumda oldukça doğru olduğu ortaya çıkacaktır.

"Gerçek" sayılarla tek bir sorunu analiz edeceğim, çünkü içinde hiçbir zorluk yok - tüm hesaplamalar 7-8. Sınıflardaki okul müfredatı düzeyinde. Vakaların yüzde 95'inde sizden sadece doğrusal bir fonksiyon bulmanız istenecek, ancak makalenin en sonunda optimal hiperbol, üs ve diğer bazı fonksiyonlar için denklemleri bulmanın artık zor olmadığını göstereceğim.

Aslında, vaat edilen güzellikleri dağıtmaya devam ediyor - böylece bu tür örnekleri yalnızca doğru bir şekilde değil, aynı zamanda hızlı bir şekilde nasıl çözeceğinizi de öğreneceksiniz. Standardı dikkatlice inceliyoruz:

Görev

İki gösterge arasındaki ilişkinin incelenmesi sonucunda aşağıdaki sayı çiftleri elde edildi:

En küçük kareler yöntemini kullanarak ampirik denkleme en iyi yaklaşan doğrusal fonksiyonu bulun. (Tecrübeli) veri. Kartezyen dikdörtgen koordinat sisteminde deneysel noktaların ve yaklaşık fonksiyonun grafiğinin çizildiği bir çizim yapın . Ampirik ve teorik değerler arasındaki kare sapmaların toplamını bulun. İşlevin daha iyi olup olmadığını öğrenin (en küçük kareler yöntemi açısından) yaklaşık deney noktaları.

"x" değerlerinin doğal değerler olduğuna ve bunun karakteristik anlamlı bir anlamı olduğuna dikkat edin, bundan biraz sonra bahsedeceğim; ama elbette kesirli olabilirler. Ayrıca belirli bir görevin içeriğine bağlı olarak hem "X" hem de "G" değerleri tamamen veya kısmen negatif olabilir. Pekala, bize "yüzsüz" bir görev verildi ve biz onu başlatıyoruz çözüm:

Sistemin çözümü olarak optimal fonksiyonun katsayılarını buluyoruz:

Toplamanın 1'den .

Gerekli miktarları tablo şeklinde hesaplamak daha uygundur:


Hesaplamalar bir mikro hesap makinesinde yapılabilir, ancak Excel'i kullanmak çok daha iyidir - hem daha hızlı hem de hatasız; kısa bir video izleyin:

Böylece, aşağıdakileri elde ederiz sistem:

Burada ikinci denklemi 3 ile çarpabilir ve 2.yi 1. denklemden terim terim çıkar. Ancak bu şanstır - pratikte sistemler genellikle yetenekli değildir ve bu gibi durumlarda tasarruf sağlar Cramer'in yöntemi:
, bu nedenle sistemin benzersiz bir çözümü vardır.

Bir kontrol yapalım. İstemediğimi anlıyorum, ama neden kesinlikle kaçırmayacağınız hataları atlayasınız? Bulunan çözümü sistemin her bir denkleminin sol tarafına koyun:

Karşılık gelen denklemlerin doğru kısımları elde edilir, bu da sistemin doğru çözüldüğü anlamına gelir.

Böylece, istenen yaklaşıklık fonksiyonu: – tüm doğrusal fonksiyonlar deneysel verilere en iyi şekilde yaklaşılır.

Farklı dümdüz mağazanın cirosunun kendi alanına bağımlılığı, bulunan bağımlılık tersi ("ne kadar çok - o kadar az" ilkesi) ve bu gerçek olumsuz tarafından hemen ortaya çıkar. açısal katsayı. İşlev belirli bir göstergenin 1 birim artmasıyla bağımlı göstergenin değerinin azaldığını bildirir. ortalama 0,65 birim. Dedikleri gibi, karabuğdayın fiyatı ne kadar yüksekse, o kadar az satılır.

Yaklaştırma işlevini çizmek için, onun değerlerinden ikisini buluruz:

ve çizimi yürütün:


İnşa edilen hat denir trend çizgisi (yani, doğrusal bir eğilim çizgisi, yani genel durumda, bir eğilim mutlaka düz bir çizgi değildir). "Trend olmak" ifadesine herkes aşinadır ve bu terimin ek yoruma ihtiyacı olmadığını düşünüyorum.

Kare sapmaların toplamını hesaplayın ampirik ve teorik değerler arasında. Geometrik olarak bu, "kırmızı" bölümlerin uzunluklarının karelerinin toplamıdır. (iki tanesi o kadar küçüktür ki onları göremezsiniz bile).

Hesaplamaları bir tablo halinde özetleyelim:


1. nokta için bir örnek vermem durumunda, yine manuel olarak gerçekleştirilebilirler:

ancak zaten bilinen yolu yapmak çok daha etkilidir:

Tekrar edelim: sonucun anlamı nedir?İtibaren tüm doğrusal fonksiyonlar işlev üs en küçüğüdür, yani ailesindeki en iyi yaklaşımdır. Ve bu arada, sorunun son sorusu tesadüfi değil: Ya önerilen üstel fonksiyon deneysel noktalara yaklaşmak daha iyi olacak mı?

Kare sapmaların karşılık gelen toplamını bulalım - onları ayırt etmek için onları "epsilon" harfiyle göstereceğim. Teknik tamamen aynıdır:


Ve yine 1. nokta için her yangın hesaplaması için:

Excel'de standart işlevi kullanıyoruz tecrübe (Sözdizimi Excel Yardımında bulunabilir).

Çözüm: , bu nedenle üstel fonksiyon deneysel noktalara düz çizgiden daha kötü yaklaşır .

Ancak burada "daha kötü" olduğunu belirtmek gerekir. henüz demek değil, Yanlış olan ne. Şimdi bu üstel fonksiyonun bir grafiğini oluşturdum - ve o da noktaların yakınından geçiyor - Öyle ki analitik bir çalışma yapılmadan hangi fonksiyonun daha doğru olduğunu söylemek zor.

Bu, çözümü tamamlıyor ve argümanın doğal değerleri sorusuna dönüyorum. Çeşitli çalışmalarda, kural olarak, ekonomik veya sosyolojik, aylar, yıllar veya diğer eşit zaman aralıkları doğal "X" ile numaralandırılır. Örneğin böyle bir sorunu ele alalım.

en küçük kareler yöntemi

Konunun son dersinde en ünlü uygulama ile tanışacağız. FNP, çeşitli bilim ve uygulama alanlarında en geniş uygulamayı bulan. Fizik, kimya, biyoloji, ekonomi, sosyoloji, psikoloji vb. olabilir. Kaderin iradesiyle, sık sık ekonomiyle uğraşmak zorunda kalıyorum ve bu nedenle bugün sizin için harika bir ülkeye bir bilet ayarlayacağım. Ekonometri=) … Bunu nasıl istemezsin?! Orası çok iyi - sadece karar vermelisin! …Ama muhtemelen kesinlikle istediğiniz şey, problemlerin nasıl çözüleceğini öğrenmektir. en küçük kareler. Ve özellikle çalışkan okuyucular, bunları yalnızca doğru bir şekilde değil, aynı zamanda ÇOK HIZLI çözmeyi öğrenecekler ;-) Ama önce sorunun genel ifadesi+ ilgili örnek:

Nicel bir ifadeye sahip bazı konu alanlarında göstergelerin çalışılmasına izin verin. Aynı zamanda, göstergenin göstergeye bağlı olduğuna inanmak için her türlü neden var. Bu varsayım hem bilimsel bir hipotez hem de temel sağduyuya dayalı olabilir. Yine de bilimi bir kenara bırakalım ve daha iştah açıcı alanları, yani marketleri keşfedelim. Şununla göster:

– bir bakkalın satış alanı, metrekare,
- bir bakkalın yıllık cirosu, milyon ruble.

Mağazanın alanı ne kadar genişse, çoğu durumda cirosunun o kadar yüksek olduğu oldukça açıktır.

Bir tef ile gözlemler / deneyler / hesaplamalar / dans yaptıktan sonra elimizde sayısal veriler olduğunu varsayalım:

Marketlerde her şeyin açık olduğunu düşünüyorum: - burası 1. mağazanın alanı, - yıllık cirosu, - 2. mağazanın alanı, - yıllık cirosu vb. Bu arada, sınıflandırılmış materyallere erişime sahip olmak hiç gerekli değildir - ciro hakkında oldukça doğru bir değerlendirme, kullanılarak elde edilebilir. matematiksel istatistik. Ancak, dikkatinizi dağıtmayın, ticari casusluğun ücreti zaten ödenmiştir =)

Tablo verileri nokta şeklinde de yazılabilir ve bizim için olağan şekilde tasvir edilebilir. Kartezyen sistem .

Önemli bir soruya cevap verelim: nitel bir çalışma için kaç puan gerekir?

Daha büyük daha iyi. Kabul edilebilir minimum set 5-6 puandan oluşur. Ayrıca az miktarda veri ile “anormal” sonuçlar örneğe dahil edilmemelidir. Bu nedenle, örneğin, küçük bir elit mağaza, "meslektaşlarından" daha büyük siparişlere yardımcı olabilir ve böylece bulunması gereken genel modeli bozabilir!

Çok basitse, bir fonksiyon seçmemiz gerekiyor, takvim noktalara mümkün olduğu kadar yakından geçen . Böyle bir işlev denir yaklaşan (yaklaşım - yaklaşım) veya teorik fonksiyon . Genel olarak konuşursak, burada hemen bariz bir "taklitçi" belirir - grafiği TÜM noktalardan geçen yüksek dereceli bir polinom. Ancak bu seçenek karmaşıktır ve genellikle yanlıştır. (çünkü grafik her zaman "sallanır" ve ana eğilimi zayıf bir şekilde yansıtır).

Bu nedenle, istenen işlev yeterince basit olmalı ve aynı zamanda bağımlılığı yeterince yansıtmalıdır. Tahmin edebileceğiniz gibi, bu tür işlevleri bulma yöntemlerinden birine denir. en küçük kareler. İlk olarak, özünü genel bir şekilde analiz edelim. Bazı işlevlerin deneysel verilere yaklaşmasına izin verin:


Bu yaklaşımın doğruluğu nasıl değerlendirilir? Deneysel ve fonksiyonel değerler arasındaki farkları (sapmaları) da hesaplayalım. (çizi inceliyoruz). Akla gelen ilk düşünce, toplamın ne kadar büyük olduğunu tahmin etmektir, ancak sorun şu ki, farklılıklar negatif olabilir. (Örneğin, ) ve bu tür bir toplamanın sonucu olan sapmalar birbirini götürecektir. Bu nedenle, yaklaşımın doğruluğunun bir tahmini olarak, toplamı almayı önerir. modüller sapmalar:

veya katlanmış biçimde: (bilmeyenler için: toplam simgesidir ve - yardımcı değişken - 1'den 1'e kadar olan değerleri alan "sayaç" ) .

Deneysel noktaları farklı fonksiyonlarla yaklaştırırsak, farklı değerler elde ederiz ve bu toplamın daha az olduğu yerde fonksiyonun daha doğru olduğu açıktır.

Böyle bir yöntem var ve denir en küçük modül yöntemi. Ancak pratikte çok daha yaygın hale geldi. en küçük kareler yöntemi olası negatif değerlerin modül tarafından değil, sapmaların karesi alınarak ortadan kaldırıldığı:

, bundan sonra çabalar öyle bir fonksiyonun seçimine yönlendirilir ki, sapmaların karesi toplamı olabildiğince küçüktü. Aslında, dolayısıyla yöntemin adı.

Ve şimdi başka bir önemli noktaya dönüyoruz: yukarıda belirtildiği gibi, seçilen işlev oldukça basit olmalıdır - ancak bu tür birçok işlev de vardır: doğrusal , hiperbolik , üstel , logaritmik , ikinci dereceden vesaire. Ve tabii ki burada hemen "faaliyet alanını azaltmak" istiyorum. Araştırma için hangi fonksiyon sınıfı seçilmelidir? İlkel ama etkili teknik:

- Puan çekmenin en kolay yolu çizim üzerinde ve konumlarını analiz edin. Düz bir çizgide olma eğilimindeyseler, düz çizgi denklemi optimal değerlerle ve . Başka bir deyişle, görev BÖYLE katsayıları bulmaktır - böylece kare sapmaların toplamı en küçük olur.

Noktalar, örneğin, abartı, o zaman doğrusal fonksiyonun zayıf bir yaklaşım vereceği açıktır. Bu durumda, hiperbol denklemi için en “elverişli” katsayıları arıyoruz. - minimum kareler toplamını verenler .

Şimdi her iki durumda da bahsettiğimize dikkat edin. iki değişkenli fonksiyonlar, kimin argümanları aranan bağımlılık seçenekleri:

Ve özünde, standart bir sorunu çözmemiz gerekiyor - bulmak için iki değişkenli bir fonksiyonun minimumu.

Örneğimizi hatırlayın: "mağaza" noktalarının düz bir çizgide olma eğiliminde olduğunu ve varlığına inanmak için her türlü nedenin olduğunu varsayalım. doğrusal bağımlılık ticaret alanından ciro. "a" ve "be" SUCH katsayılarını bulalım, böylece sapmaların karesi toplamı en küçüğüydü. Her şey her zamanki gibi - ilk 1. dereceden kısmi türevler. Buna göre doğrusallık kuralı toplam simgesinin hemen altında ayırt edebilirsiniz:

Bu bilgiyi bir makale veya dönem ödevi için kullanmak isterseniz, kaynaklar listesindeki bağlantı için çok minnettar olacağım, bu kadar ayrıntılı hesaplamaları hiçbir yerde bulamayacaksınız:

Standart bir sistem yapalım:

Her denklemi bir "iki" azaltırız ve ek olarak toplamları "ayırırız":

Not : "a" ve "be"nin neden toplam simgesinden çıkarılabileceğini bağımsız olarak analiz edin. Bu arada, resmi olarak bu toplamla yapılabilir.

Sistemi "uygulanmış" bir biçimde yeniden yazalım:

bundan sonra problemimizi çözmek için algoritma çizilmeye başlar:

Noktaların koordinatlarını biliyor muyuz? Biliyoruz. toplamlar bulabilir miyiz? Kolayca. En basitini oluşturuyoruz iki bilinmeyenli iki lineer denklem sistemi("a" ve "beh"). Sistemi çözüyoruz, örneğin, Cramer'in yöntemi, sabit bir nokta ile sonuçlanır . Kontrol etme bir ekstremum için yeterli koşul, bu noktada işlevin doğrulanabileceğini doğrulayabiliriz. kesin olarak ulaşır minimum. Doğrulama ek hesaplamalarla ilişkilidir ve bu nedenle onu perde arkasında bırakacağız. (gerekirse eksik çerçeve görüntülenebilirBurada ) . Nihai sonucu çıkarıyoruz:

İşlev en iyi yol (en azından diğer herhangi bir doğrusal fonksiyonla karşılaştırıldığında) deneysel noktaları yakınlaştırır . Kabaca söylemek gerekirse, grafiği bu noktalara olabildiğince yakın geçer. Gelenekte Ekonometri ortaya çıkan yaklaşık fonksiyon da denir eşleştirilmiş doğrusal regresyon denklemi .

Ele alınan problem büyük pratik öneme sahiptir. Örneğimizdeki durumda, denklem ne tür bir ciro tahmin etmenizi sağlar ("yig") satış alanının bir veya daha fazla değerine sahip mağazada olacak ("x"in şu veya bu anlamı). Evet, ortaya çıkan tahmin yalnızca bir tahmin olacaktır, ancak çoğu durumda oldukça doğru olduğu ortaya çıkacaktır.

"Gerçek" sayılarla tek bir sorunu analiz edeceğim, çünkü içinde hiçbir zorluk yok - tüm hesaplamalar 7-8. Sınıflardaki okul müfredatı düzeyinde. Vakaların yüzde 95'inde sizden sadece doğrusal bir fonksiyon bulmanız istenecek, ancak makalenin en sonunda optimal hiperbol, üs ve diğer bazı fonksiyonlar için denklemleri bulmanın artık zor olmadığını göstereceğim.

Aslında, vaat edilen güzellikleri dağıtmaya devam ediyor - böylece bu tür örnekleri yalnızca doğru bir şekilde değil, aynı zamanda hızlı bir şekilde nasıl çözeceğinizi de öğreneceksiniz. Standardı dikkatlice inceliyoruz:

Görev

İki gösterge arasındaki ilişkinin incelenmesi sonucunda aşağıdaki sayı çiftleri elde edildi:

En küçük kareler yöntemini kullanarak ampirik denkleme en iyi yaklaşan doğrusal fonksiyonu bulun. (Tecrübeli) veri. Kartezyen dikdörtgen koordinat sisteminde deneysel noktaların ve yaklaşık fonksiyonun grafiğinin çizildiği bir çizim yapın . Ampirik ve teorik değerler arasındaki kare sapmaların toplamını bulun. İşlevin daha iyi olup olmadığını öğrenin (en küçük kareler yöntemi açısından) yaklaşık deney noktaları.

"x" değerlerinin doğal değerler olduğuna ve bunun karakteristik anlamlı bir anlamı olduğuna dikkat edin, bundan biraz sonra bahsedeceğim; ama elbette kesirli olabilirler. Ayrıca belirli bir görevin içeriğine bağlı olarak hem "X" hem de "G" değerleri tamamen veya kısmen negatif olabilir. Pekala, bize "yüzsüz" bir görev verildi ve biz onu başlatıyoruz çözüm:

Sistemin çözümü olarak optimal fonksiyonun katsayılarını buluyoruz:

Toplamanın 1'den .

Gerekli miktarları tablo şeklinde hesaplamak daha uygundur:


Hesaplamalar bir mikro hesap makinesinde yapılabilir, ancak Excel'i kullanmak çok daha iyidir - hem daha hızlı hem de hatasız; kısa bir video izleyin:

Böylece, aşağıdakileri elde ederiz sistem:

Burada ikinci denklemi 3 ile çarpabilir ve 2.yi 1. denklemden terim terim çıkar. Ancak bu şanstır - pratikte sistemler genellikle yetenekli değildir ve bu gibi durumlarda tasarruf sağlar Cramer'in yöntemi:
, bu nedenle sistemin benzersiz bir çözümü vardır.

Bir kontrol yapalım. İstemediğimi anlıyorum, ama neden kesinlikle kaçırmayacağınız hataları atlayasınız? Bulunan çözümü sistemin her bir denkleminin sol tarafına koyun:

Karşılık gelen denklemlerin doğru kısımları elde edilir, bu da sistemin doğru çözüldüğü anlamına gelir.

Böylece, istenen yaklaşıklık fonksiyonu: – tüm doğrusal fonksiyonlar deneysel verilere en iyi şekilde yaklaşılır.

Farklı dümdüz mağazanın cirosunun kendi alanına bağımlılığı, bulunan bağımlılık tersi ("ne kadar çok - o kadar az" ilkesi) ve bu gerçek olumsuz tarafından hemen ortaya çıkar. açısal katsayı. Fonksiyon bize, belirli bir göstergede 1 birim artışla bağımlı göstergenin değerinin azaldığını söyler. ortalama 0,65 birim. Dedikleri gibi, karabuğdayın fiyatı ne kadar yüksekse, o kadar az satılır.

Yaklaştırma işlevini çizmek için, onun değerlerinden ikisini buluruz:

ve çizimi yürütün:

İnşa edilen hat denir trend çizgisi (yani, doğrusal bir eğilim çizgisi, yani genel durumda, bir eğilim mutlaka düz bir çizgi değildir). "Trend olmak" ifadesine herkes aşinadır ve bu terimin ek yoruma ihtiyacı olmadığını düşünüyorum.

Kare sapmaların toplamını hesaplayın ampirik ve teorik değerler arasında. Geometrik olarak bu, "kırmızı" bölümlerin uzunluklarının karelerinin toplamıdır. (iki tanesi o kadar küçüktür ki onları göremezsiniz bile).

Hesaplamaları bir tablo halinde özetleyelim:


1. nokta için bir örnek vermem durumunda, yine manuel olarak gerçekleştirilebilirler:

ancak zaten bilinen yolu yapmak çok daha etkilidir:

Tekrar edelim: sonucun anlamı nedir?İtibaren tüm doğrusal fonksiyonlar fonksiyon en küçük üsse sahiptir, yani ailesinde bu en iyi yaklaşımdır. Ve bu arada, sorunun son sorusu tesadüfi değil: Ya önerilen üstel fonksiyon deneysel noktalara yaklaşmak daha iyi olacak mı?

Kare sapmaların karşılık gelen toplamını bulalım - onları ayırt etmek için onları "epsilon" harfiyle göstereceğim. Teknik tamamen aynıdır:

Ve yine 1. nokta için her yangın hesaplaması için:

Excel'de standart işlevi kullanıyoruz tecrübe (Sözdizimi Excel Yardımında bulunabilir).

Çözüm: , bu da üstel fonksiyonun deneysel noktalara düz çizgiden daha kötü yaklaştığı anlamına gelir .

Ancak burada "daha kötü" olduğunu belirtmek gerekir. henüz demek değil, Yanlış olan ne. Şimdi bu üstel fonksiyonun bir grafiğini oluşturdum - ve noktaların yakınından da geçiyor - öyle ki, analitik bir çalışma olmadan hangi fonksiyonun daha doğru olduğunu söylemek zor.

Bu, çözümü tamamlıyor ve argümanın doğal değerleri sorusuna dönüyorum. Çeşitli çalışmalarda, kural olarak, ekonomik veya sosyolojik, aylar, yıllar veya diğer eşit zaman aralıkları doğal "X" ile numaralandırılır. Örneğin, aşağıdaki sorunu ele alalım:

Yılın ilk yarısı için mağazanın perakende cirosu hakkında aşağıdaki verilere sahibiz:

Düz çizgi analitik hizalamayı kullanarak Temmuz ayı satış hacmini bulun.

Evet, sorun değil: 1, 2, 3, 4, 5, 6 aylarını numaralandırıyoruz ve bunun sonucunda bir denklem elde ettiğimiz olağan algoritmayı kullanıyoruz - zaman söz konusu olduğunda tek şey genellikle "te" harfidir. " (kritik olmasa da). Ortaya çıkan denklem, yılın ilk yarısında cironun ortalama 27,74 PB arttığını gösteriyor. her ay. Temmuz için tahmin alın (7. ay): AB.

Ve benzer görevler - karanlık karanlıktır. Dileyenler ek bir hizmetten yararlanabilirler, yani benim excel hesap makinesi (demo versiyonu), Hangi sorunu neredeyse anında çözer! Programın çalışan versiyonu mevcuttur. karşılığında yada ... için sembolik ödeme.

Dersin sonunda, diğer bazı türlerin bağımlılıklarını bulma hakkında kısa bir bilgi. Aslında, temel yaklaşım ve çözüm algoritması aynı kaldığı için söylenecek özel bir şey yok.

Deneysel noktaların konumunun bir hiperbole benzediğini varsayalım. Ardından en iyi hiperbolün katsayılarını bulmak için fonksiyonun minimumunu bulmanız gerekiyor - dileyenler detaylı hesaplamalar yapıp benzer bir sisteme gelebilirler:

Resmi bir teknik bakış açısından, "doğrusal" sistemden elde edilir. (yıldızla işaretleyelim)"x" yerine . Peki, miktarlar hesaplayın, bundan sonra "a" ve "be" katsayılarının en uygununa elde.

Noktaların olduğuna inanmak için her türlü neden varsa logaritmik bir eğri boyunca düzenlenir, ardından optimal değerleri aramak ve fonksiyonun minimumunu bulmak için . Resmi olarak, sistemdeki (*) şu şekilde değiştirilmelidir:

Excel'de hesaplarken, işlevi kullanın LN. İncelenen vakaların her biri için hesap makineleri oluşturmanın benim için zor olmayacağını itiraf ediyorum, ancak hesaplamaları kendiniz "programlarsanız" yine de daha iyi olacaktır. Yardımcı olacak video eğitimleri.

Üstel bağımlılıkta durum biraz daha karmaşıktır. Konuyu lineer duruma indirgemek için, fonksiyonun logaritmasını alır ve kullanırız. logaritmanın özellikleri:

Şimdi, elde edilen fonksiyonu lineer fonksiyon ile karşılaştırarak, sistemde (*) yerine , ve - ile getirilmesi gerektiği sonucuna varıyoruz. Kolaylık sağlamak için şunları belirtiyoruz:

Lütfen sistemin ve'ye göre çözüldüğünü unutmayın ve bu nedenle kökleri bulduktan sonra katsayının kendisini bulmayı unutmamalısınız.

Deneysel noktalara yaklaşmak için optimal parabol , bulunmalı üç değişkenli minimum fonksiyon . Standart eylemleri gerçekleştirdikten sonra, aşağıdaki "çalışmayı" elde ederiz sistem:

Evet, elbette burada daha fazla miktar var ama en sevdiğiniz uygulamayı kullanırken hiç zorluk yok. Ve son olarak, size Excel kullanarak hızlı bir şekilde nasıl kontrol edeceğinizi ve istenen trend çizgisini nasıl oluşturacağınızı anlatacağım: bir dağılım grafiği oluşturun, noktalardan herhangi birini fareyle seçin ve sağ tıkla seçeneği seç "Trend çizgisi ekle". Ardından, grafiğin türünü seçin ve sekmede "Seçenekler" seçeneği etkinleştir "Denklem grafikte göster". TAMAM

Her zaman olduğu gibi, makaleyi güzel bir sözle bitirmek istiyorum ve neredeyse "Trend olun!" Yazıyordum. Ama zamanla fikrini değiştirdi. Ve formülsel olduğu için değil. Kimsenin nasıl olduğunu bilmiyorum ama tanıtılan Amerika ve özellikle Avrupa trendini hiç takip etmek istemiyorum =) Bu nedenle, her birinizin kendi çizginize bağlı kalmasını diliyorum!

http://www.grandars.ru/student/vysshaya-matematika/metod-naimenshih-kvadratov.html

En küçük kareler yöntemi, sahip olduğu özellikler nedeniyle en yaygın ve en gelişmiş yöntemlerden biridir. doğrusal ekonometrik modellerin parametrelerini tahmin etme yöntemlerinin basitliği ve etkinliği. Aynı zamanda, onu kullanırken belirli bir dikkat gösterilmelidir, çünkü onu kullanarak oluşturulan modeller, parametrelerinin kalitesi için bir dizi gereksinimi karşılamayabilir ve sonuç olarak, süreç geliştirme modellerini "iyi" yansıtmayabilir.

En küçük kareler yöntemini kullanarak doğrusal bir ekonometrik modelin parametrelerini tahmin etme prosedürünü daha ayrıntılı olarak ele alalım. Genel formda böyle bir model, denklem (1.2) ile temsil edilebilir:

y t = bir 0 + bir 1 x 1t +...+ bir n x nt + ε t .

a 0 , a 1 ,..., a n parametrelerini tahmin ederken ilk veriler, bağımlı değişkenin değerlerinin vektörüdür y= (y 1 , y 2 , ... , y T)" ve bağımsız değişkenlerin değerleri matrisi

birlerden oluşan ilk sütunun modelin katsayısına karşılık geldiği .

En küçük kareler yöntemi adını, temelinde elde edilen parametre tahminlerinin karşılaması gereken temel ilkeye dayanarak almıştır: model hatasının karelerinin toplamı minimum olmalıdır.

En küçük kareler yöntemiyle problem çözme örnekleri

Örnek 2.1. Ticaret işletmesinin, faaliyetleri hakkında bilgileri Tablo'da sunulan 12 mağazadan oluşan bir ağı vardır. 2.1.

Şirket yönetimi, yıllık cironun büyüklüğünün mağazanın perakende alanına nasıl bağlı olduğunu bilmek istiyor.

Tablo 2.1

En küçük kareler çözümü. Belirleyelim - -inci mağazanın yıllık cirosu, milyon ruble; - mağazanın satış alanı, bin m 2.

Şekil 2.1. Örnek 2.1 için dağılım grafiği

Değişkenler arasındaki işlevsel ilişkinin biçimini belirlemek ve bir dağılım grafiği oluşturmak (Şekil 2.1).

Dağılım diyagramına dayanarak, yıllık cironun pozitif olarak satış alanına bağlı olduğu sonucuna varabiliriz (yani, y'nin büyümesiyle birlikte artacaktır). İşlevsel bağlantının en uygun biçimi, doğrusal.

Daha ileri hesaplamalar için bilgiler Tablo'da sunulmuştur. 2.2. En küçük kareler yöntemini kullanarak, doğrusal tek faktörlü ekonometrik modelin parametrelerini tahmin ediyoruz

Tablo 2.2

Böylece,

Bu nedenle, ticaret alanındaki 1 bin m 2'lik artışla, diğer şeyler eşit olmak üzere, yıllık ortalama ciro 67.8871 milyon ruble artıyor.

Örnek 2.2.İşletmenin yönetimi, yıllık cironun yalnızca mağazanın satış alanına değil (bkz. Örnek 2.1) aynı zamanda ortalama ziyaretçi sayısına da bağlı olduğunu fark etti. İlgili bilgiler tabloda sunulmuştur. 2.3.

Tablo 2.3

Çözüm. Belirtin - günlük -inci mağazaya gelen ortalama ziyaretçi sayısı, bin kişi.

Değişkenler arasındaki işlevsel ilişkinin biçimini belirlemek ve bir dağılım grafiği oluşturmak (Şekil 2.2).

Dağılım diyagramına dayanarak, yıllık cironun günlük ortalama ziyaretçi sayısıyla pozitif bir şekilde ilişkili olduğu sonucuna varabiliriz (yani, y, büyümeyle birlikte artacaktır). İşlevsel bağımlılığın biçimi doğrusaldır.

Pirinç. 2.2. Dağılım grafiği örneğin 2.2

Tablo 2.4

Genel olarak iki faktörlü ekonometrik modelin parametrelerinin belirlenmesi gerekmektedir.

y t \u003d a 0 + a 1 x 1t + a 2 x 2t + ε t

Daha ileri hesaplamalar için gerekli bilgiler Tablo'da sunulmuştur. 2.4.

En küçük kareler yöntemini kullanarak doğrusal iki faktörlü bir ekonometrik modelin parametrelerini tahmin edelim.

Böylece,

Katsayı = 61.6583'ün değerlendirilmesi, diğer şeyler eşit olduğunda, ticaret alanındaki 1 bin m 2'lik artışla yıllık cironun ortalama 61.6583 milyon ruble artacağını göstermektedir.

Katsayının tahmini = 2,2748, diğer şeyler sabitken, 1 bin kişiye düşen ortalama ziyaretçi sayısında artış olduğunu göstermektedir. günlük, yıllık ciro ortalama 2,2748 milyon ruble artacak.

Örnek 2.3. Tabloda sunulan bilgileri kullanarak. 2.2 ve 2.4, tek faktörlü bir ekonometrik modelin parametresini tahmin edin

-inci mağazanın yıllık cirosunun ortalanmış değeri nerede, milyon ruble; - t. mağazaya gelen günlük ortalama ziyaretçi sayısının merkezlenmiş değeri, bin kişi. (bkz. örnekler 2.1-2.2).

Çözüm. Hesaplamalar için gerekli ek bilgiler Tablo'da sunulmuştur. 2.5.

Tablo 2.5

Formül (2.35)'i kullanarak şunu elde ederiz:

Böylece,

http://www.cleverstudents.ru/articles/mnk.html

Örnek.

Değişkenlerin değerlerine ilişkin deneysel veriler X Ve de tabloda verilmektedir.

Hizalanmalarının bir sonucu olarak, işlev

kullanma en küçük kareler yöntemi, bu verileri doğrusal bir bağımlılıkla yaklaştırın y=balta+b(seçenekleri bul A Ve B). İki çizgiden hangisinin daha iyi olduğunu bulun (en küçük kareler yöntemi anlamında) deneysel verileri hizalar. Çizim yapmak.

Çözüm.

bizim örneğimizde n=5. Gerekli katsayıların formüllerinde yer alan miktarları hesaplama kolaylığı için tabloyu dolduruyoruz.

Tablonun dördüncü satırındaki değerler, her sayı için 2. satırın değerleri ile 3. satırın değerlerinin çarpılmasıyla elde edilir. Ben.

Tablonun beşinci satırındaki değerler, her sayı için 2. satırın değerlerinin karesi alınarak elde edilir. Ben.

Tablonun son sütunundaki değerler, satırlar arasındaki değerlerin toplamıdır.

Katsayıları bulmak için en küçük kareler yönteminin formüllerini kullanıyoruz A Ve B. İçlerinde tablonun son sütunundaki karşılık gelen değerleri değiştiririz:

Buradan, y=0,165x+2,184 istenen yaklaşan düz çizgidir.

Hangi satırları bulmak için kalır y=0,165x+2,184 veya orijinal verilere daha iyi yaklaşır, yani en küçük kareler yöntemini kullanarak bir tahmin yapmak için.

Kanıt.

Böylece bulunduğunda A Ve B fonksiyon en küçük değeri alır, bu noktada fonksiyon için ikinci dereceden diferansiyelin ikinci dereceden formunun matrisinin olması gerekir. pozitif kesindi. Hadi gösterelim.

İkinci dereceden diferansiyel şu şekildedir:

Yani

Bu nedenle, ikinci dereceden formun matrisi şu forma sahiptir:

ve elemanların değerleri şunlara bağlı değildir: A Ve B.

Matrisin pozitif tanımlı olduğunu gösterelim. Bu, küçük açıların pozitif olmasını gerektirir.

Birinci dereceden açısal minör . Eşitsizlik katıdır, çünkü puanlar

Hizalamadan sonra, aşağıdaki biçimde bir işlev elde ederiz: g (x) = x + 1 3 + 1 .

Uygun parametreleri hesaplayarak bu verileri doğrusal bir y = a x + b ilişkisiyle yaklaşık olarak hesaplayabiliriz. Bunu yapmak için, sözde en küçük kareler yöntemini uygulamamız gerekecek. Ayrıca hangi çizginin deneysel verileri en iyi şekilde hizalayacağını kontrol etmek için bir çizim yapmanız gerekecektir.

Yandex.RTB R-A-339285-1

OLS tam olarak nedir (en küçük kareler yöntemi)

Yapmamız gereken asıl şey, iki değişkenli F (a, b) = ∑ i = 1 n (y ben - (a x ben + b)) 2 fonksiyonunun değerinin şu olacağı doğrusal bağımlılık katsayılarını bulmaktır: en küçük Başka bir deyişle, a ve b'nin belirli değerleri için, sunulan verilerin elde edilen düz çizgiden sapmalarının karelerinin toplamı minimum bir değere sahip olacaktır. En küçük kareler yönteminin anlamı budur. Örneği çözmek için tek yapmamız gereken, iki değişkenli fonksiyonun uç noktasını bulmak.

Katsayıları hesaplamak için formüller nasıl türetilir

Katsayıları hesaplamak için formüller türetmek için, iki değişkenli bir denklem sistemi oluşturmak ve çözmek gerekir. Bunu yapmak için, F (a , b) = ∑ ben = 1 n (y ben - (a x i + b)) 2 ifadesinin a ve b'ye göre kısmi türevlerini hesaplıyoruz ve bunları 0'a eşitliyoruz.

δ F (a , b) δ a = 0 δ F (a , b) δ b = 0 ⇔ - 2 ∑ ben = 1 n (y ben - (a x ben + b)) x ben = 0 - 2 ∑ ben = 1 n ( y ben - (bir x ben + b)) = 0 ⇔ bir ∑ ben = 1 n x ben 2 + b ∑ ben = 1 n x ben = ∑ ben = 1 n x ben y ben bir ∑ ben = 1 n x ben + ∑ ben = 1 n b = ∑ ben = 1 n y ben ⇔ bir ∑ ben = 1 n x ben 2 + b ∑ ben = 1 n x ben = ∑ ben = 1 n x ben y ben bir ∑ ben = 1 n x ben + n b = ∑ ben = 1 n y ben

Bir denklem sistemini çözmek için, ikame veya Cramer yöntemi gibi herhangi bir yöntemi kullanabilirsiniz. Sonuç olarak, en küçük kareler yöntemini kullanarak katsayıları hesaplayan formüller elde etmeliyiz.

n ∑ ben = 1 n x ben y ben - ∑ ben = 1 n x ben ∑ ben = 1 n y ben n ∑ ben = 1 n - ∑ ben = 1 n x ben 2 b = ∑ ben = 1 n y ben - bir ∑ ben = 1 n x ben n

Fonksiyonun ait olduğu değişkenlerin değerlerini hesapladık.
F (a , b) = ∑ ben = 1 n (y ben - (a x ben + b)) 2 minimum değeri alacaktır. Üçüncü paragrafta, neden böyle olduğunu kanıtlayacağız.

Bu pratikte en küçük kareler yönteminin uygulamasıdır. a parametresini bulmak için kullanılan formülü ∑ ben = 1 n x ben , ∑ ben = 1 n y ben , ∑ ben = 1 n x ben y ben , ∑ ben = 1 n x ben 2 ve parametreyi içerir
n - deneysel veri miktarını gösterir. Her tutarı ayrı ayrı hesaplamanızı tavsiye ederiz. Katsayı değeri b, a'dan hemen sonra hesaplanır.

Orijinal örneğe geri dönelim.

örnek 1

Burada n eşittir beş var. Katsayı formüllerinde yer alan gerekli miktarları hesaplamayı kolaylaştırmak için tabloyu dolduruyoruz.

Çözüm

Dördüncü satır, her bir i için ikinci satırdaki değerlerin üçüncü satırdaki değerlerle çarpılmasıyla elde edilen verileri içerir. Beşinci satır, ikinci kareden gelen verileri içerir. Son sütun, tek tek satırların değerlerinin toplamını gösterir.

İhtiyacımız olan a ve b katsayılarını hesaplamak için en küçük kareler yöntemini kullanalım. Bunu yapmak için, istenen değerleri son sütundan değiştirin ve toplamları hesaplayın:

n ∑ ben = 1 n x ben y ben - ∑ ben = 1 n x ben ∑ ben = 1 n y ben n ∑ ben = 1 n - ∑ ben = 1 n x ben 2 b = ∑ ben = 1 n y ben - bir ∑ ben = 1 n x ben n ⇒ bir = 5 33 , 8 - 12 12, 9 5 46 - 12 2 b = 12, 9 - a 12 5 ⇒ a ≈ 0, 165 b ≈ 2, 184

İstenen yaklaşan düz çizginin y = 0 , 165 x + 2 , 184 gibi görüneceğini anladık. Şimdi hangi satırın verilere en iyi şekilde yaklaşacağını belirlememiz gerekiyor - g (x) = x + 1 3 + 1 veya 0 , 165 x + 2 , 184 . En küçük kareler yöntemini kullanarak bir tahmin yapalım.

Hatayı hesaplamak için, σ 1 = ∑ i = 1 n (y ben - (a x ben + b i)) 2 ve σ 2 = ∑ ben = 1 n (y ben -) satırlarından elde edilen verilerin karesel sapmalarının toplamlarını bulmamız gerekir. g (x i)) 2 , minimum değer daha uygun bir satıra karşılık gelir.

σ 1 = ∑ ben = 1 n (y ben - (bir x ben + b ben)) 2 = = ∑ ben = 1 5 (y ben - (0 , 165 x ben + 2 , 184)) 2 ≈ 0 , 019 σ 2 = ∑ ben = 1 n (y ben - g (x ben)) 2 = = ∑ ben = 1 5 (y ben - (x ben + 1 3 + 1)) 2 ≈ 0 , 096

Cevap:σ 1'den beri< σ 2 , то прямой, наилучшим образом аппроксимирующей исходные данные, будет
y = 0 , 165 x + 2 , 184 .

En küçük kareler yöntemi grafik çizimde açıkça gösterilmiştir. Kırmızı çizgi g (x) = x + 1 3 + 1 düz çizgisini, mavi çizgi y = 0, 165 x + 2, 184'ü gösterir. Ham veriler pembe noktalarla işaretlenmiştir.

Tam olarak bu türden yaklaşımlara neden ihtiyaç duyulduğunu açıklayalım.

Veri düzeltme gerektiren problemlerde ve ayrıca verilerin enterpolasyonu veya ekstrapolasyonu gereken problemlerde kullanılabilirler. Örneğin, yukarıda tartışılan problemde, x = 3 veya x = 6'da gözlemlenen y miktarının değeri bulunabilir. Bu tür örneklere ayrı bir makale ayırdık.

LSM yönteminin kanıtı

Fonksiyonun a ve b hesaplanırken minimum değeri alması için, belirli bir noktada F(a,b) = ∑ i = 1 n şeklindeki fonksiyonun diferansiyel ikinci dereceden matrisinin olması gerekir. (y i - (a x ben + b)) 2 pozitif tanımlı olsun. Size nasıl görünmesi gerektiğini gösterelim.

Örnek 2

Aşağıdaki formda ikinci dereceden bir diferansiyelimiz var:

d 2 F (a ; b) = δ 2 F (a ; b) δ a 2 d 2 a + 2 δ 2 F (a ; b) δ a δ b d a d b + δ 2 F (a ; b) δ b 2 d 2b

Çözüm

δ 2 F (a ; b) δ a 2 = δ δ F (a ; b) δ a δ a = = δ - 2 ∑ ben = 1 n (y ben - (a x ben + b)) x ben δ a = 2 ∑ ben = 1 n (x ben) 2 δ 2 F (a ; b) δ a δ b = δ δ F (a ; b) δ a δ b = = δ - 2 ∑ ben = 1 n (y ben - (a x ben + b) ) x ben δ b = 2 ∑ ben = 1 n x ben δ 2 F (a ; b) δ b 2 = δ δ F (a ; b) δ b δ b = δ - 2 ∑ ben = 1 n (y ben - (a x ben + b)) δ b = 2 ∑ ben = 1 n (1) = 2 n

Başka bir deyişle, aşağıdaki gibi yazılabilir: d 2 F (a ; b) = 2 ∑ ben = 1 n (x ben) 2 d 2 a + 2 2 ∑ x ben ben = 1 n d a d b + (2 n) d 2 b .

İkinci dereceden bir matris elde ettik M = 2 ∑ ben = 1 n (x ben) 2 2 ∑ ben = 1 n x ben 2 ∑ ben = 1 n x ben 2 n .

Bu durumda, bireysel elemanların değerleri a ve b'ye bağlı olarak değişmeyecektir. Bu matris pozitif tanımlı mı? Bu soruyu cevaplamak için açısal minörlerinin pozitif olup olmadığını kontrol edelim.

Birinci dereceden açısal minörü hesaplayın: 2 ∑ ben = 1 n (x ben) 2 > 0 . x i noktaları çakışmadığı için eşitsizlik katıdır. Bunu sonraki hesaplamalarda aklımızda tutacağız.

İkinci dereceden açısal minörü hesaplıyoruz:

d e t (M) = 2 ∑ ben = 1 n (x ben) 2 2 ∑ ben = 1 n x ben 2 ∑ ben = 1 n x ben 2 n = 4 n ∑ ben = 1 n (x ben) 2 - ∑ ben = 1 n x ben 2

Bundan sonra, matematiksel tümevarım kullanarak n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x ben 2 > 0 eşitsizliğinin ispatına geçiyoruz.

1. Bu eşitsizliğin keyfi n için geçerli olup olmadığını kontrol edelim. 2'yi alıp hesaplayalım:

2 ∑ ben = 1 2 (x ben) 2 - ∑ ben = 1 2 x ben 2 = 2 x 1 2 + x 2 2 - x 1 + x 2 2 = = x 1 2 - 2 x 1 x 2 + x 2 2 = x 1 + x 2 2 > 0

Doğru eşitliği elde ettik (x 1 ve x 2 değerleri uyuşmuyorsa).

1. Bu eşitsizliğin n için doğru olacağı varsayımını yapalım, yani. n ∑ ben = 1 n (x ben) 2 - ∑ ben = 1 n x ben 2 > 0 – doğru.
2. Şimdi n + 1 için geçerliliği kanıtlayalım, yani (n + 1) ∑ ben = 1 n + 1 (x ben) 2 - ∑ ben = 1 n + 1 x ben 2 > 0 ise n ∑ ben = 1 n (x ben) 2 - ∑ ben = 1 n x ben 2 > 0 .

Hesaplıyoruz:

(n + 1) ∑ ben = 1 n + 1 (x ben) 2 - ∑ ben = 1 n + 1 x ben 2 = = (n + 1) ∑ ben = 1 n (x ben) 2 + x n + 1 2 - ∑ ben = 1 n x ben + x n + 1 2 = = n ∑ ben = 1 n (x ben) 2 + n x n + 1 2 + ∑ ben = 1 n (x ben) 2 + x n + 1 2 - - ∑ ben = 1 n x ben 2 + 2 x n + 1 ∑ ben = 1 n x ben + x n + 1 2 = = ∑ ben = 1 n (x ben) 2 - ∑ ben = 1 n x ben 2 + n x n + 1 2 - x n + 1 ∑ ben = 1 n x ben + ∑ ben = 1 n (x ben) 2 = = ∑ ben = 1 n (x ben) 2 - ∑ ben = 1 n x ben 2 + x n + 1 2 - 2 x n + 1 x 1 + x 1 2 + + x n + 1 2 - 2 x n + 1 x 2 + x 2 2 + . . . + x n + 1 2 - 2 x n + 1 x 1 + x n 2 = = n ∑ ben = 1 n (x ben) 2 - ∑ ben = 1 n x ben 2 + + (x n + 1 - x 1) 2 + (x n + 1 - x 2) 2 + . . . + (x n - 1 - x n) 2 > 0

Kıvrımlı parantez içindeki ifade 0'dan büyük olacaktır (2. adımda varsaydığımıza göre) ve geri kalan terimler 0'dan büyük olacaktır, çünkü bunların tümü sayıların kareleridir. Eşitsizliği kanıtladık.

Cevap: bulunan a ve b, F(a,b) = ∑ i = 1 n (y i - (a x i + b)) 2 fonksiyonunun en küçük değerine karşılık gelir, yani en küçük kareler yönteminin gerekli parametreleridir (LSM).

Metinde bir hata fark ederseniz, lütfen onu vurgulayın ve Ctrl+Enter tuşlarına basın.

En küçük kareler yöntemi (LSM), rastgele hatalar içeren birçok ölçümün sonuçlarını kullanarak çeşitli miktarları tahmin etmenize olanak tanır.

Karakteristik MNC

Bu yöntemin ana fikri, minimize edilmek istenen problemin çözümünün doğruluğu için kareleri alınmış hataların toplamının bir kriter olarak kabul edilmesidir. Bu yöntemi kullanırken, hem sayısal hem de analitik yaklaşımlar uygulanabilir.

Özellikle, sayısal bir uygulama olarak, en küçük kareler yöntemi, bilinmeyen bir rasgele değişkenin mümkün olduğu kadar çok ölçümünün yapılmasını ifade eder. Ayrıca, ne kadar çok hesaplama yapılırsa, çözüm o kadar doğru olacaktır. Bu hesaplama setinde (ilk veriler), daha sonra en iyisinin seçildiği başka bir önerilen çözümler seti elde edilir. Çözüm kümesi parametreleştirilirse, en küçük kareler yöntemi parametrelerin optimal değerini bulmaya indirgenecektir.

LSM'nin başlangıç ​​​​verileri (ölçümler) kümesine ve önerilen çözüm kümesine uygulanmasına analitik bir yaklaşım olarak, doğrulanması gereken belirli bir hipotez olarak elde edilen bir formülle ifade edilebilecek bazı (işlevsel) tanımlanır. Bu durumda, en küçük kareler yöntemi, başlangıç ​​verilerinin hata kareleri kümesinde bu fonksiyonelin minimumunu bulmaya indirgenir.

Hataların kendilerinin değil, hataların karelerinin olduğuna dikkat edin. Neden? Gerçek şu ki, ölçümlerin tam değerden sapmaları genellikle hem pozitif hem de negatiftir. Ortalamayı belirlerken, pozitif ve negatif değerlerin karşılıklı iptali, ölçüm setinin örnekleme gücünü azaltacağından, basit bir toplama, tahminin kalitesi hakkında yanlış bir sonuca yol açabilir. Ve sonuç olarak, değerlendirmenin doğruluğu.

Bunun olmasını önlemek için kare sapmalar toplanır. Bundan da öte, ölçülen değerin boyutunu ve nihai tahmini eşitlemek için hataların karesi toplamı kullanılır.

ÇUŞ'ların bazı uygulamaları

MNC, çeşitli alanlarda yaygın olarak kullanılmaktadır. Örneğin, olasılık teorisinde ve matematiksel istatistikte, yöntem, rastgele bir değişkenin böyle bir özelliğini, rastgele bir değişkenin değer aralığının genişliğini belirleyen standart sapma gibi belirlemek için kullanılır.

• öğretici

giriiş

Ben bir bilgisayar programcısıyım. Şunu söylemeyi öğrendiğimde kariyerimdeki en büyük sıçramayı yaptım: "Hiç birşey anlamıyorum!"Şimdi bilimin aydınına bana bir konferans verdiğini, onun, aydının benimle neden bahsettiğini anlamadığımı söylemekten utanmıyorum. Ve bu çok zor. Evet, bilmediğini kabul etmek zor ve utanç verici. Kim bir şeyin temellerini bilmediğini itiraf etmekten hoşlanır. Mesleğim gereği çok sayıda sunum ve derse katılmak zorundayım ve itiraf etmeliyim ki çoğu durumda uykum geliyor çünkü hiçbir şey anlamıyorum. Ve anlamıyorum çünkü bilimdeki mevcut durumun en büyük sorunu matematikte yatıyor. Tüm öğrencilerin matematiğin tüm alanlarına kesinlikle aşina olduklarını varsayar (ki bu saçmadır). Bir türevin ne olduğunu bilmediğinizi (bunun biraz sonra olduğunu) kabul etmek utanç vericidir.

Ama çarpmanın ne olduğunu bilmediğimi söylemeyi öğrendim. Evet, bir Lie cebiri üzerinden bir alt cebirin ne olduğunu bilmiyorum. Evet, hayatta ikinci dereceden denklemlere neden ihtiyaç duyulduğunu bilmiyorum. Bu arada, bildiğinden eminsen konuşacak bir şeyimiz var! Matematik bir dizi numaradır. Matematikçiler halkın kafasını karıştırmaya ve korkutmaya çalışırlar; kafa karışıklığının, itibarın, otoritenin olmadığı yerde. Evet, mümkün olan en soyut dilde konuşmak prestijlidir, ki bu kendi içinde tamamen saçmalıktır.

Türevin ne olduğunu biliyor musun? Büyük olasılıkla bana fark ilişkisinin limitinden bahsedeceksiniz. St.Petersburg Devlet Üniversitesi'nde matematiğin ilk yılında, Viktor Petrovich Khavin ben tanımlanmış noktadaki fonksiyonun Taylor serisinin ilk teriminin katsayısı olarak türev (Taylor serisini türevsiz belirlemek ayrı bir cimnastikti). Sonunda ne hakkında olduğunu anlayana kadar bu tanıma uzun süre güldüm. Türev, türevini aldığımız fonksiyonun y=x, y=x^2, y=x^3 fonksiyonuna ne kadar benzediğinin bir ölçüsünden başka bir şey değildir.

Şimdi öğrencilere ders verme şerefine sahibim. korkmuş matematik. Matematikten korkuyorsanız - biz yoldayız. Bir metni okumaya çalıştığınızda ve size aşırı derecede karmaşık göründüğünde, kötü yazılmış olduğunu bilin. Doğruluğunu kaybetmeden "parmaklarda" konuşulamayacak tek bir matematik alanı olmadığını savunuyorum.

Yakın gelecek için zorluk: Öğrencilerime doğrusal-ikinci dereceden bir denetleyicinin ne olduğunu anlamaları talimatını verdim. Çekinmeyin, hayatınızın üç dakikasını boşa harcayın, linki takip edin. Hiçbir şey anlamadıysanız, o zaman yoldayız. Ben (profesyonel bir matematikçi-programcı) da hiçbir şey anlamadım. Ve sizi temin ederim, bu "parmaklarla" çözülebilir. Şu anda ne olduğunu bilmiyorum ama sizi temin ederim ki çözebileceğiz.

Öğrencilerime, lineer-ikinci dereceden denetleyicinin hayatınızda asla ustalaşamayacağınız korkunç bir böcek olduğu sözleriyle korku içinde bana koşmalarından sonra vereceğim ilk ders, en küçük kareler yöntemleri. Doğrusal denklemleri çözebilir misin? Bu metni okuyorsanız, büyük olasılıkla okumayacaksınız.

Dolayısıyla, iki nokta (x0, y0), (x1, y1), örneğin (1,1) ve (3,2) verildiğinde, görev bu iki noktadan geçen düz bir çizginin denklemini bulmaktır:

illüstrasyon

Bu düz çizgi aşağıdaki gibi bir denkleme sahip olmalıdır:

Burada alfa ve beta bizim için bilinmiyor ama bu çizginin iki noktası biliniyor:

Bu denklemi matris formunda yazabilirsiniz:

Burada lirik bir ara söz yapmalıyız: matris nedir? Bir matris, iki boyutlu bir diziden başka bir şey değildir. Bu bir veri depolama yöntemidir, ona daha fazla değer verilmemelidir. Belirli bir matrisi tam olarak nasıl yorumlayacağımız bize bağlıdır. Periyodik olarak, onu doğrusal bir eşleme olarak, periyodik olarak ikinci dereceden bir form olarak ve bazen de basitçe bir vektörler kümesi olarak yorumlayacağım. Bunların hepsi bağlamda açıklığa kavuşturulacaktır.

Belirli matrisleri sembolik temsilleriyle değiştirelim:

O zaman (alfa, beta) kolayca bulunabilir:

Daha spesifik olarak önceki verilerimiz için:

Bu, (1,1) ve (3,2) noktalarından geçen bir düz çizginin aşağıdaki denklemine götürür:

Tamam, burada her şey açık. içinden geçen doğrunun denklemini bulalım. üç puan: (x0,y0), (x1,y1) ve (x2,y2):

Oh-oh-oh, ama iki bilinmeyen için üç denklemimiz var! Standart matematikçi çözüm olmadığını söyleyecektir. Programcı ne diyecek? Ve önce önceki denklem sistemini aşağıdaki biçimde yeniden yazacak:

Bizim durumumuzda i, j, b vektörleri üç boyutludur, dolayısıyla (genel durumda) bu sistemin çözümü yoktur. Herhangi bir vektör (alfa\*i + beta\*j), vektörlerin (i, j) yaydığı düzlemde yer alır. Eğer b bu düzleme ait değilse çözüm yoktur (denklemde eşitlik sağlanamaz). Ne yapalım? Bir uzlaşma arayalım. ile gösterelim e(alfa, beta) eşitliği tam olarak nasıl elde edemedik:

Ve bu hatayı en aza indirmeye çalışacağız:

Neden bir kare?

Sadece normun minimumunu değil, normun karesinin minimumunu da arıyoruz. Neden? Minimum noktanın kendisi çakışır ve kare düzgün bir işlev (argümanların (alfa,beta) ikinci dereceden bir işlevi) verirken, yalnızca uzunluk, minimum noktada türevlenemeyen koni biçiminde bir işlev verir. Brr. Kare daha uygundur.

Açıkçası, vektör olduğunda hata en aza indirilir. e vektörlerin yaydığı düzleme ortogonal Ben Ve J.

İllüstrasyon

Başka bir deyişle: tüm noktalardan bu doğruya olan uzaklıkların uzunluklarının karelerinin toplamı minimum olacak şekilde bir doğru arıyoruz:

GÜNCELLEME: burada bir pervazım var, çizgiye olan mesafe dikey olarak ölçülmeli, ortografik izdüşüm değil. Bu yorumcu haklı.

İllüstrasyon

Tamamen farklı kelimelerle (dikkatlice, zayıf bir şekilde biçimlendirilmiş, ancak parmaklarda net olmalıdır): tüm nokta çiftleri arasındaki tüm olası çizgileri alır ve hepsi arasındaki ortalama çizgiyi ararız:

İllüstrasyon

Parmaklarda başka bir açıklama: tüm veri noktaları (burada üç tane var) ile aradığımız çizgi arasına bir yay iliştiriyoruz ve denge durumunun çizgisi tam olarak aradığımız şey.

İkinci dereceden form minimum

Başka bir deyişle, şöyle bir x=(alfa, beta) vektörü arıyoruz:

Size bu x=(alfa, beta) vektörünün ikinci dereceden ||e(alfa, beta)||^2 fonksiyonunun minimumu olduğunu hatırlatırım:

Burada matrisin ikinci dereceden formun yanı sıra yorumlanabileceğini hatırlamakta fayda var, örneğin birim matris ((1,0),(0,1)) x^2 + y'nin bir fonksiyonu olarak yorumlanabilir. ^2:

ikinci dereceden biçim

Bütün bu jimnastik lineer regresyon olarak bilinir.

Dirichlet sınır koşulu ile Laplace denklemi

Orijinal taahhüt kullanılabilir. Dış bağımlılıkları en aza indirmek için, hali hazırda Habré üzerinde bulunan yazılım oluşturucumun kodunu aldım. Doğrusal sistemi çözmek için OpenNL kullanıyorum, harika bir çözücü ama kurulumu çok zor: iki dosyayı (.h + .c) proje klasörünüze kopyalamanız gerekiyor. Tüm yumuşatma aşağıdaki kodla yapılır:

için (int d=0; d<3; d++) { nlNewContext(); nlSolverParameteri(NL_NB_VARIABLES, verts.size()); nlSolverParameteri(NL_LEAST_SQUARES, NL_TRUE); nlBegin(NL_SYSTEM); nlBegin(NL_MATRIX); for (int i=0; i<(int)verts.size(); i++) { nlBegin(NL_ROW); nlCoefficient(i, 1); nlRightHandSide(verts[i][d]); nlEnd(NL_ROW); } for (unsigned int i=0; i&yüz = yüzler[i]; için (int j=0; j<3; j++) { nlBegin(NL_ROW); nlCoefficient(face[ j ], 1); nlCoefficient(face[(j+1)%3], -1); nlEnd(NL_ROW); } } nlEnd(NL_MATRIX); nlEnd(NL_SYSTEM); nlSolve(); for (int i=0; i<(int)verts.size(); i++) { verts[i][d] = nlGetVariable(i); } }

X, Y ve Z koordinatları ayrılabilir, ayrı ayrı yumuşatırım. Yani, her biri modelimdeki köşe sayısıyla aynı sayıda değişkene sahip üç doğrusal denklem sistemini çözüyorum. A matrisinin ilk n satırının her satırında yalnızca bir 1 vardır ve b vektörünün ilk n satırının orijinal model koordinatları vardır. Yani, yeni köşe konumu ile eski köşe konumu arasında bağlantı kuruyorum - yeniler eskilerden çok uzakta olmamalıdır.

A matrisinin sonraki tüm satırlarında (faces.size()*3 = ızgaradaki tüm üçgenlerin kenar sayısı), bir 1 oluşumu ve bir -1 oluşumu bulunurken, b vektörünün karşısında sıfır bileşen vardır. Bu, üçgen ağımızın her bir kenarına bir yay koyduğum anlamına gelir: tüm kenarlar, başlangıç ​​ve bitiş noktalarıyla aynı tepe noktasını elde etmeye çalışır.

Bir kez daha: tüm köşeler değişkendir ve orijinal konumlarından çok fazla sapamazlar, ancak aynı zamanda birbirlerine benzemeye çalışırlar.

İşte sonuç:

Her şey yoluna girecek, model gerçekten yumuşatıldı, ancak orijinal kenarından uzaklaştı. Kodu biraz değiştirelim:

için (int i=0; ben<(int)verts.size(); i++) { float scale = border[i] ? 1000: 1; nlBegin(NL_ROW); nlCoefficient(i, scale); nlRightHandSide(scale*verts[i][d]); nlEnd(NL_ROW); }

A matrisimizde, kenardaki köşeler için v_i = verts[i][d] kategorisinden bir satır değil, 1000*v_i = 1000*verts[i][d] ekliyorum. Neyi değiştirir? Bu da hatanın ikinci dereceden biçimini değiştiriyor. Şimdi kenarda yukarıdan tek bir sapma, daha önce olduğu gibi bir birime değil, 1000 * 1000 birime mal olacak. Yani, uç köşelere daha güçlü bir yay astık, çözüm diğerlerini daha güçlü bir şekilde germeyi tercih ediyor. İşte sonuç:

Köşeler arasındaki yayların gücünü iki katına çıkaralım:
nlKatsayısı(yüz[ j ], 2); nlKatsayısı(yüz[(j+1)%3], -2);

Yüzeyin daha pürüzsüz hale gelmesi mantıklıdır:

Ve şimdi yüz kat daha güçlü:

Bu nedir? Bir tel halkayı sabunlu suya batırdığımızı hayal edin. Sonuç olarak, ortaya çıkan sabun filmi, aynı sınıra - tel halkamıza - dokunarak mümkün olan en az eğriliğe sahip olmaya çalışacaktır. Kenarlığı düzelterek ve içeride pürüzsüz bir yüzey isteyerek tam olarak bunu elde ettik. Tebrikler, Laplace denklemini Dirichlet sınır koşullarıyla çözdük. Kulağa hoş geliyor mu? Ama aslında, çözülmesi gereken tek bir lineer denklem sistemi.

Poisson denklemi

Diyelim ki şöyle bir görüntüm var:

Herkes iyi ama sandalyeyi beğenmedim.

Resmi ikiye böleceğim:

Ve ellerimle bir sandalye seçeceğim:

Sonra maskede beyaz olan her şeyi resmin sol tarafına sürükleyeceğim ve aynı zamanda tüm resim boyunca iki komşu piksel arasındaki farkın iki komşu piksel arasındaki farka eşit olması gerektiğini söyleyeceğim. doğru resim:

için (int i=0; ben

İşte sonuç:

Kod ve resimler mevcuttur.