Kaedah tiga dimensi kuasa dua terkecil. Penghampiran data eksperimen

Yang menemui aplikasi terluas dalam pelbagai bidang sains dan amalan. Ia boleh menjadi fizik, kimia, biologi, ekonomi, sosiologi, psikologi dan sebagainya. Dengan kehendak takdir, saya sering terpaksa berurusan dengan ekonomi, dan oleh itu hari ini saya akan mengaturkan untuk anda tiket ke negara yang menakjubkan yang dipanggil Ekonometrik=) … Bagaimana anda tidak mahu itu?! Ia sangat bagus di sana - anda hanya perlu membuat keputusan! …Tetapi apa yang anda pasti mahu ialah belajar bagaimana untuk menyelesaikan masalah petak terkecil. Dan terutamanya pembaca yang rajin akan belajar untuk menyelesaikannya bukan sahaja dengan tepat, tetapi juga SANGAT PANTAS ;-) Tetapi pertama-tama pernyataan umum masalah+ contoh berkaitan:

Biarkan penunjuk dikaji dalam beberapa bidang subjek yang mempunyai ungkapan kuantitatif. Pada masa yang sama, terdapat setiap sebab untuk mempercayai bahawa penunjuk bergantung pada penunjuk. Andaian ini boleh menjadi hipotesis saintifik dan berdasarkan akal sehat asas. Walau bagaimanapun, mari kita tinggalkan sains dan terokai lebih banyak kawasan yang menyelerakan - iaitu, kedai runcit. Nyatakan dengan:

– ruang runcit kedai runcit, persegi,
- perolehan tahunan kedai runcit, juta rubel.

Adalah jelas bahawa semakin besar kawasan kedai, semakin besar perolehannya dalam kebanyakan kes.

Katakan bahawa selepas menjalankan pemerhatian / eksperimen / pengiraan / menari dengan rebana, kami mempunyai data berangka yang kami gunakan:

Dengan kedai runcit, saya fikir semuanya jelas: - ini adalah kawasan kedai pertama, - perolehan tahunannya, - kawasan kedai ke-2, - perolehan tahunannya, dsb. Dengan cara ini, sama sekali tidak perlu untuk mempunyai akses kepada bahan terperingkat - penilaian yang agak tepat mengenai perolehan boleh diperolehi menggunakan statistik matematik. Namun, jangan terganggu, kursus pengintipan komersial sudah dibayar =)

Data jadual juga boleh ditulis dalam bentuk titik dan digambarkan dengan cara biasa bagi kita. Sistem kartesian .

Mari jawab soalan penting: berapakah mata yang diperlukan untuk kajian kualitatif?

Lebih besar lebih bagus. Set minimum yang boleh diterima terdiri daripada 5-6 mata. Di samping itu, dengan jumlah data yang kecil, keputusan "tidak normal" tidak boleh dimasukkan dalam sampel. Jadi, sebagai contoh, kedai elit kecil boleh membantu pesanan besar lebih daripada "rakan sekerja mereka", dengan itu memutarbelitkan corak umum yang perlu ditemui!

Jika ia agak mudah, kita perlu memilih fungsi , jadual yang melepasi sedekat mungkin dengan mata . Fungsi sedemikian dipanggil menghampiri (hampiran - anggaran) atau fungsi teori . Secara umumnya, di sini serta-merta muncul "berpura-pura" yang jelas - polinomial darjah tinggi, yang grafnya melalui SEMUA titik. Tetapi pilihan ini adalah rumit, dan selalunya tidak betul. (kerana carta akan "berputar" sepanjang masa dan tidak mencerminkan arah aliran utama).

Oleh itu, fungsi yang dikehendaki mestilah cukup mudah dan pada masa yang sama mencerminkan pergantungan dengan secukupnya. Seperti yang anda mungkin rasa, salah satu kaedah untuk mencari fungsi sedemikian dipanggil petak terkecil. Pertama, mari kita menganalisis intipatinya secara umum. Biarkan beberapa fungsi menghampiri data percubaan:


Bagaimana untuk menilai ketepatan anggaran ini? Mari kita juga mengira perbezaan (penyimpangan) antara nilai eksperimen dan fungsi (kami mengkaji lukisan itu). Pemikiran pertama yang terlintas di fikiran adalah untuk menganggarkan berapa besar jumlahnya, tetapi masalahnya ialah perbezaannya boleh menjadi negatif. (sebagai contoh, ) dan penyelewengan akibat penjumlahan tersebut akan membatalkan satu sama lain. Oleh itu, sebagai anggaran ketepatan anggaran, ia mencadangkan dirinya untuk mengambil jumlahnya modul penyelewengan:

atau dalam bentuk terlipat: (tiba-tiba, siapa yang tidak tahu: ialah ikon jumlah, dan merupakan pembolehubah tambahan-"pembilang", yang mengambil nilai dari 1 hingga ).

Dengan menganggarkan titik eksperimen dengan fungsi yang berbeza, kita akan memperoleh nilai yang berbeza daripada , dan adalah jelas bahawa di mana jumlah ini lebih kecil, fungsi itu adalah lebih tepat.

Kaedah sedemikian wujud dan dipanggil kaedah modulus terkecil. Walau bagaimanapun, dalam amalan ia telah menjadi lebih meluas. kaedah kuasa dua terkecil, di mana kemungkinan nilai negatif dihapuskan bukan oleh modulus, tetapi dengan mengkuadratkan sisihan:

, selepas itu usaha ditujukan kepada pemilihan fungsi sedemikian sehingga jumlah sisihan kuasa dua adalah sekecil mungkin. Sebenarnya, maka nama kaedah itu.

Dan sekarang kita kembali ke satu lagi perkara penting: seperti yang dinyatakan di atas, fungsi yang dipilih sepatutnya agak mudah - tetapi terdapat juga banyak fungsi sedemikian: linear , hiperbola, eksponen, logaritma, kuadratik dan lain-lain. Dan, sudah tentu, di sini saya ingin segera "mengurangkan bidang aktiviti." Apakah kelas fungsi untuk dipilih untuk penyelidikan? Teknik primitif tetapi berkesan:

- Cara paling mudah untuk menarik mata pada lukisan dan menganalisis lokasi mereka. Jika mereka cenderung berada dalam garis lurus, maka anda harus mencari persamaan garis lurus dengan nilai optimum dan . Dalam erti kata lain, tugasnya adalah untuk mencari pekali SEPERTI - supaya jumlah sisihan kuasa dua adalah yang terkecil.

Jika titik terletak, sebagai contoh, sepanjang hiperbola, maka jelaslah bahawa fungsi linear akan memberikan penghampiran yang lemah. Dalam kes ini, kami sedang mencari pekali yang paling "menguntungkan" untuk persamaan hiperbola - yang memberikan jumlah minimum kuasa dua .

Sekarang perhatikan bahawa dalam kedua-dua kes yang kita bincangkan fungsi dua pembolehubah, yang hujahnya pilihan pergantungan yang dicari:

Dan pada dasarnya, kita perlu menyelesaikan masalah standard - untuk mencari minimum fungsi dua pembolehubah.

Ingat contoh kami: katakan bahawa titik "kedai" cenderung terletak dalam garis lurus dan ada sebab untuk mempercayai kehadiran pergantungan linear perolehan dari kawasan perdagangan. Mari cari pekali SEPERTI "a" dan "be" supaya jumlah sisihan kuasa dua adalah yang terkecil. Semuanya seperti biasa - pertama terbitan separa tertib pertama. mengikut peraturan lineariti anda boleh membezakan betul-betul di bawah ikon jumlah:

Jika anda ingin menggunakan maklumat ini untuk esei atau kerja kursus, saya akan sangat berterima kasih atas pautan dalam senarai sumber, anda tidak akan menemui pengiraan terperinci sedemikian di mana-mana:

Mari kita buat sistem standard:

Kami mengurangkan setiap persamaan dengan "dua" dan, sebagai tambahan, "memecahkan" jumlah:

Catatan : menganalisis secara bebas mengapa "a" dan "be" boleh dikeluarkan daripada ikon jumlah. By the way, secara rasmi ini boleh dilakukan dengan jumlah

Mari kita tulis semula sistem dalam bentuk "digunakan":

selepas itu algoritma untuk menyelesaikan masalah kami mula dilukis:

Adakah kita tahu koordinat titik-titik tersebut? Kami tahu. Jumlah boleh kita cari? Dengan mudah. Kami mengarang yang paling mudah sistem dua persamaan linear dengan dua tidak diketahui("a" dan "beh"). Kami menyelesaikan sistem, sebagai contoh, kaedah Cramer, menghasilkan titik pegun . Menyemak keadaan yang mencukupi untuk ekstrem, kita boleh mengesahkan bahawa pada ketika ini fungsi mencapai dengan tepat minimum. Pengesahan dikaitkan dengan pengiraan tambahan dan oleh itu kami akan meninggalkannya di belakang tabir. (jika perlu, bingkai yang hilang boleh dilihat). Kami membuat kesimpulan akhir:

Fungsi cara yang paling baik (sekurang-kurangnya berbanding dengan fungsi linear lain) menghampiri titik eksperimen . Secara kasarnya, grafnya melepasi sedekat mungkin ke titik-titik ini. Dalam tradisi ekonometrik fungsi penghampiran yang terhasil juga dipanggil persamaan regresi linear berpasangan .

Masalah yang sedang dipertimbangkan adalah sangat penting. Dalam situasi dengan contoh kita, persamaan membolehkan anda meramalkan jenis perolehan ("yig") akan berada di kedai dengan satu atau lain nilai kawasan jualan (satu atau satu lagi makna "x"). Ya, ramalan yang dihasilkan hanya akan menjadi ramalan, tetapi dalam banyak kes ia akan menjadi agak tepat.

Saya akan menganalisis hanya satu masalah dengan nombor "sebenar", kerana tidak ada kesulitan di dalamnya - semua pengiraan berada pada tahap kurikulum sekolah di gred 7-8. Dalam 95 peratus kes, anda akan diminta untuk mencari hanya fungsi linear, tetapi pada penghujung artikel saya akan menunjukkan bahawa tidak lebih sukar untuk mencari persamaan untuk hiperbola, eksponen, dan beberapa fungsi yang optimum.

Malah, ia kekal untuk mengedarkan barang-barang yang dijanjikan - supaya anda belajar cara menyelesaikan contoh sedemikian bukan sahaja dengan tepat, tetapi juga dengan cepat. Kami mengkaji dengan teliti piawaian:

Satu tugas

Hasil daripada mengkaji hubungan antara dua penunjuk, pasangan nombor berikut diperolehi:

Menggunakan kaedah kuasa dua terkecil, cari fungsi linear yang paling sesuai dengan empirikal (berpengalaman) data. Buat lukisan yang, dalam sistem koordinat segi empat tepat Cartesan, plot titik eksperimen dan graf fungsi penghampiran . Cari jumlah sisihan kuasa dua antara nilai empirikal dan teori. Ketahui sama ada fungsi itu akan menjadi lebih baik (dari segi kaedah kuasa dua terkecil) anggaran titik eksperimen.

Ambil perhatian bahawa nilai "x" adalah nilai semula jadi, dan ini mempunyai ciri makna yang bermakna, yang akan saya bincangkan kemudian; tetapi mereka, sudah tentu, boleh menjadi pecahan. Di samping itu, bergantung pada kandungan tugas tertentu, kedua-dua nilai "X" dan "G" boleh menjadi negatif sepenuhnya atau sebahagiannya. Nah, kami telah diberikan tugas "tidak berwajah", dan kami memulakannya penyelesaian:

Kami mencari pekali fungsi optimum sebagai penyelesaian kepada sistem:

Untuk tujuan tatatanda yang lebih padat, pembolehubah "pembilang" boleh diabaikan, kerana sudah jelas bahawa penjumlahan dijalankan dari 1 hingga .

Adalah lebih mudah untuk mengira jumlah yang diperlukan dalam bentuk jadual:


Pengiraan boleh dilakukan pada mikrokalkulator, tetapi lebih baik menggunakan Excel - lebih cepat dan tanpa ralat; tonton video pendek:

Oleh itu, kami mendapat yang berikut sistem:

Di sini anda boleh mendarabkan persamaan kedua dengan 3 dan tolak sebutan ke-2 daripada sebutan persamaan pertama dengan sebutan. Tetapi ini adalah nasib - dalam amalan, sistem sering tidak berbakat, dan dalam kes sedemikian ia menjimatkan kaedah Cramer:
, jadi sistem mempunyai penyelesaian yang unik.

Jom buat pemeriksaan. Saya faham bahawa saya tidak mahu, tetapi mengapa melangkau kesilapan yang anda benar-benar tidak boleh merinduinya? Gantikan penyelesaian yang ditemui ke sebelah kiri setiap persamaan sistem:

Bahagian kanan persamaan yang sepadan diperolehi, yang bermaksud bahawa sistem diselesaikan dengan betul.

Oleh itu, fungsi anggaran yang dikehendaki: – daripada semua fungsi linear data eksperimen adalah yang terbaik dianggarkan olehnya.

Tidak seperti lurus pergantungan pusing ganti kedai pada kawasannya, pergantungan yang didapati ialah terbalik (prinsip "lebih banyak - lebih sedikit"), dan fakta ini segera didedahkan oleh yang negatif pekali sudut. Fungsi memberitahu kami bahawa dengan peningkatan dalam penunjuk tertentu sebanyak 1 unit, nilai penunjuk bergantung berkurangan purata sebanyak 0.65 unit. Seperti yang mereka katakan, semakin tinggi harga soba, semakin kurang dijual.

Untuk merancang fungsi penghampiran, kita dapati dua daripada nilainya:

dan laksanakan lukisan:


Barisan yang dibina dipanggil garis aliran (iaitu, garis arah aliran linear, iaitu dalam kes umum, arah aliran tidak semestinya garis lurus). Semua orang sudah biasa dengan ungkapan "menjadi dalam trend", dan saya fikir istilah ini tidak memerlukan ulasan tambahan.

Kira jumlah sisihan kuasa dua antara nilai empirikal dan teori. Secara geometri, ini ialah hasil tambah kuasa dua panjang segmen "lembayung". (dua daripadanya sangat kecil sehingga anda tidak dapat melihatnya).

Mari kita ringkaskan pengiraan dalam jadual:


Mereka sekali lagi boleh dijalankan secara manual, sekiranya saya akan memberikan contoh untuk perkara pertama:

tetapi ia adalah lebih cekap untuk melakukan cara yang telah diketahui:

Mari ulangi: apakah maksud hasilnya? daripada semua fungsi linear fungsi eksponen adalah yang terkecil, iaitu, dalam keluarganya ia adalah penghampiran terbaik. Dan di sini, dengan cara itu, soalan terakhir masalah itu tidak sengaja: bagaimana jika fungsi eksponen yang dicadangkan adakah lebih baik untuk menganggarkan mata eksperimen?

Mari cari jumlah sisihan kuasa dua yang sepadan - untuk membezakannya, saya akan menetapkannya dengan huruf "epsilon". Tekniknya betul-betul sama:


Dan sekali lagi untuk setiap pengiraan kebakaran untuk mata pertama:

Dalam Excel, kami menggunakan fungsi standard EXP (Sintaks boleh didapati dalam Bantuan Excel).

Kesimpulan: , jadi fungsi eksponen menghampiri titik eksperimen lebih teruk daripada garis lurus .

Tetapi perlu diperhatikan di sini bahawa "lebih teruk" adalah belum bermakna lagi, apa salahnya. Sekarang saya membina graf fungsi eksponen ini - dan ia juga melepasi hampir dengan mata - sehinggakan tanpa kajian analitik sukar untuk mengatakan fungsi mana yang lebih tepat.

Ini melengkapkan penyelesaian, dan saya kembali kepada persoalan nilai semula jadi hujah. Dalam pelbagai kajian, sebagai peraturan, ekonomi atau sosiologi, bulan, tahun atau selang masa yang sama lain dinomborkan dengan "X" semula jadi. Pertimbangkan, sebagai contoh, masalah sedemikian.

Kaedah kuasa dua terkecil

Dalam pelajaran terakhir topik, kita akan berkenalan dengan aplikasi yang paling terkenal FNP, yang menemui aplikasi terluas dalam pelbagai bidang sains dan amalan. Ia boleh menjadi fizik, kimia, biologi, ekonomi, sosiologi, psikologi dan sebagainya. Dengan kehendak takdir, saya sering terpaksa berurusan dengan ekonomi, dan oleh itu hari ini saya akan mengaturkan untuk anda tiket ke negara yang menakjubkan yang dipanggil Ekonometrik=) … Bagaimana anda tidak mahu itu?! Ia sangat bagus di sana - anda hanya perlu membuat keputusan! …Tetapi apa yang anda pasti mahu ialah belajar bagaimana untuk menyelesaikan masalah petak terkecil. Dan terutamanya pembaca yang rajin akan belajar untuk menyelesaikannya bukan sahaja dengan tepat, tetapi juga SANGAT PANTAS ;-) Tetapi pertama-tama pernyataan umum masalah+ contoh berkaitan:

Biarkan penunjuk dikaji dalam beberapa bidang subjek yang mempunyai ungkapan kuantitatif. Pada masa yang sama, terdapat setiap sebab untuk mempercayai bahawa penunjuk bergantung pada penunjuk. Andaian ini boleh menjadi hipotesis saintifik dan berdasarkan akal sehat asas. Walau bagaimanapun, mari kita tinggalkan sains dan terokai lebih banyak kawasan yang menyelerakan - iaitu, kedai runcit. Nyatakan dengan:

– ruang runcit kedai runcit, persegi,
- perolehan tahunan kedai runcit, juta rubel.

Adalah jelas bahawa semakin besar kawasan kedai, semakin besar perolehannya dalam kebanyakan kes.

Katakan bahawa selepas menjalankan pemerhatian / eksperimen / pengiraan / menari dengan rebana, kami mempunyai data berangka yang kami gunakan:

Dengan kedai runcit, saya fikir semuanya jelas: - ini adalah kawasan kedai pertama, - perolehan tahunannya, - kawasan kedai ke-2, - perolehan tahunannya, dsb. Dengan cara ini, sama sekali tidak perlu untuk mempunyai akses kepada bahan terperingkat - penilaian yang agak tepat mengenai perolehan boleh diperolehi menggunakan statistik matematik. Namun, jangan terganggu, kursus pengintipan komersial sudah dibayar =)

Data jadual juga boleh ditulis dalam bentuk titik dan digambarkan dengan cara biasa bagi kita. Sistem kartesian .

Mari jawab soalan penting: berapakah mata yang diperlukan untuk kajian kualitatif?

Lebih besar lebih bagus. Set minimum yang boleh diterima terdiri daripada 5-6 mata. Di samping itu, dengan jumlah data yang kecil, keputusan "tidak normal" tidak boleh dimasukkan dalam sampel. Jadi, sebagai contoh, kedai elit kecil boleh membantu pesanan besar lebih daripada "rakan sekerja mereka", dengan itu memutarbelitkan corak umum yang perlu ditemui!

Jika ia agak mudah, kita perlu memilih fungsi , jadual yang melepasi sedekat mungkin dengan mata . Fungsi sedemikian dipanggil menghampiri (hampiran - anggaran) atau fungsi teori . Secara umumnya, di sini serta-merta muncul "berpura-pura" yang jelas - polinomial darjah tinggi, yang grafnya melalui SEMUA titik. Tetapi pilihan ini adalah rumit, dan selalunya tidak betul. (kerana carta akan "berputar" sepanjang masa dan tidak mencerminkan arah aliran utama).

Oleh itu, fungsi yang dikehendaki mestilah cukup mudah dan pada masa yang sama mencerminkan pergantungan dengan secukupnya. Seperti yang anda mungkin rasa, salah satu kaedah untuk mencari fungsi sedemikian dipanggil petak terkecil. Pertama, mari kita menganalisis intipatinya secara umum. Biarkan beberapa fungsi menghampiri data percubaan:


Bagaimana untuk menilai ketepatan anggaran ini? Mari kita juga mengira perbezaan (penyimpangan) antara nilai eksperimen dan fungsi (kami mengkaji lukisan itu). Pemikiran pertama yang terlintas di fikiran adalah untuk menganggarkan berapa besar jumlahnya, tetapi masalahnya ialah perbezaannya boleh menjadi negatif. (sebagai contoh, ) dan penyelewengan akibat penjumlahan tersebut akan membatalkan satu sama lain. Oleh itu, sebagai anggaran ketepatan anggaran, ia mencadangkan dirinya untuk mengambil jumlahnya modul penyelewengan:

atau dalam bentuk terlipat: (bagi yang tak tahu: ialah ikon jumlah, dan - pembolehubah tambahan - "counter", yang mengambil nilai dari 1 hingga ) .

Menghampirkan titik eksperimen dengan fungsi yang berbeza, kita akan mendapat nilai yang berbeza, dan jelas di mana jumlah ini kurang - fungsi itu lebih tepat.

Kaedah sedemikian wujud dan dipanggil kaedah modulus terkecil. Walau bagaimanapun, dalam amalan ia telah menjadi lebih meluas. kaedah kuasa dua terkecil, di mana kemungkinan nilai negatif dihapuskan bukan oleh modulus, tetapi dengan mengkuadratkan sisihan:

, selepas itu usaha ditujukan kepada pemilihan fungsi sedemikian sehingga jumlah sisihan kuasa dua adalah sekecil mungkin. Sebenarnya, maka nama kaedah itu.

Dan sekarang kita kembali ke satu lagi perkara penting: seperti yang dinyatakan di atas, fungsi yang dipilih sepatutnya agak mudah - tetapi terdapat juga banyak fungsi sedemikian: linear , hiperbola , eksponen , logaritma , kuadratik dan lain-lain. Dan, sudah tentu, di sini saya ingin segera "mengurangkan bidang aktiviti." Apakah kelas fungsi untuk dipilih untuk penyelidikan? Teknik primitif tetapi berkesan:

- Cara paling mudah untuk menarik mata pada lukisan dan menganalisis lokasi mereka. Jika mereka cenderung berada dalam garis lurus, maka anda harus mencari persamaan garis lurus dengan nilai optimum dan . Dalam erti kata lain, tugasnya adalah untuk mencari pekali SEPERTI - supaya jumlah sisihan kuasa dua adalah yang terkecil.

Jika titik terletak, sebagai contoh, sepanjang hiperbola, maka jelaslah bahawa fungsi linear akan memberikan penghampiran yang lemah. Dalam kes ini, kami sedang mencari pekali yang paling "menguntungkan" untuk persamaan hiperbola - yang memberikan jumlah minimum kuasa dua .

Sekarang perhatikan bahawa dalam kedua-dua kes yang kita bincangkan fungsi dua pembolehubah, yang hujahnya pilihan pergantungan yang dicari:

Dan pada dasarnya, kita perlu menyelesaikan masalah standard - untuk mencari minimum fungsi dua pembolehubah.

Ingat contoh kami: katakan bahawa titik "kedai" cenderung terletak dalam garis lurus dan ada sebab untuk mempercayai kehadiran pergantungan linear perolehan dari kawasan perdagangan. Mari cari pekali SEPERTI "a" dan "be" supaya jumlah sisihan kuasa dua adalah yang terkecil. Semuanya seperti biasa - pertama terbitan separa tertib pertama. mengikut peraturan lineariti anda boleh membezakan betul-betul di bawah ikon jumlah:

Jika anda ingin menggunakan maklumat ini untuk esei atau kerja kursus, saya akan sangat berterima kasih atas pautan dalam senarai sumber, anda tidak akan menemui pengiraan terperinci sedemikian di mana-mana:

Mari kita buat sistem standard:

Kami mengurangkan setiap persamaan dengan "dua" dan, sebagai tambahan, "memecahkan" jumlah:

Catatan : menganalisis secara bebas mengapa "a" dan "be" boleh dikeluarkan daripada ikon jumlah. By the way, secara rasmi ini boleh dilakukan dengan jumlah

Mari kita tulis semula sistem dalam bentuk "digunakan":

selepas itu algoritma untuk menyelesaikan masalah kami mula dilukis:

Adakah kita tahu koordinat titik-titik tersebut? Kami tahu. Jumlah boleh kita cari? Dengan mudah. Kami mengarang yang paling mudah sistem dua persamaan linear dengan dua tidak diketahui("a" dan "beh"). Kami menyelesaikan sistem, sebagai contoh, kaedah Cramer, menghasilkan titik pegun . Menyemak keadaan yang mencukupi untuk ekstrem, kita boleh mengesahkan bahawa pada ketika ini fungsi mencapai dengan tepat minimum. Pengesahan dikaitkan dengan pengiraan tambahan dan oleh itu kami akan meninggalkannya di belakang tabir. (jika perlu, bingkai yang hilang boleh dilihatdi sini ) . Kami membuat kesimpulan akhir:

Fungsi cara yang paling baik (sekurang-kurangnya berbanding dengan fungsi linear lain) menghampiri titik eksperimen . Secara kasarnya, grafnya melepasi sedekat mungkin ke titik-titik ini. Dalam tradisi ekonometrik fungsi anggaran yang terhasil juga dipanggil persamaan regresi linear berpasangan .

Masalah yang sedang dipertimbangkan adalah sangat penting. Dalam situasi dengan contoh kita, persamaan membolehkan anda meramalkan jenis perolehan ("yig") akan berada di kedai dengan satu atau lain nilai kawasan jualan (satu atau satu lagi makna "x"). Ya, ramalan yang dihasilkan hanya akan menjadi ramalan, tetapi dalam banyak kes ia akan menjadi agak tepat.

Saya akan menganalisis hanya satu masalah dengan nombor "sebenar", kerana tidak ada kesulitan di dalamnya - semua pengiraan berada pada tahap kurikulum sekolah di gred 7-8. Dalam 95 peratus kes, anda akan diminta untuk mencari hanya fungsi linear, tetapi pada penghujung artikel saya akan menunjukkan bahawa tidak lebih sukar untuk mencari persamaan untuk hiperbola, eksponen, dan beberapa fungsi yang optimum.

Malah, ia kekal untuk mengedarkan barang-barang yang dijanjikan - supaya anda belajar cara menyelesaikan contoh sedemikian bukan sahaja dengan tepat, tetapi juga dengan cepat. Kami mengkaji dengan teliti piawaian:

Satu tugas

Hasil daripada mengkaji hubungan antara dua penunjuk, pasangan nombor berikut diperolehi:

Menggunakan kaedah kuasa dua terkecil, cari fungsi linear yang paling sesuai dengan empirikal (berpengalaman) data. Buat lukisan yang, dalam sistem koordinat segi empat tepat Cartesan, plot titik eksperimen dan graf fungsi penghampiran . Cari jumlah sisihan kuasa dua antara nilai empirikal dan teori. Ketahui sama ada fungsi itu akan menjadi lebih baik (dari segi kaedah kuasa dua terkecil) anggaran titik eksperimen.

Ambil perhatian bahawa nilai "x" adalah nilai semula jadi, dan ini mempunyai ciri makna yang bermakna, yang akan saya bincangkan kemudian; tetapi mereka, sudah tentu, boleh menjadi pecahan. Di samping itu, bergantung pada kandungan tugas tertentu, kedua-dua nilai "X" dan "G" boleh menjadi negatif sepenuhnya atau sebahagiannya. Nah, kami telah diberikan tugas "tidak berwajah", dan kami memulakannya penyelesaian:

Kami mencari pekali fungsi optimum sebagai penyelesaian kepada sistem:

Untuk tujuan tatatanda yang lebih padat, pembolehubah "pembilang" boleh diabaikan, kerana sudah jelas bahawa penjumlahan dijalankan dari 1 hingga .

Adalah lebih mudah untuk mengira jumlah yang diperlukan dalam bentuk jadual:


Pengiraan boleh dilakukan pada mikrokalkulator, tetapi lebih baik menggunakan Excel - lebih cepat dan tanpa ralat; tonton video pendek:

Oleh itu, kami mendapat yang berikut sistem:

Di sini anda boleh mendarabkan persamaan kedua dengan 3 dan tolak sebutan ke-2 daripada sebutan persamaan pertama dengan sebutan. Tetapi ini adalah nasib - dalam amalan, sistem sering tidak berbakat, dan dalam kes sedemikian ia menjimatkan kaedah Cramer:
, jadi sistem mempunyai penyelesaian yang unik.

Jom buat pemeriksaan. Saya faham bahawa saya tidak mahu, tetapi mengapa melangkau kesilapan yang anda benar-benar tidak boleh merinduinya? Gantikan penyelesaian yang ditemui ke sebelah kiri setiap persamaan sistem:

Bahagian kanan persamaan yang sepadan diperolehi, yang bermaksud bahawa sistem diselesaikan dengan betul.

Oleh itu, fungsi anggaran yang dikehendaki: – daripada semua fungsi linear data eksperimen adalah yang terbaik dianggarkan olehnya.

Tidak seperti lurus pergantungan pusing ganti kedai pada kawasannya, pergantungan yang didapati ialah terbalik (prinsip "lebih banyak - lebih sedikit"), dan fakta ini segera didedahkan oleh yang negatif pekali sudut. Fungsi memberitahu kita bahawa dengan peningkatan dalam penunjuk tertentu sebanyak 1 unit, nilai penunjuk bergantung berkurangan purata sebanyak 0.65 unit. Seperti yang mereka katakan, semakin tinggi harga soba, semakin kurang dijual.

Untuk merancang fungsi penghampiran, kita dapati dua daripada nilainya:

dan laksanakan lukisan:

Barisan yang dibina dipanggil garis aliran (iaitu, garis arah aliran linear, iaitu dalam kes umum, arah aliran tidak semestinya garis lurus). Semua orang sudah biasa dengan ungkapan "menjadi dalam trend", dan saya fikir istilah ini tidak memerlukan ulasan tambahan.

Kira jumlah sisihan kuasa dua antara nilai empirikal dan teori. Secara geometri, ini ialah hasil tambah kuasa dua panjang segmen "lembayung". (dua daripadanya sangat kecil sehingga anda tidak dapat melihatnya).

Mari kita ringkaskan pengiraan dalam jadual:


Mereka sekali lagi boleh dijalankan secara manual, sekiranya saya akan memberikan contoh untuk perkara pertama:

tetapi ia adalah lebih cekap untuk melakukan cara yang telah diketahui:

Mari ulangi: apakah maksud hasilnya? daripada semua fungsi linear eksponen bagi fungsi adalah yang terkecil, iaitu, ia adalah penghampiran terbaik dalam keluarganya. Dan di sini, dengan cara itu, soalan terakhir masalah itu tidak sengaja: bagaimana jika fungsi eksponen yang dicadangkan adakah lebih baik untuk menganggarkan mata eksperimen?

Mari cari jumlah sisihan kuasa dua yang sepadan - untuk membezakannya, saya akan menetapkannya dengan huruf "epsilon". Tekniknya betul-betul sama:

Dan sekali lagi untuk setiap pengiraan kebakaran untuk mata pertama:

Dalam Excel, kami menggunakan fungsi standard EXP (Sintaks boleh didapati dalam Bantuan Excel).

Kesimpulan: , yang bermaksud bahawa fungsi eksponen menghampiri titik eksperimen lebih buruk daripada garis lurus.

Tetapi perlu diperhatikan di sini bahawa "lebih teruk" adalah belum bermakna lagi, apa salahnya. Sekarang saya telah membina graf fungsi eksponen ini - dan ia juga melepasi hampir dengan mata - sehinggakan tanpa kajian analitik sukar untuk mengatakan fungsi mana yang lebih tepat.

Ini melengkapkan penyelesaian, dan saya kembali kepada persoalan nilai semula jadi hujah. Dalam pelbagai kajian, sebagai peraturan, ekonomi atau sosiologi, bulan, tahun atau selang masa yang sama lain dinomborkan dengan "X" semula jadi. Pertimbangkan, sebagai contoh, masalah berikut:

Kami mempunyai data berikut tentang perolehan runcit kedai untuk separuh pertama tahun ini:

Menggunakan penjajaran analitik garis lurus, cari volum jualan untuk bulan Julai.

Ya, tiada masalah: kami menomborkan bulan 1, 2, 3, 4, 5, 6 dan menggunakan algoritma biasa, akibatnya kami mendapat persamaan - satu-satunya perkara apabila tiba masanya biasanya huruf "te ” (walaupun tidak kritikal). Persamaan yang terhasil menunjukkan bahawa pada separuh pertama tahun, perolehan meningkat secara purata sebanyak CU 27.74. sebulan. Dapatkan ramalan untuk bulan Julai (bulan #7): e.u.

Dan tugas yang serupa - kegelapan itu gelap. Kepada yang berhajat boleh menggunakan perkhidmatan tambahan iaitu my Kalkulator Excel (versi demo), yang menyelesaikan masalah hampir serta-merta! Versi kerja program ini tersedia sebagai pertukaran atau untuk pembayaran simbolik.

Pada akhir pelajaran, maklumat ringkas tentang mencari kebergantungan beberapa jenis lain. Sebenarnya, tiada apa yang istimewa untuk diberitahu, kerana pendekatan asas dan algoritma penyelesaian tetap sama.

Mari kita andaikan bahawa lokasi titik eksperimen menyerupai hiperbola. Kemudian, untuk mencari pekali hiperbola terbaik, anda perlu mencari minimum fungsi - mereka yang mahu boleh melakukan pengiraan terperinci dan datang ke sistem yang serupa:

Dari sudut teknikal formal, ia diperoleh daripada sistem "linear". (mari tandakan dengan asterisk) menggantikan "x" dengan . Nah, jumlahnya hitung, selepas itu kepada pekali optimum "a" dan "be" di tangan.

Jika terdapat setiap sebab untuk mempercayai bahawa mata disusun di sepanjang lengkung logaritma, kemudian untuk mencari nilai optimum dan mencari minimum fungsi . Secara rasmi, dalam sistem (*) hendaklah digantikan dengan:

Apabila mengira dalam Excel, gunakan fungsi tersebut LN. Saya mengaku bahawa tidak sukar bagi saya untuk mencipta kalkulator untuk setiap kes yang sedang dipertimbangkan, tetapi ia akan menjadi lebih baik jika anda "memprogram" pengiraan sendiri. Tutorial video untuk membantu.

Dengan pergantungan eksponen, keadaannya sedikit lebih rumit. Untuk mengurangkan perkara kepada kes linear, kami mengambil logaritma fungsi dan penggunaan sifat logaritma:

Sekarang, membandingkan fungsi yang diperolehi dengan fungsi linear , kita sampai pada kesimpulan bahawa dalam sistem (*) mesti digantikan dengan , dan - oleh . Untuk kemudahan, kami menyatakan:

Sila ambil perhatian bahawa sistem diselesaikan berkenaan dengan dan , dan oleh itu, selepas mencari punca, anda tidak boleh lupa untuk mencari pekali itu sendiri.

Untuk menganggarkan titik eksperimen parabola optimum , harus dijumpai minimum fungsi tiga pembolehubah . Selepas melakukan tindakan standard, kami mendapat "berfungsi" berikut sistem:

Ya, sudah tentu, terdapat lebih banyak jumlah di sini, tetapi tidak ada kesulitan sama sekali apabila menggunakan aplikasi kegemaran anda. Dan akhirnya, saya akan memberitahu anda cara menyemak dengan cepat menggunakan Excel dan membina garis arah aliran yang diingini: buat carta serakan, pilih mana-mana titik dengan tetikus dan klik kanan pilih pilihan "Tambah garis aliran". Seterusnya, pilih jenis carta dan pada tab "Pilihan" aktifkan pilihan "Tunjukkan persamaan pada carta". okey

Seperti biasa, saya ingin mengakhiri artikel dengan beberapa frasa yang indah, dan saya hampir menaip "Jadilah dalam trend!". Tetapi lama-kelamaan dia berubah fikiran. Dan bukan kerana ia formula. Saya tidak tahu bagaimana sesiapa, tetapi saya tidak mahu mengikuti trend Amerika dan terutamanya Eropah yang dipropagandakan sama sekali =) Oleh itu, saya berharap setiap daripada anda berpegang pada barisan anda sendiri!

http://www.grandars.ru/student/vysshaya-matematika/metod-naimenshih-kvadratov.html

Kaedah kuasa dua terkecil adalah salah satu yang paling biasa dan paling maju kerana kesederhanaan dan kecekapan kaedah untuk menganggar parameter model ekonometrik linear. Pada masa yang sama, beberapa berhati-hati harus diperhatikan apabila menggunakannya, kerana model yang dibina menggunakannya mungkin tidak memenuhi beberapa keperluan untuk kualiti parameter mereka dan, akibatnya, tidak "baik" mencerminkan corak pembangunan proses.

Mari kita pertimbangkan prosedur untuk menganggar parameter model ekonometrik linear menggunakan kaedah kuasa dua terkecil dengan lebih terperinci. Model sedemikian dalam bentuk umum boleh diwakili oleh persamaan (1.2):

y t = a 0 + a 1 x 1t +...+ a n x nt + ε t .

Data awal apabila menganggar parameter a 0 , a 1 ,..., a n ialah vektor nilai pembolehubah bersandar y= (y 1 , y 2 , ... , y T)" dan matriks nilai pembolehubah bebas

di mana lajur pertama, yang terdiri daripada satu, sepadan dengan pekali model .

Kaedah kuasa dua terkecil mendapat namanya berdasarkan prinsip asas bahawa anggaran parameter yang diperolehi berdasarkannya harus memenuhi: jumlah kuasa dua ralat model hendaklah minimum.

Contoh penyelesaian masalah dengan kaedah kuasa dua terkecil

Contoh 2.1. Perusahaan perdagangan mempunyai rangkaian yang terdiri daripada 12 kedai, maklumat mengenai aktiviti yang dibentangkan dalam Jadual. 2.1.

Pihak pengurusan syarikat ingin mengetahui bagaimana saiz perolehan tahunan bergantung kepada ruang runcit kedai.

Jadual 2.1

Penyelesaian kuasa dua terkecil. Mari kita tentukan - perolehan tahunan kedai ke-, juta rubel; - kawasan jualan kedai ke-, ribu m 2.

Rajah.2.1. Scatterplot untuk Contoh 2.1

Untuk menentukan bentuk hubungan fungsi antara pembolehubah dan membina plot serakan (Rajah 2.1).

Berdasarkan rajah serakan, kita boleh membuat kesimpulan bahawa perolehan tahunan adalah bergantung secara positif kepada kawasan jualan (iaitu, y akan meningkat dengan pertumbuhan ). Bentuk sambungan berfungsi yang paling sesuai ialah linear.

Maklumat untuk pengiraan selanjutnya dibentangkan dalam Jadual. 2.2. Menggunakan kaedah kuasa dua terkecil, kami menganggarkan parameter model ekonometrik satu faktor linear

Jadual 2.2

Dengan cara ini,

Oleh itu, dengan peningkatan dalam kawasan perdagangan sebanyak 1 ribu m 2, perkara lain adalah sama, purata perolehan tahunan meningkat sebanyak 67.8871 juta rubel.

Contoh 2.2. Pengurusan perusahaan menyedari bahawa perolehan tahunan bergantung bukan sahaja pada kawasan jualan kedai (lihat contoh 2.1), tetapi juga pada purata bilangan pelawat. Maklumat berkaitan dibentangkan dalam jadual. 2.3.

Jadual 2.3

Penyelesaian. Nyatakan - purata bilangan pelawat ke kedai ke setiap hari, ribuan orang.

Untuk menentukan bentuk hubungan fungsi antara pembolehubah dan membina plot serakan (Rajah 2.2).

Berdasarkan rajah taburan, kita boleh membuat kesimpulan bahawa perolehan tahunan adalah berkaitan secara positif dengan purata bilangan pelawat setiap hari (iaitu, y akan meningkat dengan pertumbuhan ). Bentuk pergantungan fungsi adalah linear.

nasi. 2.2. Scatterplot contohnya 2.2

Jadual 2.4

Secara umum, adalah perlu untuk menentukan parameter model ekonometrik dua faktor

y t \u003d a 0 + a 1 x 1t + a 2 x 2t + ε t

Maklumat yang diperlukan untuk pengiraan selanjutnya dibentangkan dalam Jadual. 2.4.

Mari kita anggarkan parameter model ekonometrik dua faktor linear menggunakan kaedah kuasa dua terkecil.

Dengan cara ini,

Penilaian pekali = 61.6583 menunjukkan bahawa, perkara lain yang sama, dengan peningkatan dalam kawasan perdagangan sebanyak 1 ribu m 2, perolehan tahunan akan meningkat dengan purata 61.6583 juta rubel.

Anggaran pekali = 2.2748 menunjukkan bahawa, perkara lain adalah sama, dengan peningkatan dalam purata bilangan pelawat setiap 1 ribu orang. setiap hari, perolehan tahunan akan meningkat sebanyak purata 2.2748 juta rubel.

Contoh 2.3. Menggunakan maklumat yang dibentangkan dalam jadual. 2.2 dan 2.4, anggarkan parameter model ekonometrik faktor tunggal

di manakah nilai berpusat perolehan tahunan kedai ke-, juta rubel; - nilai berpusat purata bilangan pelawat harian ke kedai ke-t, ribu orang. (lihat contoh 2.1-2.2).

Penyelesaian. Maklumat tambahan yang diperlukan untuk pengiraan dibentangkan dalam Jadual. 2.5.

Jadual 2.5

Menggunakan formula (2.35), kita memperoleh

Dengan cara ini,

http://www.cleverstudents.ru/articles/mnk.html

Contoh.

Data eksperimen tentang nilai pembolehubah X dan di diberikan dalam jadual.

Hasil daripada penjajaran mereka, fungsi

menggunakan kaedah kuasa dua terkecil, anggaran data ini dengan pergantungan linear y=ax+b(cari pilihan a dan b). Ketahui yang mana antara dua baris yang lebih baik (dalam erti kata kaedah kuasa dua terkecil) menjajarkan data eksperimen. Buat lukisan.

Penyelesaian.

Dalam contoh kita n=5. Kami mengisi jadual untuk kemudahan mengira jumlah yang termasuk dalam formula pekali yang diperlukan.

Nilai dalam baris keempat jadual diperoleh dengan mendarabkan nilai baris ke-2 dengan nilai baris ke-3 untuk setiap nombor i.

Nilai dalam baris kelima jadual diperoleh dengan mengkuadratkan nilai baris ke-2 untuk setiap nombor i.

Nilai lajur terakhir jadual ialah jumlah nilai merentas baris.

Kami menggunakan formula kaedah kuasa dua terkecil untuk mencari pekali a dan b. Kami menggantikannya dengan nilai yang sepadan dari lajur terakhir jadual:

Akibatnya, y=0.165x+2.184- garis lurus anggaran yang dikehendaki.

Ia kekal untuk mengetahui yang mana satu baris y=0.165x+2.184 atau menganggarkan data asal dengan lebih baik, iaitu membuat anggaran menggunakan kaedah kuasa dua terkecil.

Bukti.

Supaya apabila ditemui a dan b fungsi mengambil nilai terkecil, adalah perlu bahawa pada ketika ini matriks bentuk kuadratik pembezaan tertib kedua untuk fungsi adalah pasti positif. Jom tunjuk.

Pembezaan urutan kedua mempunyai bentuk:

Itu dia

Oleh itu, matriks bentuk kuadratik mempunyai bentuk

dan nilai unsur tidak bergantung pada a dan b.

Mari kita tunjukkan bahawa matriks adalah pasti positif. Ini memerlukan sudut minor menjadi positif.

Sudut minor daripada susunan pertama . Ketaksamaan adalah ketat, kerana mata

Selepas penjajaran, kita mendapat fungsi dalam bentuk berikut: g (x) = x + 1 3 + 1 .

Kita boleh menganggarkan data ini dengan hubungan linear y = a x + b dengan mengira parameter yang sesuai. Untuk melakukan ini, kita perlu menggunakan kaedah kuasa dua terkecil yang dipanggil. Anda juga perlu membuat lukisan untuk menyemak garisan yang paling sesuai untuk menjajarkan data percubaan.

Yandex.RTB R-A-339285-1

Apakah sebenarnya OLS (kaedah kuasa dua terkecil)

Perkara utama yang perlu kita lakukan ialah mencari pekali pergantungan linear sedemikian di mana nilai fungsi dua pembolehubah F (a, b) = ∑ i = 1 n (y i - (a x i + b)) 2 akan menjadi terkecil. Dalam erti kata lain, untuk nilai tertentu a dan b, jumlah sisihan kuasa dua data yang dibentangkan daripada garis lurus yang terhasil akan mempunyai nilai minimum. Ini adalah maksud kaedah kuasa dua terkecil. Apa yang perlu kita lakukan untuk menyelesaikan contoh ialah mencari ekstrem bagi fungsi dua pembolehubah.

Bagaimana untuk mendapatkan formula untuk mengira pekali

Untuk mendapatkan formula untuk mengira pekali, adalah perlu untuk menyusun dan menyelesaikan sistem persamaan dengan dua pembolehubah. Untuk melakukan ini, kita mengira terbitan separa bagi ungkapan F (a , b) = ∑ i = 1 n (y i - (a x i + b)) 2 berkenaan dengan a dan b dan menyamakannya dengan 0 .

δ F (a , b) δ a = 0 δ F (a , b) δ b = 0 ⇔ - 2 ∑ i = 1 n (y i - (a x i + b)) x i = 0 - 2 ∑ i = 1 n ( y i - (a x i + b)) = 0 ⇔ a ∑ i = 1 n x i 2 + b ∑ i = 1 n x i = ∑ i = 1 n x i y i a ∑ i = 1 n x i + ∑ i = 1 n b = ∑ i = 1 n y i ∑ i = 1 n x i 2 + b ∑ i = 1 n x i = ∑ i = 1 n x i y i a ∑ i = 1 n x i + n b = ∑ i = 1 n y i

Untuk menyelesaikan sistem persamaan, anda boleh menggunakan sebarang kaedah, seperti penggantian atau kaedah Cramer. Akibatnya, kita harus mendapatkan formula yang mengira pekali menggunakan kaedah kuasa dua terkecil.

n ∑ i = 1 n x i y i - ∑ i = 1 n x i ∑ i = 1 n y i n ∑ i = 1 n - ∑ i = 1 n x i 2 b = ∑ i = 1 n y i - a ∑ i = 1 n x i n

Kami telah mengira nilai pembolehubah yang mana fungsinya
F (a , b) = ∑ i = 1 n (y i - (a x i + b)) 2 akan mengambil nilai minimum. Dalam perenggan ketiga, kami akan membuktikan mengapa ia begitu.

Ini adalah aplikasi kaedah kuasa dua terkecil dalam amalan. Formula beliau, yang digunakan untuk mencari parameter a , termasuk ∑ i = 1 n x i , ∑ i = 1 n y i , ∑ i = 1 n x i y i , ∑ i = 1 n x i 2 , dan parameter
n - ia menandakan jumlah data eksperimen. Kami menasihati anda untuk mengira setiap jumlah secara berasingan. Nilai pekali b dikira sejurus selepas a .

Mari kita kembali kepada contoh asal.

Contoh 1

Di sini kita mempunyai n bersamaan dengan lima. Untuk menjadikannya lebih mudah untuk mengira jumlah yang diperlukan termasuk dalam formula pekali, kami mengisi jadual.

Penyelesaian

Baris keempat mengandungi data yang diperoleh dengan mendarabkan nilai daripada baris kedua dengan nilai ketiga bagi setiap individu i . Baris kelima mengandungi data dari kuasa dua kedua. Lajur terakhir menunjukkan jumlah nilai baris individu.

Mari kita gunakan kaedah kuasa dua terkecil untuk mengira pekali a dan b yang kita perlukan. Untuk melakukan ini, gantikan nilai yang dikehendaki dari lajur terakhir dan hitung jumlahnya:

n ∑ i = 1 n x i y i - ∑ i = 1 n x i ∑ i = 1 n y i n ∑ i = 1 n - ∑ i = 1 n x i 2 b = ∑ i = 1 n y i - a ∑ i = 1 n x i n 5 ⇒ 3 a, - 12 12, 9 5 46 - 12 2 b = 12, 9 - a 12 5 ⇒ a ≈ 0, 165 b ≈ 2, 184

Kami mendapat bahawa anggaran garis lurus yang dikehendaki akan kelihatan seperti y = 0 , 165 x + 2 , 184 . Sekarang kita perlu menentukan garis mana yang paling sesuai dengan data - g (x) = x + 1 3 + 1 atau 0 , 165 x + 2 , 184 . Mari kita buat anggaran menggunakan kaedah kuasa dua terkecil.

Untuk mengira ralat, kita perlu mencari jumlah sisihan kuasa dua data daripada garis σ 1 = ∑ i = 1 n (y i - (a x i + b i)) 2 dan σ 2 = ∑ i = 1 n (y i - g (x i)) 2 , nilai minimum akan sepadan dengan garis yang lebih sesuai.

σ 1 = ∑ i = 1 n (y i - (a x i + b i)) 2 = = ∑ i = 1 5 (y i - (0 , 165 x i + 2 , 184)) 2 ≈ 0 , 019 σ 2 = ∑ i = 1 n (y i - g (x i)) 2 = = ∑ i = 1 5 (y i - (x i + 1 3 + 1)) 2 ≈ 0 , 096

Jawapan: sejak σ 1< σ 2 , то прямой, наилучшим образом аппроксимирующей исходные данные, будет
y = 0 , 165 x + 2 , 184 .

Kaedah kuasa dua terkecil ditunjukkan dengan jelas dalam ilustrasi grafik. Garis merah menandakan garis lurus g (x) = x + 1 3 + 1, garis biru menandakan y = 0, 165 x + 2, 184. Data mentah ditandakan dengan titik merah jambu.

Mari kita terangkan mengapa anggaran jenis ini diperlukan.

Ia boleh digunakan dalam masalah yang memerlukan pelicinan data, serta dalam masalah di mana data perlu diinterpolasi atau diekstrapolasi. Sebagai contoh, dalam masalah yang dibincangkan di atas, seseorang boleh mencari nilai kuantiti yang diperhatikan y pada x = 3 atau pada x = 6 . Kami telah menumpukan artikel berasingan untuk contoh sedemikian.

Bukti kaedah LSM

Untuk fungsi mengambil nilai minimum bagi a dan b yang dikira, adalah perlu bahawa pada titik tertentu matriks bentuk kuadratik pembezaan fungsi bentuk F (a, b) = ∑ i = 1 n ( y i - (a x i + b)) 2 menjadi tentu positif. Mari tunjukkan kepada anda bagaimana ia sepatutnya kelihatan.

Contoh 2

Kami mempunyai pembezaan tertib kedua dalam bentuk berikut:

d 2 F (a ; b) = δ 2 F (a ; b) δ a 2 d 2 a + 2 δ 2 F (a ; b) δ a δ b d a d b + δ 2 F (a ; b) δ b 2 d 2b

Penyelesaian

δ 2 F (a ; b) δ a 2 = δ δ F (a ; b) δ a δ a = = δ - 2 ∑ i = 1 n (y i - (a x i + b)) x i δ a = 2 ∑ i = 1 n (x i) 2 δ 2 F (a ; b) δ a δ b = δ δ F (a ; b) δ a δ b = = δ - 2 ∑ i = 1 n (y i - (a x i + b) ) x i δ b = 2 ∑ i = 1 n x i δ 2 F (a ; b) δ b 2 = δ δ F (a ; b) δ b δ b = δ - 2 ∑ i = 1 n (y i - (a x i + b)) δ b = 2 ∑ i = 1 n (1) = 2 n

Dalam erti kata lain, ia boleh ditulis seperti berikut: d 2 F (a ; b) = 2 ∑ i = 1 n (x i) 2 d 2 a + 2 2 ∑ x i i = 1 n d a d b + (2 n) d 2 b .

Kami telah memperoleh matriks bentuk kuadratik M = 2 ∑ i = 1 n (x i) 2 2 ∑ i = 1 n x i 2 ∑ i = 1 n x i 2 n .

Dalam kes ini, nilai elemen individu tidak akan berubah bergantung pada a dan b . Adakah matriks ini pasti positif? Untuk menjawab soalan ini, mari semak sama ada sudut bawahnya adalah positif.

Hitung tertib pertama sudut kecil: 2 ∑ i = 1 n (x i) 2 > 0 . Oleh kerana mata x i tidak bertepatan, ketaksamaan adalah ketat. Kami akan mengingati perkara ini dalam pengiraan selanjutnya.

Kami mengira kecil sudut tertib kedua:

d e t (M) = 2 ∑ i = 1 n (x i) 2 2 ∑ i = 1 n x i 2 ∑ i = 1 n x i 2 n = 4 n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2

Selepas itu, kita meneruskan ke pembuktian ketaksamaan n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 > 0 menggunakan aruhan matematik.

1. Mari kita semak sama ada ketidaksamaan ini sah untuk arbitrary n . Mari kita ambil 2 dan kira:

2 ∑ i = 1 2 (x i) 2 - ∑ i = 1 2 x i 2 = 2 x 1 2 + x 2 2 - x 1 + x 2 2 = = x 1 2 - 2 x 1 x 2 + x 2 2 = x 1 + x 2 2 > 0

Kami mendapat kesamaan yang betul (jika nilai x 1 dan x 2 tidak sepadan).

1. Mari kita buat andaian bahawa ketidaksamaan ini akan menjadi benar untuk n , i.e. n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 > 0 – benar.
2. Sekarang mari kita buktikan kesahihan untuk n + 1 , i.e. bahawa (n + 1) ∑ i = 1 n + 1 (x i) 2 - ∑ i = 1 n + 1 x i 2 > 0 jika n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 > 0 .

Kami mengira:

(n + 1) ∑ i = 1 n + 1 (x i) 2 - ∑ i = 1 n + 1 x i 2 = = (n + 1) ∑ i = 1 n (x i) 2 + x n + 1 2 - ∑ i = 1 n x i + x n + 1 2 = = n ∑ i = 1 n (x i) 2 + n x n + 1 2 + ∑ i = 1 n (x i) 2 + x n + 1 2 - - ∑ i = 1 n x i 2 + 2 x n + 1 ∑ i = 1 n x i + x n + 1 2 = = ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 + n x n + 1 2 - x n + 1 ∑ i = 1 n x i + ∑ i = 1 n (x i) 2 = = ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 + x n + 1 2 - 2 x n + 1 x 1 + x 1 2 + + x n + 1 2 - 2 x n + 1 x 2 + x 2 2 + . . . + x n + 1 2 - 2 x n + 1 x 1 + x n 2 = = n ∑ i = 1 n (x i) 2 - ∑ i = 1 n x i 2 + + (x n + 1 - x 1) 2 + (x n + 1) - x 2) 2 + . . . + (x n - 1 - x n) 2 > 0

Ungkapan yang dilampirkan dalam kurungan kerinting akan lebih besar daripada 0 (berdasarkan apa yang kita andaikan dalam langkah 2), dan sebutan selebihnya akan lebih besar daripada 0 kerana kesemuanya ialah segi empat sama nombor. Kami telah membuktikan ketidaksamaan.

Jawapan: a dan b yang ditemui akan sepadan dengan nilai terkecil bagi fungsi F (a, b) = ∑ i = 1 n (y i - (a x i + b)) 2, yang bermaksud bahawa ia adalah parameter yang diperlukan bagi kaedah kuasa dua terkecil (LSM).

Jika anda melihat kesilapan dalam teks, sila serlahkannya dan tekan Ctrl+Enter

Kaedah kuasa dua terkecil (LSM) membolehkan anda menganggar pelbagai kuantiti menggunakan keputusan banyak ukuran yang mengandungi ralat rawak.

MNC berciri

Idea utama kaedah ini ialah jumlah ralat kuasa dua dianggap sebagai kriteria untuk ketepatan penyelesaian masalah, yang cuba diminimumkan. Apabila menggunakan kaedah ini, kedua-dua pendekatan berangka dan analitikal boleh digunakan.

Khususnya, sebagai pelaksanaan berangka, kaedah kuasa dua terkecil membayangkan membuat seberapa banyak ukuran pembolehubah rawak yang tidak diketahui yang mungkin. Lebih-lebih lagi, lebih banyak pengiraan, lebih tepat penyelesaiannya. Pada set pengiraan ini (data awal), satu lagi set penyelesaian yang dicadangkan diperoleh, daripada mana yang terbaik kemudian dipilih. Jika set penyelesaian diparameterkan, maka kaedah kuasa dua terkecil akan dikurangkan untuk mencari nilai optimum parameter.

Sebagai pendekatan analitikal terhadap pelaksanaan LSM pada set data awal (ukuran) dan set penyelesaian yang dicadangkan, beberapa (berfungsi) ditakrifkan, yang boleh dinyatakan dengan formula yang diperoleh sebagai hipotesis tertentu yang perlu disahkan. . Dalam kes ini, kaedah kuasa dua terkecil dikurangkan kepada mencari minimum fungsi ini pada set ralat kuasa dua bagi data awal.

Perhatikan bahawa bukan ralat itu sendiri, tetapi petak ralat. kenapa? Hakikatnya selalunya sisihan ukuran daripada nilai yang tepat adalah positif dan negatif. Apabila menentukan purata, penjumlahan mudah boleh membawa kepada kesimpulan yang salah tentang kualiti anggaran, kerana pembatalan bersama nilai positif dan negatif akan mengurangkan kuasa pensampelan set ukuran. Dan, akibatnya, ketepatan penilaian.

Untuk mengelakkan ini daripada berlaku, sisihan kuasa dua dirumuskan. Malah lebih daripada itu, untuk menyamakan dimensi nilai yang diukur dan anggaran akhir, jumlah ralat kuasa dua digunakan untuk mengekstrak

Beberapa aplikasi MNC

MNC digunakan secara meluas dalam pelbagai bidang. Sebagai contoh, dalam teori kebarangkalian dan statistik matematik, kaedah digunakan untuk menentukan ciri pembolehubah rawak seperti sisihan piawai, yang menentukan lebar julat nilai pembolehubah rawak.

• Tutorial

pengenalan

Saya seorang pengaturcara komputer. Saya membuat lonjakan terbesar dalam kerjaya saya apabila saya belajar berkata: "Saya tidak faham apa-apa!" Sekarang saya tidak malu untuk memberitahu ahli sains bahawa dia memberi saya kuliah, bahawa saya tidak faham apa yang dibicarakan oleh tokoh itu kepada saya. Dan ia sangat sukar. Ya, sukar dan memalukan untuk mengaku tidak tahu. Siapa yang suka mengaku bahawa dia tidak tahu asas sesuatu-ada. Berdasarkan profesion saya, saya perlu menghadiri sejumlah besar pembentangan dan kuliah, di mana, saya mengaku, dalam kebanyakan kes saya berasa mengantuk, kerana saya tidak memahami apa-apa. Dan saya tidak faham kerana masalah besar situasi semasa dalam sains terletak pada matematik. Ia menganggap bahawa semua pelajar sudah biasa dengan semua bidang matematik (yang tidak masuk akal). Untuk mengakui bahawa anda tidak tahu apa itu derivatif (bahawa ini sedikit kemudian) adalah memalukan.

Tetapi saya telah belajar untuk mengatakan bahawa saya tidak tahu apa itu pendaraban. Ya, saya tidak tahu apa itu subalgebra berbanding algebra Lie. Ya, saya tidak tahu mengapa persamaan kuadratik diperlukan dalam kehidupan. By the way, jika anda pasti bahawa anda tahu, maka kami mempunyai sesuatu untuk dibincangkan! Matematik adalah satu siri helah. Ahli matematik cuba mengelirukan dan menakut-nakutkan orang ramai; di mana tiada kekeliruan, tiada reputasi, tiada kuasa. Ya, adalah berprestij untuk bercakap dalam bahasa yang paling abstrak yang mungkin, yang sama sekali tidak masuk akal.

Adakah anda tahu apa itu derivatif? Kemungkinan besar anda akan memberitahu saya tentang had perhubungan perbezaan. Pada tahun pertama matematik di St. Petersburg State University, Viktor Petrovich Khavin saya ditakrifkan derivatif sebagai pekali bagi sebutan pertama siri Taylor bagi fungsi pada titik (ia adalah gimnastik yang berasingan untuk menentukan siri Taylor tanpa terbitan). Saya ketawa dengan definisi ini untuk masa yang lama, sehingga saya akhirnya memahami apa itu. Derivatif tidak lebih daripada sekadar ukuran berapa banyak fungsi yang kita bezakan adalah serupa dengan fungsi y=x, y=x^2, y=x^3.

Saya kini mendapat penghormatan untuk memberi syarahan kepada pelajar yang rasa takut matematik. Jika anda takut dengan matematik - kami sedang dalam perjalanan. Sebaik sahaja anda cuba membaca beberapa teks dan nampaknya ia terlalu rumit, maka ketahui bahawa ia ditulis dengan teruk. Saya berpendapat bahawa tidak ada satu pun bidang matematik yang tidak boleh dibicarakan tentang "di jari" tanpa kehilangan ketepatan.

Cabaran untuk masa terdekat: Saya mengarahkan pelajar saya untuk memahami apa itu pengawal kuadratik linear. Jangan malu, buang tiga minit hidup anda, ikuti pautan. Jika anda tidak faham apa-apa, maka kami sedang dalam perjalanan. Saya (ahli matematik-pengaturcara profesional) juga tidak faham apa-apa. Dan saya memberi jaminan kepada anda, ini boleh diselesaikan "pada jari." Pada masa ini saya tidak tahu apa itu, tetapi saya memberi jaminan bahawa kita akan dapat memikirkannya.

Jadi, syarahan pertama yang saya akan berikan kepada pelajar saya selepas mereka datang berlari kepada saya dengan seram dengan kata-kata bahawa pengawal linear-quadratic adalah pepijat yang dahsyat yang anda tidak akan kuasai dalam hidup anda ialah kaedah kuasa dua terkecil. Bolehkah anda menyelesaikan persamaan linear? Jika anda membaca teks ini, kemungkinan besar tidak.

Jadi, diberi dua titik (x0, y0), (x1, y1), sebagai contoh, (1,1) dan (3,2), tugasnya ialah mencari persamaan garis lurus yang melalui dua titik ini:

ilustrasi

Garis lurus ini harus mempunyai persamaan seperti berikut:

Di sini alfa dan beta tidak diketahui oleh kami, tetapi dua titik garis ini diketahui:

Anda boleh menulis persamaan ini dalam bentuk matriks:

Di sini kita harus membuat penyimpangan lirik: apakah matriks? Matriks tidak lain hanyalah tatasusunan dua dimensi. Ini adalah cara untuk menyimpan data, tiada lagi nilai yang perlu diberikan kepadanya. Terpulang kepada kita bagaimana sebenarnya untuk mentafsir matriks tertentu. Secara berkala, saya akan mentafsirkannya sebagai pemetaan linear, secara berkala sebagai bentuk kuadratik, dan kadangkala hanya sebagai satu set vektor. Ini semua akan dijelaskan dalam konteks.

Mari kita gantikan matriks tertentu dengan perwakilan simboliknya:

Kemudian (alfa, beta) boleh didapati dengan mudah:

Lebih khusus untuk data kami sebelum ini:

Yang membawa kepada persamaan garis lurus berikut yang melalui titik (1,1) dan (3,2):

Okay, semuanya jelas di sini. Dan mari kita cari persamaan garis lurus yang melaluinya tiga mata: (x0,y0), (x1,y1) dan (x2,y2):

Oh-oh-oh, tetapi kita mempunyai tiga persamaan untuk dua yang tidak diketahui! Ahli matematik standard akan mengatakan bahawa tiada penyelesaian. Apa yang akan dikatakan oleh pengaturcara? Dan dia akan menulis semula sistem persamaan sebelumnya dalam bentuk berikut:

Dalam kes kami, vektor i, j, b adalah tiga dimensi, oleh itu, (dalam kes umum) tidak ada penyelesaian untuk sistem ini. Sebarang vektor (alfa\*i + beta\*j) terletak pada satah yang direntangi oleh vektor (i, j). Jika b tidak tergolong dalam satah ini, maka tiada penyelesaian (kesamaan dalam persamaan tidak boleh dicapai). Apa nak buat? Mari kita cari kompromi. Mari kita nyatakan dengan e(alfa, beta) bagaimana sebenarnya kita tidak mencapai kesaksamaan:

Dan kami akan cuba meminimumkan ralat ini:

Mengapa persegi?

Kami mencari bukan sahaja untuk minimum norma, tetapi untuk minimum kuasa dua norma. kenapa? Titik minimum itu sendiri bertepatan, dan segi empat sama memberikan fungsi lancar (fungsi kuadratik bagi argumen (alfa,beta)), manakala hanya panjang memberikan fungsi dalam bentuk kon, tidak boleh dibezakan pada titik minimum. Brr. Dataran lebih mudah.

Jelas sekali, ralat diminimumkan apabila vektor e ortogon kepada satah yang direntangi oleh vektor i dan j.

Ilustrasi

Dalam erti kata lain: kami sedang mencari garis supaya jumlah panjang kuasa dua jarak dari semua titik ke garis ini adalah minimum:

KEMASKINI: di sini saya mempunyai jamb, jarak ke garisan harus diukur secara menegak, bukan unjuran ortografik. Pengulas ini betul.

Ilustrasi

Dalam perkataan yang sama sekali berbeza (dengan berhati-hati, kurang formal, tetapi ia harus jelas pada jari): kami mengambil semua garis yang mungkin antara semua pasangan mata dan mencari garis purata antara semua:

Ilustrasi

Penjelasan lain pada jari: kami melampirkan spring di antara semua titik data (di sini kami mempunyai tiga) dan garis yang kami cari, dan garis keadaan keseimbangan adalah tepat yang kami cari.

Bentuk kuadratik minimum

Dalam erti kata lain, kita sedang mencari vektor x=(alpha, beta) supaya:

Saya ingatkan anda bahawa vektor ini x=(alfa, beta) ialah minimum bagi fungsi kuadratik ||e(alfa, beta)||^2:

Di sini adalah berguna untuk diingat bahawa matriks boleh ditafsirkan serta bentuk kuadratik, contohnya, matriks identiti ((1,0),(0,1)) boleh ditafsirkan sebagai fungsi x^2 + y ^2:

bentuk kuadratik

Kesemua gimnastik ini dikenali sebagai regresi linear.

Persamaan Laplace dengan keadaan sempadan Dirichlet

Komit asal tersedia. Untuk meminimumkan kebergantungan luaran, saya mengambil kod pemapar perisian saya, sudah ada pada Habré. Untuk menyelesaikan sistem linear, saya menggunakan OpenNL , ia adalah penyelesai yang hebat, tetapi sangat sukar untuk dipasang: anda perlu menyalin dua fail (.h + .c) ke folder projek anda. Semua pelicinan dilakukan dengan kod berikut:

Untuk (int d=0; d<3; d++) { nlNewContext(); nlSolverParameteri(NL_NB_VARIABLES, verts.size()); nlSolverParameteri(NL_LEAST_SQUARES, NL_TRUE); nlBegin(NL_SYSTEM); nlBegin(NL_MATRIX); for (int i=0; i<(int)verts.size(); i++) { nlBegin(NL_ROW); nlCoefficient(i, 1); nlRightHandSide(verts[i][d]); nlEnd(NL_ROW); } for (unsigned int i=0; i&muka = ​​muka[i]; untuk (int j=0; j<3; j++) { nlBegin(NL_ROW); nlCoefficient(face[ j ], 1); nlCoefficient(face[(j+1)%3], -1); nlEnd(NL_ROW); } } nlEnd(NL_MATRIX); nlEnd(NL_SYSTEM); nlSolve(); for (int i=0; i<(int)verts.size(); i++) { verts[i][d] = nlGetVariable(i); } }

Koordinat X, Y dan Z boleh dipisahkan, saya lancarkan secara berasingan. Iaitu, saya menyelesaikan tiga sistem persamaan linear, setiap satu dengan bilangan pembolehubah yang sama dengan bilangan bucu dalam model saya. N baris pertama matriks A mempunyai hanya satu 1 setiap baris, dan n baris pertama vektor b mempunyai koordinat model asal. Iaitu, saya mengikat musim bunga antara kedudukan bucu baharu dan kedudukan bucu lama - yang baharu tidak seharusnya terlalu jauh dari yang lama.

Semua baris berikutnya bagi matriks A (faces.size()*3 = bilangan tepi semua segi tiga dalam grid) mempunyai satu kejadian 1 dan satu kejadian -1, manakala vektor b mempunyai sifar komponen bertentangan. Ini bermakna saya meletakkan spring pada setiap tepi jaringan segi tiga kami: semua tepi cuba mendapatkan bucu yang sama dengan titik permulaan dan penamatnya.

Sekali lagi: semua bucu adalah pembolehubah, dan mereka tidak boleh menyimpang jauh dari kedudukan asalnya, tetapi pada masa yang sama mereka cuba menjadi serupa antara satu sama lain.

Inilah hasilnya:

Segala-galanya akan baik-baik saja, model itu benar-benar licin, tetapi ia beralih dari pinggir asalnya. Mari kita ubah sedikit kod:

Untuk (int i=0; i<(int)verts.size(); i++) { float scale = border[i] ? 1000: 1; nlBegin(NL_ROW); nlCoefficient(i, scale); nlRightHandSide(scale*verts[i][d]); nlEnd(NL_ROW); }

Dalam matriks A kami, untuk bucu yang berada di tepi, saya tidak menambah satu baris daripada kategori v_i = verts[i][d], tetapi 1000*v_i = 1000*verts[i][d]. Apakah yang berubah? Dan ini mengubah bentuk ralat kuadratik kami. Sekarang sisihan tunggal dari bahagian atas di tepi tidak akan dikenakan biaya satu unit, seperti sebelumnya, tetapi 1000 * 1000 unit. Iaitu, kami menggantung spring yang lebih kuat pada bucu yang melampau, penyelesaiannya lebih suka meregangkan yang lain dengan lebih kuat. Inilah hasilnya:

Mari kita gandakan kekuatan spring antara bucu:
nlCoefficient(muka [ j ], 2); nlCoefficient(muka[(j+1)%3], -2);

Adalah logik bahawa permukaan telah menjadi lebih licin:

Dan sekarang bahkan seratus kali lebih kuat:

Apakah ini? Bayangkan kita telah mencelupkan cincin dawai ke dalam air sabun. Akibatnya, filem sabun yang terhasil akan cuba mempunyai kelengkungan paling sedikit yang mungkin, menyentuh sempadan yang sama - gelang wayar kami. Inilah yang kami dapat dengan membetulkan sempadan dan meminta permukaan licin di dalamnya. Tahniah, kami baru sahaja menyelesaikan persamaan Laplace dengan syarat sempadan Dirichlet. Kedengaran sejuk? Tetapi sebenarnya, hanya satu sistem persamaan linear untuk diselesaikan.

Persamaan Poisson

Katakan saya mempunyai imej seperti ini:

Semua orang baik, tetapi saya tidak suka kerusi itu.

Saya memotong gambar itu separuh:

Dan saya akan memilih kerusi dengan tangan saya:

Kemudian saya akan menyeret semua yang berwarna putih dalam topeng ke sebelah kiri gambar, dan pada masa yang sama saya akan mengatakan sepanjang keseluruhan gambar bahawa perbezaan antara dua piksel jiran harus sama dengan perbezaan antara dua piksel jiran bagi imej kanan:

Untuk (int i=0; i

Inilah hasilnya:

Kod dan gambar tersedia