Может ли сумма квадратов уклонений для каких либо приближающих функций быть равной нулю

Обновлено: 25.06.2024

Перечислим особенности, на которые надо обратить внимание при выполнении задания по этой теме.

Предполагается, что функция задана в виде таблицы конечного числа точек

х_i	х₀	х₁	…	х_n	,
у_i	y₀	y₁	…	y_n

например, получена экспериментально, где x_i, y_i (i=1,…,n) – произвольные числа. При этом все

числа x_i различны.

Пусть также имеется некоторая функция , определенная для всех значений x_i (i=1,…,n).

Определение 3. Число Т, где

называется среднеквадратичным (или среднеквадратическим) уклонением функции от заданной .

Наряду с числом Т вводят также вспомогательную величину

Функцию стараются подобрать, чтобы число Т получилось достаточно малым.

Можно предложить следующие способы выбора функции .

т.е. - многочлен степени m, при этом m

Рассмотрим в качестве приближающей функции многочлен степени m, который имеет вид

Согласно методу наименьших квадратов наилучшими коэффициентами считаются те, для которых сумма квадратов уклонений будет минимальной, т. е.

Т есть функция коэффициентов . Наряду с функцией Т рассматривают функцию S вида:

Очевидно, что S и Т достигают своего минимума в одной точке. Далее для отыскания точки минимума будем рассматривать функцию S, поскольку она удобнее для вычислений.

При данной приближающей функции критерий близости, который используется в методе наименьших квадратов, запишется следующим образом:

Используя необходимое условие экстремума функции нескольких переменных, получим систему для определения коэффициентов , где :

ПРИБЛИЖЁННОЕ ИНТЕГРИРОВАНИЕ ФУНКЦИЙ

Если функция f(x) непрерывна на отрезке [a, b] и известна её первообразная F(x), то определённый интеграл от этой функции в пределах от a до b может быть вычислен по формуле Ньютона- Лейбница

Однако во многих случаях первообразная функция F(x) не может быть найдена с помощью элементарных средств или является слишком сложной; вследствие этого вычисление определённого интеграла по формуле (1) может быть затруднительным или даже практически невыполнимым.

Кроме того, на практике подынтегральная функция f(x) часто задаётся таблично или графически. Поэтому важное значение имеют приближённые и в первую очередь численные методы вычисления определённых интегралов.

Задача численного интегрирования функции заключается в вычислении значения определённого интеграла на основании ряда значений подынтегральной функции.

Обычный приём при численном вычислении однократных интегралов.

Отрезок [a, b] разбивают на части (чаще всего равные) точками х_j ( j = ) так, что a = x₀

Из каждой точки х проведём перпендикуляр до пересечения с кривой f(x),

а затем заменим кривую подынтегральной функции ломаной линией, отрезки которой параллельны оси абсцисс.

Рис.1. Геометрическая интерпретация интегрирования по методу прямоугольников.

Площадь полученной ступенчатой фигуры можно найти как сумму площадей прямоугольников, стороны которых равны h и у_i. Следовательно, площадь отдельного прямоугольника составит

Следовательно, формула вычисления определённого интеграла по методу прямоугольников имеет вид:

(3)

Остаточный член имеет вид:

2) Интегрирование по методу трапеций.

Метода трапеций заключается в линейной аппроксимации f(x) на отрезке [a,b]. Участок интегрирования также разбивается на n равных частей. Если провести ординаты во всех точках деления и заменить каждую из полученных криволинейных трапеций прямолинейной (рис.2), то приближённое значение интеграла будет равно сумме площадей прямолинейных трапеций.

Рис. 2 Геометрическая интерпретация интегрирования по методу трапеций.

Площадь отдельной трапеции составляет: ,

Тогда площадь искомой фигуры будем искать по формуле:

Следовательно, формула трапеций для численного интегрирования имеет вид:

(5)

Остаточный член имеет вид

(6)

На практике для оценки абсолютной погрешности формулы трапеций применяют следующие соотношения:

1. , (7)

При этом, как правило, получают для завышенную оценку.

2. Правило Рунге (n − чётное) даёт более тонкую оценку :

(8)

Но при этом может получиться для заниженная оценка, чего следует опасаться.

Начнем статью сразу с примера. У нас есть некие экспериментальные данные о значениях двух переменных – x и y . Занесем их в таблицу.

i = 1	i = 2	i = 3	i = 4	i = 5
x i	0	1	2	4	5
y i	2 , 1	2 , 4	2 , 6	2 , 8	3 , 0

После выравнивания получим функцию следующего вида: g ( x ) = x + 1 3 + 1 .

Мы можем аппроксимировать эти данные с помощью линейной зависимости y = a x + b , вычислив соответствующие параметры. Для этого нам нужно будет применить так называемый метод наименьших квадратов. Также потребуется сделать чертеж, чтобы проверить, какая линия будет лучше выравнивать экспериментальные данные.

В чем именно заключается МНК (метод наименьших квадратов)

Главное, что нам нужно сделать, – это найти такие коэффициенты линейной зависимости, при которых значение функции двух переменных F ( a , b ) = ∑ i = 1 n ( y i - ( a x i + b ) ) 2 будет наименьшим. Иначе говоря, при определенных значениях a и b сумма квадратов отклонений представленных данных от получившейся прямой будет иметь минимальное значение. В этом и состоит смысл метода наименьших квадратов. Все, что нам надо сделать для решения примера – это найти экстремум функции двух переменных.

Как вывести формулы для вычисления коэффициентов

Для того чтобы вывести формулы для вычисления коэффициентов, нужно составить и решить систему уравнений с двумя переменными. Для этого мы вычисляем частные производные выражения F ( a , b ) = ∑ i = 1 n ( y i - ( a x i + b ) ) 2 по a и b и приравниваем их к 0 .

δ F ( a , b ) δ a = 0 δ F ( a , b ) δ b = 0 ⇔ - 2 ∑ i = 1 n ( y i - ( a x i + b ) ) x i = 0 - 2 ∑ i = 1 n ( y i - ( a x i + b ) ) = 0 ⇔ a ∑ i = 1 n x i 2 + b ∑ i = 1 n x i = ∑ i = 1 n x i y i a ∑ i = 1 n x i + ∑ i = 1 n b = ∑ i = 1 n y i ⇔ a ∑ i = 1 n x i 2 + b ∑ i = 1 n x i = ∑ i = 1 n x i y i a ∑ i = 1 n x i + n b = ∑ i = 1 n y i

Для решения системы уравнений можно использовать любые методы, например, подстановку или метод Крамера. В результате у нас должны получиться формулы, с помощью которых вычисляются коэффициенты по методу наименьших квадратов.

n ∑ i = 1 n x i y i - ∑ i = 1 n x i ∑ i = 1 n y i n ∑ i = 1 n - ∑ i = 1 n x i 2 b = ∑ i = 1 n y i - a ∑ i = 1 n x i n

Мы вычислили значения переменных, при который функция
F ( a , b ) = ∑ i = 1 n ( y i - ( a x i + b ) ) 2 примет минимальное значение. В третьем пункте мы докажем, почему оно является именно таким.

Это и есть применение метода наименьших квадратов на практике. Его формула, которая применяется для поиска параметра a , включает в себя ∑ i = 1 n x i , ∑ i = 1 n y i , ∑ i = 1 n x i y i , ∑ i = 1 n x i 2 , а также параметр
n – им обозначено количество экспериментальных данных. Советуем вам вычислять каждую сумму отдельно. Значение коэффициента b вычисляется сразу после a .

Обратимся вновь к исходному примеру.

Здесь у нас n равен пяти. Чтобы было удобнее вычислять нужные суммы, входящие в формулы коэффициентов, заполним таблицу.

i = 1	i = 2	i = 3	i = 4	i = 5	∑ i = 1 5
x i	0	1	2	4	5	12
y i	2 , 1	2 , 4	2 , 6	2 , 8	3	12 , 9
x i y i	0	2 , 4	5 , 2	11 , 2	15	33 , 8
x i 2	0	1	4	16	25	46

Решение

Четвертая строка включает в себя данные, полученные при умножении значений из второй строки на значения третьей для каждого отдельного i . Пятая строка содержит данные из второй, возведенные в квадрат. В последнем столбце приводятся суммы значений отдельных строчек.

Воспользуемся методом наименьших квадратов, чтобы вычислить нужные нам коэффициенты a и b . Для этого подставим нужные значения из последнего столбца и подсчитаем суммы:

n ∑ i = 1 n x i y i - ∑ i = 1 n x i ∑ i = 1 n y i n ∑ i = 1 n - ∑ i = 1 n x i 2 b = ∑ i = 1 n y i - a ∑ i = 1 n x i n ⇒ a = 5 · 33 , 8 - 12 · 12 , 9 5 · 46 - 12 2 b = 12 , 9 - a · 12 5 ⇒ a ≈ 0 , 165 b ≈ 2 , 184

У нас получилось, что нужная аппроксимирующая прямая будет выглядеть как y = 0 , 165 x + 2 , 184 . Теперь нам надо определить, какая линия будет лучше аппроксимировать данные – g ( x ) = x + 1 3 + 1 или 0 , 165 x + 2 , 184 . Произведем оценку с помощью метода наименьших квадратов.

Чтобы вычислить погрешность, нам надо найти суммы квадратов отклонений данных от прямых σ 1 = ∑ i = 1 n ( y i - ( a x i + b i ) ) 2 и σ 2 = ∑ i = 1 n ( y i - g ( x i ) ) 2 , минимальное значение будет соответствовать более подходящей линии.

σ 1 = ∑ i = 1 n ( y i - ( a x i + b i ) ) 2 = = ∑ i = 1 5 ( y i - ( 0 , 165 x i + 2 , 184 ) ) 2 ≈ 0 , 019 σ 2 = ∑ i = 1 n ( y i - g ( x i ) ) 2 = = ∑ i = 1 5 ( y i - ( x i + 1 3 + 1 ) ) 2 ≈ 0 , 096

Ответ: поскольку σ 1 σ 2 , то прямой, наилучшим образом аппроксимирующей исходные данные, будет
y = 0 , 165 x + 2 , 184 .

Как изобразить МНК на графике функций

Метод наименьших квадратов наглядно показан на графической иллюстрации. С помощью красной линии отмечена прямая g ( x ) = x + 1 3 + 1 , синей – y = 0 , 165 x + 2 , 184 . Исходные данные обозначены розовыми точками.

Поясним, для чего именно нужны приближения подобного вида.

Они могут быть использованы в задачах, требующих сглаживания данных, а также в тех, где данные надо интерполировать или экстраполировать. Например, в задаче, разобранной выше, можно было бы найти значение наблюдаемой величины y при x = 3 или при x = 6 . Таким примерам мы посвятили отдельную статью.

Доказательство метода МНК

Чтобы функция приняла минимальное значение при вычисленных a и b , нужно, чтобы в данной точке матрица квадратичной формы дифференциала функции вида F ( a , b ) = ∑ i = 1 n ( y i - ( a x i + b ) ) 2 была положительно определенной. Покажем, как это должно выглядеть.

У нас есть дифференциал второго порядка следующего вида:

d 2 F ( a ; b ) = δ 2 F ( a ; b ) δ a 2 d 2 a + 2 δ 2 F ( a ; b ) δ a δ b d a d b + δ 2 F ( a ; b ) δ b 2 d 2 b

Решение

δ 2 F ( a ; b ) δ a 2 = δ δ F ( a ; b ) δ a δ a = = δ - 2 ∑ i = 1 n ( y i - ( a x i + b ) ) x i δ a = 2 ∑ i = 1 n ( x i ) 2 δ 2 F ( a ; b ) δ a δ b = δ δ F ( a ; b ) δ a δ b = = δ - 2 ∑ i = 1 n ( y i - ( a x i + b ) ) x i δ b = 2 ∑ i = 1 n x i δ 2 F ( a ; b ) δ b 2 = δ δ F ( a ; b ) δ b δ b = δ - 2 ∑ i = 1 n ( y i - ( a x i + b ) ) δ b = 2 ∑ i = 1 n ( 1 ) = 2 n

Иначе говоря, можно записать так: d 2 F ( a ; b ) = 2 ∑ i = 1 n ( x i ) 2 d 2 a + 2 · 2 ∑ x i i = 1 n d a d b + ( 2 n ) d 2 b .

Мы получили матрицу квадратичной формы вида M = 2 ∑ i = 1 n ( x i ) 2 2 ∑ i = 1 n x i 2 ∑ i = 1 n x i 2 n .

В этом случае значения отдельных элементов не будут меняться в зависимости от a и b . Является ли эта матрица положительно определенной? Чтобы ответить на этот вопрос, проверим, являются ли ее угловые миноры положительными.

Вычисляем угловой минор первого порядка: 2 ∑ i = 1 n ( x i ) 2 > 0 . Поскольку точки x i не совпадают, то неравенство является строгим. Будем иметь это в виду при дальнейших расчетах.

Вычисляем угловой минор второго порядка:

d e t ( M ) = 2 ∑ i = 1 n ( x i ) 2 2 ∑ i = 1 n x i 2 ∑ i = 1 n x i 2 n = 4 n ∑ i = 1 n ( x i ) 2 - ∑ i = 1 n x i 2

После этого переходим к доказательству неравенства n ∑ i = 1 n ( x i ) 2 - ∑ i = 1 n x i 2 > 0 с помощью математической индукции.

Проверим, будет ли данное неравенство справедливым при произвольном n . Возьмем 2 и подсчитаем:

2 ∑ i = 1 2 ( x i ) 2 - ∑ i = 1 2 x i 2 = 2 x 1 2 + x 2 2 - x 1 + x 2 2 = = x 1 2 - 2 x 1 x 2 + x 2 2 = x 1 + x 2 2 > 0

У нас получилось верное равенство (если значения x 1 и x 2 не будут совпадать).

Сделаем предположение, что данное неравенство будет верным для n , т.е. n ∑ i = 1 n ( x i ) 2 - ∑ i = 1 n x i 2 > 0 – справедливо.
Теперь докажем справедливость при n + 1 , т.е. что ( n + 1 ) ∑ i = 1 n + 1 ( x i ) 2 - ∑ i = 1 n + 1 x i 2 > 0 , если верно n ∑ i = 1 n ( x i ) 2 - ∑ i = 1 n x i 2 > 0 .

( n + 1 ) ∑ i = 1 n + 1 ( x i ) 2 - ∑ i = 1 n + 1 x i 2 = = ( n + 1 ) ∑ i = 1 n ( x i ) 2 + x n + 1 2 - ∑ i = 1 n x i + x n + 1 2 = = n ∑ i = 1 n ( x i ) 2 + n · x n + 1 2 + ∑ i = 1 n ( x i ) 2 + x n + 1 2 - - ∑ i = 1 n x i 2 + 2 x n + 1 ∑ i = 1 n x i + x n + 1 2 = = ∑ i = 1 n ( x i ) 2 - ∑ i = 1 n x i 2 + n · x n + 1 2 - x n + 1 ∑ i = 1 n x i + ∑ i = 1 n ( x i ) 2 = = ∑ i = 1 n ( x i ) 2 - ∑ i = 1 n x i 2 + x n + 1 2 - 2 x n + 1 x 1 + x 1 2 + + x n + 1 2 - 2 x n + 1 x 2 + x 2 2 + . . . + x n + 1 2 - 2 x n + 1 x 1 + x n 2 = = n ∑ i = 1 n ( x i ) 2 - ∑ i = 1 n x i 2 + + ( x n + 1 - x 1 ) 2 + ( x n + 1 - x 2 ) 2 + . . . + ( x n - 1 - x n ) 2 > 0

Выражение, заключенное в фигурные скобки, будет больше 0 (исходя из того, что мы предполагали в пункте 2 ), и остальные слагаемые будут больше 0 , поскольку все они являются квадратами чисел. Мы доказали неравенство.

Ответ: найденные a и b будут соответствовать наименьшему значению функции F ( a , b ) = ∑ i = 1 n ( y i - ( a x i + b ) ) 2 , значит, они являются искомыми параметрами метода наименьших квадратов (МНК).

Метод наименьших квадратов (МНК) — один из методов регрессионного анализа для оценки неизвестных величин по результатам измерений, содержащим случайные ошибки. Данный метод применяется также для приближённого представления заданной функции другими (более простыми) функциями и часто оказывается полезным при обработке наблюдений.

Когда искомая величина может быть измерена непосредственно, как, например, длина отрезка или угол, то, для увеличения точности измерение производится много раз, и за окончательный результат берут арифметическое среднее из всех отдельных измерений. Это правило арифметической середины основывается на соображениях теории вероятностей; легко показать, что сумма квадратов уклонений отдельных измерений от арифметической середины будет меньше, чем сумма квадратов уклонений отдельных измерений от какой бы то ни было другой величины. Само правило арифметической середины представляет, следовательно, простейший случай метода наименьших квадратов.

При применении МНК используется подстановка в начальные уравнения неизвестных величин. При этом в правых частях уравнений получаются если не нули, то небольшие величины, сумма квадратов которых оказывается меньшей, чем сумма квадратов подобных же остатков после подстановки каких бы то ни было других значений неизвестных. Помимо этого, решение уравнений по способу наименьших квадратов даёт возможность выводить вероятные ошибки неизвестных, то есть даёт величины, по которым судят о степени точности выводов.

Двухшаговый МНК. Системы одновременных уравнений

ДМНК состоит в следующем:

составляют приведенную форму модели и определяют численные значения ее параметров обычным МНК;

выявляют эндогенные переменные, находящиеся в правой части структурного уравнения, параметры которого определяют ДМНК, и находят их расчетные значения по соответствующим уравнениям приведенной формы модели;

обычным МНК определяют параметры структурного уравнения, используя в качестве исходных данных фактические значения предопределенных переменных и расчетные значения эндогенных переменных, стоящих в правой части данного структурного уравнения.

Взвешенный МНК

Взвешивание применяется для оценивания коэффициентов модели Y = X β + ε в предположении гетероскедастичности остатков .

Случай сводится к стандартной модели множественной линейной регрессии с гомоскедастичными остатками несложным преобразованием:

Оценивание полученной модели выполняется стандартным МНК.

Доступный обобщенный МНК

В случае линейной регрессионной модели Y = X β + ε в предположении распределения остатков ε по закону N (0, σ 2 Ω) с заданной матрицей ковариаций Ω, оценка доступного обобщенного метода наименьших квадратов реализуется формулой:

При наличии в модели константы, подлежащей автоматическому оцениванию, следует дополнить матрицу X единичным столбцом.

Обобщенный метод наименьших квадратов применяется для оценки параметров линейных регрессионных моделей с __________ остатками

+: автокоррелированными и/или гетероскедастичными

-гомоскедастичными и некоррелированными

Метод наименьших квадратов (МНК) может применяться для оценки параметров исходной регрессионной модели в _________ форме.

+: линейной

-надежности среднеквадратической ошибки

-ненадежности среднеквадратической ошибки

+: ненадежности оценки

+: 0,64

При методе наименьших квадратов параметры уравнения парной линейной регрессии определяются из условия ______ остатков .

равенства нулю суммы квадратов

+ минимизации суммы квадратов

125 Значение критерия Дарбина – Уотсона можно приблизительно рассчитать по формуле где – значение коэффициента автокорреляции остатков модели. Минимальная величина значения будет наблюдаться при ________ автокорреляции остатков.

+ положительной

126 Исходная регрессионная модель имеет вид Преобразование переменных вида используется в том случае, если ________ и оценка параметров проводится с помощью ________ метода наименьших квадратов

предпосылки МНК нарушены; традиционного

предпосылки МНК не нарушены; обобщенного

предпосылки МНК не нарушены; традиционного

+ предпосылки МНК нарушены; обобщенного

Если известно уравнение множественной регрессии построенное по результатам 50 наблюдений, для которого общая сумма квадратов отклонений равна 153, и остаточная сумма квадратов отклонений равна 3, то значение F-статистики равно …

Тема208: Обобщенный метод наименьших квадратов (ОМНК)
Пустьy– издержки производства, – объем продукции, – основные производственные фонды, – численность работников. Известно, что в уравнении дисперсии остатков пропорциональны квадрату численности работников .
После применения обобщенного метода наименьших квадратов новая модель приняла вид . Тогда параметр в новом уравнении характеризует среднее изменение затрат …

на работника при увеличении производительности труда на единицу при неизменном уровне фондовооруженности труда

на единицу продукции при увеличении фондоемкости продукции на единицу при неизменном уровне трудоемкости продукции

на работника при увеличении фондовооруженности труда на единицу при неизменном уровне производительности труда

на единицу продукции при увеличении трудоемкости продукции на единицу при неизменном уровне фондоемкости продукции

логарифмирования и замены переменных

обращения и замены переменных

разложения функции в ряд Тейлора

потенцирования и замены переменных

Тема: Модели стационарных и нестационарных временных рядов и их идентификация
Для стационарных временных рядов y₁, у₂, … y_t, …, y_n (t = 1, …, n) автокорреляция зависит только от величины …

лага

количества уровней ряда

математического ожидания значений уровня ряда

начального значения процесса

111.Тема: Структура временного ряда

Автокорреляционной функцией временного ряда называется последовательность коэффициентов автокорреляции …

между трендовой, сезонной и случайной компонентами

+первого, второго, третьего и последующих порядков

факторов, формирующих уровень ряда между несколькими временными рядами

118.Тема: Обобщенный метод наименьших квадратов (ОМНК)

При оценке параметров регрессионной модели с гетероскедастичными остатками при помощи обобщенного метода наименьших квадратов (ОМНК) выдвигается предположение, что дисперсия остатков …

+пропорциональна некоторой величине

Метод наименьших квадратов мнк может применяться для оценки параметров исходной регрессионной модели в форме

2.2. Оценка параметров линейной модели по методу наименьших квадратов (МНК)

Этот метод и многочисленные его модификации являются основными и в эконометрике. Поэтому при изучении данного курса ему нужно уделить особое внимание.

2.2.1. Критерий наименьших квадратов. Сравнение с другими возможными критериями

Запишем уравнение для отдельных наблюдений (реализаций) в парной линейной регрессии

Уравнение ( 2.6 ) выражает эмпирическую взаимосвязь между переменными модели и его можно записать только относительно конкретных наблюдений. Подчеркнем, что ошибки модели являются наблюдаемыми величинами, поскольку их можно определить исходя из наблюдений переменных модели.

В методе наименьших квадратов оценки a и b параметров модели строятся так, что бы минимизировать сумму квадратов ошибок (остатков) модели по всем наблюдениям. Таким образом, критерий (целевая функция) наименьших квадратов записывается в виде

Очевидно, правая часть выражения ( 2.7 ) является квадратичной функцией параметров a и b.

Замечание относительно переменных x.

Графическая иллюстрация принципа наименьших квадратов

Рис 2.2. Иллюстрация принципа наименьших квадратов

Рис 2.3. Между переменными нет зависимости

2.2.2. Вывод нормальных уравнений для оценок параметров регрессии. Решение нормальных уравнений. Варианты записи выражений для оценок параметров

Получим выражения для оптимальных в смысле минимума МНК-критерия оценок параметров модели парной линейной регрессии.

Согласно методу наименьших квадратов, необходимо минимизировать функцию двух переменных

Из курса высшей математики известно, что условием минимума функции вида ( 2.8 ) по переменным a и b является равенство нулю частных производных этой функции. Уравнения для определения оптимальных оценок получаются путем приравнивания нулю производной функции S(a,b) как функции только от a при фиксированном b и производной функции S(a,b) как функции только от b при фиксированном a.

Это приводит к следующей системе уравнений:

которую необходимо решить относительно переменных a и b. По правилам вычисления производных получим следующие выражения:

так что значения параметров a и b, минимизирующие квадратичную форму ( 2.8 ), удовлетворяют соотношениям

После несложных преобразований эту систему можно записать в виде

Система уравнений ( 2.11 ), ( 2.12 ) называется системой нормальных уравнений для коэффициентов регрессии.

Это система двух линейных уравнений с двумя неизвестными и она легко может быть решена, например, методом подстановки.

Из первого уравнения системы находим:

где , — выборочные средние наблюдений.

Подставив выражение для a во второе уравнение системы, получим

Таким образом, мы получили следующие соотношения для оценок параметров модели

Однако, в теоретических исследованиях и практических расчетах чаще используют другую, более удобную эквивалентную форму записи уравнений для оценок. Эта форма получается, если использовать следующие соотношения

Эти соотношения позволяют получить новую форму записи выражения для b (в отклонениях от выборочных средних значений)

которая вместе с выражением для a

которое означает, что определитель системы нормальных уравнений отличен от нуля. Действительно, этот определитель равен

Выражение для коэффициента b часто записывают также, используя понятия выборочной вариации (дисперсии) и выборочной ковариации.

Выборочная вариация определяется соотношением вида

и выборочная ковариация следующим соотношением

Используя введенные понятия, формулу ( 2.13 ) для коэффициента b можно записать в виде

Замечание относительно выборочных дисперсии и ковариации.

Напомним, что выборочная дисперсия характеризует степень разброса случайной величины относительно ее выборочного среднего значения. Выборочная ковариация характеризует степень линейной статистической взаимосвязи двух случайных величин. При определенных условиях, которые будут рассмотрены позже, выражения ( 2.16 ) и ( 2.17 ) являются несмещенными эмпирическими оценками теоретических дисперсии и ковариации.

Замечание относительно полученных оценок.

Если независимая переменная не случайная (детерминированная) величина, то ее дисперсия равна нулю, а ковариация детерминированной и случайной величин равна нулю. В этом случае выборочные дисперсия (вариация) x и выборочная ковариация величин x и y теряют смысл оценок соответствующих теоретических значений дисперсии и ковариации и должны рассматриваться только как некоторые характеристики наблюдаемых переменных, не связанные с их статистическими свойствами.

И, наконец, подчеркнем еще раз, что уравнения для оценок получены без каких либо предположений относительно характеристик случайных составляющих модели.

Интерпретация оценок параметров

Определим оценку зависимой переменной y уравнением

Уравнение ( 2.19 ) определяет эмпирическую регрессионную функцию, оценка называется прогнозом объясняемой переменной. Эта функция определяет прямую на плоскости . Эмпирический коэффициент b является частной производной ( 2.19 ) по независимой переменной x (регрессору). Следовательно можно дать следующую интерпретацию коэффициента b: изменение величины независимой переменной x на единицу при фиксированном значении параметра a приведет к изменению оценки переменной y на величину коэффициента b.

Из диаграммы рассеяния, построенной по этим данным (рис. 2.4a ), можно предположить существование линейной зависимости между переменными y и x.

Рис. 2.4а. Диаграмма рассеяния примера 2.1

Рис. 2.4б. Линия регрессии (пример 2.1)

Оценки параметров парной линейной регрессии, вычисленные по формулам ( 2.13 ), ( 2.14 ) равны: a=4,02; b=1,29. Уравнение регрессии имеет вид

Для второй регрессии получаем следующие оценки: a=-2,0394, b=0,6846. Ее уравнение

Дайте интерпретацию параметров регрессий примера 2.2.

Рис.2.5а. Диаграмма рассеяния и линия
регрессии (первая модель, пример 2.2)

Рис.2.5б. Диаграмма рассеяния и линия
регрессии (вторая модель, пример 2.2)

2. Решить дифференциальное уравнение y’=f(x,y) методом Рунге-Кутта на отрезке [a,b] с шагом h c начальным условием y(a)=y 0 .

1. Проверить для дифференциального уравнения условия теоремы существования и единственности.

2. На какие основные группы подразделяются приближенные методы решения дифференциальных уравнений?

3. В какой форме можно получить решение дифференциального уравнения по методу Эйлера?

4. Каков геометрический смысл решения дифференциального уравнения методом Эйлера?

5. В какой форме можно получить решение дифференциального уравнения по методу Рунге-Кутта?

6. Какой способ оценки точности используется при приближенном интегрировании дифференциальных уравнений методами Эйлера и РунгеКутта?

7. Как вычислить погрешность по заданной формуле, используя метод двойного пересчета?

Лабораторная работа №6 ТЕМА: СТАТИСТИЧЕСКАЯ ОБРАБОТКА ОПЫТНЫХ

Пусть зависимость между переменными x и y задана таблично

(заданы опытные данные). Требуется найти функцию в некотором смысле наилучшим образом описывающую данные. Одним из способов подбора такой (приближающей) функции является метод наименьших квадратов.

Метод состоит в том, чтобы сумма квадратов отклонений значений искомой функции y i = y ( x i ) и заданной таблично y i была наименьшей:

S ( c ) = ( y − y ) 2

где c − вектор параметров искомой функции.

Построить методом наименьших квадратов две эмпирические

формулы: линейную и квадратичную.

В случае линейной функции

задача сводится нахождению

параметров a и b из системы линейных уравнений

2 a + M x b = M xy

а в случае квадратичной зависимости

y = ax 2 + bx + c к

параметров a , b и c из системы уравнений:

M x 4 a + M x 3 b + M x 2 c = M x 2 y

2 b + M x c = M xy

Выбрать из двух функций наиболее подходящую. Для этого составить таблицу для подсчета суммы квадратов уклонений по формуле (6 .1 ) . Исходные данные взять из таблицы 6.

Составить программу для нахождения приближающих функций заданного типа с выводом значений их параметров и соответствующих им сумм квадратов уклонений. Выбрать в качестве приближающих функций следующие: y = ax + b , y = ax m , y = ae mx . Провести линеаризацию.

Определить для какого вида функции сумма квадратов уклонений является наименьшей.

Исходные данные помещены в таблице 6.

Примерный фрагмент выполнения лабораторной работы

i 1 .. 10

mx2 1

mx2a . mx . b mxy mx . a b my

1. В чем суть приближения таблично заданной функции по методу наименьших квадратов?

2. Чем отличается этот метод от метода интерполяции?

3. Каким образом сводится задача построения приближающих функций в виде различных элементарных функций к случаю линейной функции?

4. Может ли сумма квадратов уклонений для каких-либо приближающих функций быть равной нулю?

5. Какие элементарные функции используются в качестве приближающих функций?

6. Как найти параметры для линейной и квадратичной зависимости, используя метод наименьших квадратов?

Лабораторная работа №7

Тема : Численное решение уравнений в частных производных

Рассмотрим смешанную задачу для уравнения теплопроводности, а именно, найти функцию u ( x , t ) , удовлетворяющую уравнению

и краевым условиям

u ( l , t ) = ψ ( t ) , t (0, T ) .

Задачу будем решать методом сеток (конечных разностей). В основе метода лежит идея замены производных конечно-разностными отношениями. Ограничимся случаем двух независимых переменных. Пусть в плоскости хОу имеется некоторая область G с границей Г (рис. 1).

Построим на плоскости два семейства параллельных прямых: x = ih , t = kl , i=0,1,2,…, k=0,1,2,…

Точки пересечения этих прямых назовем узлами. Два узла называются соседними , если они удалены друг от друга в направлении оси Ох или Оу на расстояние, равное шагу сетки h или l соответственно. Выделим узлы, принадлежащие области G+Г , а также некоторые узлы, не принадлежащие этой области, но расположенные на расстоянии, меньшем чем шаг, от границы Г . Те узлы, у которых все четыре соседних узла принадлежат выделенному множеству узлов, называются внутренними (узел А, рис. 1). Оставшиеся из выделенных узлов называются граничными (узлы В, С ). Обозначим x i = ih , y j = kl .

Читайте также: