МИНИСТЕРСТВО НАУКИ И  ОБРАЗОВАНИЯ РЕСПУБЛИКИ КАЗАХСТАН

Некоммерческое акционерное общество

«АЛМАТИНСКИЙ ИНСТИТУТ ЭНЕРГЕТИКИ И СВЯЗИ»

 

 

 

 

Л.К.Ибраева

ТЕОРИЯ И ТЕХНИКА ИНЖЕНЕРНОГО ЭКСПЕРИМЕНТА

Конспект лекций 

 

 

 

 

 

 

Алматы 2010

СОСТАВИТЕЛЬ: Ибраева Л.К. Теория и техника инженерного эксперимента. Конспект лекций для магистрантов специальности 6N0702 – Автоматизация и управление. – Алматы: АИЭС, 2010 – 36 с.  

   Конспект лекций составлен в соответствии с рабочей программой дисциплины «Теория и техника инженерного эксперимента» для магистрантов специальности 6N0702 – Автоматизация и управление и содержит 8 лекций.  

Конспект лекций предназначается в помощь магистрантам при изучении теоретического материала и для подготовки к экзаменам, лабораторным занятиям, выполнении расчетно-графических работ.

 

Введение

    Задачей курса «Теория и техника инженерного эксперимента» является ознакомление магистрантов с основными понятиями и методами планирования эксперимента, обучение применению полученных знаний в научно- исследовательской работе.

Планирование эксперимента – выбор плана эксперимента, удовлетворяющего заданным требованиям, совокупность действий направленных на разработку стратегии экспериментирования (от получения априорной информации до получения работоспособной математической модели или определения оптимальных условий). Это целенаправленное управление экспериментом, реализуемое в условиях неполного знания механизма изучаемого явления.

    В процессе измерений, последующей обработки данных, а также формализации результатов в виде математической модели, возникают погрешности и теряется часть информации, содержащейся в исходных данных. Применение методов планирования эксперимента позволяет определить погрешность математической модели и судить о ее адекватности. Если точность модели оказывается недостаточной, то применение методов планирования эксперимента позволяет модернизировать математическую модель с проведением дополнительных опытов без потери предыдущей информации и с минимальными затратами.

Цель планирования эксперимента – нахождение таких условий и правил проведения опытов, при которых удается получить надежную и достоверную информацию об объекте с наименьшей затратой труда, а также представить эту информацию в компактной и удобной форме с количественной оценкой точности.

Среди основных методов планирования, применяемых на разных этапах исследования, используют:

- планирование отсеивающего эксперимента, основное значение которого выделение из всей совокупности факторов группы существенных факторов, подлежащих дальнейшему детальному изучению;

- планирование эксперимента для дисперсионного анализа, т.е. составление планов для объектов с качественными факторами;

- планирование регрессионного эксперимента, позволяющего получать регрессионные модели (полиномиальные и иные);

- планирование экстремального эксперимента, в котором главная задача – экспериментальная оптимизация объекта исследования;

- планирование при изучении динамических процессов и т.д.

     В настоящее время методы планирования эксперимента заложены в специализированных пакетах, широко представленных на рынке программных продуктов, например: StatGrapfics, Statistica, SPSS, SYSTAT и др.  

 

  1 Лекция Введение. Предварительные сведения

 

Содержание лекции: основные понятия теории планирования экспериментов.

 

Цель лекции: изучить основные термины теории планирования экспериментов.

 

Особенность различных систем управления  - их сложность, которая проявляется в значительном числе и многообразии параметров, определяющих течение процессов, их взаимное влияние и связи. Поэтому изучение процессов проводится с помощью модели – упрощенной системы, отражающей отдельные, ограниченные в нужном направлении характеристики рассматриваемого процесса (математическое и физическое моделирование).

Объект на языке математики описывается в виде некоторой системы уравнений и функциональных соотношений между отдельными параметрами модели. При отсутствии или ограниченном объеме теоретических сведений о моделируемом объекте, когда неизвестен даже ориентировочный вид соотношений, описывающих его свойства, уравнения математического описания могут представлять собой систему эмпирических зависимостей, полученных в результате обследования действующего объекта. Математическая теория, лежащая в основе построения различных статистических моделей – теория вероятностей, изучающая закономерности массовых случайных явлений. С каждым из подобных явлений может быть связано определенное событие – осуществляющееся или нет в результате опытов. При решении задач статистической обработки экспериментальных данных качественного описания случайных явлений в терминах событий, когда отмечается лишь факт его наличия или отсутствия, недостаточно. Поэтому результаты опытов представляются количественно в виде некоторой случайной величины. Статистическое описание результатов наблюдений составляет содержание математической статистики.

Для  получения статистических моделей предназначены методы планирования экспериментов. Основная особенность любой экспериментальной модели – то, что подобная модель не может точно описать поведение объекта в любом конкретном опыте. Статистическая модель описывает поведение объекта в среднем, характеризуя неслучайные свойства объекта, которые в полной мере могут проявиться лишь при многократном повторении опытов в неизменных условиях. Из различных статистических моделей наибольший практический интерес вызывают  регрессионные модели. Регрессионный анализ представляет собой математический аппарат идентификации сложных объектов исследования, метод обработки результатов наблюдения при активном и пассивном эксперименте. Идея метода заключается в минимизации функционала несоответствия выходов модели и объекта. Решение этой задачи приводит к известному методу наименьших квадратов.

Теория планирования эксперимента формулирует приемы и способы оптимальной организации экспериментирования при исследовании объектов самой различной физической природы. Теория исходит из абстрактной схемы сложной системы, называемой «черным ящиком» (Рисунок 1.1). Считается, что исследователь может наблюдать входы и выходы «черного ящика» и по результатам наблюдений определять зависимость между входами и выходами. Входы могут меняться детерминировано (контролируемые, управляемые) или случайно (контролируемые, но не управляемые).

 

 

 

 

 

 

Рисунок 1.1 – Схема сложной системы

 

На этой схеме

Х = (x1…хn) – контролируемые и управляемые параметры объекта;

Z = (z1zl) – входные контролируемые, но не управляемые параметры;

W = ( w1wk) – неконтролируемые, случайным образом изменяющиеся параметры, «шум» объекта;

У = (y1ym) – наблюдаемые выходы объекта.

Комплекс параметров Х = (x1…хn) называется основным, он определяет условия эксперимента. В качестве случайных рассматриваются обычно параметры, которые по тем или иным причинам невозможно учесть  (или очень трудно). Такое подразделение на основные и случайные параметры условно. Случайным будет любой параметр, не вошедший в основной комплекс, даже если он хорошо изучен.

Входные переменные x1…хn называются факторами. Выходная переменная – зависимая y называется откликом (реакцией).

Фиксированное значение фактора называется уровнем. Уровни – те значения, которые устанавливаются для каждого фактора при определении условий проведения экспериментов. Факторы могут отличаться по числу уровней.

Факторное пространство – это множество факторов, значения которых исследователь может контролировать в ходе подготовки и проведения эксперимента.

Целью эксперимента является нахождение функции у, при этом предполагается, что значение отклика складывается из двух составляющих:

        

где  f(x1…хn) – функция отклика (неслучайная функция факторов);

                 e (x1xn) – ошибка эксперимента (случайная величина);

                 x1xn – определенное сочетание уровней факторов из факторного пространства.

         Очевидно, что у является случайной переменной, так как зависит от случайной величины e (x1xn). Дисперсия D[y], которая характеризует точность измерения, равна дисперсии ошибки опыта D[y]=D[e].

         В условиях эксперимента  факторы могут варьировать, благодаря чему исследовать влияние фактора на наблюдаемую переменную. Если влияние некоторого фактора на наблюдаемую переменную изменяется при изменении уровня некоторого другого фактора, говорят, что между факторами существует взаимодействие.

         Суть анализа заключается в разложении общей вариации случайной величины на независимые слагаемые – эффекты, каждый из которых характеризует влияние того или иного фактора (главный эффект) или их взаимодействия (эффект взаимодействия).

         Эксперимент – система операций, воздействий и наблюдений, направленных на получение информации об объекте  при исследовательских испытаниях.

         Опыт – отдельная элементарная часть эксперимента (воспроизведение исследуемого явления в определенных условиях проведения эксперимента).

         Пассивный эксперимент – когда экспериментатор находится в положении пассивного наблюдателя; здесь факторы контролируемые, но не управляемые.

         Активный эксперимент – факторы в эксперименте контролируемые и управляемые, и экспериментатор может в соответствии с планом эксперимента их целенаправленно изменять.

         В дальнейшем рассматриваем вопросы, связанные с активным экспериментом.

         План эксперимента – совокупность данных, определяющих число, условия и порядок проведения опытов.

         Планирование эксперимента -  выбор плана эксперимента, удовлетворяющего заданным требованиям. То есть это целенаправленное управление, которое реализуется в условиях неполного знания механизма изучаемого явления.

         Область действия – область возможных значений факторов х при эксперименте.

         Область планирования – область значений х, в которых находятся точки, отвечающие условиям проведения опытов используемого плана эксперимента (это часть области действия или совпадает с ней).

Область планирования может задаваться интервалами возможного изменения факторов x imin <= xi <= x imax, i=1,...,n. Характерные точки области планирования – ximin , ximax , основной уровень – xi0. Обычно вектор x0 задает центр области планирования (центр эксперимента). В ее окрестности и располагаются все точки плана.

Основной уровень – который представляет наибольший интерес в данный момент. Обычно

Интервал (шаг) варьирования фактора xi :

 

Тогда

Обычно вводится нормализация (стандартизованный масштаб):

Здесь начало координат – центр эксперимента, единица измерения - шаг варьирования факторов. Это облегчает математические выкладки.

Матрица плана – стандартная форма записи условий проведения эксперимента в виде матрицы, (i,j) –ый элемент которой – уровень j-го фактора в i-том опыте. Может иметь совпадающие строки.

Матрица спектра плана – матрица, состоящая из всех строк матрицы плана, отличающихся уровнем хотя бы одного фактора. Все строки этой матрицы различны.

Матрица дублирования – квадратная матрица, диагональные элементы которой равны числу параллельных опытов в соответствующих точках спектра плана.

Таким образом, план эксперимента – совокупность точек , где – вектор входа, N – число наблюдений, с числом m1, m2, ..., mN  () наблюдений в каждой точке, то есть матрица спектра

                 

совместно с матрицей дублирования экспериментов

                                   .

 

2 Лекция. Статистическое  оценивание

 

Содержание лекции: свойства статистических оценок характеристик случайных величин; метод максимального правдоподобия, проверка статистических гипотез.

 

Цель лекции: изучить основные определения и методику применения статистических критериев для проверки гипотез относительно характеристик случайных величин.

 

2.1 Статистические оценки и их свойства

Назначение статистических методов заключается в том, чтобы по выборке ограниченного объема N, то есть по некоторой части генеральной совокупности, высказать обоснованное суждение о ее свойствах в целом. Подобное суждение может быть сформировано путем оценивания выборочных параметров (характеристик) генеральной совокупности с помощью каких-либо подходящих функций от наблюдений.

Функция G = g(x1, x2,…, xn) от элементов выборки из рассматриваемой генеральной совокупности называется статистикой.  Фиксированная статистика, подходящая для оценивания того или иного параметра генеральной совокупности, называется статистической оценкой (выборочным значением) данного параметра. Произвольная статистика сама является случайной величиной и как любая случайная величина может быть описана с помощью плотности вероятности или числовых характеристик. В общем случае она зависит от параметров генеральной совокупности и объема выборки N. Любая оценка   параметра генеральной совокупности является случайной величиной. Свойства (вероятностные) оценки  параметра  могут быть определены также с помощью выборочной функции распределения и ее характеристик. Для оценивания одного и того же параметра можно использовать различные оценки (статистики). Чтобы выбрать наилучшую из них, необходимо сформулировать некоторые требования к свойствам оценок, желательные с точки зрения практики.

Оценка  параметра  называется состоятельной, если при неограниченном увеличении объема N выборки  значение оценки (с вероятностью 1) стремится к своему теоретическому значению, то есть  Это означает, что с ростом N  выборочное распределение все в большей степени концентрируется вокруг  и точность оценки безгранично возрастает. В частности, для состоятельной оценки справедливо

Оценка  называется несмещенной, если для любого объема N выборки математическое ожидание оценки  равно оцениваемому параметру  :  Для несмещенной оценки характерно отсутствие систематической погрешности. Несмещенная оценка  называется эффективной, если среди всех оценок параметра она обладает наименьшей дисперсией:

 

2. 2 Метод максимального правдоподобия

Свойства оценок различных параметров θ во многом определяются видом закона распределения исследуемой генеральной совокупности, а также способом оценивания. Известны общие методы, позволяющие во многих случаях решить задачу нахождения по экспериментальным данным наилучших оценок неизвестных параметров. Метод максимального правдоподобия является наиболее важным общим методом оценивания неизвестных параметров по экспериментальным данным.

Пусть  – выборка из генеральной совокупности с плотностью вероятности  зависящей от постоянного неизвестного параметра . Элементы выборки статистически независимы, поэтому можем записать выборочную плотность вероятности для случайной выборки N

                (2.1)

До эксперимента функция правдоподобия выражает предпочтительность различных  значений  при конкретной выборке. После того, как произведен эксперимент, значения выборки известны – это некоторые числа, а параметр  неизвестен. Тогда плотность вероятности, полученная при подстановке выборочных значений  в плотность вероятности (2.1), называется функцией правдоподобиядля параметра :

Эта функция выражает предпочтительность различных значений  при той конкретной выборке, которая фактически имеет место.

Метод максимального правдоподобия состоит в том, что в качестве оценки  неизвестного параметра , выбирается его значение, максимизирующее функцию правдоподобия. Во многих случаях максимум этой функции находится из уравнения .

Иногда удобнее находить максимум не самой функции , а ее логарифма Тогда получаем уравнение

=0.

Для определения оценки используется процедура максимизации функции правдоподобия, так как эта функция выражает предпочтительность различных значений  при конкретной выборке. Такая оценка дает предпочтительные значений, так как при этом вероятность получения выборки максимальна.

 

2.3 Оценки параметров

Оценка неизвестного параметра распределения, определяемая одним числом, называется точечной. Они представляют собой числа, полученные путем подстановки выборочных значений   в формулу для оценивания искомого параметра. Именно для таких оценок используются понятия состоятельности, несмещенности, эффективности. Точечные оценки не дают информации о степени близости  к соответствующему теоретическому параметру . Поэтому более информативный способ оценивания неизвестных параметров заключается не в определении единичного точечного значения, а в построении интервала, где с заданной степенью достоверности будет находиться оцениваемый параметр, то есть в построении интервальной оценки параметра .

 

2.4 Статистические гипотезы

Статистическая гипотеза – определенное предположение относительно свойств генеральной совокупности, из которой извлекается выборка. Критерий статистической гипотезы есть правило, позволяющее отвергнуть или принять данную гипотезу на основании выборки. При построении такого правила используются некоторые функции результатов наблюдения, они называются статистиками для проверки гипотез. Все возможные значения подобных статистик для проверки той или иной гипотезы делятся на две группы: область принятия гипотезы и критическая область. Критическая область состоит из всех значениий статистики, при которых принимается решение отвергнуть принимаемую гипотезу как ложную.

Проверка гипотезы сводится к выяснению, попадает или нет значение используемой статистики в критическую область: если не попадает – гипотеза принимается как не противоречащая результатам наблюдения, если попадает – гипотеза отвергается. Так как эти решения базируются на статистиках, найденных по выборкам ограниченного объема всегда возможны ошибки.

Ошибка первого рода – вероятность отвергнуть правильную гипотезу, она называется уровнем значимости q.

Oшибка второго рода – вероятность принять неверную гипотезу β, она связана с понятием мощности. Мощность критерия есть вероятность отбросить неверную гипотезу и равна 1- β. Ясно, что при построении статистических критериев желательно, чтобы вероятность принять неверное решение была бы достаточно мала.  

 

2.5 Критерии значимости

Критерии значимости – это критерии, с помощью которых проверяются гипотезы об абсолютных значениях параметров или о соотношениях между ними для генеральных совокупностей с известной (с точностью до параметров) функцией распределения вероятностей. При проверке подобных гипотез, если распределение генеральной совокупности определяется целой группой параметров, а проверяемая гипотеза касается лишь их части, остальные параметры полагаются известными или же вычисляются по данным выборки. С помощью критериев значимости выясняется:

а) не противоречат ли результаты наблюдений предположению о том, что некоторые из параметров генеральной совокупности равны определенным числам;

б) если имеются две или большее количество выборок, существуют ли объективные основания считать, что они являются представителями одной и той же генеральной совокупности, или же экспериментальные данные говорят о наличии неслучайных различий между выборками, свидетельствующих о том, что они извлечены из разных генеральных совокупностей.

Пусть некоторая оценка  вычислена по выборке объема N. Пусть есть причины считать, что истинное значение оцениваемого параметра , то есть его значение в генеральной совокупности равно . Это проверяемое предположение часто называют нулевой гипотезой и обозначают Н0: θ= θ0. Гипотеза, которая противопоставляется нулевой и в пользу которой склоняется исследователь, отвергая проверяемую нулевую гипотезу, называется  альтернативной гипотезой H1,

Для проверки гипотез надо знать функцию плотности распределения вероятности  построенную теоретически в предположении, что нулевая гипотеза верна. Если она получена, то с ее помощью легко найти такую зону, случайное попадание в которую выборочного значения  при справедливой нулевой гипотезе маловероятно. Подобную зону малой вероятности можно использовать в качестве критической области, отвергая нулевую гипотезу, если   попадает в нее. Конечно, при этом сохраняется возможность совершить ошибку первого рода, хотя вероятность данной ошибки, равная q, по условию мала и определяется выбором уровня значимости.

 

2.6 Критерии согласия

Критерием согласия называется критерий гипотезы о том, что генеральная совокупность имеет распределение предполагаемого типа. Среди различных критериев согласия наиболее употребителен универсальный критерий согласия Пирсона .  

 

3 Лекция. Построение регрессионных моделей объектов

 

Содержание лекции:

основные элементы регрессионного анализа.

 

Цель лекции:

изучить понятия регрессионного анализа и методы оценивания параметров регрессионной модели.

 

         3.1 Элементы регрессионного анализа

Статистические методы планирования активного эксперимента являются одним из способов математи­ческого описания статики сложных объектов исследования. Задача отыскания оценок коэффициентов уравнения по результатам опытов в N точках факторного пространства является типичной задачей множественного регрессионного анализа (при выполнении некоторых предпосылок). Регрессионный анализ включает методы получения регрессионной зависимости (зависимости среднего значения какой-либо величины от некоторой другой величины), связывающей значения отклика объекта  факторами при наличии аддитивной помехи случайного характера.

Будем рассматривать такие объекты, для которых случайную составляющую можно отделить от регулярной, то есть   

Наиболее распространены модели, линейные по параметрам, то есть

где  - факторы,  - вектор неизвестных коэффициентов регрессии, - вектор базисных функций.

Система базисных функций должна быть выбрана до проведения эксперимента и последующих расчетов. Теоретически считается, что вид модели известен и требуется по экспериментальным данным с помощью N опытов найти неизвестные . Реально же адекватную  (соответствующую объектам исследования) модель приходится подбирать методом проб и ошибок. Практически чаще применяются полиномиальные регрессионные модели. Обычно, чем больше число факторов, тем меньше максимальный порядок подбираемой модели. 

Для построения таких моделей вводятся некоторые предпосылки относительно статистических свойств случайной составляющей e:

1.     Результаты наблюдений y1,...yn отклика в N точках факторного пространства представляют собой нормально распределенные случайные величины, то есть на них воздействуют нормально распределенные случайные помехи е с нулевым математическим ожиданием M{e}=0 и постоянной дисперсией σe2=const. Постоянство дисперсии означает, что интенсивность шума не меняется в различных наблюдениях. Данное требование необходимо для корректного выполнения всех статистических процедур в регрессионном анализе.

2.     Значения помехи в различных наблюдениях некоррелированы. Для обеспечения этого требования используется рандомизация опытов.

3.     Дисперсии  σ2{yg} g=1,..., N равны. Иными словами получаемые в результате многократных повторных наблюдений над величиной yg в точке хg выборочные оценки Sg2{y} однородны, а дисперсия σ2{yg} не зависит от математического ожидания M{yg}, то есть не отличается от дисперсии σ2{yg} полученной при повторных наблюдениях в любых других точках факторного пространства (воспроизводимость с равной точностью). Это означает постоянство дисперсии помехи равной дисперсии воспроизводимости σe2=const.

4.     Независимые управляемые факторы x1,...xn измеряются с пренебрежимо малыми ошибками по сравнению с ошибками в определении y.  То есть вклад, вносимый случайными ошибками измерений факторов  в дисперсию воспроизводимости, должен быть пренебрежимо мал по сравнению с действием других неконтролируемых факторов, образующих Е.

Это предположение можно проверить лишь после получения регрессионной модели, так как степень влияния ошибки измерения некоторого фактора зависит не только от величины ошибки, но и от того, насколько сильно сам фактор влияет на y. Чем сильнее его влияние, тем в большей степени скажется и ошибка в его измерении. Поэтому, эта предпосылка просто постулируется, и лишь затем, если найденная регрессионная модель окажется неработоспособной, начинают анализировать, не связано ли это с наличием существенных ошибок в измерении х.

5.     Вектор-столбцы базисных функций должны бать линейно-независимыми, то есть

                  

Выполнение этого требования необходимо для получения раздельных оценок всех коэффициентов регрессии β, входящих в регрессионную модель. В активном эксперименте это обеспечивается соответствующим выбором плана эксперимента. В пассивном эксперименте его выполнение должно быть проверено в ходе расчетов. Рассматриваемое условие ограничивает и общее количество коэффициентов, входящих в регрессионную модель: оно не должно быть больше числа опытов, то есть d+1≤N.

Регрессионный анализ включат в себя:

  а) оценивание неизвестных коэффициентов β регрессионной модели, а также дисперсии воспроизводимости σe2.

 б) статистический анализ результатов (выяснение точности оценивания отдельных коэффициентов регрессии, регрессионной модели в целом, проверки ее адекватности и работоспособности).

 

 3.2 Точечные оценки параметров регрессионной модели

 Имеем N наблюдений над значениями факторов x1,...xn и отклика y.

= ;   .

Значения базисной функции в каждом из наблюдений

= .

Используя эту информацию, необходимо оценить неизвестные коэффициенты β0,… βd, то есть найти соответствующие значения оценок этих коэффициентов = {b0,… bd}. Эти оценки – случайные величины, так как результаты измерений сопровождаются случайными ошибками.

  Значения находятся из условия минимума суммы квадратов отклонений измеренных значений отклика от полученных с помощью моделей, то есть путем минимизации следующей суммы (невязки):

.

Выбор критерия зависит от характера помех, то есть от их статистических свойств. При нормальном распределении помех наибольшую точность дает среднеквадратичный критерий. А задача решается просто ввиду гладкости S (метод называется методом наименьших квадратов). Условия минимума гладкой функции: равенство нулю производных по всем неизвестным параметрам. Из этого условия получим систему линейных алгебраических уравнений, решая которую можно получить искомые оценки b0,... bd. Эта система называется системой нормальных уравнений и в матричной форме имеет вид:

.

Матрица системы называется информационной матрицей Фишера. Она симметрична относительно главной диагонали. Для существования единственного решения нормальной системы необходимо и достаточно, чтобы Это условие сводится к условию линейной независимости вектор-столбцов матрицы  (одна из предпосылок регрессионного анализа). Решить систему нормальных уравнений можно любым известным способом. В общем виде решение можно записать так:

  .

Пусть Cjk – элемент матрицы : , где - алгебраическое дополнение элемента  Тогда

.

Из этого выражения видно, что значения коэффициентов зависят от количества членов уравнений регрессии. То есть увеличение или уменьшение числа членов уравнения влияет на значения коэффициентов всех включенных в уравнение членов. Такая неопределенность в оценивании коэффициентов регрессии крайне затрудняет их физическую интерпретацию.

Если же матрица Фишера диагональна (столбцы матрицы попарно ортогональны), то система нормальных уравнений распадается на независимые уравнения, а коэффициенты получаются независимо.

Таким образом, для получения независимых оценок коэффициентов  столбцы матрицы должны быть линейно независимы и ортогональны. Линейная независимость ограничивает общее количество коэффициентов, входящих в регрессионную модель: d+1≤N (например, три коэффициента, два фактора – минимум четыре опыта); ортогональность позволяет получить независимые оценки коэффициентов (независимо от числа членов уравнения регрессии).

 

3.3 Свойства оценок параметров регрессионной модели

Приведем свойства оценок параметров регрессионной модели:

1. Математическое ожидание оценок  то есть оценки bj являются несмещенными.

2. Дисперсии оценок коэффициентов равны

и минимальны в классе линейных несмещенных оценок.

3. Оценки b0,... bd  подчиняются совместному (d+1)-мерному распределению с вектором математических ожиданий

Итак, кроме оценок коэффициентов регрессии bj в общем случае необходимы оценки дисперсии воспроизводимости .

 

4 Лекция. Статистический анализ результатов

 

Содержание лекции: статистический анализ результатов построения регрессионной модели.

 

Цель лекции: изучить методику оценивания качества полученной модели.

 

Статистический анализ позволяет выяснить качество полученной регрессионной модели: точность, адекватность и работоспособность.

        

4.1 Оценка дисперсии воспроизводимости

Если заранее известно,  что регрессионная модель адекватна объекту исследования, то в качестве оценки дисперсии      можно использовать так называемую остаточную дисперсию

  где - предсказанное по уравнению регрессии значение отклика в опыте с номером g. Действительно, для адекватной модели единственной причиной различий между фактическим значением yg в g-ом опыте и предсказанным по уравнению  может быть влияние шума. Поэтому  - оценка :

  (Величина зависящая от элементов выборки и входящая в формулу дисперсии называется связью. Разность между объемом выборки  N и числом связей называется числом степеней свободы).

  Если же вид адекватной модели неизвестен, то проводим проверку воспроизводимости эксперимента, то есть проверку предпосылки регрессионного анализа об однородности выборочных дисперсий  . Иными словами, хотим проверить гипотезу о равенстве генеральных дисперсий  

 при опытах в точках

  Оценки дисперсий находятся по известной формуле

  Для проверки гипотезы об однородности дисперсий   используется критерий Кохрена.

 Полученные в результате решения задачи оценки коэффициентов  (и предсказательные значения отклика ) тем предпочтительнее, чем меньше интегральные характеристики точности, например дисперсия оценок коэффициентов регрессии . Так как метод обработки задан (метод наименьших квадратов), система базисных функций выбрана, то эти характеристики зависят лишь от наблюдаемых во всех опытах значениях входов. При пассивном эксперименте извлечь пользу из этой зависимости нельзя. Другое дело, когда эксперимент активный, можно предусмотреть при какой комбинации значений           следует проводить каждый отдельный опыт, то есть можно заранее составить план эксперимента. Для рассматриваемых регрессионных моделей, линейных по параметрам, планы не зависят от результатов измерений отклика, поэтому могут быть найдены заранее.

 

4.2 Проверка значимости коэффициентов регрессии

После определения оценок  коэффициентов регрессии нужно проверить гипотезы об их значимости. В результате проверки устанавливается, статистически значимы или незначимы отличия от нуля оценок коэффициентов регрессии. То есть выясняется, обусловлено ли отличие bi  от 0 чисто случайными обстоятельствами, влиянием помехи или же это отличие неслучайно и вызвано тем, что в теоретической модели присутствует соответствующий коэффициент регрессии bj≠0. Проверка значимости коэффициентов регрессии чаще всего производится раздельно, поочередно для каждой оценки bi. Итак, для каждого коэффициента проверяется нуль-гипотеза  Проверку значимости проводят с помощью критерия Стьюдента. Если в результате проверки оценку bj считают статистически незначимой, то надо принять решение: оставить или отбросить незначимый коэффициент. Формально – необходимо отбросить, фактически – решение принимается после анализа, особенно если tj близко к критическому. Уверенность специалистов, что данный фактор необходим, может быть доводом для того, чтобы оставить. И если первоначальная система базисных функций выбрана правильно, то отбрасывание тех, чьи коэффициенты незначительно отличаются от нуля по t-критерию, вeдет к смещению оценок остальных коэффициентов регрессии.

Статистическая незначимость оценки bj коэффициента регрессии может быть обусловлена следующими причинами:

1) данный j-й фактор не имеет функциональной связи с откликом y, то есть

2) уровень  базового режима находится в точке частного экстремума функции отклика по фактору xj и тогда

3) интервал варьирования  выбран малым;

4) вследствие влияния неуправляемых и неконтролируемых факторов велика ошибка воспроизводимости эксперимента.

 

4.3. Проверка адекватности регрессионной модели.

Чтобы проверить гипотезу об адекватности математического описания опытным данным, достаточно оценить отклонение предсказанной по полученному уравнению регрессии величины отклика  от результатов наблюдений  в одних и тех же g-x точках факторного пространства. Проверяется модель со значимыми коэффициентами. Эта проверка возможна, если получена оценка дисперсии шума  и выполнено условие N>d* (d* -                         число отобранных коэффициентов). Действительно, если N=d*=d+1,                        то проверять адекватность нет смысла, так как в этом случае  то есть поверхность, соответствующая модели, проходит точно через все экспериментальные точки. В этом случае не остается степеней свободы для проверки гипотезы об адекватности математического описания.

Рассеяние результатов наблюдений вблизи уравнения регрессии, оценивающего истинную функцию отклика, можно охарактеризовать с помощью дисперсии адекватности

         где d – число членов аппроксимирующего полинома. Дисперсия адекватности определяется числом степеней свободы   

Идея проверки адекватности состоит в следующем. Для адекватной модели остаточная дисперсия (дисперсия адекватности) является оценкой дисперсии шума ). Eсли же модель неадекватна, то  будет оценкой  плюс некоторая компонента, обусловленная неадекватностью.

То есть надо  сопоставить c какой-либо оценкой  дисперсии шума . При адекватной модели отличие между ними должно быть числом случайным; при неадекватной  должно быть значимо больше . Это сопоставление проверяется с помощью F-критерия Фишера

Если гипотеза об адекватности отвергается, необходимо переходить к более сложной форме математического описания либо, если это возможно, проводить эксперимент с меньшим интервалом варьирования . Максимальная величина интервала варьирования определяется условием адекватного описания объекта в области варьирования. Если при больших интервалах варьирования математическая модель неадекватна, то возникают систематические ошибки в определении коэффициентов, для уменьшения которых требуется сузить область варьирования. Однако с уменьшением интервала варьирования появляется целый ряд новых трудностей: растет отношение помехи к полезному сигналу, что приводит к необходимости увеличивать число параллельных опытов  для выделения полезного сигнала на фоне шума, то есть уменьшаются абсолютные значения оценок  коэффициентов, величины которых непосредственно зависят от , и оценки коэффициентов могут стать статистически незначимыми. Для выбора интервала варьирования проводят предварительные эксперименты. Интервал варьирования можно выбирать равным 0.05-0.3 от допустимого диапазона варьирования факторов, то есть область варьирования составляет примерно 10-60% от всего диапазона. Начальную точку варьирования (базовую точку) выбирают возможно ближе к центру области факторного  пространства, в которой ищется математическое описание объекта.

 

4.4 Анализ работоспособности модели.

С помощью этого выясняется практическая возможность использования регрессионной модели для решения определенной задачи. (предсказание значения отклика, управление объектом и т.д.) Этот анализ необходим, так как иногда даже адекватные модели оказываются бесполезными из-за низкой точности. Анализ включает в себя несколько процедур:

а) исследование остатков – разности между наблюдаемыми значениями отклика и предсказанными по уравнению lg=yg-yg;

Если регрессионная модель подобрана правильно, то есть, адекватна функции отклика, то остатки являются проявлением действия шума. Так как о свойствах шума были сделаны определенные предположения, то теперь можно выяснить - не противоречат ли свойства остатков этим предположениям. Подобный анализ проводится графически (зависимость lg от времени, yg, xg  и т.д.). Просматривая остатки, можно понять какова погрешность предсказания в точке, где проводились измерения, устраивает ли величина погрешности, при каких комбинациях факторов погрешность больше и т.д.

Исследование остатков плодотворно тогда, когда число наблюдений больше количества коэффициентов. Если это не так, то для проверки качества модели желательно провести дополнительные эксперименты;

б) вычисление коэффициента детерминации R2; этот коэффициент показывает, какая доля из общего рассеяния экспериментальных значений отклика относительно своего среднего обусловлена регрессионной зависимостью.

При           поверхность отклика y определяется полностью случайными возмущениями, влияние факторов не обнаружено; при R2=1 регрессионная кривая проходит через все экспериментальные точки. Очевидно, чем ближе R к единице, тем лучше уравнение регрессии описывает изменение y (это при N>d+1), а малое R всегда говорит о низкой точности уравнения.

 

5 Лекция. Критерии  оптимальности планов

 

Содержание лекции: основные принципы планирования; критерии оптимальности планов регрессионного анализа.

 

Цель лекции:    изучить принципы планирования экспериментов и критерии оптимальности планов.

 

5.1 Основные принципы планирования экспериментов

Принципы планирования экспериментов направлены на повышение эффективности экспериментирования, то есть на получение максимума информации при минимуме опытов и состоят в следующем:

1.     Отказ от полного перебора возможных состояний.

          Для получения исчерпывающей информации о свойствах функции отклика необходимо бесконечное число опытов во всех точках области планирования. Это практически нереально. Вообще-то необходимо увеличение числа уровней и факторов. Но на практике обычно задаются выбором вида функции отклика и выбор числа уровней варьирования по каждому фактору связан с этой функцией. Эту функцию выбирают, используя следующий принцип.

2.     Принцип постепенного усложнения математической модели (принцип последовательного планирования).

         В отсутствие информации нет смысла сразу строить сложную модель, надо начать с простейшей. Если же модель непригодна, необходим следующий этап: постановка новых дополнительных опытов, позволяющих получить более сложную модель и т.д. (то есть, если обратиться к широко используемым полиномиальных моделям, то надо начинать с линейной модели и т. д.

3.     Принцип сопоставления с шумом.

          Если случайная помеха значительна, то разумно ли тратить силы на получение сложной модели? Например, расточительно подключать приборы высокого класса точности для измерения переменной, отягощенной большой случайной ошибкой. То есть точность получаемой модели должна быть сопоставима с интенсивностью случайной помехи. Чем меньше уровень помехи, тем более точной (и, следовательно, сложной) должна быть модель; и чем выше уровень помехи, тем в большей степени можно ожидать, что более простая и менее точная модель окажется работоспособной.

            Так как многие реальные объекты характеризуются высоким уровнем помех, получили большое распространение полиномиальные регрессионные модели (степени 1 и 2). С теоретической точки зрения эти модели менее содержательны, чем теоретические модели типа дифференциальных уравнений. Но с практической точки зрения являются весьма эффективным, а иногда и единственным средством изучения сложных объектов.

 

4.     Принцип рандомизации (принцип приведения к случайности).

          Этот принцип состоит в такой организации эксперимента, которая позволяет сделать случайными (рандомизировать) систематически действующие помехи неподдающиеся учету. То есть, не в силах учесть действие неслучайных переменных, искусственно создаем в эксперименте случайную ситуацию. Например, систематические ошибки возможны из-за каких-то погрешностей при настройке экспериментальной установки. И если в серии из восьми опытов проводить первые четыре опыта на нижнем уровне первого фактора, то погрешность будет одинаковой для всех четырех опытов (если опыты проводить подряд).

5.     Принцип оптимальности планирования эксперимента.

          Это центральный принцип в теории планирования экспериментов. План должен обладать некоторыми оптимальными свойствами с точки зрения определенного заранее выбранного критерия оптимальности. Критерии могут формулироваться по-разному, зависеть от типа решаемой задачи, но принцип «меньше опытов – больше информации» сохраняется.

Таким образом, необходим такой план, который соответствовал бы экстремальным значениям выбранного показателя эффективности плана. Эти показатели называются критериями оптимальности регрессионных планов.

 

  5.2 Критерии оптимальности планов

  Существует две группы критериев оптимальности: к первой группе относятся критерии, связанные с точностью оценивания коэффициентов регрессии; вторую группу составляют критерии, связанные с предсказательными свойствами эмпирического уравнения регрессии. Рассмотрим несколько критериев из обеих групп:

   1 группа) Наиболее часто используемый критерий - критерий D – оптимальности: план ε* называется D – оптимальным, если

где {ε} -   множество планов заданной области планирования.

D – оптимальный план максимизирует величину определителя матрицы  или, что тоже самое – минимизирует обобщенную дисперсию оценок коэффициентов регрессии. С геометрической точки зрения это означает минимизацию объема эллипсоида рассеяния данных оценок.

Критерий ортогональности. План ε* называется ортогональным если матрица  (а, следовательно, и ) диагональная, то есть столбцы матрицы  являются попарно ортогональными векторами.

 Доказано, что при заданных значениях диагональных элементов матрицы  дисперсии оценок коэффициентов регрессии минимальны для ортогонального плана ε*. Оценки коэффициентов регрессии получаются независимо, что облегчает их анализ, резко сокращает все вычисления.

2 группа) План называется G - оптимальным, если

То есть G – оптимальный план минимизирует максимальную дисперсию предсказания выхода модели по уравнению регрессии в области H.

  Критерий ротатабельности. План ε* называется ротатабельным, если дисперсия предсказания отклика по уравнению регрессии, полученному с помощью этого плана, постоянна на фиксированном расстоянии от центра эксперимента, то есть

 

где h(ρ) - некоторая функция расстояния ρ от центра планирования:  

 Для ротатабельного планирования точность предсказания одна и та же на равном расстоянии от центра эксперимента, независимо от того, на каком расстоянии находятся точки , где вычисляются

     Кроме этих критериев желательны и некоторые другие свойства планов (насыщенность и композиционность).

      План называется насыщенным, если число наблюдений равно числу неизвестных параметров регрессионной модели. Желательно, чтобы любой план был близок к насыщенному, особенно на начальном этапе, когда требуется получить хотя бы приближенное представление об объекте, но зато с минимальными затратами.

      План называется композиционным, если в его спектр в качестве составной части входят точки спектра плана, который был реализован при построении более простой модели. То есть, если модель полученная на предшествующем этапе не устраивает и требуется ее усовершенствование, например от полинома k-й степени переходим к полиному (k+1)-й степени, то точки спектра первого этапа используются и в дальнейшем.

     Композиционность плана – важное условие эффективности практической реализации принципа постепенного усложнения модели.

          План называется центральным, если его центр расположен в начале координат.

          Желательны еще простота вычислений коэффициентов моделей, симметрия в расположении точек плана и минимальное число уровней варьирования по каждому из переменных.

 

6 Лекция. Планы первого порядка

 

  Содержание лекции: планирование первого порядка - полный факторный и дробный факторный эксперимент.

 

Цель лекции:    изучить принципы планирования экспериментов для построения линейных и неполных степенных моделей.

 

С  точки зрения структуры модели объектов могут быть линейно-параметризованными и нелинейно-параметризованными, то есть линейными и нелинейными по параметрам. Мы рассматриваем линейно-параметризованные модели. Такие модели могут быть линейными по факторам, неполно-квадратичными по факторам и квадратичными по факторам. Для рассматриваемых регрессионных моделей, линейных по параметрам, планы не зависят от результатов измерения отклика, поэтому могут быть найдены заранее.

На практике чаще применяются полиномиальные регрессионные модели. Для построения таких моделей предназначены планы первого порядка. Для определения оценок неизвестных коэффициентов регрессии подобных моделей каждый из факторов должен варьироваться, по крайней мере, на двух уровнях. Примем   базовый (основной) уровень, -шаг варьирования фактора . Экспериментальные точки должны располагаться внутри или на границе гиперпараллелепипеда  Для упрощения расчетов перейдем от обычного масштаба к нормализованному (стандартизованному):  Для нормализованных переменных имеем

Известно несколько разновидностей планов первого порядка – однофакторный эксперимент, полный факторный эксперимент, дробный факторный эксперимент.

а) Однофакторный эксперимент предусматривает поочередное варьирование каждого из факторов, в то время как все остальные факторы стабилизируются на некотором уровне. Для получения линейной модели достаточно двух уровней для каждого фактора. Будем считать, что каждый фактор принимает значения , а все другие факторы в этот момент стабилизированы на своем базовом уровне  Для нормализованных переменных   Геометрически точки плана располагаются в середине сторон ограничивающего квадрата. Рассматриваемый план является ротатабельным. С точки зрения других критериев оптимальности, однофакторный эксперимент неудовлетворителен. Поэтому не находит широкого применения.

б) Полным факторным экспериментом (ПФЭ) называется эксперимент, реализующий все возможные неповторяющиеся комбинации n независимых управляемых факторов на всех уровнях их изменения. Если каждый фактор изменяется на двух уровнях, то общее число таких комбинаций . Такие планы обозначаются ПФЭ. - число элементов спектра. Геометрически точки плана ПФЭ расположены в вершинах n-мерного куба.

ПФЭ  позволяет в принципе оценить  коэффициентов регрессионной модели при базисных функциях. Первые (n+1) базисных функций очевидны:  Так как в произвольный полином могут быть включены степени  или различные комбинации их произведений, а сами эти факторы в ПФЭ  принимают значения, равные  +1 или  -1, то и столбец, отвечающий любой базисной функции, состоит из +1 и -1. Напомним, что в число предпосылок регрессионного анализа входит условие линейной независимости столбцов численных значений этих базисных функций (столбцов матрицы ). Тогда в матрице  не должно быть полностью совпадающих или полностью противоположных (по знаку) столбцов. Отсюда следует, что в числе базисных функций не может быть функции вида где k>1 целое, так как при четном k столбец состоит из +1, а при нечетном . В то же время любые комбинации произведений факторов могут быть в числе базисных функций. Таким образом, с помощью ПФЭ  возможно получение регрессионных моделей в виде неполных степенных полиномов.

         Общее количество коэффициентов , то есть план ПФЭ является насыщенным. ПФЭ  является также ортогональным планом.

Дисперсии оценок коэффициентов вычисляются по формулам , то есть все коэффициенты рассчитываются с равной точностью.

Дисперсия предсказания отклика по линейной регрессионной модели, полученной с помощью ПФЭ

        .

Для фиксированного ρ дисперсия является постоянной, то есть план ПФЭ  является  ротатабельным. Он также является A-, E-, D-, G-оптимальным. Следовательно, при достаточной простоте построения ПФЭ  обладает хорошими свойствами.

С практической точки зрения ПФЭ присущ существенный недостаток, связанный с быстрым ростом количества опытов при увеличении числа факторов n (например, при n=10, количество опытов N=1024). Вместе с тем, трудно представить функцию отклика, для которой квадратичные члены  несущественны, но в то же время играют роль взаимодействия высокого порядка (вида ). То есть эти модели для n>5 вряд ли находят практическое применение. Как правило, исследователь на первых порах ограничивается линейной моделью с дополнительными парными (в крайнем случае, тройными) взаимодействиями. В подобной ситуации ПФЭ становится избыточным. Возникает необходимость в построении более экономной с точки зрения числа опытов разновидности планов. Поэтому были разработаны дробные факторные эксперименты (ДФЭ).

         в) Дробный факторный эксперимент. Во многих практических задачах идентификации влияние взаимодействий (произведений факторов) второго и высших порядков отсутствует или пренебрежимо мало. Кроме того, на первых порах часто нужно получить в первом приближении лишь линейную аппроксимацию изучаемого уравнения связи при минимальном количестве опытов. В других задачах, кроме основных факторов, необходимо учитывать лишь некоторые взаимодействия из множества возможных взаимодействий, входящих в планы ПФЭ. Поэтому неэффективно использовать ПФЭ для оценивания коэффициентов лишь при линейных членах и некоторых парных произведениях из-за реализации большого числа вариантов варьирования (2n), в особенности при большом числе факторов n.

Эксперимент, реализующий часть (дробную реплику) полного факторного эксперимента, называется дробным факторным экспериментом (ДФЭ). В эксперименте по плану ДФЭ пропущены некоторые сочетания уровней факторов. Сокращение перебора уровней приводит к потере информации. Поэтому при дробном факторном эксперименте важно так спланировать эксперимент, чтобы терялась наименее существенная, при данной постановке задачи, информация. Особенно широко используется дробный факторный эксперимент, в котором теряется информация о взаимодействиях изучаемых факторов. Это правомерно в тех случаях,  когда эффекты взаимодействия заведомо отсутствуют или настолько малы, что их можно не учитывать. То есть мы должны иметь дополнительную априорную информацию о свойствах изучаемого объекта. Эта информация должна быть сформирована в виде списка существенных переменных – факторов и их взаимодействий, отобранных для возможного включения в модель. Конечно, в ходе дальнейшего исследования может оказаться, что часть этих переменных не влияет на отклик. В списке существенных переменных всегда присутствует фиктивная переменная x0, которой соответствует коэффициент β0. Качество результатов, полученных с помощью ДФЭ, зависит от правильности списка «существенных переменных». Практическая процедура заключается в следующем:

1. Из числа  факторов выбираются k ведущих, k=n-p. Пусть, например, первые . Для них записывается план ПФЭ 2k , то есть задается программа изменения каждого из ведущих факторов.

2. Для оставшихся  p=n-k факторов в качестве программы изменения в ходе эксперимента выбираются столбцы, соответствующие тем или иным произведениям ведущих факторов.

Соотношение, приводящее один из столбцов                      к столбцу определенного произведения факторов  называется генерирующим соотношением. Всего должно быть p генерирующих соотношений. Выбор их произволен, но нельзя использовать существенные переменные (иначе в матрице  будут совпадающие столбцы).

3. Проверить пригодность найденного спектра плана. Применение ДФЭ всегда связано со смешиванием, то есть с совместным оцениванием нескольких теоретических коэффициентов математической модели. Если в матрице  нет полностью совпадающих или полностью противоположных (в смысле знака) столбцов, то спектр плана пригоден. Если такие столбцы есть, то надо выбрать другое генерирующее соотношение или изменить набор ведущих факторов.

Для этого используется понятие определяющего соотношения. Выражение определяющего соотношения (ОС) получается перемножением, которое получается из генерирующего соотношения и имеет вид: слева 1, справа – произведение левой и правой частей генерирующего  соотношения. Число определяющих соотношений равно числу генерирующих соотношений. Если определяющих соотношений несколько, то записывается  обобщенное определяющее соотношение (ООС), которое равно почленному произведению всех определяющих соотношений.

Знание определяющего соотношения позволяет найти всю систему совместных оценок без изучения матрицы планирования ДФЭ. Соотношения, задающие эти оценки, можно найти, последовательно перемножая каждую переменную из списка существенных переменных на определяющее соотношение (с учетом того, что ). Получаем d+1 равенство, каждое из которых содержит 2p переменных (факторов и их взаимодействий). Действия всех переменных, входящих в определенное равенство, смешаны между собой. Им соответствуют одинаковые столбцы матрицы . Если какие-либо из указанных равенств содержат хотя бы двух переменных из списка существенных переменных, то план не пригоден и должен быть изменен.

 

  7 Лекция. Задача оптимизации в экспериментальных исследованиях

 

Содержание лекции: изучение основных принципов поисковой оптимизации при наличии аддитивных случайных помех.

 

 Цель лекции: изучить постановку задачи поисковой оптимизации и принципы решения этих задач.

 

7.1 Постановка задача оптимизации в экспериментальных исследованиях

  Задача оптимизации – одна из наиболее важных и распространенных задач, встречающихся в практике научных и инженерных исследований как теоретического, так и прикладного характера. Во многих случаях основной целью является определение наилучших в некотором смысле условий, решений, значений параметров, уровней факторов. Такие оптимизационные задачи возникают, например:

1) при управлении различными технологическими процессами, агрегатами, где необходимо достижение максимума производства пр  наилучшем качестве и минимуме затрат;

2) при проектировании различных инженерных устройств, приборов, когда необходимо подобрать параметры таким образом, чтобы получить наилучшие эксплуатационные характеристики;

3) при создании новых образцов продукции с наилучшими свойствами (например, сплав с максимальной прочностью);

4) задачи чисто вычислительного характера, определение регрессионной модели методом наименьших квадратов или численное построение плана экспериментов в соответствии с выбранным критерием.

  Задача оптимизации формулируется следующим образом: найти значения управляемых факторов   объекта исследования, при которых его отклик y (целевая функция, критерий оптимизации) достигает своего экстремального значения (минимума или максимума)

  Экстремальные точки во многих случаях находятся с учетом определенных ограничений на .

  Все методы оптимизации можно разбить на два класса:

1) теоретические методы, когда задача оптимизации определена с математической точки зрения и допускает применение аналитических методов оптимизации – дифференциальное или вариационное исчисление, линейное, динамическое, целочисленное программирование;

2) экспериментальные методы, используемые в условиях, когда функция отклика  неизвестна и имеется возможность измерить значения y при  различных  Такая ситуация может быть не только при исследовании физических объектов, но и в задачах теоретического плана, когда аналитические методы непригодны и используются численные методы (эксперименты проводятся на вычислительной машине).

  Отличием методов оптимизации в задачах исследования реальных объектов от процедур чисто вычислительного плана является наличие неконтролируемых факторов – шума случайного характера. Рассматриваемые методы оптимизации делятся на две группы: поисковые и методы, основанные на предварительном получении эмпирической модели объекта, описывающей его поведение в области оптимума.

  В поисковых методах осуществляется последовательное локальное изучение поверхности отклика. Экстремальное значение достигается с помощью последовательных процедур, включающих в себя:

а) определение по результатам специально спланированных экспериментов направления движения из некоторой начальной точки, в окрестности которой проводится эксперимент. Это направление зависит от локальных свойств поверхности отклика вблизи данной точки и определяется таким образом, чтобы движение в найденном направлении приводило к значению отклика, более близкому к оптимальному, чем в предыдущей точке;

б) организацию движения в найденном направлении;

в) многократное повторение указанных этапов до достижения точки оптимума.

Вторая группа методов предусматривает изучение не локальных, а общих свойств поверхности отклика в определенной области факторного пространства, где предположительно находится оптимум. Для методов оптимизации данной группы наибольший интерес представляет проблема планирования эксперимента, обеспечивающего наивысшую точность в определении координат оптимума.

Большинство объектов имеют ограничения, и в этих условиях применение методов поиска имеет свои особенности. Имеется два типа ограничений: факторные и функциональные.

Факторными называются ограничения, накладываемые на допустимые значения отдельных факторов:

                                                           (1)

Ограничения этого типа фактически всегда присутствуют при решении любой оптимизационной задачи.

Ограничения на значения совокупности нескольких факторов

                                          (2)

  Такие ограничения имеют место, если какие-либо комбинации значений факторов xi оказываются недопустимыми. Например,

  и т.д.

  Приведенные типы ограничений полностью известны, заданы в аналитической форме.

Функциональные ограничения – это ограничения, накладываемые на целевые функции (при многооткликовом объекте исследования), характеризующие качественные или количественные стороны объекта:

                                                         (3)

p – номер отклика.

То есть требуется получить экстремальное значение одной функции отклика при ограничениях, наложенных на другие функции отклика (например, объем выпуска продукции должен быть не ниже плана, при этом процент примесей в готовой продукции не должен быть выше допустимого). В общем случае неравенства (1-3) определяют в факторном пространстве область допустимых значений . Если точка экстремума находится вне области , то задача оптимизации формулируется как поиска условного экстремума, когда требуется найти максимум у на подмножестве , то есть наилучшее значение на границе области ограничений.

 

7.2 Решение задачи оптимизации  при наличии помех

         Для решения задачи оптимизации можно применить два принципиально различных подхода:

1) если известна или есть возможность найти n-факторную математическую модель для той части факторного пространства, где расположен экстремум функции отклика, то задачу оптимизации решают аналитическим или численным методом;

2) если математическое описание не получено по каким-либо причинам, то осуществляют экспериментальный поиск точки экстремума.

         В первом случае используют известное из математического анализа свойство функций, имеющих экстремум: в точке экстремума первая производная этой функции обращается в нуль. Приравнивая нулю все частные производные функции отклика по каждому из n факторов, получают систему уравнений, которую можно решить аналитически или численно.

         Во многих практических случаях аналитическая зависимость функции отклика неизвестна или ее нахождение представляет собой сложную задачу. Тогда задачу оптимизации  проще решать с помощью второго подхода, то есть с помощью экспериментального анализа. Для этого сначала с помощью специально спланированных пробных опытов изучают характер поверхности отклика в районе первоначально выбранной (базовой, основной) точки факторного пространства. Затем совершают «рабочее» движение в сторону экстремума, причем направление движения определяют по результатам пробных опытов. Такое движение может осуществляться путем ряда этапов, которые могут объединяться в «циклы» (последовательная процедура).

         Методы поисковой оптимизации различаются способами постановки пробных опытов в окрестности начальной (базовой) точки и определения направления движения к экстремуму, а также способами организации самого рабочего движения к экстремуму. Выбор базовой точки является отдельной задачей. Обычно базовая точка соответствует номинальному режиму ведения технологического процесса  Иногда эту точку выбирают в центре области, которую желательно исследовать, либо в центре области ограничений, если они имеются (при таком выборе базовой точки все направления являются равноправными, а это важно в случае, когда заведомо ничего неизвестно о том, где, хотя бы примерно, расположен экстремум.

Для повышения надежности результатов в каждой запланированной точке факторного пространства выполняют по нескольку параллельных опытов. Разные поисковые методы в разных условиях обладают различной помехоустойчивостью. Под помехоустойчивостью метода понимается его способность правильно оценивать направление рабочего движения, а также способность быстро и точно приводить рабочую точку в область экстремума, несмотря на наличие помех.

         Среди методов поисковой оптимизации можно отметить следующие:

         - метод Гаусса-Зейделя, который предусматривает поочередное нахождение частных экстремумов целевой функции по каждому фактору   при этом на каждом i-м этапе стабилизируют n-1 факторов и варьируют только один. i-й фактор. Задачу поиска экстремума методом Гаусса-Зейделя решают в несколько этапов, объединенных в циклы;

          - градиентные методы имеют несколько разновидностей, различающихся правилами выбора ступеней варьирования и рабочих шагов на каждом этапе движения к экстремуму. Сущность стратегии всех этих разновидностей состоит в том, что на каждом этапе вокруг очередной базовой точки организуют пробные эксперименты, по результатам которых оценивают новое направление градиента, после чего в этом направлении совершают один рабочий шаг. Среди градиентных методов можно отметить метод простого градиента, метод крутого восхождения (метод Бокса-Уилсона);

          - симплексный метод позволяет совмещать пробные опыты для определения направления движения с рабочим движением по поверхности отклика в области оптимума. Напомним, что симплексом называется выпуклая фигура, образованная n+1 вершинами в пространстве n факторов, причем эти n+1 вершин не принадлежат одновременно ни одному из подпространств из n-1 факторов. Основная идея симплексного метода состоит в следующем. Если во всех n+1 вершинах симплекса поставить опыты и измерить отклик, то (при не слишком большом уровне шумов) по величине отклика в вершинах можно судить, в каком направлении следует двигаться, чтобы приблизиться к экстремуму;

          - метод случайного поиска заключается в том, что точку каждого пробного опыта для изучения поверхности отклика в районе базовой (начальной) точки выбирают случайным образом. Опыты производят в исходной (начальной) точке и в случайно выбранной пробной точке, измерения отклика в них сравнивают и, если ищется максимум, совершают рабочий шаг в направлении возрастания целевой функции. 

  8 Лекция. Планы второго порядка

 

  Содержание лекции: планирование второго порядка для получения математического описания в виде полинома второй степени

 

Цель лекции: изучить методы планирования экспериментов для  построения регрессионных моделей в виде квадратичных полиномов

 

8.1 Структура планов второго порядка

Планы второго порядка предназначены для получения регрессионной модели в виде полного квадратичного полинома (полинома второй степени):

.                                                       (1)

Такие планы используются, когда заранее известно, что объект обладает существенно нелинейными свойствами, либо когда использование планирования первого порядка не позволило получить адекватную регрессионную модель и появилась необходимость ее усложнить.

Планы второго порядка более сложные по структуре, требуют при своей реализации увеличенного количества опытов. Модель (1) содержит  членов, что в раза больше, чем в линейной модели. Следовательно, возрастает минимально необходимое количество точек в спектре плана. Для получения квадратичной зависимости каждый фактор должен изменяться, по крайней мере, на трех уровнях.

Все планы второго порядка делятся на две большие группы: симметричные и несимметричные.

Симметричным называется такой план, для которого

для любых i,j,k=1,2,…n; ij,N-число точек плана.

То есть для всех факторов хi или указанных комбинаций нескольких факторов записанные суммы равны определенным постоянным, причем константы одни и те же независимо от номера фактора. Несимметричные планы этим свойством не обладают.

Симметричные планы обладают большей упорядоченностью в расположении точек. Для них характерно подобие в программе изменения каждого из факторов, а в некоторых случаях и полная симметрия. Для симметричных планов справедливы достаточно простые соотношения для оценок коэффициентов регрессии, их выборочных дисперсий и ковариаций. Это связано с тем, что информационная матрица Фишера имеет своеобразную блочную структуру, причем большинство ее элементов равно нулю, а остальные равны Л2, Л22. Несимметричные планы во многом менее удобны, чем симметричные. Но зато более экономны по необходимому количеству опытов.

При использовании планов второго порядка весьма важным оказывается вопрос об области планирования эксперимента, то есть той части факторного пространства, где должны располагаться точки плана. Можно указать три варианта ее задания:

1) область планирования естественная, полученная путем достройки планов первого порядка. При этом новые, дополнительные точки, координаты которых определяются с учетом тех или иных критериев оптимальности, могут выходить за пределы области планирования на первом этапе, то есть за пределы гиперкуба -1<=xi<=+1, i=1,2,…,n. Размеры области планирования, получающиеся путем дополнения, зависят от вида критерия оптимальности и количество факторов n;

2) область планирования - гиперкуб

3) область планирования – единичный гипершар

Два последних варианта в отличие от первого предусматривают, что область планирования выбирается заранее, исходя от особенностей решаемой задачи. Область в виде гиперкуба более естественна с практической точки зрения.

При необходимости план всегда можно перенастроить для иной области планирования. Например, чтобы получить план, вписанный в гиперкуб, если имеется план, заданный в естественной области, для каждого фактора хi находят максимальное по модулю значение и заменяют хi на .

8.2 Симметричные планы второго порядка

Центральные композиционные (то есть строящиеся последовательно) планы (ЦКП) состоят из трех блоков:

1) основу или ядро плана составляют точки ПФЭ 2n или ДФЭ 2n-p (количество точек Nф =2n);

2) так называемые  «звездные» точки, расположенные на координатных осях на расстоянии  от центра эксперимента; общее число таких точек Nά=2n;

3) опыты в центре плана, то есть нулевые (центральные) точки; число таких точек N0>=1.

Общее число точек ЦКП N = Nф + Nά + N0.

Произвольный симметричный план ЦКП: 

 

Составляющие части ЦКП

g

x1

x2

xn

Число точек

 

Ядро плана

1

-1

-1

..

-1

 

2n-p

 

2

+1

-1

-1

-1

+1

-1

2n-p

 

 

«Звездные» точки

2n-p +1

 

 

 

 

 

2n

2n-p +2

+ α

 

 

 

 

- α

 

 

,,,

 

+ α

 

 

 

 

 

- α

2n-p +2n

 

 

 

+ α

Центральные

точки

2n-p +2n+1

0

 

 

0

 

N0

 

 

 

2n-p +2n+N0

0

 

 

0

 

Конкретные значения α и N0 выбираются, исходя из тех или иных критериев оптимальности регрессионных экспериментов.

 

8.2.1 Ортогональные центральные композиционные планы (ОЦКП)

В случае ОЦКП критерием оптимальности плана является ортогональность столбцов матрицы планирования. В силу ортогональности все оценки коэффициентов определяются независимо друг от друга. Как правило, в ОЦКП N0=1. По критерию ортогональности матрица Фишера должна быть диагональной, для чего необходимо принять меры для обеспечения попарной ортогональности столбцов, отвечающих свободному члену β0 и квадратичным коэффициентам βii,i=1,…, n, а также столбцов, отвечающих квадратичным членам между собой.

Ортогонализацию столбцов x0 и  xi2  производят с помощью преобразования

где N – общее число строк матрицы планирования.

То есть регрессионная модель ищется в виде

.

Условие ортогональности справедливо при любом α. Но при произвольном α остаются неортогональными столбцы матрицы F, отвечающие различным квадратичным переменным. Поэтому в ОЦКП значение α выбирается как раз из условия ортогональности именно этих столбцов. Отсюда выводится уравнение для расчета величины звездного плеча

 

4α4+4Nфα2 -Nф(Nα+N0)=0,

где α – величина звездного плеча, Nф – число точек ПФЭ (ДФЭ), N0 – число центральных точек, Nά – число «звездных» точек7

Параметры ОЦКП для n=2,3,4:

n

α

Nά

N0

Nф

N

2

1,0

4

1

4

9

3

1,215

6

1

8

15

4

1,414

8

1

16

25

 

Точность оценивания различных групп коэффициентов регрессии неоднородна ( не как в ПФЭ): наиболее точно  оценивается свободный член , несколько менее точно – линейные коэффициенты, еще хуже – коэффициенты  при парных взаимодействиях, наименее точно – квадратичные коэффициенты . Вычисление оценок коэффициентов регрессии, как обычно, производится методом наименьших квадратов.

 

8.2.2 Ротатабельные центральные композиционные планы (РЦКП)

ОЦКП не удовлетворяет критерию ротатабельности планирования, причем при фиксированном расстоянии от центра планирования дисперсии предсказания по разным направлениям могут различаться весьма значительно, что с позиции экспериментатора кране нежелательно.

РЦКП строится исходя из требования критерия ротатабельности. Критерий оптимальности в этом случае

 при R=const.

 Величину звездного плеча α вычисляют по формуле .

 Ротатабельные планы оптимальны и в том смысле, что они позволяют минимизировать систематические ошибки, связанные с неадекватностью представления результатов исследования полиномами второго порядка.

Число центральных точек N0 не влияет на свойство ротатабельности и выбирается таким образом, чтобы обеспечивать равную точность предсказания выходной величины внутри области планирования.

Необходимые значения α0 и N0 приведены в таблице

n

α

Nά

N0

Nф

N

2

1,414

4

5

4

13

3

1,682

6

6

8

20

4

2,000

8

7

16

31

 

 

 

 

 

Ротатабельный план не требует ортогонализации, поэтому никаких преобразований переменных при составлении матрицы планирования не производят.

          

Список литературы

 1. Красовский Г.И., Филаретов Г.Ф. Планирование эксперимента. – Минск: изд. БГУ, 1982.

         2. Хартман К. и др. Планирование эксперимента в исследовании технологических  процессов. – М.: Мир, 1977.

         3. Химмельблау Д. Анализ процессов статистическими методами. – М.: Мир, 1972.

4. Дрейпер Н., Смит Г. Прикладной регрессионный анализ. – М.: Мир, 1987.

5. Круг Г.К. и др. Планирование эксперимента в задачах нелинейного оценивания и распознавания образов. – М.: Наука, 1981.

 

Содержание

 

с

1 Лекция. Введение. Предварительные сведения

4

2 Лекция. Статистическое  оценивание

   2.1 Статистические оценки и их свойства

   2.2 Метод максимального правдоподобия

   2.3 Оценки параметров

   2.4 Статистические гипотезы

   2.5 Критерии значимости

   2.6 Критерии согласия

8

8

9

10

10

11

11

3 Лекция. Построение регрессионных моделей объектов

   3.1 Элементы регрессионного анализа

   3.2 Точечные оценки параметров регрессионной модели

    3.3 Свойства оценок параметров регрессионной модели

12

12

14

15

4 Лекция. Статистический анализ результатов

   4.1 Оценка дисперсии воспроизводимости

   4.2 Проверка значимости коэффициентов регрессии

   4.3. Проверка адекватности регрессионной модели.

   4.4 Анализ работоспособности модели.

16

16

17

18

19

5 Лекция. Критерии  оптимальности планов

   5.1 Основные принципы планирования экспериментов

   5.2 Критерии оптимальности планов

20

20

21

6 Лекция. Планы первого порядка

23

7 Лекция. Задача оптимизации в экспериментальных исследованиях

   7.1 Постановка задача оптимизации в экспериментальных исследованиях

   7.2 Решение задачи оптимизации  при наличии помех

27

27

29

8 Лекция. Планы второго порядка

   8.1 Структура планов второго порядка

   8.2 Симметричные планы второго порядка

31

31

32

Список литературы

35