трусики женские купить украина
реферати студентам
« Попередня Наступна »

10.2. Методи узагальненого покоординатного спуску


Нехай вирішується завдання J {x) - »min, л; є R! \ J є C2 (R") з овражним (за визначенням 9.3) функціоналом. Таким чином , існує деякий підмножина QaR! \ і при VJCG Q ДЛЯ власних чисел матриці
Т '(х) справедливі нерівності
Х, * ... ^ »>. ..> UJ. (10.2)
Кількість г малих власних значень визначає розмірність яру (дна яру). Основною процедурою при реалізації розглянутого далі класу методів узагальненого покоординатного спуску (ОПС) є процедура приведення матриці Т ' (х) до головних осей, тобто процедура діагоналізацією, з подальшим покоординатного спуском вздовж власних векторів матриці. Доцільність такого підходу випливає з того, що осі найбільш раціональної системи координат при мінімізації квадратичних функціоналів (незалежно від їх опуклості) методом покоординатного спуску збігаються з власними векторами матриці других похідних. Ця ідея неодноразово висловлювалася в літературі і навіть будувалися відповідні алгоритми. Проте опубліковані результати численних експериментів показали низьку ефективність такого підходу. Може бути запропоновано і пояснення цих результатів. Воно засноване на тому, що при визначенні власних векторів, відповідних близьким або кратним власним значенням, виникають принципові обчислювальні труднощі. Аналогічні труднощі, пов'язані з обмеженою точністю завдання вихідної інформації, а також подальших обчислень, спостерігаються і при діагоналізацією погано обумовлених матриць, що мають відносно малі за модулем спектральні складові. Зазначені обставини, мабуть, з'явилися основним стримуючим фактором, який не дозволив впровадити досліджувані нижче методи в обчислювальну практику. Однак з подальшого викладу випливає, що невдачі при чисельному експериментуванні були викликані особливостями реалізації методу, розрахованої на мінімізацію опуклих функціоналів. Як показано нижче, при мінімізації як опуклих, так і неопуклих функціоналів достатньо обчислити довільний ор-тонормірованний базис в інваріантному підпросторі, що відповідає кожній ізольованій групі власних значень. При цьому окремі власні вектори можуть бути обчислені зі значними по-грешность. Можна показати, що відповідають цим базисам лінійні оболонки з високою точністю співпадають з істинними подпространст- вами, обумовленими незбуреної діагоналізіруемой матрицею.
Ці висновки певною мірою підтверджуються наступною теоремою.
Теорема 10.1. Нехай А - (пх /?)-мірна симетрична матриця; {м,} - ортонормированного власні вектори; {А,} - власні значення. Тоді при XJ Ф XJ ??з точністю до величин другого порядку малості маємо
(ui + duh u) = (Х (- Xj) '\ (dA) uh uj>, (10.3)
де dA - обурення матриці A \ dut-відповідне обурення вектора щ.
Доказ. Відкидаючи величини другого порядку малості, з рівності АЩ - Х-UJ отримаємо
(dA) щ + AdUi - XidUi + dX-u ^
Звідси, множачи скалярно на uh отримаємо
{(dA) uh u) + (Aduh u) - Xi (duh U ;) + dXi (uh u).
З рівностей
(uh u) = 0; (Aduh u,) = Xj {duh
маємо
(Xi - Xj) (duh Uj) - {(dA) uh u), звідки випливає рівність (10.3). Теорема доведена. Нехай тепер
п-г п
М2 =? ajuj
/ = 1 j = n-r +1
є два лінійних різноманіття, породжених непересічними системами власних векторів
| м., / = - rj; \ uj, j = і-г + 1, л}
матриці А. Якщо відповідні множини власних значень
{А,., і = 1, Л-Г}; [XjJ = nr + l, n}
суворо розділені: II> то з рівності (10.3) слід
+ duh і) = 0 при досить малому значенні \ \ dA \ \ / Це означає, що всі власні вектори під дією збурення dA змінюються тільки в межах своїх лінійних різноманіть, зберігаючи з високою точністю властивість ортогональності до векторів з додаткових різноманіть. При цьому самі варіації векторів при близьких Xi = Xj власних значеннях в межах фіксованого лінійного різноманіття, як це випливає з рівності (10.3), можуть бути досить значними.
Викладене дозволяє в якості моделі програм, що реалізують різні методи діагоналізацією матриці А, використовувати оператор Л ( А), що ставить у відповідність довільній симетричною матриці А ортогональну матрицю F, відмінну, взагалі кажучи, від щирої матриці U, що складається з власних векторів матриці А. Оператор Л характеризується тим, що якщо спектр матриці А розділяється нар груп
KW; = / = 1Л
ст = 1
близьких між собою власних чисел, то кожній групі а відповідає набір стовпців {v / 7} матриці F , що задає точне лінійне різноманіття, породжене відповідними стовпцями {м / 7} точної матриці U.
Розглянемо квадратичну апроксимацію
fix) = 1/2 (Ах, х) - <6, х) + с (10.4)
вихідного функціоналу J (x) в околиці точки х є Q. Припустимо, що відомі матриця А і ортогональна матриця U, яка веде її до діагонального вигляду UTA U = diag (X,). Тоді заміна змінних x-Uy призводить квадратичний функціонал до сепарабельного увазі
fix) = f (Uy) =? /, (?,), (Ю.5)
/ = 1
де / - квадратичні функції однієї змінної. Таким чином, локально досягається повна декомпозиція вихідної задачі і остання зводиться до п незалежним оптимизационним задачам. В результаті пошук оптимального вектора у * може здійснюватися покомпонентно, бо зв'язок між аргументами yi фактично зникає. У зазначеній ситуації явище "заклинювання" неможливо, і всі обчислювальні труднощі при застосуванні покоординатного стратегій пошуку оптимуму, пов'язані з великими значеннями г \ 9 повністю усуваються.
Насправді буває задається не матриця А, а обурена матриця А + dA, де dA відображає як невизначеність завдання вихідної матриці А, так і наступні помилки округлення при проведенні власне процесу діагоналізацією. У зв'язку з цим замість точної матриці U виявляється доступною деяка матриця V = А (А). Властивості операто-ра Л були розглянуті вище. Заміна змінних х = Vy вже не приводить функціонал до виду (10.5). Для вивчення створюваній ситуації важливе значення має наступна теорема.
Теорема 10.2. Нехай власні значення {Я,} і відповідають їм орто-нормовані власні вектори {і,}, / = 1, я, деякої симетричної матриці А розділені довільним чином нар груп
ст = 1
так, що
іа.Фі5. \ ОФБ (і = 1,? ст, j = 1ДД
де Я / 7, щ - у-е власне число і відповідний власний вектор групи ст. Тоді, якщо в кожному лінійному різноманітті Ма розмірності ka з базисом {і, -0}, / = 1 Так задати інший ортонормованій базис
{w / 7}, / = 1ДСТ, пов'язаний з вихідним базисом лінійним співвідношенням
к
w ^ YaV, i = lk, a ° eR \
і / j mi m7 'a' mi '
m = l
то існує така матриця P перестановок стовпців, що:
Перетворення подібності
WrAW, W = (wj,, wpkp), йР = призводить матрицю А до блочно-діагонального вигляду WTAW = diag (Д, Л2,
з квадратними (& ст х & ст)-мірними матрицями AG на головній діагоналі.
Власні значення матриці є
Доказ. Перше твердження перевіряється безпосередньо з урахуванням ортонормірованності векторів базису {і , -}. Для доказу другого твердження достатньо зауважити, що вид і розташування матриці Ат при фіксованому різноманітті Мт не залежить від способу завдання інших різноманіть А / с, ОФТ.
Тому, припустивши, ЩО все ka = 1 при отримаємо
WTAW = diag (X \, Х \, ..., Ат,
Враховуючи, що перетворення подібності не змінює спектр матриці, приходимо до необхідному ув'язнення. Теорема доведена.
Теорема 10.3. Нехай V = Л (А), тоді:
Заміна змінних x-Vy з точністю до нумерації компонент вектора у призводить функціонал f (x) вигляду (10.4) до блочно-сепарабельного увазі
Ш = / (Уу) = І, / Лу °)> (10-6)
ст = 1
де
У = (У1, Уп) = (у \ /); У ° = УІ); = № {А0у ° 9 у °) - /> + са, cGe R \
Власні значення матриці / а "дорівнюють Х ° (А), i = 1, kG, cr = 1, р.
Доказ. Маємо V = WP, де Р - деяка матриця перестановок стовпців. Тому
= ~ A Vy, у) - {VTb, у) + з == ^ (PTWT A WPy, у) - {pTWTb, у) + з == ^ (wTAWz, z ) - (wTb, z) + c, z =
Згідно з теоремою 10.2 матриця W AW має блочно-діагональну структуру, що й доводить перше твердження. Друге твердження є прямий наслідок другого твердження теореми 10.2.
Слідство. Нехай власні числа матриці А задовольняють нерівності (10.2). Тоді:
1. Заміна змінних
* = Vy, V = A (А),
де
F = (v11, ..., v ^, v12, ..., vr2);
nr г
v, 1 = Yalu, v? = У, а 1мі r + m,
/ / j mi т »и jLmJ ml n-r + m '
m = lm = l
з точністю до нумерації компонент вектора ^ пріводітf (x) до виду fsiy) = / і (У) + / 2 (у2); у = (у \ Л (Ю.7)
де
у = (уь уfl-r); у2 = ..., j; ").
2. Лі «Л> Л2 <: Л? де Л / - показники яружно функціоналів
Таким чином, вихідна оптимізаційна задача локально може бути зведена до двох еквівалентним завданням з істотно меншими значеннями т | /. Представлення (10.7) є аналогом ідеалізованого співвідношення (10.5).
Якщо власні числа матриці квадратичного функціоналу поділяються більш ніж на дві групи, то буде справедливо уявлення (10.7), що містить відповідне число доданків.
Згідно співвідношенню (10.7) з'являється можливість незалежного рішення не пов'язаних між собою оптимізаційних задач для функціоналів ft з невисокими показниками яружно.
Отримані результати носять локальний характер і справедливі в рамках квадратичної апроксимації вихідного функціоналу J (x). Для неквадратічних функціоналів наближене виконання співвідношень типу (10.7) дозволяє говорити про істотне послаблення зв'язків між різними групами змінних, що визначає досить високу ефективність покоординатного спуску і в загальному випадку.
Дослідження збіжності представлених вище алгоритмів в припущенні точної лінійної оптимізації уздовж напрямних ортов може бути засноване на наступному загальному підході до дослідження алгоритмів нелінійного програмування.
Нехай вирішується завдання
J (x) -> min, * є RJ (x) ? C \ R ").
Розглянемо довільний алгоритм А, що будує послідовність точок {У}, причому кожна точка ХКМ виходить послідовної мінімізацією функціоналу J (x) уздовж напрямку d \, ..., dn9 починаючи з точки хк. Передбачається, що матриця D = (d \, ..., d ") може залежати від номера до, будучи при будь-якому до ортогональної. Легко бачити, що метод ПС, метод Розенброка, а також методи ОПС описуються наведеною загальною схемою.
Теорема 10.4. Нехай:
J (x) е C \ R ").
Безліч рішень, яке визначається як X * = {х є R "| J \ x) = 0}, не порожньо.
Безліч {х є R" \ Дх) Мінімум функціонала J (x) уздовж будь-якої прямої в R" єдиний.
Якщо J '(xk) = 0, то алгоритм зупиняється в хк.
Тоді кожна гранична точка послідовності {хА}, побудованої алгоритмом А, належить безлічі X *.
Доказ тут не наводиться.
« Попередня Наступна »
= Перейти до змісту підручника =
Інформація, релевантна " 10.2. Методи узагальненого покоординатного узвозу "
  1. 10.3. Реалізація методів узагальненого покоординатного спуску
    методом обчислення похідних. Проте насправді такий підхід має обмежене застосування, т. к. реальні функціонали мають досить складну алгоритмічну структуру, що не дозволяє скористатися аналітичним диференціюванням. Тому найбільш часто на практиці застосовуються напіваналітичного і чисельні методи. Напіваналітичного методи займають проміжне положення між
  2. Глава 10 покоординатного стратегії конечномерной оптимізації
    Глава 10 покоординатного стратегії конечномерной
  3. Зміст
    методу 117 Вибір на основі методу /-упорядкування 119 Завдання з малим числом критеріїв і альтернатив 126 Проблема ранжирування об'єктів по "важливості". Матриця попарних порівнянь 126 Метод Сааті. Метод Коггера і Ю 127 Обговорення 129 Простий алгоритм вибору 131 Метод обмежень 134 Рандомізовані стратегії прийняття рішень 136 Багатокритеріальний вибір в умовах невизначеності 139 Функції
  4. 11.2. Класичні градієнтні схеми
    методи (11.2) і відповідають їм функції релаксації. Простий градієнтний спуск (ПГС). Формула методу + 1 = xk __ const) Відповідна функція релаксації R (k) = 1 - hk лінійна і представлена ??на рис. 11.2. ПГС має вигляд (11.12) (11.13) Рис. 11.2. Функція релаксації методу простого градієнтного спуску Нехай власні значення матриці Ак розташовані в замкнутому інтервалі [; m, М], причому 0 <га
  5. 10.1. Методи покоординатного спуску
    метод вирішення поставленого завдання полягає в застосуванні покоординатного стратегії дослідження простору пошуку. і / (Xj І X - min J ((10.1) У яружної ситуації цей метод можна застосовувати лише в рідкісних випадках орієнтації ярів уздовж координатних осей. Труднощі застосування подібних процедур проілюстровані на рис. 10.1. Перехід від вектора XІ до вектора х1 +] за допомогою методу покоординатного спуску
  6.  5.6. СИНТЕЗ СИСТЕМ УПРАВЛІННЯ МЕТОДАМИ ОПТИМІЗАЦІЇ
      методів: градієнтний спуск; найшвидшого спуску; градієнтний спуск з постійним кроком; градієнтний спуск із змінним кроком. Методи ефективні для функцій зі слабко нелінійністю [42]. Методи другого порядку Методи другого порядку використовують, якщо можливо знайти другу похідну досліджуваної функції. Їх основою є метод Ньютона, який передбачає апроксимацію досліджуваної функції Y =
  7.  Предметний покажчики
      методи (КН) 205 Квазіпорядок 30, 31 Клас допустимих передавальний 36 Скінченновимірні задачі оптимізації 159, 161 Звичайно-різницеві співвідношення 256,268 Кінцевий користувач 279 Константа Ліпшиця 206 Контрольні показники 43 Непряма ланцюжок міркувань 303 Коефіцієнти яружно 248, 261 квадратичної моделі 229 впевненості 73 Критеріальна функція 25 критеріальні обмеження 169 Критерійний
  8.  11.4. Гірські види екстремального туризму
      спуски як для професіоналів, так і для новачків. Спорядження - комплект: лижі, кріплення, палиці, черевики, костюм, шолом, маска, рукавички обійдеться в середньому в 700-800 дол, оренда - приблизно 30-40 дол в день. Сноубординг - спуск по снігу з гірських схилів на спеціально обладнаній дошці. Це більш агресивний, активний і екстремальний вид, ніж гірські лижі. Сноубординг як окремий вид
  9.  9.1. Явище яружно
      методів конечномерной оптимізації, застосовуваних у задачах моделювання, чисельного експерименту та інших завдань системного аналізу (див. приклад про керованій системі другого порядку у Вступі). Як правило, це виражається в різкому збільшенні витрат машинного часу, а в деяких випадках-в неможливості отримання прийнятних результатів через повної зупинки алгоритму задовго до досягнення
  10.  11.1. Загальна схема градієнтних методів. Поняття функції релаксації
      методи, що володіють істотно кращими показниками збіжності в яружної ситуації незалежно від характеру опуклості минимизируемого функціоналів. З урахуванням представлених в розділі 9 моделей явища яружно ефективність алгоритмів оцінюється за властивостями спеціально вводяться для цих цілей функцій релаксації, повністю визначають локальні характеристики методів. Нехай вирішується завдання J (x) - »
  11.  10.5. Реалізація методів узагальненого покоординатного спуску на основі рекурентних алгоритмів оцінювання
      методом ОПС в поточній системі координат. У цьому випадку маються на увазі "повні" послідовності, що включають в себе як вдалі, так і невдалі кроки. Опишемо процедуру, що дозволяє за цією інформацією обчислити матрицю Гессе аппроксимирующего квадратичного функціоналу. Задачу квадратичної апроксимації будемо вирішувати на основі методу найменших квадратів: FN (c) = f ^ [J (xi)-f (x \ c)] 2 ^ min; (10.18) x
  12.  5.5 Монетарні цикли в узагальненій моделі Тобіна
      узагальненою моделлю Тобіна, схожа на модель Тобіна, сформульовану в розд. 3.3, вони вельми різняться в динаміці цін, властивостях стійкості та деяких інших аспектах. Ми пренебрежем тут ефектами амортизації, тобто у формулі (3.3.8) будемо вважати d = 0. Проте, співвідношення (3.3.6) і (3.3.8) для узагальненої моделі залишаються справедливими. Всі змінні, якими ми будемо тут користуватися,
  13.  10.1. Історія розвитку гірськолижного туризму
      спусків різної протяжності і складності, навчальні схили, службу трас і контрольно-рятувальну службу, спортивні організації та споруди, магазини, пункти прокату спортінвентарю, гірськолижні школи. Понад 4 млн місць у великих і малих готелях, пансіонатах і притулках призначені для зимового відпочинку в горах Західної Європи. У 1996 р. більше 5 млн французів виїжджали в Альпи, Піренеї і їх
  14.  3.8. Математичні методи планування
      методів умовам завдання управління. Застосування в попередніх планових дослідженнях математичних методів можливе за наявності формальних статистичних даних, необхідних обчислювальних засобів, високої кваліфікації дослідників. При математичному плануванні необхідно враховувати деяке безліч змінних величин, що характеризують постійно змінюються виробничі умови.
  15.  10.6. Тестування алгоритмів оптимізації
      метод, заснований на оцінці трудомісткості в спеціальних одиницях - Горнера. В один Горнер (1 Г) оцінюється трудомісткість операції однократного обчислення значення минимизируемого функціоналу. Ефективність алгоритму оптимізації, який затратив на отримання результату із заданою точністю найменше число Горнера, вважається найвищою. Використання методу оцінки трудомісткості в Горнера базується

bibyurecon.ml
енциклопедія  пікантні  перлова  кавово-вершковий  риба