Це налаштування дозволить відфільтрувати весь контент сайту з вузу: програми навчання, спеціальності, професії, статті. Повернутись до повного змісту сайту можна відмінивши це налаштування.
Це налаштування дозволить відфільтрувати весь контент сайту з вузу.
- НДУ ВШЕ
Національний дослідницький університет Вища школа економіки
- ІДСУ
Інститут державної служби та управління
- ВШФМ
Вища Школа Фінансів та Менеджменту
- РГУП
Російський державний університет правосуддя
- ІБДА
Інститут бізнесу та ділового адміністрування
- ВШКУ
Вища школа корпоративного управління
- РГУТІС
Російський державний університет туризму та сервісу
- Московський Політех
Московський полі технічний університет
- РДСУ
Російський державний соціальний університет
- МГРІ-РГГРУ ім. Серго Орджонікідзе
Російський державний геологорозвідувальний університет імені Серго Орджонікідзе
- МФЮА
Московський фінансово-юридичний університет
- Московський інститут психоаналізу
Московський інститут психоаналізу
- ІГУМО та ІТ
Інститут гуманітарної освіти та інформаційних технологій
- МФТІ
Московський фізико-технічний інститут (державний університет)
- РЕУ ім. Г.В. Плеханова
Російський економічний університет імені Г.В. Плеханова
- МДІМВ
Московський державний інститут міжнародних відносин (Університет) МЗС Росії
- Дипломатична академія МЗС Росії
Дипломатична академія Міністерства закордонних справ Російської Федерації
- НІЯУ МІФІ
Національний дослідницький ядерний університет "МІФІ"
- РАНХіГС
Російська академія народного господарства та державної служби за Президента Російської Федерації
- ВАВТ Мінекономрозвитку Росії
Всеросійська академія зовнішньої торгівлі Міністерства економічного розвитку Росії
- МДУ імені М.В. Ломоносова
Московський державний університет імені М.В. Ломоносова
- Держ. ІРЯ ім. А.С. Пушкіна
Державний інститут російської ім. А.С. Пушкіна
- МДМСУ ім. А.І. Євдокимова МОЗ Росії
Московський державний медико-стоматологічний університет імені О.І. Євдокимова
- РНІМУ
Російський національний дослідницький медичний університет імені М.І. Пирогова
- МДЛУ
Московський державний лінгвістичний університет
- Фінансовий університет
Фінансовий університет при Уряді Російської Федерації
- РДАІС
Російська державна академія інтелектуальної власності
- Літературний інститут імені А.М. Горького
Літературний інститут імені А.М. Горького
- ПМДМУ ім. І.М.Сєченова
Перший Московський державний медичний університет ім. І.М. Сєченова
- Російська митна академія
Російська митна академія
- РГУНГ ім. І.М.Губкіна
Російський державний університет нафти та газу імені І.М. Губкіна
- ВДУЮ (РПА Мін'юсту Росії)
Всеросійський державний університет юстиції (РПА Мін'юсту Росії)
- МДТУ ім. н.е. Баумана
Московський державний технічний університет імені М.Е. Баумана
- РДГУ
Російський державний гуманітарний університет
- МІСіС
Національний дослідницький технологічний університет «МІСіС»
- ГАУГН
Державний академічний університет гуманітарних наук при Російській академії наук
- РАМ ім. Гнєсіних
Російська академія музики імені Гнесіних
- МДАВМіБ ім. К.І.Скрябіна
Московська державна академія ветеринарної медицини та біотехнології імені К.І. Скрябіна
- РУДН
Російський університет дружби народів
- МДІК
Московський державний інститут культури
- РГТУ ім. Д.І. Менделєєва
Російський хіміко-технологічний університет імені Д.І. Менделєєва
- ГУУ
Державний університет управління
- АГП РФ
Академія Генеральної прокуратури Російської Федерації
- МГК ім. П.І. Чайковського
Московська державна консерваторія імені П.І. Чайковського
- МДПУ
Московський міський педагогічний університет
- МІЕТ
Національний дослідницький університет "МІЕТ"
- МДУТУ ім. К.Г. Розумовського
Московський державний університет технологій та управління ім. К.Г. Розумовського
Основні поняття Система обробки даних ( інформаційна система) - сукупність технічних та програмних засобів, призначених для інформаційного обслуговування людей та технічних об'єктів. Класи інформаційних систем: обчислювальні машини(ВМ) обчислювальні системи (ВС) обчислювальні комплекси(ВК) мережі ВМ призначені на вирішення широкого кола завдань користувачами, які у різних предметних областях. Основний блок ВМ – процесор. Процесор ініціалізує процес виконання програми та керує ним. ВК – це кілька ВМ, інформаційно пов'язаних між собою. При цьому кожна ВМ самостійно керує своїми обчислювальними процесами. Інформаційний обмін між ВМ комплексу менш інтенсивний (порівняно з інформаційною взаємодією процесорів у мультипроцесорних системах). Широке застосування ВК набули в інформаційно-керуючих системах.
Основні поняття ЗС - це інформаційна система, налаштована вирішення завдань конкретної сфери застосування, тобто. в ній є апаратна та програмна спеціалізація. Часто ВС містить кілька процесорів, між якими у процесі роботи відбувається інтенсивний обмін інформацією, та які мають єдине управління обчислювальними процесами. Такі системи називаються мультипроцесорними. Іншим поширеним типом ЗС є мікропроцесорні системи. Вони будуються використанням мікропроцесора (МП), або мікроконтролера, або спеціалізованого процесора цифрової обробки сигналів. Три методи, що забезпечують збільшення продуктивності систем: удосконалення елементної бази, структурні методи математичні методи Паралельні обчислювальні системи – це фізичні комп'ютерні, а також програмні системи, що реалізують тим чи іншим способом паралельну обробку даних на багатьох обчислювальних вузлах
Класифікація Флінна Класифікація виходить з понятті потоку, під яким розуміється послідовність елементів, команд чи даних, оброблена процесором. Чотири класи архітектур: SISD, MISD, SIMD, MIMD. SISD (single instruction stream / single data stream) - одиночний потік команд та одиночний потік даних. До цього класу належать класичні послідовні машини (машини фон-нейманівського типу). У таких машинах є лише один потік команд, всі команди обробляються послідовно одна за одною, і кожна команда ініціює одну операцію з одним потоком даних. SIMD (single instruction stream/multiple data stream) - одиночний потік команд та множинний потік даних. Потік команд включає, на відміну від SISD, векторні команди. Це дозволяє виконувати одну арифметичну операціювідразу над багатьма даними - елементами вектора. MISD (multiple instruction stream/single data stream) - множинний потік команд і одиночний потік даних. Визначення має на увазі наявність в архітектурі багатьох процесорів, які обробляють один і той же потік даних. Реально існуючої обчислювальної системи, побудованої на даному принципі, поки що немає. MIMD (multiple instruction stream/multiple data stream) - множинний потік команд та множинний потік даних. У обчислювальній системі є кілька пристроїв обробки команд, об'єднаних у єдиний комплекс і кожне зі своїм потоком команд і даних (мультипроцесорні системи).
Обчислювальні системи класу SIMD Модель обчислень: одиночна операція виконується над великим блоком даних. Два типи: векторно-конвеєрні та матричні системи. Векторно-конвеєрні системи (PVP комп'ютери) Два принципи в архітектурі процесорів: конвеєрна організація обробки потоку команд; введення в систему команд набору векторних операцій, які дозволяють оперувати з цілими масивами даних. операнда відповідає максимальної продуктивності конвеєра. Векторні операції забезпечують ідеальну можливість повного завантаження обчислювального конвеєра. При виконанні векторної команди та сама операція застосовується всім елементам вектора Векторні команди оперують цілими масивами незалежних даних, тобто. команда виду A=B+C означає додавання двох масивів, а чи не двох чисел.
Обчислювальні системи класу SIMD У векторно-конвеєрній системі є кілька один або кілька конвеєрних процесорів, що виконують векторні команди шляхом засилання елементів векторів в конвеєр з інтервалом, що дорівнює тривалості проходження однієї стадії обробки. Векторна обробка збільшує швидкість та ефективність обробки за рахунок того, що обробка цілого набору даних даних виконується однією командою. Векторні процесори повинні мати набагато більш складну структуру і, по суті, містити безліч арифметичних пристроїв. , пам'ять для зберігання програм та даних. Довжина одночасно оброблюваних векторів у сучасних векторних комп'ютерах становить зазвичай 128 або 256 елементів.
Матричні системи Матричні системи найкраще пристосовані вирішення завдань, характеризуються паралелізмом незалежних об'єктів чи даних. Матрична система складається з безлічі процесорних елементів (ПЕ), організованих таким чином, що вони виконують векторні команди, що задаються загальним для всіх пристроєм управління, причому кожен ПЕ працює з окремим елементомвектор. ПЕ з'єднані через комутаційний пристрій із багатомодульною пам'яттю. Виконання векторної команди включає читання з пам'яті елементів векторів, розподіл їх по процесорах, виконання заданої операції та засилання результатів у пам'ять. Таким чином, продуктивність системи виявляється рівною сумі продуктивності всіх процесорних елементів.
Обчислювальні системи класу MIMD MIMD архітектури відрізняються в залежності від того, чи має процесор свою власну локальну пам'ять і звертається до інших блоків пам'яті, використовуючи мережу, що комутує, або комутуюча мережа під'єднує всі процесори до загальнодоступної пам'яті. Систолічні системи є дуже спеціалізованими обчислювачами і виробляються під конкретне завдання. Фактично, завдання побудови систолічного обчислювача зводиться до побудови апаратного конвеєра, що має досить великий час отримання результату (тобто велика кількість ступенів), але при цьому порівняно маленький час між послідовною видачею результатів, оскільки значна кількість проміжних значень обробляється на різних ступенях конвеєра . Однорідні обчислювальні структури або середовища (ОВС), як правило, відносяться до типу MIMD і є регулярними гратами з однотипних процесорних елементів (ПЕ). Кожен ПЕ володіє алгоритмічно повним набором операцій, і навіть операціями обміну чи взаємодії коїться з іншими ПЭ. ОВС реалізується з урахуванням мікропроцесорів.
Базові принципи побудови систолічних архітектур 1.Систола є мережею пов'язаних обчислювальних осередків, зазвичай простих; 2.Кождая осередок містить у собі буферний вхідний регістр даних і обчислювач, оперуючий із вмістом цього регістру. Вихід обчислювача може подаватися на входи інших осередків; 3.Операції в систолі виробляються на кшталт конвеєрної обробки; 4.Обчислення в систолі регулюються за допомогою загального тактового сигналу;
Основні характеристики систолічної ВА: однорідність процесорного поля, регулярність (постійність) міжпроцесорних з'єднань, синхронність функціонування процесорних елементів. У кожний момент часу виконуються однакові однакові операції або однакові обчислювальні модулі. Такими модулями можуть бути: модулі обробки даних та обчислень модулі, які відповідають за зовнішню комунікацію. Кожен із двох типів цих модулів виконується у свою фазу обробки. Фази обробки систолічних ВА: До: зовнішня комунікація між ПЕ; В: обчислення у ПЕ; У: управління обчисленнями та комунікацією (дуже коротка).
Фази обробки систолічних ВА Фаза комунікації. У цей інтервал часу у всій процесорній мережі одночасно відбувається обмін даними між ПЕ. Інтервал повинен за тривалістю відповідати найдовшій операції комунікації у мережі. Фаза обчислення. Здійснює обчислення та обробку інформації. Тривалість даної фази має відповідати найбільш тривалому обчислювальному модулю. Фаза керування. Здійснює виконання операцій зі старту та закінчення робіт процесорного поля (відповідають початку та кінцю кожної обчислювальної операції). Зупинення обробки процесів у будь-який момент часу до отримання результату. Застосування систолічних ВА: прискорювачі, вбудовані в ПК та реалізують конкретні обчислювальні алгоритми ( матричні операції, Вирішення систем лінійних алгебраїчних рівнянь, розпізнавання образів, сортування та ін). У цьому випадку процесорна плата використовується як співпроцесор. Час обчислень скорочується на 1 – 3 порядки. систолічні процесори, вбудовані в технічні системи, які використовуються для цифрової обробки в реальному часі. Наприклад, алгоритм цифрової фільтрації та ін.
Масивно-паралельні комп'ютери (MPP) з розподіленою пам'яттю Система складається з однорідних обчислювальних вузлів, що включають: один або кілька центральних процесорів(зазвичай RISC), локальну пам'ять (прямий доступ до пам'яті інших вузлів неможливий), комунікаційний процесор або мережевий адаптеріноді - жорсткі дискита/або інші пристрої В/В До системи можуть бути додані спеціальні вузли введення-виводу та керуючі вузли. Вузли пов'язані через деяке комунікаційне середовище ( високошвидкісна мережа, комутатор і т.п.) Використовуються два варіанти роботи операційної системи (ОС) на машинах MPP-архітектури: повноцінна операційна система (ОС) працює тільки на керуючій машині, на кожному окремому модулі функціонує сильно урізаний варіант ОС, що забезпечує роботу тільки розташованої в ньому гілки паралельного додатку. на кожному модулі працює повноцінна UNIX-подібна ОС, яка встановлюється окремо.
Масивно-паралельні комп'ютери (MPP) з розподіленою пам'яттю Загальне числопроцесорів у реальних системахсягає кількох тисяч. Перевага систем з розподіленою пам'яттю - хороша масштабованість: в машинах цього класу кожен процесор має доступ тільки до своєї локальної пам'яті, у зв'язку з чим не виникає потреби в синхронізації потактової процесорів. Недоліки: відсутність загальної пам'яті помітно знижує швидкість міжпроцесорного обміну. Потрібна спеціальна техніка програмування реалізації обміну повідомленнями між процесорами; кожен процесор може використовувати лише обмежений обсяг локального банку пам'яті; внаслідок зазначених недоліків потрібні значні зусилля максимального використання системних ресурсів. Це визначає високу ціну програмного забезпеченнядля масивно-паралельних систем із роздільною пам'яттю.
Комп'ютери із загальною пам'яттю (SMP, що розділяється) SMP (symmetric multiprocessing) – симетрична багатопроцесорна архітектура. Головна особливість систем з архітектурою SMP – наявність загальної фізичної пам'яті, що поділяється всіма процесорами. Пам'ять служить передачі повідомлень між процесорами, у своїй все обчислювальні пристроїпри зверненні до неї мають рівні права і ту саму адресацію всім осередків пам'яті. Тому SMP-архітектура називається симетричною. SMP-система будується на основі високошвидкісної системної шини, до слотів якої підключаються функціональні блоки типів: процесори (ЦП), підсистема вводу/виводу (I/O) тощо. Уся система працює під керуванням єдиної ОС. ОС автоматично (у процесі роботи) розподіляє процеси процесорами, але іноді можлива і явна прив'язка.
Комп'ютери із загальною пам'яттю (SMP) Основні переваги SMP-систем: простота і універсальність для програмування: зазвичай використовується модель паралельних гілок, коли всі процесори працюють незалежно один від одного. Однак можна реалізувати і моделі, які використовують міжпроцесорний обмін. Використання спільної пам'яті збільшує швидкість такого обміну, користувач також має доступ до всього обсягу пам'яті. простота експлуатації. Як правило, SMP-системи використовують систему кондиціювання, засновану на повітряному охолодженні, що полегшує їхнє технічне обслуговування; щодо невисока ціна. Недоліки: системи із загальною пам'яттю погано масштабуються. Цей суттєвий недолік SMP-систем не дозволяє вважати їх по-справжньому перспективними. Причиною поганої масштабованості є те, що в Наразішина здатна обробляти лише одну транзакцію. при одночасному зверненні кількох процесорів до тих самих областей загальної фізичної пам'яті виникають проблеми вирішення конфліктів. Усі процесори спільно звертаються до загальної пам'яті, зазвичай через шину чи ієрархію шин. В ідеалізованій моделі, будь-який процесор може звертатися до будь-якої комірки пам'яті за один і той же час. Насправді масштабованість цієї архітектури зазвичай призводить до певної формі ієрархії пам'яті. Щоб згладити розрив швидкості роботи процесора і основної пам'яті, кожен процесор забезпечується швидкісної буферної пам'яттю (кеш-пам'яттю), що працює зі швидкістю процесора. У зв'язку з цим у багатопроцесорних системах, побудованих на базі таких мікропроцесорів, порушується принцип рівноправного доступу до будь-якої точки пам'яті та виникає нова проблема – проблема кеш-когерентності.
Комп'ютери із загальною пам'яттю (SMP) Для забезпечення когерентності кеш-пам'яті існує кілька можливостей: використовувати механізм відстеження шинних запитів, в якому кеші відстежують змінні, що передаються до будь-якого з центральних процесорів, і при необхідності модифікують власні копії таких змінних; виділяти спеціальну частину пам'яті, що відповідає за відстеження достовірності всіх копій змінних, що використовуються. Основна перевага систем SMP – відносна простота програмування. Т.к. всі процесори мають однаково швидкий доступдо ВП, питання про те, який процесор які обчислення буде виконувати, не настільки важливий, і значна частина обчислювальних алгоритмів, розроблених для однопроцесорних комп'ютерів, може прискорено виконуватися в мультипроцесорних системах з використанням комплеляторів, що розпаралелюють і «векторизують». Системи SMP – це найбільш поширений зараз тип паралельних ЗС. У реальних системах можна задіяти трохи більше 32 процесорів. Системи МРР дозволяють створювати системи з найвищою продуктивністю. Вузлами таких систем часто є SMP.
Комп'ютери з віртуальною загальною пам'яттю (NUMA - системи) Архітектура NUМA (nonuniform memory access) поєднує переваги класів систем SMP (відносна простота розробки програм) і систем МРР (хороша масштабованість - можливість нарощування числа процесорних вузлів у системі). Головна її особливість – неоднорідний доступ до пам'яті. Суть особливої організації пам'яті. Пам'ять фізично розподілена по різних частинах системи, але логічно вона є спільною, тому користувач бачить єдиний адресний простір. Кожен із однорідних модулів складається з невеликої кількості процесорів та блоку пам'яті. Модулі поєднані за допомогою високошвидкісного комутатора. Підтримується єдиний адресний простір, апаратно підтримується доступом до віддаленої пам'яті, тобто. до пам'яті інших модулів У цьому доступ до локальної пам'яті здійснюється у кілька разів швидше, ніж віддаленої. По суті, архітектура NUMA є MPP (масивно-паралельною) архітектурою, де як окремі обчислювальні елементи беруться SMP (симетрична багатопроцесорна архітектура) вузли. Доступ до пам'яті та обмін даними всередині одного SMP-вузла здійснюється через локальну пам'ять вузла і відбувається дуже швидко, а до процесорів іншого SMP-вузла також є доступ, але повільніший і через складнішу систему адресації.
Кластерні системи Кластер – це два або більше комп'ютерів (вузлів), що об'єднуються за допомогою мережевих технологій на базі шинної архітектури або комутатора і є єдиним інформаційно-обчислювальним ресурсом для користувача. Як вузли кластера можуть бути обрані сервери, робочі станції і навіть звичайні персональні комп'ютери. Вузол характеризується тим, що у ньому працює єдина копія операційної системи. Перевага кластеризації підвищення працездатності стає очевидним у разі збою будь-якого вузла: у своїй інший вузол кластера може взяти він навантаження несправного вузла, і користувачі не помітять переривання у доступі. Можливості масштабованості кластерів дозволяють багаторазово збільшувати продуктивність додатків для більшого числакористувачів технологій на базі шинної архітектури чи комутатора. Такі суперкомп'ютерні системи є найдешевшими, оскільки збираються на базі стандартних комплектуючих елементів, процесорів, комутаторів, дисків та зовнішніх пристроїв.
Кластерні системи Типи кластерів Клас I. Клас машин будується цілком із стандартних деталей, які продають багато постачальників комп'ютерних компонентів (низькі ціни, просте обслуговування, апаратні компоненти доступні з різних джерел). Клас ІІ. Система має ексклюзивні або не дуже поширені деталі. Так можна досягти дуже хорошої продуктивності, але за більш високої вартості. Спосіб з'єднання процесорів один з одним більшою мірою визначає її продуктивність, ніж тип процесорів, що використовуються в ній. Критичний параметр – відстань між процесорами (визначає величину продуктивності такої системи). Тому іноді доцільніше створити систему з більшої кількості дешевих комп'ютерів, ніж із меншої кількості дорогих. У кластерах використовуються Операційні системи, стандартні для робочих станцій, (наприклад, Linux, FreeBSD, що вільно розповсюджуються), разом зі спеціальними засобами підтримки паралельного програмування та балансування навантаження. Для з'єднання комп'ютерів у кластер найбільш широко зараз використовується технологія Fast Ethernet(Простота її використання та низька вартість комунікаційного обладнання).
Закон Амдала та його наслідки Збільшення кількості процесорів не призводить до пропорційного зростання продуктивності. Причини 1.Відсутність максимального паралелізму в алгоритмі та/або незбалансованості навантаження процесорів. 2. Обміни, конфлікти пам'яті та час синхронізації. Припустимо, що у вашій програмі частка операцій, які потрібно виконувати послідовно, дорівнює f, де 0
Нейровичислительная архітектура Для підвищення продуктивності ЕОМ необхідно перейти від принципів фон-Неймана до паралельної обробки інформації. Тим не менш, паралельні комп'ютери поки не набули поширення з кількох причин Одним із варіантів реалізації класів архітектур обчислювальних систем є нейрокомп'ютер. Нейрокомп'ютер - це обчислювальна система з MIMD архітектурою, яка є сукупністю дуже простих однотипних процесорних елементів (нейронів), об'єднаних множинними зв'язками. Основні переваги нейрокомп'ютерів пов'язані з масовим паралелізмом обробки, який зумовлює високу швидкодію за низьких вимог до параметрів елементарних вузлів. Стійкі та надійні нейросистеми можуть створюватися з низьконадійних елементів, що мають великий розкид параметрів. Будь-який нейрокомп'ютер за своєю будовою представляє нейронну мережу (нейросеть). Нейронна мережа - це мережа з кінцевим числом шарів, що складаються з однотипних елементів - аналогів нейронів з різними типамизв'язок між шарами. Елементарним будівельним елементом нейронної мережі (НС) є нейрон, який здійснює зважене підсумовування сигналів, що надходять на його вхід. Результат такого підсумовування утворює проміжний вихідний сигнал, який перетворюється активаційною функцією вихідний сигнал нейрона.
Завдання, що вирішуються СР на даному етапі їх розвитку: формування моделей і різних нелінійних і важко описуваних математично систем, прогнозування розвитку цих систем у часі: системи управління та регулювання з передбаченням; управління роботами, іншими складними пристроями; різноманітні кінцеві автомати: системи масового обслуговування та комутації, телекомунікаційні системи; розпізнавання зорових, слухових образів; асоціативний пошук інформації та створення асоціативних моделей; синтез мови; формування природної мови; прийняття рішень та діагностика в галузях, де відсутні чіткі математичні моделі: у медицині, криміналістиці, фінансовій сфері;
Структура та властивості штучного нейрона Нейрон складається з елементів трьох типів: помножувачів (синапсів), суматора та нелінійного перетворювача. Синапси здійснюють зв'язок між нейронами, множать вхідний сигнал на число, що характеризує силу зв'язку (вага синапсу). Суматор виконує складання сигналів, що надходять по синаптичних зв'язках від інших нейронів, та зовнішніх вхідних сигналів. Нелінійний перетворювач реалізує нелінійну функцію одного аргументу – виходу суматора. Ця функція називається функцією активації або функцією передавання нейрона.
Структура та властивості штучного нейрона Нейрон реалізує скалярну функцію векторного аргументу Математична модель нейрона: y = f(s) де w i - вага синапсу, i = 1 ... n; b – значення зміщення; s - результат підсумовування; x i - компонент вхідного вектора (вхідний сигнал) i = 1 ... n; у - вихідний сигнал нейрона; n – число входів нейрона; f – нелінійне перетворення (функція активації). У загальному випадкувхідний сигнал, вагові коефіцієнти та зсув можуть набувати дійсних значень. Вихід (у) визначається видом функції активації та може бути як дійсним, так і цілим. Синаптичні зв'язки з позитивними вагами називають збуджуючими, з негативними вагами – гальмуючими. Описаний обчислювальний елемент можна вважати спрощеною математичною моделлю біологічних нейронів
Структура і властивості штучного нейрона На вхідний сигнал (s) нелінійний перетворювач відповідає вихідним сигналом f(s), який є вихід нейрона. Однією з найпоширеніших є нелінійна функція активації з насиченням (логістична функція або сигмоїд (функція S-подібного вигляду): f(s) = 1 / (1+e-as) При зменшенні а сигмоїд стає більш пологім, у межі при а = 0 вироджуючись у горизонтальну лініюна рівні 0,5, при збільшенні а сигмоїд наближається до виду функції одиничного стрибка з порогом 0. З виразу для сигмоїду очевидно, що вихідне значення нейрона лежить у діапазоні (0, 1). Одна з цінних властивостей сигмоїдальної функції – простий вираз для її похідної. Крім того, вона має властивість посилювати слабкі сигналикраще, ніж великі, і запобігає насиченню від великих сигналів, оскільки вони відповідають областям аргументів, де сигмоїд має пологий нахил.
Синтез нейронних мереж Залежно від функцій, що виконуються нейронами в мережі, можна виділити три типи нейронів: вхідні нейрони, на які подається вектор, що кодує вхідний вплив або образ зовнішнього середовища; у них зазвичай не здійснюється обчислювальних процедур, а інформація передається з входу на вихід шляхом зміни їхньої активації; вихідні нейрони, вихідні значення яких становлять виходи нейронної мережі; перетворення в них здійснюються за виразами (1.1) та (1.2); проміжні нейрони, що становлять основу нейронних мереж, перетворення в яких виконуються також за виразами (1.1) та (1.2). У більшості нейронних моделей тип нейрона пов'язаний з його розташуванням у мережі. Якщо нейрон має лише вихідні зв'язки, це вхідний нейрон, якщо навпаки - вихідний нейрон. У процесі функціонування мережі здійснюється перетворення вхідного вектора на вихідний, деяка переробка інформації. Відомі нейронні мережіможна розділити за типами структур нейронів на гомогенні (однорідні) та гетерогенні. Гомогенні мережі складаються з нейронів одного типу з єдиною функцією активації, а гетерогенну мережу входять нейрони з різними функціями активації.
Вибір кількості нейронів та шарів Кількість нейронів та шарів пов'язано: 1) зі складністю завдання; 2) із кількістю даних для навчання; 3) з необхідною кількістю входів та виходів мережі; 4) з наявними ресурсами: пам'яттю та швидкодією машини, на якій моделюється мережа; Якщо в мережі дуже мало нейронів або шарів: 1) мережа не навчиться і помилка під час роботи мережі залишиться великою; 2) на виході мережі не передаватимуться різкі коливання апроксимованої функції y(x). Якщо нейронів або шарів занадто багато: 1) швидкодія буде низькою, а пам'яті потрібно багато на фон-нейманівських ЕОМ; 2) мережа перенавчиться: вихідний вектор передаватиме незначні та несуттєві деталі в досліджуваній залежності y(x), наприклад, шум або помилкові дані; 3) залежність виходу від входу виявиться різко нелінійною: вихідний вектор буде суттєво і непередбачено змінюватися при малій зміні вхідного вектора x; 4) мережа буде нездатна до узагальнення: в області, де немає або мало відомих точок функції y(x) вихідний вектор буде випадковий і непередбачуваний, не буде адекватний розв'язуваній задачі
Підготовка вхідних та вихідних даних Дані, що подаються на вхід мережі та знімаються з виходу, мають бути правильно підготовлені. Один із найпоширеніших способів - масштабування: x = (x - m) c де x - вихідний вектор, x - масштабований. Вектор m – усереднене значення сукупності вхідних даних, з – масштабний коефіцієнт. Масштабування бажано привести дані в допустимий діапазон. Якщо цього не зробити, то можливо кілька проблем: 1) нейрони вхідного шару або виявляться в постійному насиченні (|m|великий, дисперсія вхідних даних мала) або будуть весь час загальмовані (|m|малий, дисперсія мала); 2) вагові коефіцієнти приймуть дуже великі або дуже малі значення при навчанні (залежно від дисперсії), і, як наслідок, розтягнеться процес навчання та знизиться точність
Навчання мережі Процес функціонування СР залежить від величин синаптичних зв'язків, тому, задавшись певною структурою СР, що відповідає будь-якій задачі, розробник мережі повинен знайти оптимальні значення всіх змінних вагових коефіцієнтів (деякі синаптичні зв'язки можуть бути постійними). Цей етап називається навчанням СР. Здатність мережі вирішувати поставлені перед нею проблеми під час експлуатації залежить від того, як якісно він буде виконаний. На етапі навчання крім параметра якості підбору терезів важливу роль відіграє час навчання. Як правило, ці два параметри пов'язані зворотною залежністю та їх доводиться вибирати на основі компромісу. Навчання СР може вестись з учителем або без нього. У першому випадку мережі пред'являються значення як вхідних, так і бажаних вихідних сигналів, і вона за деяким внутрішнім алгоритмом підлаштовує ваги синаптичних зв'язків. У другому випадку виходи НС формуються самостійно, а ваги змінюються за алгоритмом, що враховує лише вхідні та похідні від них сигнали.
Навчання мережі Алгоритми навчання поділяються на два великі класи: детерміністські та стохастичні. У першому з них підстроювання ваг є жорсткою послідовністю дій, у другому - вона проводиться на основі дій, що підкоряються деякому випадковому процесу. Розглянемо алгоритм навчання із учителем. 1. Проініціалізувати елементи вагової матриці (зазвичай невеликими випадковими значеннями). 2. Подати на входи один із вхідних векторів, які мережа повинна навчитися розрізняти, та обчислити її вихід. 3. Якщо вихід правильний, перейти на крок 4. Інакше обчислити різницю між ідеальним та отриманим значеннями виходу: Модифікувати ваги відповідно до визначеної формули 4. Цикл з кроку 2, доки мережа не перестане помилятися. З другого краю кроці різних ітераціях по черзі у випадковому порядку пред'являються всі можливі вхідні вектора. На жаль, заздалегідь не можна визначити кількість ітерацій, які потрібно виконати, а в деяких випадках і гарантувати повний успіх.
