Изкуствени невронни мрежи (ANN)

[Mozo]

Невронни мрежи.

1. Структура на изкуствените неврони
Невронните мрежи са съставени от елементи опериращи в паралел – неврони. Тези елементи се базират на структурата на биологичните нервни системи. Също както и в природата функцията на невронната мрежа като цяло се определя от броя и връзките на съставящите я неврони. Чрез правилно обучение на невронната мрежа се постига висока точност на приближение на изходните данни към дадена очаквана функция, като това се постига чрез регулиране на тегловните коефициенти на връзките между отделните неврони. Обикновено процеса на обучение на невронната мрежа се състои в това на даден набор входни параметри и очаквани резултати, така да се регулират теглата на връзките, че получаващите се на изхода резултати да са максимално близки или еднакви с очакваните. Веднъж обучена, невронната мрежа може да се използва да генерира изходни резултати при какъвто и да е набор входни сигнали. Описаният по горе начин на обучение е т.нар. обучение с учител (supervised training), съществува и т.нар. обучение без учител (unsupervised training). При него обучението се извършва, без да се използват данни за очакваните резултати на изхода, като в случая невронната мрежа се научава сама да класифицира постъпващите на входа данни в класове. Тъй като алгоритмите за обучение без учител няма да бъдат използвани в настоящата работа, то и разглеждането на различните типове невронни мрежи свързани с този метод на обучение ще бъде само информативно. Основно приложение при апроксимация на функции намират т.нар. невронни мрежи с обратно разпространение на грешката (back-propagation neural networks). Метода им на обучение е обучение с учител. Както беше споменато основните градивни елементи на изкуствените невронни мрежи са невроните. Основно един неврон се състои от входове, на които постъпват входните параметри, теглови коефициенти, по един за всеки вход на неврона, отместване и функция на активация. Показаният на фиг. 1 модел на неврон притежава един вход – p, тегловен коефициент на входа –w , отместване – b, което на практика е вход с тегло b, на който е подадена 1 и функция на активация –f. Изхода от неврона – a, се изчислява по формулата .


фиг.1
Входът p се умножава със стойността на тегловния коефициент w, като към така получената стойност wp се прибавя отместването b. Получената сума n се придава като аргумент на функцията f, която изчислява изхода на неврона a. Тази функция на активация f се нарича още трансферна функция. В практиката са известни множество такива функции на трансфер, като най-голямо приложение намират т.нар. стъпална (step function) и сигмоидална функция (sigmoid function). Основната идея в начина, по който работи неврона се състои в това коефициентите w и b да се регулират по такъв начин, че поведението на изхода a да отговаря по очакван начин на изменението на входа p. В зависимост от избраният тип функция на трансфер изхода може да се изменя в различни граници. Най-често използвани са стъпаловидната функция. При нея изхода a е равен на нула, когато сумата n на wp и b е по-малка от 0 и е равен на 1, когато n е равна или по-голяма от 0.


фиг. 2
Друга функция на трансфер е линейната. При нея изхода a се изменя в границите от до и на практика повтаря стойността на n. Обикновено се използва в невроните, реализиращи изходния слой на невронните мрежи с обратно разпространение.


фиг.3
Широко разпространение, особено в мрежите с обратно разпространение на грешката намира сигмоидалната функция, която се използва основно в невроните, реализиращи скритите слоеве на мрежите. При невронни мрежи за класификация, изходният слой също може да е изграден от неврони със сигмоидална функция. Характерно за нея е, че ограничава изхода на неврона a в рамките от 0 до +1, като изменението се извършва по експоненциален закон, като n може да се променя от до .


фиг.4
Тангенс-сигмоидалната функция за разлика от сигмоидалната се изменя в границите от -1 до +1. Използва се в невроните, изграждащи скритите слоеве на невронните мрежи.
,
но реализацията на функцията може да бъде представена и чрез:


фиг. 5

Използваните в мрежите неврони е възможно да имат повече от един вход, както и на практика най-често се случва. При това положение за всеки вход pi се използва отделен тегловен коефициент wi . Изходът на неврона се определя по формулата
,
където R е броят на входовете pi на неврона, а f е определен тип функция на трансфер.

фиг. 6

2.Архитектура на невронните мрежи.
Невронните мрежи са изградени от слоеве. Въпреки че слоевете могат да играят различна роля в една мрежа, то структурата на един слой, при който няма връзки между невроните в същия слой е показана на фиг. 7.

фиг.7
Както може да се забележи от фигурата входовете в слоя p1 до pR са свързани с всички неврони в слоя. Броят на невроните е S, от което следва, че броят на тегловните коефициенти ще бъде S×R. Коефициентите могат да се представят съответно като матрица W с S реда и R стълба.


Свързани последователно слоевете от неврони образуват многослойна невронна мрежа, при която изходите на (n-1) слой се явяват входове на n-тия. На фиг. 8 е показана мрежа състояща се от три слоя неврони. Третият слой е изходния (output layer), на изхода на който се появява крайния отговор на мрежата na дадено състояние на входовете p1..R .

Целият материал: