ҚАЗАҚСТАН РЕСПУБЛИКАСЫ БІЛІМ ЖӘНЕ ҒЫЛЫМ МИНИСТРЛІГІ 

Алматы энергетика және байланыс институты 

 

Ш.М.Байматаева 

қолданбалы АҚПАРАТ теориясы

Оқу құралы 

 

Алматы 2008

  

           Оқу құралында автоматтандырылған басқару жүйелерінде, ақпаратты жүйелерде және байланыс жүйелерінде қосымша аспектісінде ақпарат теориясының негізгі қағидалары мазмұндалған. Оқу құралы студенттерге, магистранттарға арналған.

  

Кіріспе 

Ақпарат алмасуды тиімді ұйымдастыру адамдардың ойдағыдай машықтану іс-әрекеттерінің шарты ретінде үлкен мәнге ие болуда. Қазіргі кезеңдегі қоғамның жұмыс істеуіне қажетті ақпарат көлемі өндірістік потенциалға пропорционал өсуде. Ақпаратпен қамтамасыз ету мәселелерімен айналысатын жұмыс күшінің үлесі тікелей өндірістегі жұмыс күшінен арта түсуде. Сондықтан, мұндай жағдайларда қатарында ақпарат теориясы да бар ақпараттық процестердің өту заңдылықтарын және құрылымын зерттейтін ғылымдар өте өзекті мәселе болып отыр.

Ақпарат материя және энергиямен қатар бастапқы түсінік болып табылады және қатаң мағынада анықтала алмайды. Оның тек негізгі қасиеттерін айтуға болады, мысалы:

а) ақпарат қоршаған орта туралы мәліметтерден тұрады;

ә) ақпарат материалды емес, бірақ ол дискретті таңбалар немесе бастапқы сигналдар түрінде болады;

б) таңбалар және бастапқы сигналдар танитын алушыға ғана ақпарат әкеледі.

Сонымен қатар ақпарат сөзі тек қана ғылыми еңбектерде ғана емес күнделікті өмірде де жиі кездеседі және әрбір адамға интуитивті түсінікті болып табылады. Бұл кезде қысаң практикалық мағынада ақпарат ретінде әдетте сақтау, тасымалдау және түрлендіру нысандары болатын қоршаған орта туралы мәліметтер жиынтығын түсінеді.

Тізбекте ұйымдастырылған белгілер немесе бастапқы сигналдар олардың шынайы уақыт нысандарын қайталайтындықтан емес,  белгілер мен нысандардың арасындағы бір мағыналы байланыс туралы қоғамдық келісімділік бойынша ақпарат тасиды, мысалы, заттар және оларды белгілейтін сөздер. Сонымен қатар, бастапқы сигналдар шынайы өмірдің табиғи заңдарымен тууы мүмкін, мысалы, термопараның шығысындағы температура әсерімен болған кернеу.

Белгілер немесе сигналдардың шынайы өмір нысандарымен бір мағыналы байланысына негізделген ақпарат семантикалық немесе мағыналық деп аталады. Белгілердің ұласу сипатына (реті және өзара байланысы) негізделген ақпарат синтактикалық деп аталады. Белгілер туралы  жалпы ғылымда (семиотика) аталғандардан басқа ақпараттың сигматикалық және прагматикалық тұрғыларын да ерекшелейді. Бірінші жағдайда шынайы өмірдің нысандарын белгілеу үшін белгілерді таңдау, ал екінші жағдайда қойылған мақсаттарға жету үшін ақпараттың құндылық мәселесі зерттеледі. Ең көп практикалық қызығушылық ақпараттың мағыналық, семантикалық және прагматикалық тұрғыларында болатындығы анық. Қазіргі кезеңге дейін ақпараттың құндылық және пайдалық өлшемдерінің сандық критерийлері анықталмаған. Ақпарат теориясы курсында негізгі жұмыс істеу көрсеткіштері мүмкін болатын шекке жақын болатын байланыс жүйелерін құрудың теориялық негіздерін жасауға қатысты  синтактикалық деңгейдің мәселелері зерттеледі. Басқаша айтқанда, алушыға белгілер жиынтығы ретіндегі ақпаратты жеткізу сұрақтары қаралады. Бұл кезде оның мағыналық және прагматикалық мазмұны еленбейді.

Ақпараттың синтактикалық өлшемінің практикалық құндылығы бар, өйткені нәтижесінде алушыға керекті семантикалық ақпарат берілген белгілер немесе бастапқы сигналдар тізбегінде болады. Белгілі уақыт интервалында белгілер көп берілген сайын орташа мағыналық ақпарат та көбірек беріледі.

Ақпарат теориясы статистикалық байланыс теориясының  бір бұтағы болып табылады. Бұл ғылымның пәнін дәлірек белгілеу үшін кейбір түсініктер мен анықтамалар енгізейік. Ақпарат мәліметтер түрінде тасымалданады және сақталады.

Мәлімет ретінде ақпараты бар белгілер немесе бастапқы сигналдар жиынтығын түсінеді. Басқаша айтқанда, мәлімет - белгілі бір формада берілген ақпарат. Мәліметтер, мысалы, телеграмма мәтіні, электронды есептеуіш машинасының (ЭЕМ) шығысындағы мәліметтер, сөз, әуен және т.б.

 Мәліметті алушыға тасымалдау үшін көзден алушыға белгілі бір жылдамдықпен таралатын физикалық процесс қолдану керек болады. Тасымалданатын мәліметті бейнелейтін, уақыт бойынша өзгеретін физикалық процесс сигнал деп аталады. 

Мәліметтер уақыт функциялары бола алады (ақпарат бастапқы сигналдар ретінде берілгенде: сөз, әуен), ал ақпарат белгілер жиынтығы ретінде берілгенде олар уақыт функциясы болмайды.

           Мәліметтерді көзден тұтынушыға тасымалдау үшін  қолданылатын техникалық құрылғылар жиынтығы байланыс жүйесі деп аталады. Байланыс жүйесінің жалпы сұлбасы 1.1 суретте көрсетілген.

 

                                                    

 

 

 

1.1 Сурет - Байланыс жүйесі

Байланыс жүйесі келесі бөліктерден тұрады:

а) мәліметтерді немесе мәліметтер тізбегін  құратын мәліметтер көзі. Мәліметтер әртүрлі типті болуы мүмкін: әріптер немесе цифрлар тізбегі. Моно және стерео дыбыстарда дыбысты беру жүйелеріндегідей бір немесе бірнеше уақыт функциялары және т.б.;

ә) қолданылатын канал сипаттамаларымен анықталған сәйкес типті сигналдарға  мәліметтерді өңдейтін бергіш;

б) канал – сигналдарды бергіштен қабылдағышқа тасымалдауды қамтамасыз ететін техникалық құрылғылар кешені. Каналдың құрамына  сәйкес бергіш пен қабылдағыштың кіріс және шығыс сигналдарын байланыс линиясымен және байланыс линиясының өзімен жанастыратын канал түзуші аппаратура кіреді. Линия дегеніміз сигналды бергіштен қабылдағышқа тасымалдау үшін қолданылатын орта. Мысалы: өткізгіш, коаксиалды кабель, радиотолқындардың таралу облысы, жарық өткізуші және т.б. Әдетте байланыс линиясының кіріс және шығыс сигналдары үздіксіз болып табылады. Мұнымен қатар каналдың кірісінде және шығысында басқа да типті сигналдар болуы мүмкін. Егер каналдың кірісі мен шығысында деңгей бойынша дискретті сигналдар болса, ол дискретті деп аталады. Егер каналдың кірісінде және шығысында сигналдар уақыт бойынша үздіксіз болса, ол үздіксіз деп аталады. Жалпы түрде сигналды канал бойынша бергенде ол шумен қажалады;

в) қабылдағыш әдетте бергішке қарама-қарсы операцияны орындайды, демек мәлімет сигналдар бойынша қалпына келеді. Қабылдағышты құрудың күрделілігі шуылдың әсерінен пайда болған, алынатын сигналдардың формасының өзгеруімен байланысты;

 г) алушы - мәліметті  алатын тұлға немесе аппарат. Бергіште жасалатын мәліметті сигналға түрлендіру процесі - кодтау, ал қабылдағышта оған қарама-қарсы жасалатын операция декодтау деп аталады.

Сонда ақпарат теориясының негізгі мазмұнын құрайтын мәселелерді әртүрлі мәліметтер көзінің мәліметтерін үнемді беру және шуылы бар канал бойынша мәліметтерді сенімді тасымалдау үшін кодтау әдістерін зерттеу ретінде сипаттауға болады.  Ақпарат теориясының негізінде мәліметтер көзін және байланыс каналдарын статистикалық суреттеу және осы суреттеуге негізделген тек қана мәліметтердің ықтималдылық қасиеттерімен ғана анықталатын мәліметтер арасындағы ақпарат санын өлшеу жатыр. Ақпарат теориясы негізінде әртүрлі жүйелердің шекті мүмкіндіктері (демек, ең көп алынатын сипаттамалар) туралы сұрақтарға жауап алуға болады.  Кейбір жағдайларда ақпарат теориясында қолданылатын талдау логикасы шынайы жүйе үшін конструктивті шешім табуға болатын жолды көрсете алады. Ақпарат теориясының пайда болуы 1948 жылы Клод Шеннонның «Байланыстың математикалық теориясы» деген мақаласының шығуымен  байланысты. Оның дамуына біздің отандастарымыз  Колмогоров, Добрушин, Харкевич, Хинчин және басқалар да үлес қосты.

 

  Сигналдардың математикалық модельдері

 

1.1 Сигнал және оның моделі түсініктері

Кең мағынада  сигнал деп ақпараттың материалды тасушысын түсінеміз. Сигналдарға табиғи және белгілі мақсатпен құрылатын сигналдарды жатқызуға болады. Табиғи сигналдарға жарық сигналдарын жатқызуға болады. Арнайы жасалатын сигналдарға нысанның немесе процестің өзгеруі туралы ақпаратты алуға арналған сигналдарды жатқызуға болады.

Сигналдың материалдық негізін ақпараттың тасушысы деп аталатын физикалық нысан немесе процесс құрады. Тасушы модуляция кезінде сигналға айналады.  

Берілетін мәліметтерге сәйкес уақыт бойынша өзгеретін тасушының параметрлері информативті деп аталады. Тасушы ретінде тербелістер қолданылады. Егер   болса бірінші ақпараттық параметр деңгей болады. Гармоникалық электрлік тербелістердің параметрлері: амплитуда, жиілік, фаза.  Тербелістер детерминирленген және кездейсоқ деп бөлінеді.                                                                                               Детерминирленген тербелістер әрбір уақыт кезеңінде дәл анықталған. Кездейсоқ тербелістердің кейбір параметрлерін дәл болжау мүмкін емес. Олар ақпарат таситын сигналдар ретінде немесе бөгеуілдер ретінде қарастырыла алады.

Байланыс каналдарының, сигналдардың және бөгеуілдердің жалпы қасиеттерін зерттегенде олардың физикалық табиғатын, мағынасын және міндетін модельдермен ауыстырамыз.  Модель – шешілетін есеп тұрғысынан қарағанда айтарлықтай факторларды бейнелейтін нысанды, процесті немесе болмысты суреттеу әдісі. Математикалық модельдеу әртүрлі көрсеткіштерді анықтайтын әдіске байланысты әртүрлі әдістермен іске асырылады. Фундаменталды зерттеулер аналитикалық модельдеу әдістеріне негізделеді. Мысалы, сигналдың моделі шектелмеген ұзақтығы бар (синусоидалар) шексіз функциялар санының қосындысымен беріледі. Мәліметтер көзі әрбір мәліметті белгілі бір ықтималдықпен беретіндіктен информативті параметрдің мәнінің өзгеруін дәл айту мүмкін емес. Демек, сигнал кездейсоқ тербеліс болып табылады және оның аналитикалық моделі￿ықти￿алдық сипаттамалармен анықталатын тек қана кездейсоқ процесс болуы мүмкін.

1.2 Детерминирленген сигналдарды беру формалары

Информативті параметрлердің құрылымына байланысты сигналдар келесілерге  бөлінеді:

- дискретті (мәндер саны шекті);

- үздіксіз – (континуум);

- үздіксіз-дискретті.

1.2.1 Үздіксіз немесе аналогты сигналдар (бұл типті кездейсоқ сигналдар үздіксіз кездейсоқ процестер деп аталады). Олар уақыттың барлық кезеңдері үшін анықталған және берілген диапазоннан барлық мәндерді қабылдай алады. Сигналдардың пайда болуына себепкер физикалық процестер көбінесе үздіксіз болады. Мұнымен сигналдардың аналогты деп аталатын екінші аты түсіндіріледі.

 

 

 

1.2.2 Дискреттелген немесе дискретті-үздіксіз сигналдар (бұл типті кездейсоқ сигналдар дискретті уақытты процестер немесе үздіксіз кездейсоқ тізбектер деп аталады). Олар бөлек уақыт кезеңдерінде ғана анықталған және деңгейдің кез келген мәндерін қабылдай алады. Көршілес санақ арасындағы Δt уақыт интервалы дискреттеу қадамы деп аталады.  Мұндай сигналдар уақыт бойынша дискретті деп те аталады.

 
 

1.2.3 Деңгей бойынша дискретті немесе квантталған сигналдар (бұл типті кездейсоқ сигналдар дискретті кездейсоқ процестер деп аталады).  Олар уақыттың барлық кезеңдері үшін анықталған және деңгейдің тек қана рұқсат етілген мәндерін ғана қабылдайды  Δx  = x_k+1+ x_k.

1.1.4 Деңгей және уақыт бойынша дискретті сигналдар (бұл типті кездейсоқ сигналдар дискретті кездейсоқ тізбектер деп аталады). Олар тек қана уақыттың бөлек рұқсат етілген кезеңдерінде ғана анықталған және тек қана деңгейдің рұқсат етілген мәндерін ғана қабылдайды.

 

 

 

1.3 Детерминирленген сигналдардың математикалық модельдері

u(t) күрделі сигналы уақыт бойынша инвариантты сызықты жүйелерден өткенде ол  салмақталған базисті функциялар қосындысы түрінде беріледі.

                                                              (1.1)

мұндағы - сигналдың бар болу уақыты.

Алынған базисті функциялар жиынында u(t) сигналы толығымен  өлшеусіз коэффициенттер жиынтығымен анықталады. Сандардың мұндай жиынтығы сигналдардың дискретті спектрі деп аталады.

(1.1) амалы интервалында уақыт бойынша шектелмеген сигналдар үшін және шекті ұзақтықты сигналдар үшін де әділ. Бірақ та  интервалынан тыс жатқан шекті ұзақтықты сигнал нөлге тең емес, өйткені ол шартты түрде периодты жалғасады деп есептелетін болса ғана қосынды ретінде беріледі. Сондықтан уақыт бойынша шектелген сигнал үшін кез келген уақыт кезеңінде әділ болатын ұсынысты алу керек болса, келесі интеграл қолданылады

                                                                                   (1.2)

         мұндағы  - үздіксіз өзгеретін  параметрімен базисті функция.

Сигналдың үздіксіз (тұтас) спектрі  спектрлі тығыздығымен беріледі.  - өлшемі  кері .Мұнда  өлшеусіз коэффициентінің аналогы болып  шамасы табылады                                 

Сигналдарды (1.1) және (1.2) түрінде беру сигналдардың жалпыланған спектрлі теориясы деп аталады.

Теориялық талдау үшін  қарапайым болуы керек және (1.1) қатарының тез жинақталуын қамтамасыз етуі керек.

1.4 Сигналдың ортогональді берілуі

Базис ретінде ортогональді функциялар жүйесі қолданылады.  кесіндісінде         ……… функциялар жүйесі  ортогональді болады, егер барлық ,  үшін  басқа жағдайда келесі шарт орындалса

                                  

                                                    .                                               (1.3)

Егер барлық  үшін

                                                   (1.4)

қатынасы әділ болса жүйе ортогональді (ортонормаланған) болады. Егер (1.4) орындалмаса - ны -ге көбейтіп нормалайды.

 сигналын ортонормаланған функциялар жиынтығымен бергендегі  коэффициенттерін анықтайық

 

                                                .                                        (1.5)

 интервалы  ортогональдік кесінді ішінде жатса

 

                                       .                                (1.6)

            (1.3) амалына сәйкес  болғанда (1.6) амалының оң жағы 0-ге тең.  болғанда  (1.4) қолданып келесіні аламыз

 

                                                    .                                              (1.7)

Айырманы келесі критерий бойынша анықтайды

                                                   .                                  (1.8)

 

Бұл кезде  қатары функциясына орта квадратты жинақталады деп айтылады.

Кеңінен танылған ортонормаланған жүйе болып еселікті аргументті тригонометриялық функциялар жиынтығы болады

 

,

 

Ол  кесіндісінде ортонормальді.

Егер базис ретінде осы функциялар алынса (1.5) жалпыланған Фурье қатары, ал  мәндері – Фурьенің жалпыланған коэффициенттері деп аталады.

 

 

 

 

 

 

 

 

 

 

 

1.6 Сурет -  0-1 интервалында ортонормаланған Хаар функциялар жүйесі

 

1.6 суретте 0-1 интервалында ортонормаланған Хаар функциялар жүйесі көрсетілген. Сондай-ақ сигналдарды ортогональді базисті Котельников, Чебышев, Лагер, Лежандр және т.б. көпмүшелері жүйесі бойынша беруі белгілі.

Жалпыланған спектрлі теория сигнал ақпаратты жүйелердің звенолары  арқылы өткенде белгілі есептерді талдау кезінде базистік функцияларды таңдауға мүмкіндік береді.

1.5  Сигналды берудің уақыттық формасы

Сигналды берудің уақыттық формасында бірлік импульсті дельта функциялар қолданылады

 

                                                                        (1.9)

  , мұндағы  координаталар басында 0-ден өзгеше.

                                        .                                           (1.10)              

(1.10) көмегімен  уақыт кезеңіндегі   мәнін беруге болады

                                    ,                                           (1.11)

                                        .                      (1.12)

Кіріс сигналын дельта функциясы түрінде қойып (импульсті өтпелі функция) кіріс сигналының сәйкес мәндеріне тең ауданмен жылжытылған дельта‑импульстердің шексіз тізбектеріне реакциялардың суперпозициясы ретінде кіріс сигналына жүйенің реакциясын оңай анықтауға болады

Дельта-функциялар көмегімен тұрақты немесе өзгеретін деңгейлермен идеалды периодты импульстер тізбегін беруге болады.  -  нүктелерінде -ға тең, ал басқа жағдайларда нөлге тең функция.

                                                                                        (1.13)

 - импульстердің ұласу периоды.

                   уақыты кезеңінде u(t)-ні дельта функцияға көбейту бұл функцияның санағын алуға сәйкес болғандықтан  u(t) функциясының бірқалыпты дискреттеу нәтижесін бере алады. 

1.6 Сигналды берудің жиіліктік формасы

Уақыт бойынша инвариантты сызықтық жүйелерді талдау үшін  функцияларды таңдауды қарастырайық. Мұндай жүйелерді зерттегенде шешімдер әрқашан комплексті экспоненциалды уақыт функциясынан тұрады. Инвариантты сызықты жүйелер экспоненциалды уақыт функцияларымен берілген сигналдың сипаттамасын өзгертпейді.

Детерминирленген сигналдарды  базистік функцияларын қолданып беру  (Фурье түрлендіруі) болғанда және  (Лаплас түрлендіруі) болғанда кеңінен қолданылады.

Фурье түрлендіруінде экспоненциалды базистік функцияларды қолдану Эйлер формуласы бойынша

                                                                                           (1.14)

күрделі детерминирленген сигналды гармоникалық құрамалардың қосындысы ретінде беруге мүмкіндік береді. Мұнда- айналым жиілігін білдіретіндіктен беру формасы жиіліктік деп аталады.

1.7 Периодты сигналдардың спектрлері

Математикалық моделі  –  уақыттың периодты функциясы. Мұндай функцияларды экспоненциалды құрамалардың қосындысы түрінде  және оларды гармоникалық құрамаларға түрлендіру арқылы да қарастырайық.

 уақыт интервалында берілген және  Дирихле шарттарына қанағаттандыратын  функциясы -тен -ке дейінгі уақытта  периодымен қайталанатын болсын. Дирихле шарттары келесідегідей: кез келген шекті  интервалда функция үздіксіз болуы керек немесе шекті бірінші ретті үзілулердің және шекті экстремалды нүктелер санынан тұруы керек.

үзілу нүктелерінде функциясы келесіге тең деп есептеу керек

                                            .                                  (1.15)

Егер базисті функциялар экспоненциалды болса

                                        ,                                            (1.16)

 

                                     .                                            (1.17)

(1.16) – Фурье қатары комплексті түрде.

(1.17) –  периодты сигналының комплексті спектрі деп аталады.

 функциясының спектрі дискретті, өйткені ол  сандық осьте  тек бүтін мәндер үшін анықталған. -ның белгілі мәндеріндегі комплексті амплитуда деп аталады.  комплексті спектрінің айналушысы

 

                                        .                                             (1.18)

 

Комплексті спектрді келесі түрде жазайық

 

                                                                                    (1.19)

мұндағы  - амплитудалар спектрі;

 - фазалар спектрі.

Амплитудалар спектрі және фазалар спектрі белгілі болса ол бір мағыналы қалыпқа келеді. Эйлер формуласын қолданайық

                                         .                                             (1.20)

-ді нақты және жорымалық бөлік арқылы жазайық                             

                     .                (1.21)

 амплитудалар спектрі жұп функция болады, демек

 

.                                               (1.22)

 және  жұптылығы қарама-қарсы болғандықтан, фазалар спектрі  - тақ функция.

                                                 .                                             (1.23)

 

 болғанда тұрақты құраманы аламыз

                                                  .                                                (1.24)

 

Фурье қатарының тригонометриялық формасы

 

                                             (1.25)

(1.16) және (1.17) қолданып    

                   (1.26)

 

немесе

 

                          .                        

 

(1.20) формуласын қолданып және -ны  деп белгілеп, келесіні аламыз

                                      .                           (1.27)

 

         Фурье қатарының басқа да тригонометриялық формасы таралған        

                          

                                   .                           (1.28)                                                                                                            

(1.22) және (1.23) формулаларындағы кейбір құрамалар гармоникалар деп аталады.

Амплитудалар және фазалар спектрлерін спектралды диаграммалар арқылы беруге болады. Диаграммада  әрбір гармоникаға ұзындығы амплитудаға, орналасуы  абсциссалар осіне сәйкес келетін вертикалды кесінді құрылады (сызықты спектр).

 

1 мысал.  ұзындықты және  амплитудалы,  жиілігімен төртбұрышты импульстер тізбегінің амплитудалар және фазалар спектрлерін анықтау

 

                             

(1.19) байланысты

 

                   

 

немесе

                           .                                (1.29)

 

k=0,1,2... болғанда  құрамасымен гармоникалардың амплитудалары келесі амалмен анықталады

 

                                           .                                         (1.30)

Амплитудалар спектрінің айналушысы келесі функцияның түрімен анықталады

 

                                           .                                             (1.31)

            Егер болса, онда . Амплитудалардың өзгеруі  функциясына байланысты және импульстердің ұласу жиілігіне байланысты емес.  ге бөлінетін жиіліктерде  айналушы  0-ге тең.

 жағдайы үшін амплитудалар спектрінің диаграммасы 1.7 суретте көрсетілген.

 

 

 

 

 

 

 

1.7 Сурет

 

Спектрдегі құрамалар саны шексіз көп.  таңбалары   жиілік интервалдары тізбегінде ауысатындығын ескеріп, фазалар үшін амалды жазайық

                                                                        (1.32)

мұндағы  -ден басталатын  жиіліктер интервалының нөмірі.

Фазалар спектрі санақ басын таңдауға байланысты.  Егер төртбұрышты импульстің алдыңғы фронты уақыт санағының басы болса, әрбір  интервалдарында фазалар сызықты өседі. Бұл жағдай үшін (T/τ=3;t₁=0) фазалар спектрінің диаграммасы 1.8 суретте көрсетілген:

 

 

 

 

 

 

1.8 Сурет

2 мысал.  Төртбұрышты импульстердің периодты тізбегі үшін Фурье қатарының бірнеше мүшесін есептеу және олардың қосындысы көрсетілген сигналға қалай жинақталатынын қадағалау керек.

Алдыңғы мысал нәтижесін қолданайық.  деп аламыз.

,   ,

                                                   .                                (1.33)

                                 

           Есептеулер 1.1 кестеде көрсетілген.

 

1.1  К е с т е

			Құрамалар
0	0
	0
	0

          * - фаза.

Көрсетілген құрамаларды қосып, төртбұрышты импульстерден  фронттарының тік болуы жеткіліксіздігімен ерекшеленетін 1.9 суретте көрсетілген импульстер тізбегін аламыз:

 

 

 

 

 

 

 

 

 

 

 

 

 

1.9 Сурет

 Импульс фронттарының тік болуы олардың спектрінде негізгі жиіліктен көп асатын жиілігі бар құрамаларының болуынан деп түсіндіріледі.

 1.8 Спектрде энергияның таралуы

Күрделі периодты сигналдар энергиясының оның спектрлі құрамалары бойынша таралуын қарастырайық.  уақыттық функция ретінде 1 Ом резистордағы кернеуді аламыз.

Т тербеліс периодына тең уақыт ішінде резисторда бөлінетін энергия

              

                                                       .                                           (1.34)

 

-ні Фурье қатары түрінде берейік.

 

                           

 

                  

 

                           .                                       (1.35)

 

(1.35) амалындағы интегралдар мәнін анықтайық

 

        

 

                                                                      (1.36)

 

 және  комплексті жанасқан болғандықтан

 

                               .                                        (1.37)

(1.28) және (1.29) формулаларын қолданып  анықтау үшін қысқа амал аламыз

                                     .                        (1.38)

(1.38) амалынан күрделі периодты сигналдың периодтағы орта энергиясы 1 Ом болатын резистордағы оның бөлек әрбір гармоникасымен бөлінетін орта энергиялардың қосындысына тең болатындығы шығады.

Уақыт өткен сайын энергия шексіз өседі, ал орташа қуат тұрақты болады

                                               .                                     (1.39)

Энергия гармоникалардың фазасынан тәуелді емес, демек сигнал формасын өзгерткенде өзінің мәнін  сақтайды.

 

Бақылау сұрақтары

 

1.     Сигнал және бөгеуілдің салыстырмалылығы неде?

2.     Сигналдарды зерттеудің негізгі әдісін сипаттаңыз.

3.     Детерминирленген сигнал дегеніміз не?

4.     Сигналдар модельдерін берудің әртүрлі формаларын атаңыз.

5.                 Функциялар жүйесінің ортогональдылық және ортонормаланғандық шарттарын жазыңыз.

6.     Сигналдарды жиілікті берудің  артықшылықтары қандай?

7.      Амплитудалар және фазалар спектрі дегеніміз не?

8.                      Периодты және периодты емес сигналдардың спектрлерінің айырмашылықтары қандай?

9.                  Периодты және периодты емес сигналдардың тәжірибелік енінің анықтамасын беріңіздер.

10.  Сигналдың ұзақтығы және оның спектрінің ені қалай байланысқан?

 

2 Сигналдың моделі ретіндегі кездейсоқ процесс 

 

         2.1 Сигналдың моделі ретіндегі кездейсоқ процесс

Қарастырылған детерминирленген сигналдардың модельдері белгілі уақыт функциялары болып табылады. Оларды қолдану берілген кіріс сигналдарына белгілі жүйелердің реакциясын анықтаумен байланысты есептерді шығаруға мүмкіндіктер береді. Ақпаратты алу бастапқы жағдайлардың априорлы анықталмағандығын жоюмен байланысты. Сондықтан сигналдардың моделі ретінде кездейсоқ процесс қолданылады. Әрбір алынған детерминирленген функция  осы кездейсоқ процестің іске асырылуы ретінде қарастырылады.

Кездейсоқ (стохастикалық) процесс деп әрбір уақыт кезінде мәндері кездейсоқ болатын  кездейсоқ уақыт функциясын айтады. Кездейсоқ процестің белгілі бір тәжірибе кезінде тіркелген түрі кездейсоқ процестің іске асырылуы деп аталады.

Кездейсоқ процестерді классификациялаудың негізгі белгілері: жағдайлар белгілері, уақыттық параметр және  әрбір уақыт кезеңіндегі  кездейсоқ шамалар арасындағы статистикалық байланыстар.

Ерікті уақыт кезеңдерінде өзгере алатын шекті жағдайлар жиынтықты кездейсоқ процесс дискретті деп аталады. Егер, жағдайлардың өзгеруі  тек қана шекті немесе саналатын уақыт кезеңдерінде мүмкін болса, онда ол дискретті кездейсоқ тізбек болады.

         2.2 Кездейсоқ процестің ықтималдық сипаттамалары

Анықтама бойынша  кездейсоқ процесі ……уақыт кезеңдерінде алынған =, ..., =, ..., = тәуелді N кездейсоқ шамалар жүйесімен суреттеледі. N саны шектеусіз өссе, мұндай жүйе  кездейсоқ процесіне эквивалентті.

Мұндай жүйенің негізгі сипаттамасы N–өлшемді    ықтималдықтар тығыздығы болып табылады.  Ол әрбір  уақыт кезеңдеріндегі мәндері  сәйкес  интервалдарында болатын іске асырылудың  ықтималдығын есептеуге мүмкіндік береді.  Мұндағы    -  кездейсоқ шамасымен қабылданатын мән.

Егер аз шама болса, онда

қатынасы әділ.

 кездейсоқ процесінің  бір өлшемді ықтималдық тығыздығы   уақыт кезеңінде алынған бір кездейсоқ шаманың таралуын сипаттайды. 

 екі өлшемді ықтималдық  және  өз еркімен алынған уақыт кезеңдерінде кез келген  және  екі кездейсоқ шаманың бірге іске асырылуының ықтималдығын анықтауға, демек, процестің динамикалық дамуын бағалауға мүмкіндік береді.  кездейсоқ процесінің бір өлшемді ықтималдық тығыздығын

                                                     (2.1)

қатынасын қолдану арқылы алуға болады.

 кездейсоқ процесінің математикалық күтуі деп кез келген  аргументінде мүмкін болатын іске асырулар жиыны бойынша  кездейсоқ шамасының орта мәніне тең  кездейсоқ емес уақыт функциясын айтады:

                     .                                   (2.2)

Әрбір  үшін    процесінің кездейсоқ мәндерінің  өзінің орта мәнінен шашырау дәрежесі   дисперсиямен  сипатталады

                                                (2.3)

мұндағы  - - орталықтанған кездейсоқ шама.

 әрбір уақыт кезеңінде  дисперсиясы  орта квадратты ауытқудың квадратына тең

                                    .                                                    (2.4)

Кездейсоқ процестердің бірдей математикалық күтулері және дисперсиялары болуы мүмкін, бірақ уақыт бойынша өздерінің мәндерінің өзгеруімен ерекшеленуі мүмкін.

Өз еркімен алынған  және  уақыт кезеңдерінде  процесінің лездік мәндерінің статистикалық байланыстарын анықтау үшін автокорреляциялы немесе корреляциялы деп аталатын  кездейсоқ емес аргументтер функциясы қолданылады.

 және  белгілі бір аргументтерде ол процестің  және  корреляциялық кезең мәндеріне тең

                                                  .                                      (2.5)

Екі өлшемді ықтималдық тығыздығы арқылы (2.5) амалы былайша жазылады

                                        (2.6)

Бұл формула аргументтерге қатысты симметриялы болуына байланысты

                                                                                        (2.7)

қатынасы әділ.                                                                                 

Әртүрлі кездейсоқ процестерді салыстыру үшін корреляциялық функцияның орнына нормаланған автокорреляция функциясын қолданған ыңғайлы

                                       ,                                                (2.8)

(2.3) және (2.4) салыстырса өз еркімен алынған кезінде автокорреляциялы функция дисперсияға айналады

                                  ,                                                     (2.9)

ал нормаланған  автокорреляция функциясы бірге тең

                                .                                                (2.10)

Демек, кездейсоқ процестің дисперсиясын автокорреляциялық функцияның дербес мәні ретінде қарастыруға болады.

Осылайша екі  және  кездейсоқ процестерінің арасындағы байланыс өлшемдері қойылады. Ол өзара корреляция функциясы деп аталады

                              .                                        (2.11)

 

2.3 Стационарлы кездейсоқ сигналдардың жиіліктік берілуі

Дискретті спектрлер. [ - Т, Т] шекті уақыт интервалында берілген

стационарлы кездейсоқ процестің   корреляциялы функциясын  (2.1 сурет) 4Т  периодымен шартты түрде жалғасады деп есептеп  (-T<t₁ , t₂ <T,      -2T<τ < 2T болғанда) Фурье  қатарына (1.16) жіктеуге болады

                                               .                                           (2.12)

 

2.1 Сурет - Стационарлы кездейсоқ процестің корреляциялық функциясы

 

мұндағы ω_k = k ω_1,  ω_{1 =} π /(2T)

                                           (k = 0,±1,±2, …) .                 (2.13)

 

      жұп функция болғандықтан                                           

                                   .                                                (2.14)

τ = t₁ – t₂ деп алып корреляциялық функцияның каноникалық жіктелуін аламыз

                                    .                                            (2.15)

Ол бойынша кездейсоқ процестің каноникалық жіктелуін аламыз                                  

                                                                                   (2.16)

мұнда  .                                                                                    

(2.16) амалы нөлге тең тұрақты құрамасы бар кездейсоқ процесс үшін жазылған. Жалпы жағдайда бұл амалдың оң жағына кездейсоқ процестің математикалық күтуіне сәйкес келетін тұрақты шаманы қосу керек. Корреляциялы функция бұл кезде өзгермейді. Бірдей оң және  теріс  k индексті экспоненциалды құрамалардың жұп қосылуы кезінде (2.16) каноникалық жіктелуі тригонометриялық формаға келтіріледі. Осылайша, шекті интервалдағы стационарлық кездейсоқ процесті математикалық күтулері нөлге тең, коррелирленбеген кездейсоқ шамалар болып табылатын әртүрлі жиілікті амплитудалардың гармоникалық құрамалары жиынтығы ретінде беруге болады

                                                                    (2.17)

 

мұндағы = π/(2T);m_u=M[U(t)];M[a_k]=M[b_k]=0;.

Мұндай процестің спектралды диаграммасында әрбір гармоникаға ұзындығы оның амплитудасының дисперсиясына пропорционал, ал абсциссалары жиілікке сәйкес келетін вертикалды кесінді сәйкес келеді (2.2 сурет).

 

 

 

 

 

 

  

2.2 Сурет - Спектралды диаграмма

 

 Дәл мағынада демек,  -∞<t<∞ шексіз интервалында кез келген уақыт кезеңінде әділ болатын стационарлы кездейсоқ процестің суреттелуін алу үшін  интегралды каноникалық жіктеуге көшу керек.

2.4 Үздіксіз   спектрлер  

 Корреляциялы функция үшін интегралды каноникалық жіктеуді (2.12) формуласынан T → ∞ ұмтылғанда шекке көшіп аламыз. (2.13) шығатындай, кездейсоқ процесс байқалатын уақыт интервалының көбеюі, дисперсия мәндерінің азаюымен және де

 

                                                                                         (2.18)

болғандықтан спектралды линиялар арасындағы ара-қашықтықтың қысқаруымен сипатталады. Жеткілікті үлкен, бірақ шекті Т  кезінде жиілік бойынша дисперсияның орташа таралу тығыздығы үшін амал жазуға болады

                                            (2.19)

мұндағы ω_k жиілігі маңындағы дисперсияның орта тығыздығы.

Енді (2.15) және (2.19) формулаларын келесідегідей түрлендіруге болады                                            

                                        .                                          (2.20)

                                        .                                          (2.21)

         T→ ∞ болғанда шекке көшіп келесіні аламыз

                                            ,                                         (2.22)

            мұндағы            .                                        (2.23)

 шамасы R _u(τ) корреляциялық функциясының жіктеу коэффициентінің D_k дисперсиясы  ғана емес, сондай-ақ U(t) кездейсоқ процесін  жіктеу коэффициентінің D[C_k] дисперсиясы болғандықтан T→ ∞ шекті көшу кезінде алынған  , шамасы  (ω, ω + dω) шексіз аз интервал жиілігімен стационарлы кездейсоқ процестің спектралды құрамаларына келетін дисперсия болып табылады. Жиіліктер бойынша кездейсоқ процестің таралуын сипаттайтын  функциясын U(t) стационарлық кездейсоқ процесінің спектралды тығыздығы деп атайды.

R _u(τ) корреляциялық функциясының интегралды каноникалық жіктелуі үшін амалды (2.22) формуласында τ = t₁- t₂  деп алып табамыз                                                                   

                                                 _,                                                        (2.24)

G^T(ω) = C_k / (Δω) деп белгілеп және    T→ ∞ ұмтылғандағы шекті көшуді қолданып  U(t) стационарлы кездейсоқ функциясының каноникалық жіктелуін аламыз

                                                                                             (2.25)

мұндағы G(ω)dω кездейсоқ функциясының дисперсиясы  функциясы болып табылады.

         2.5 Спектралды тығыздықтың негізгі қасиеттері

(2.22) және (2.23) формулаларында  оң және теріс жиіліктер үшін анықталған. Тек қана оң жиіліктермен шектеліп бір жақты спектрге көшейік. Эйлер формуласын қолданып (2.23) формуласын келесідегідей жазамыз

                               .                       (2.26)

тақ функция болғандықтан екінші қосынды нөлге тең, ал біріншісін келесідегідей түрлендіруге болады

                                              .                                      (2.27)

(2.27) формуласынан нақты және тақ функция екендігі шығады, демек

                                                      .                                             (2.28)

 

Бұл (2.22) формуласында да оң жиілікпен шектелуге мүмкіндік береді

 

                                                .                                       (2.29)

 

Спектралды диаграммадағы  үздіксіз қисығымен шектелген аудан U(t) кездейсоқ процесінің  дисперсиясына тең болуы керек. (2.29) формуласында τ=0 деп алсақ

                                                 .                                       (2.30)

 

U(t) кездейсоқ процесі ретінде кернеуді түсінетін болсақ D_u –ны осы кернеумен кедергісі 1 Ом болатын  резисторда бөлінетін орташа қуат ретінде қарастыруға болады

                                                        .                                           (2.31)

 

Демек,  шамасы  интервалдарына қатысты спектрдің құрамаларымен бөлінетін қуаттың орта еншісін береді.

         Осыған байланысты  спектралды тығыздығын қуаттың спектралды тығыздығы және де -да энергия өлшемі бар болғандықтан стационарлық кездейсоқ процестің энергетикалық спектрі деп те атайды.

 

Мысал. Орталықтанған стационарлы кездейсоқ процестің спектралды тығыздығы тұрақты. Осындай процестің ерекшеліктерін қарастыру керек.

спектралды тығыздығы 2.3 суретте көрсетілгендей белгілі бір жиілік жолағымен шектелген болсын

 

 

 

 

 

 2.3 Сурет

                                                                          (2.32)

(2.29) байланысты U(t) процесінің автокорреляциялы функциясын табамыз

                                                      .                    (2.33)

 

     функциясының түрі 2.4 суретте көрсетілген

 

 

 

 

 

 

 

 

2.4 Сурет

  болғанда оның мәні дисперсияға, демек қарастырылып отырған процестің орташа қуатына тең

                                           .                                      (2.34)

Енді энергетикалық спектрдің жиілік жолағын 2.5 суреттегідей кеңейтеміз.

 

 

 

 

 

2.5  Сурет

Бұл кезде айтарлықтай корреляциялық байланыс мәні байқалатын уақыт интервалы азаяды, ал дисперсия D_u өседі.  болғанда дисперсия шексіз болады, ал корреляциялық функция дельта функция түріне келеді (2.6 сурет).

 

 

 

 

 

 

2.6  Сурет

Энергетикалық спектрі шексіз және бірқалыпты болатын идеалданған кездейсоқ процесс «ақ шуыл» ретінде белгілі. Мұндай атау интенсивтіліктің бірқалыпты және шектелмеген спектрі бар ақ жарыққа байланысты шыққан. Мұндай процестің негізгі ерекшелігі - оның мәндері кез келген екі қанша болса да жақын уақыт кезеңдерінде  коррелирленбеген. Ақ шуылды жасау мүмкін емес, өйткені шынайы сигналдар көздерінің қуаты әрқашан шекті. Бірақ ақ шуыл түсінігі ақпараттық техникада кеңінен қолданылады. Мұндай модель жүйенің кіріс блогындағы өткізу жолағы шегінде бірқалыпты энергетикалық спектрі бар сигналдар (шуылдар) үшін қабылдануы мүмкін.

Кейде реалды ақ шуыл ретінде  шекті бірқалыпты энергетикалық спектрі бар, бірақ жеткілікті кең жиілік жолағымен стационарлы кездейсоқ процесті айтады.

 

Бақылау сұрақтары

 

1.     Кездейсоқ процесті неге сигнал моделі ретінде қолданады?

2.      Уақыттың кездейсоқ функцияларының түрлерін атап шығыңыз.

3.      Кездейсоқ процестің дәл математикалық суреттелуі неліктен күрделі?

4.      Кездейсоқ процестің математикалық күтуін, дисперсиясын және корреляциялық функциясын қалай анықтауға болады?

5.       Корреляциялық функцияның физикалық мағынасын түсіндіріңіз, оның қасиеттерін атап шығыңыз.

6.      Қандай кездейсоқ процесс орталықтанған деп аталады?

7.            Кездейсоқ процестің стационарлық анықтамасын  қысаң және кең мағынада  суреттеп беріңіз.

8.      Стационарлық кездейсоқ процестің эргодикалық шартын айтып беріңіз.

9.      Ток немесе кернеу өлшемі бар стационарлық кездейсоқ процестің  дисперсиясының физикалық мағынасы қандай?

10.  Кездейсоқ процестің каноникалық жіктелуі дегеніміз не?

11.  Процестің корреляциялық функциясы бойынша жіктеудің кездейсоқ коэффициентерінің дисперсиясы қалай анықталады?

12.  Стационарлық кездейсоқ процестің корреляциялық функциясын оның спектралды тығыздығымен байланыстыратын қатынастарды көрсетіңіз.

13.        Стационарлық кездейсоқ процестің спектралды тығыздығының негізгі қасиеттері қандай?

14.  Қандай кездейсоқ процесс ақ шуыл деп аталады және оның негізгі сипаттамалары қандай?

онарлық кездейсоқ процесстің корреляциялық функциясын йсоқ дисперсиялары қалай анықталады

ы қандай лады

3 Кванттау және дискреттеу

 

3.1  Үздіксіз мәліметтер. Кванттау және дискреттеу

Бұл тарауда әрбір уақыт кезеңінде кездейсоқ түрде шексіз мүмкін болатын жағдайлар жиынтығынан бір жағдай қабылдай алатын үздіксіз мәліметтер көзін қарастыратын боламыз. Үздіксіз мәлімет деп көздің жағдайына бір мағыналы сәйкес келетін үздіксіз кездейсоқ шаманы түсінетін боламыз. Мұндай мәліметті ықтималдықты суреттеу толығымен оның таралу тығыздығымен беріледі. Уақыт бойынша өзгеру сипатына байланысты мәліметтер үздіксіз кездейсоқ процестер немесе кездейсоқ тізбектер деп аталатын дискретті уақытты процестер болады. Байланыс каналы бойынша үздіксіз мәліметтерді тасымалдауды ұйымдастырудың екі жолы  бар:

а)  үздіксіз    мәліметтерді   дискреттіге   түрлендіру   және   оларды дискретті каналдар бойынша тасымалдау;
          ә) үздіксіз каналдар бойынша тасымалдау.

Ең алдымен Х үздіксіз кездейсоқ шамасының санақтар жиынтығымен берілетін дискретті уақытты X(kΔt) процесі болатын үздіксіз мәліметті қарастырайық.  Мұндай процестің мүмкін болатын іске асырылуының бірі 3.1 суретте көрсетілген. Процестің барлық мүмкін болатын (немесе ең болмағанда ең ықтималдықтылары) санақтарының мәндері  x_min-нан x_max-ға дейінгі диапазонда орналасқан делік. Бұл диапазонды интервалдарының шекті санына бөлейік

                                                                                                       (3.1)

және бұл интервалдардың х_к-1, х_к, х_к+1 және т.с.с шекараларын санақ деңгейлерін процестің рұқсат етілген мәндері деп есептейміз. Бұл кезде рұқсат етілген деңгейлер саны

                                                    N_y=N-1.                                                  (3.2) 

                                                           

 

 

 

 

 

 

  

3.1 Сурет

Санақтың өзінің мәнін жақын рұқсат етілген деңгейге дөңгелектеу процедурасы кванттау немесе мән (деңгей) бойынша дискреттеу деп аталады (сигналдың дөңгелектенген мәндері суретте дөңгелекшелермен көрсетілген). Кванттау операциясынан кейін Х үздіксіз кездейсоқ шамасы мүмкін мәндердің шекті саны бар дискреттіге айналады, ал үздіксіз мәлімет  -  N_у алфавит көлемімен  элементарлы дискретті мәліметтер көзінің тізбегіне айналады. Кванттау операциясы анықтамасынан шығатындай, оған  кванттау қателігі бар болғандықтан ақпараттың жоғалуы тән. Қателік мәнін (демек оның әсерінен жоғалатын ақпарат санын) N_у жеткілікті санын алу арқылы азайтуға болады  ( кванттау қадамын сәйкес азайту салдарынан).
         Үздіксіз уақытты процестермен суреттелетін үздіксіз мәліметтердің басқа түрінің x(t) іске асырылуы  3.2 суретте көрсетілген:

                                                  

 

                                                          3.2 Сурет

Процесс мәндерінің барлық жиынтығын  белгілі бір рұқсат етілген уақыт кезеңдерінде оның лездік мәндер жиынтығымен ауыстыру дискреттеу деп аталады. Үздіксіз мәліметтерді тасымалдау және түрлендіру процестері үшін дискреттеу маңызды болғандықтан оны толығырақ қарастырайық.

3.2 Дискреттеу есебінің жалпы қойылымы

Т интервалында u(t) үздіксіз сигналын  координаталарының жиынтығы ретінде беру

                                                                                                                                   (3.3)                   

деп жазылуы мүмкін, мұндағы А – дискреттеуші  деп аталатын құрылғымен іске асырылатын сигналды берудің дискретті операторы. Осылайша, бастапқы сигналды  қателігімен беретін u^*(t) үздіксіз (қалпына келтіретін) функциясының   координаталар жиынтығы бойынша қалпына келтіру операциясын да жазуға болады

                                                                                        (3.4)

мұндағы В – сигналды қалпына келтіру құрылғысымен іске асырылатын қалпына келтіру операторы.

Техникалық іске асырылуы қарапайым болғандықтан, сызықты операторлар кеңінен қолданылады. Сигналдар координаталарын анықтау үшін

                                              (3.5)

қатынасы қолданылады, мұндағы - салмақтық функциялар жүйесі.

Қалпына келтіретін функция

                                                                               (3.6)

 

аппроксимациялаушы полиномымен беріледі, мұндағы  базисті функциялар жүйесі.

Дискреттеу әдістері ең алдымен сигналдың координаталарын алу әдістеріне байланысты бөлінеді.

         Егер салмақтық функциялар ретінде функциялары қолданылса сигналдың координаталары “өлшенген” болады. Ол кезде базистік функциялар ортогональды болады және болғанда u(t)- ға (3.6) орта квадратты қатарына жинақталады.

         Сондай-ақ қалпына келтірудің берілген қателігі кезінде координаталардың ең аз санын қамтамасыз ететін дискреттеу әдістері де маңызды. Оларды тиімді немесе шекті дискреттеу әдістері деп атайды.

         u(t) сигналының белгілі уақыт кезеңдерінде алынған оның  лездік мәндерімен ауыстырылатын дискреттеу әдістері кең таралған. Бұл жағдайда салмақтық функцияларының ролін Дирактың дельта функциялары орындайды. (1.11) сәйкес  координаталары  таңдауларын немесе  

 көршілес таңдаулардың айырмасын береді деп айта аламыз. Дельта-функцияларды техникалық түрде іске асыру мүмкін емес болғандықтан әрбір таңдаудың ұзақтығы шекті. Санақтарды кілттік құрылғының басқарушы импульстің ұзақтығына байланысты белгілі бір уақыт аралығында алады. Импулсьтің ұзақтығы дискреттеу қадамынан аз болса, таңдаулар амплитудалары сигналдың лездік мәндеріне пропорционал болатын қысқа импульстер болып табылады.

3.3 Таңдау көмегімен жасалатын дискреттеу әдістері

         Дискреттеу әдістерін құру кезінде санақтарды таңдау критерийін тұжырымдау, оларды бастапқы сигнал бойынша қалпына келтіру процедурасын қою және қатені анықтау мүмкіндігін анықтау керек. Көрсетілген есептерді шығару дискреттелетін сигналдың белгілі бір математикалық моделін таңдаумен шешіледі.

         Теориялық зерттеулерде әрбір іске асырылуы квазистационарлы кездейсоқ процесс болатын сигналдың моделі кең таралған. Бұл кезде дискреттеу қадамы спектрдің ең үлкен жиілігінен тәуелді болады. Санақтарды таңдаудың мұндай критерийі жиіліктік деп аталады.

         Дискреттеу қадамын анықтаған кезде санақтардың коррелирленбеген дәрежесіне негізделуге болады. Мұндай критерий корреляциялық деп аталады.

Бірқалыпты дискреттеуді көбінесе n-ші дәрежелі аппроксимациялаушы көпмүшелерді қолданып іске асырады. Сигналдың математикалық моделі ретінде әрбір іске асырылуы (n+1) шектелген туындысы бар u(t) үздіксіз функциясы болып табылатын стационарлы кездейсоқ процесс алынады. Бұл кезде сигналдың динамикалық қасиеттері барлық түрлендіру аралығындағы оның n+1 туындысының ең үлкен модулімен беріледі. Санақтар ең үлкен ауытқу критерийі бойынша алынады.

Бірқалыпты дискреттеу кезінде қадам сигналдың динамикалық сипаттамаларының ең үлкен мәніне байланысты алынатындықтан, сигналдың лездік мәндері күрт өзгермейтін бөліктерде санақтардың артықтылығы пайда болады.

Санақтарда артықтылықты тиімді жоюды адаптивті бірқалыпты емес дискреттеу әдістері қамтамасыз етеді. Бұл жағдайда дискреттеу қадамдарының ұзақтығы сигналдың іске асырылу параметрлерінің мәндерімен тығыз байланысты. Санақтар таңдап алынған қалпына келтіру қателігі критерий ролін атқаратын белгілі бір мәнге жеткенде жасалады.

         3.4 Амплитудалық-импульстік-модульденген сигнал және оның спектрі

Дискреттеу процесінің практикалық іске асырылуы 3.5 суреттегі сұлбада көрсетілген

 

                                                      

 

3.5 Сурет

 

Оның жұмысын сипаттайтын уақыт диаграммалары 3.6 суреттегі сұлбада көрсетілген.

                                                            3.6 Сурет

                                                                                               

Электронды кілт Δt дискреттеу қадамына тең периодпен, t шекті ұзақтықты,  қысқа u_у(t) импульстермен басқарылады. Импульс әсері кезінде кілт тұйықталады және схеманың шығысы кіріске қосылады. Нәтижесінде жүйенің кірісіндегі және шығысындағы сигналдардың графиктері 3.6 суреттегідей болады. Қарастырылған процесті математикалық суреттеу үшін  уақыт бойынша өзгеретін осы сұлбаның беру коэффициентін суреттейтін

                                                                                                              (3.7)

 

функциясын және кілттің басқарушы кірісіне тізбек емес, бір басқарушы импульс берілгенге сәйкес жағдай үшін беру коэффициентінің мәнін суреттейтін  3.7 суретте көрсетілген  K₁(t) функциясын енгізейік.

 

                                                       3.7 Сурет

 

 

                                              .                                            (3.8)

Мұнда, егер  3.6 суреттегі координаталар басын уақыт осі бойынша бір басқарушы импульстің ортасына жүйенің жұмысының шексіз уақыты кезінде жылжытса   (3.9)                    

деп жазуға  болады.

Нәтижесінде (3.7) және (3.9) ескеріп  шығыс сигналын келесі түрде беруге болады
                                   .                                         (3.10)

Шынайы орындалатын дискреттеу нәтижесінде алынатын  функциясы амплитудалық-импульстік-модульденген сигнал деп аталады (қысқаша АИМ-сигнал).

3.5 Дискреттелген сигналдардың спектрлік берілуі

X(t),  және т.с.с. уақыттан тәуелділікті анықтайтын (демек, уақыттық облыста) сигналдарды суреттеумен қатар оларды спектр арқылы беретін басқа да тәсіл (сигналдардың спектрлік берілуі) бар. Бұл кезде x(t) сигналының әрбір түріне Фурье түрлендіруімен байланысты өзінің X(jw) спектрі сәйкес келеді. (3.10) амалын қолданып, X(t) және -нің  спектрлерінің байланысуын анықтайық. Ол үшін (3.10)-да K(t)-ны оның Фурье қатарына жіктелуімен ауыстырып, сосын Фурье түрлендіруінің қасиеттерін қолданамыз.  (3.8) және (3.9) байланысты K(t) – жұп периодты функция болғандықтан ол өзінің -ден -ге дейінгі периодында Фурье қатарына келесідегідей жіктеледі

                                                ,                                    (3.11)

мұндағы , n=0,1,2..., Фурье қатарының косинус коэффициенттері.  -ден  -ге дейінгі аралықта K(t)=K₁(t) болғандықтан, соңғы амалды былайша жазуға болады

                                       .                                        (3.12)

         (3.8) ескеріп және интегралды есептеп келесіні аламыз

.

                                                                                             (3.13)

         (3.11) қатарын (3.10) теңдіктерінің біріншісіне қойып келесіні аламыз  

                                                        (3.14)

мұндағы - санақты импульстердің ұласуының айналу жиілігі (дискреттеу жиілігі). Фурье түрлендіруінің келесі қасиеттері бар екендігі белгілі:

а) егер x(t)-ның X(jw) Фурье түрлендіруі бар болса, онда  ның   Фурье түрлендіруі бар , мұндағы  C=const;

ә) уақыт    функцияларының    қосындысының   Фурье  түрлендіруі   осы

функциялардың Фурье түрлендірулерінің қосындысына тең;
          б) егер  x(t)-ның X(jw) Фурье түрлендіруі бар болса, онда -ның Фурье түрлендіруі бар

.

         Осы қасиеттерді ескеріп (3.14) амалының екі жақ бөлігінен Фурье түрлендіруін есептесек   және X(jw) спектрлерін байланыстыратын амалды аламыз

                     .               (3.15)

Алынған амал амплитудалық-импульстік-модульденген сигналдың спектрі  көбейтілген бастапқы үздіксіз сигналдың және a_n коэффициенттеріне көбейтіліп оңға және солға  ығысқан X(jw) спектр көшірмелерінің  қосындысы  болып  табылатындығын  көрсетеді.  n>0 сәйкес

 шекті ұзақтықты импульстер үшін спектрдің қосылғыштары n өскен сайын өшеді, өйткені бұл жағдайда (3.11) сәйкес a_n коэффициенттері өшеді. Қарастырылған АИМ сигнал дискретті уақытты процеске басқару импульстерінің ұзақтығы аз болған сайын жақын болады.

3.6 Дискреттелген сигналдың математикалық моделі. δ - функция.   Дискреттелген сигналдың спектрі

Тұйық жағдайда кілтті беретін τ ұзақтығы және А коэффициенті  болатындай алынды делік. K₁(t) функциясымен суреттелетін  тең импульс ауданын тұрақты деп есептеп τ→0 болғанда  шекке көшейік, демек . Сонда

                                                                                                  (3.16)

 мұндағы δ(t) - дельта-функция, математикалық абстракция, шексіз аз ені бар және ауданы бірге тең импульсті суреттейтін функция. Осы анықтамаға сәйкес δ – функциясы келесі амалмен анықталады

(3.17)

     

болса

 

 

 

	болса
			(3.18)

болса

және

 

(3.17) және (3.18) амалдары ығыспаған δ – функциясын анықтайды.  δ – функциясының  δ(t+t₀) уақыт бойынша ығысқан (кешіккен δ(t-t₀) және озатын δ(t+t₀)) түсінігі бар, ол келесідегідей анықталады

	(3.19)

 

болса

                                                                                         

 

болса

болса

немесе

(3.20)

                                                                                       

 

δ – функциясымен интегралдарды есептегенде әдетте δ-функциясының

                              .                                                (3.21)

теңдігімен анықталатын сүзушілік қасиетін қолданады. Кейде (3.21) қасиетінің келесі жазбасы пайдалы

                                                                                      (3.22)

мұндағы a=const. Осыған байланысты  (3.10) амалынан, АИМ сигналды анықтайтын шекті есептейік

              .            (3.23)

 (3.23) амалының бірінші теңдігі бойынша τ→0 болған шекте АИМ сигнал дискретті уақытты процеске немесе дискреттелген сигналға айналады деген сөз. (3.23) амалы үздіксіз уақыт функциясының ығысқан δ-функциялар тізбегіне көбейтіндісі болатын дискреттелген сигналдың математикалық моделі болып табылады.  дискреттелген сигналының спектрінің және X(jw) бастапқы үзіліс функциясының спектрінің байланысын қарастырайық. Ол үшін (3.15) амалының екі жағынан шекті есептейік. Бұл шекті көшкенде а_n  коэффициенттері ғана өзгереді,  сондықтан (3.15) формуласына (3.13) алынатын τ→0,  болғандағы сәйкес а=const мәндерін қойсақ ол дискретті функциясының X_n(jw) спектрін береді. (3.11) амалынан   табамыз; мұндағы n=0,1,2...  Сонда  (3.15) келесі түрге келеді

  . (3.24)

(3.24)  амалы  дискреттелген  сигналдың спектрі  шексіз және ω_m периодына тең  периодты  болатындығын  көрсетеді.   Бұл   тұжырымдар  3.8 суретте берілген графиктермен көрсетілген.

 

 

 

3.8 Сурет

         Суретте ω_m жиілігімен шектелген үздіксіз сигнал спектрі (а суреті) және дискреттеудің әртүрлі жиіліктеріне сәйкес дискреттелген сигналдардың спектрлері (ә-в суреттері) көрсетілген.

3.7 Котельников теоремасы

3.8 суретіндегі нәтижелерді талдайық.  Графиктен көргеніміздей

ωd ≥2 ωm

(3.25)

шарты орындалса, дискреттелген сигналдың спектрлерінің қосылғыштары жанаспайды (3.8 б суреті) немесе бір-біріне жақын болады (3.8 ә суреті), бірақ жабылмайды. Спектрлердің қосылғыштарының жабылуы (3.25) шарты орындалмаса  және ω_d<2ω_m  болса ғана орын алады. (3.25) орындалғанда

(3.26)

                                                                                             

жиілікті сипаттамасымен төменгі жиілікті идеалды фильтрді қолданып,  мұндағы C=const>0, және ω_гр=ω_m  деп алып дискреттелген сигнал бойынша x(t) функциясының X(jw) спектрін, демек функцияның өзін де барлық  жақтық спектрлерді сүзіп алып дәл қалпына келтіруге болады.

Математикалық түрде бұл түрлендіру келесідегідей жазылады
                                        (3.27)

мұндағы X^*(jw) – қалпына келтіретін сүзгіштің шығысындағы сигнал спектрі.  болғандағы  теңдігі  дегенді білдіреді, мұндағы - фильтрдің шығысындағы сигнал, өйткені бір спектралды тығыздық әртүрлі екі уақыт функциясына сәйкес бола алмайды. Қалпына келтірудің графикалық берілуі 3.9 суретте көрсетілген.  шартынан сүзгішті беру коэффициентін анықтаймыз:  болғандықтан, демек  , сонда келесіні аламыз

                                            .                                                  (3.28)

Егер (3.25) теңсіздігі орындалмаса, онда Х[j(w-nw₀)] қосылғыштарының өзара жабылуынан спектрінің формасы өзгереді (3.8 в суретті қара) және Х(jw) дәл қалпына келуі, демек x(t)-нің де мүмкін емес. Осылайша, (3.25) теңсіздігі орындалғанда х(t) үздіксіз процесін дискреттеудің нәтижесі болатын  дискретті уақытты процесс теория жүзінде х(t) үздіксіз процесінің барлық мәндері туралы ақпараттан тұрады.

                            

3.9 Сурет        

Бұл тұжырым Котельников теоремасының негізгі мазмұнын  құрады, ол   келесідегідей айтылады:  өзінің   жиіліктер   спектрінде w_m жоғары   болмайтын үздіксіз уақыт функциясы толығымен  жиілігімен ұласатын өзінің x(k·Δt) дискретті санақтар тізбегімен анықталады.

Келтірілген пікірлер бұл теореманы дәлелдеудің мүмкін болатын бір вариантын құрады.

Мысал. Котельников теоремасы бойынша

детерминирленген функция үшін  дискреттеу қадамын анықтау керек. Спектрдің практикалық ені .

         Фурьенің тура түрлендіру формуласын қолданып спектрлі сипаттаманы табамыз

.

Осыдан

.

Спектрдің практикалық енін анықтаймыз

,

 болғандықтан

Тангенстер кестесі бойынша 

Демек,

3.8 Ең үлкен ауытқу критерийі бойынша дискреттеу

Бірқалыпты дискреттеуді n–ші дәрежелі аппроксимациялайтын көпмүшелерді  қолданып  іске  асыруға  болады.  Қалпына  келтіру  әдістері

бойынша ол интерполяциялайтын немесе экстраполяциялайтын болуы мүмкін. Сигналды қалпына келтіргенде ең кіші қателікті қамтамасыз ету есебі қойылмайды. Әдетте оның жіберілген мәні  көрсетіледі.

Көбінесе интерполяциялайтын көпмүшелер ретінде Лагранж, ал экстраполяциялаушы ретінде  Тейлор көпмүшелері қолданылады.

            Бірқалыпты дискреттеу кезінде Лагранждың интерполяциялайтын көпмүшесі келесідегідей жазылады

                                                        (3.29)

мұндағы , ,.

         Қалдық мүшенің мәні

 

                                                                                       (3.30)

мұндағы M_n+1 – барлық түрлендіру интервалындағы u(t) сигналының n+1 туындысының модулі.

         Мысал. Бірінші дәрежелі интерполяциялаушы Лагранж көпмүшесі негізінде бірқалыпты дискреттеудің қадамын анықтау керек.

         Кез келген  уақыт кезеңінің әрбір  аралығындағы u^*(t) қалпына келтіру функциясының мәні u(t_j) санағына тең деп алынады (3.3 сурет)

 

 

 

 

 

 

 

3.3 Сурет

 

(3.30) қатынасы бойынша

 

   .                                          (3.31)

 

Оның ең үлкен мәні дискреттеу қадамына пропорционал. Ол -ден аспау керек. Сонда дискреттеу қадамын анықтайтын шарт

  .                                           (3.32)

         Егер қалпына келтіру екі санақ бойынша жасалса

 

                         ,                               (3.33)

 

сол дискреттеу қадамында қалпына келтіру қателігі екі есе азаяды.

         Тейлордың экстраполяциялаушы көпмүшесі келесі амалмен анықталады:

                           (3.34)

 

мұндағы - t₀ уақытындағы сигналдың n-ші туындысы.

         Қалдық мүшенің мәні

 

            .                             (3.35)

        

Мысал. 0 дәрежелі Тейлор көпмүшесі негізінде бірқалыпты дискреттеу қадамын анықтайық.

         Әрбір    аралығында кез келген t уақыт кезеңінде u^*(t) қалпына келтіретін функциясының мәні u(t_j-1) тең деп алынады (3.4 сурет).

 

 

 

 

 

 

 

3.4 Сурет 

       қалдық мүшесінің мәні аралықтың соңында (t=t_j) болғанда ең үлкен мән қабылдайды

 

                                                .                                        (3.36)

 

     Сондықтан дискреттеу қадамы келесі шартты қанағаттандыруы керек:

 

                                                         .                                         (3.37)

3.9 Дискреттеу қателерін бағалау

3.10 Сурет

Котельников теоремасының тұжырымдары келесі үш математикалық абстракциялар негізінде құрылған:

а)  шектелген спектрлі  функция түсінігінде (шынайы сигналдардың қарапайым моделі ретінде);

ә) төменгі жиілікті идеалды сүзгіш түсінігінде;
          б)  дискретті  уақытты  процесс  түсінігінде   (ұзақтығы  нөлге  тең импульсті АИМ тербелістерінің шекті жағдайына ұқсас).

Нақты айтсақ бұл сөйлемдердің ешқайсысы орындалмайды, сондықтан қателіктер пайда болады.

3.10 Кванттау қателерін бағалау

           Бірқалыпты Δx=const қадамымен кванттауды қарастырайық. Кванттау кезінде ε қатесі пайда болады. Дискретті уақыт процесін кванттағанда пайда болатын ε(k·Δt) кванттау қатесінің тізбегі кванттау шуы деп аталады. Әдетте кванттау шуылын стационарлы эргодикалық кездейсоқ процесс деп есептейді. Кванттау қатесінің ең үлкен мәні, оның орта мәні  және шуыл дисперсиясының (ол кванттау шуылының қуатын сипаттайды) түбір астына тең болатын орта квадратты ауытқуы s_e маңызды. Бұл шамалар кванттау кезіндегі дөңгелектеуге байланысты, сонымен қатар  және s_e шамалары кванттау қадамының шегіндегі сигналдың лездік мәндерінің  w(ε) таралу заңына байланысты. Δx кванттау қадамын сигналдың өзгеру диапазонымен салыстырғанда аз деп есептеп w(x) тығыздығын бұл қадам шегінде бірқалыпты деп алуға болады, демек . Кванттау дөңгелектеумен, қиықпен және модульді қиықпен деп бөлінеді. Дөңгелектеумен кванттағанда оның жоғары немесе төмен жатуына тәуелсіз санақтың дәл мәніне кванттаудың жақын рұқсат етілген деңгейі жазылады. Бұл кезде

                                                      ,                                                  (3.38)

                                                    

Дөңгелектеумен кванттаудың іске асырылуы күрделі болып табылады. Санақтың дәл мәніне жақын төменгі деңгей жазылатын қиықпен кванттау қарапайым орындалады. Бұл кезде

демек, қателіктің ең үлкен мәні 2 есе көп, ал  болғандықтан кванттау тізбегін өңдеу кезінде кванттау қателігінің жиналуы пайда болады.
Дәлділігі және  іске асырылу күрделігі бойынша модульдік қиюмен кванттау аралық жағдайда болады. Теріс санақтарға ең жақын жоғарғы деңгей жазылады. Бұл кезде  демек қателік жиналмайды, бірақ та ең үлкен қателік және де кванттау шуылының қуаты 2 есе көбейеді. N кванттау деңгейлерінің санын көбірек алып,  кванттау қадамын, яғни барлық қарастырылған қателіктерді керекті түрде азайтуға болады.   тұрақты қадамымен кванттау сигналының лездік мәндерінің біркелкі емес таралу заңында   ең аз орта квадратты ауытқу критерийі бойынша оптималды емес. Ең аз ықтималдықты сигнал мәндерінің бөліктерін үлкен қадаммен кванттап,  мәнін осы кванттау деңгейлерінің саны кезінде азайтуға болады.

 

Бақылау сұрақтары

 

1.     Дискреттеу және кванттау процестерінің мағынасы неде?

2.                  Ақпаратты дискретті және цифрлы жіберудің артықшылықтарын сипаттаңыз.

3.     Дискреттеу есебінің жалпы қойылымын айтып беріңіз.

4.      Сигналдың координаталарын алудың негізгі әдістері қандай?

5.                  Сигналды қалпына келтірудің интерполяциялық және экстраполяциялық әдістерін салыстырыңыз.

6.                  Сигналды қалпына келтірудің орта квадратты критерийі дегеніміз не?

7.      Котельниковтың теоремасын айтып беріңіз.

8.                       Санақтары бойынша сигналдың белгілі бір іске асырылуының теориялық қалпына келтіру процедурасы қандай?

9.                  Сигналдың моделі ретінде шектелген спектрлі функцияны қолдану неліктен қолайсыз?

10.             Котельников теоремасына негізделген үздіксіз сигналдарды жіберу әдістерінің техникалық іске асырылуы неліктен күрделі?

11.             Ең үлкен ауытқу критерийі бойынша бірқалыпты дискреттеу процедурасы қандай?

12.             Адаптивті дискреттеудің қандай артықшылықтары және кемшіліктері бар?

13.              Бірқалыпты кванттаудың  орта квадратты қатесі үшін амалды жазыңыз.

14.  Кванттау шуылы дегеніміз не?

15.                   Бөгеуілдер әсері кезінде сигналдың кванттау қадамын қалай есептеуге болады?

 

4 Ақпарат саны

4.1 Дискретті мәліметтегі ақпарат саны. Энтропия

Мәліметтер көзі әрбір уақыт кезеңінде кездейсоқ түрде мүмкін болатын шекті жағдайлар жиынтығының бірін қабылдайды делік. Мұндай көз дискретті мәліметтер көзі деп аталады. Әртүрлі жағдайлар оларды көзбен таңдау салдарынан іске асырылады. U көзінің әрбір жағдайына белгі түріндегі шартты белгілеу сәйкес келеді. N  мүмкін болатын жағдайларға сәйкес келетін u₁, u₂,:,u_i,:,u_N жиынтықтары алфавит, ал N жағдайлар саны алфавит көлемі  деп аталады. Мұндай көзбен мәліметтерді қалыптастыру оның кейбір u_i жағдайын таңдау және  сәйкес белгіні беруге әкеліп соғады. Осылайша элементарлы дискретті мәліметтер ретінде көзбен берілетін u_i символын түсінеміз, бұл кезде Т уақыты кезеңінде көз дискретті мәліметтерді әрқайсысы t_i секунд ұзақтығы бар u_i символдарының жиынтығы болатын (мысалы, u₅, u₁, u₃) элементарлы дискретті мәліметтер тізбегі ретінде бере алады. Мәлімет көзінің мұндай моделі іс жүзінде телеграфия және мәліметтерді беру жағдайларына сәйкес келеді (t_i=const). Көздің кейбір жағдайлары жиірек, ал кейбіреулері сирек таңдалуы мүмкін. Сондықтан ол жалпы жағдайда U дискретті ансамблімен, демек олардың пайда болу ықтималдықтарының жиынтығымен сипатталады. 

                                 ,                          (4.1)

мұндағы P(u_i) - көзбен u_i жағдайын таңдау ықтималдығы. Мәліметтерді көзбен элементарлы дискретті мәліметтер жиынтығы ретінде бергенде толық ықтималдықты суреттеу ретінде u_i әртүрлі символдардың t₁, t₂,...,t_n кезеңінде бірге пайда болу ықтималдығы алынады, мұндағы n – тізбектің ұзындығы

   .                                      (4.2)

Көз туралы мұндай мәліметтер бар болса ұзындығы  n-нен кіші болатын кез келген мәліметтер кесіндісінің ықтималдығын есептеуге  болады. Егер  функциясы уақыт бойынша өзгермесе және  кез келген τ үшін   болса, онда көз стационарлы деп аталады. Егер стационарлық көздің ықтималдық сипаттамаларын анықтағанда ансамбль бойынша орталауды уақыт бойынша орталаумен ауыстыруға болатын болса, мұндай көз эргодикалық деп аталады. Эргодикалық көздің ықтималдық қасиеттерін оның тек бір ғана ең ұзын іске асырылуын  қарастырып бағалауға болады. Әрбір элементарлы мәліметте алушы үшін дискретті мәлімет көзінің жағдайы туралы белгілі бір мәліметтер жиынтығы бар. Белгілі бір алушы үшін бұл ақпараттың сандық өлшемін анықтағанда біз оның мәнімен қатар мағынасын да ескермейміз. Көздің жағдайы туралы мәліметтер болмаса u_i мәліметінің қайсысы алынғандығына қатысты анықталмағандық бар екендігі түсінікті, ал мұндай мәліметтер бар болса анықталмағандық толығымен жойылады. Дискретті мәліметтегі ақпарат санын жоғалған  анықталмағандық шамасымен өлшеген дұрыс. Ақпараттың сандық өлшемі ретінде де қарастыруға болатын осы анықталмағандық өлшемін енгізейік. Өлшем бірқатар шарттарға жауап беруі керек, оның бірі таңдау мүмкіндігінің, яғни   N көзінің алфавит көлемінің өсуімен оның монотонды өсуінің қажеттігі. Енгізілетін өлшемнің аддитивтілік қасиеті болуы керек: егер n_i және m_i жағдайлар жұбын іске асыратын N және M  алфавит көлемдерімен екі тәуелсіз көзді бір көз ретінде қарастырсақ, онда аддитивтілік қағидасы бойынша біріккен көздің анықталмағандығы бастапқы көздердің анықталмағандықтарының қосындысына тең. Біріккен көздің алфавит көлемдері N·M болғандықтан бастапқы функция көздердің жағдайларының ықтималдықтары тең кезінде f(N· M)=f(N)+f(M) шартына жауап беруі керек. Аргументтері көбейтілген кезде функциялардың мәндері қосылатын функция логарифмдік функция болады. Сондықтан көрсетілген шарттар, егер тең ықтималдықты жағдайлар және оны сипаттайтын U ансамблінің анықталмағандығының өлшемі ретінде көздің алфавит көлемінің логарифмін алған кезде орындалады:

                                                      .                                                   (4.3)

Мұнда:

а)  N өскен сайын  H(U) шамасы  монотонды өседі;
        ә) егер  N көзінің алфавит көлемі 1 тең болса, демек анықталмағандық болмаса, онда

                                                       ;

        б) H(U) шамасының   аддитивтілік қасиеті бар, өйткені

 

.

Бұл өлшем Хартлимен 1928 ж. ұсынылған. (4.3)-те логарифмнің негізі принципиалды емес, ол ақпарат санының масштабын немесе бірлігін анықтайды. Көбінесе негіз ретінде 2 саны қолданылады, бұл кезде ақпарат санынының бірлігі екілік бірлік немес бит деп аталады және алфавит көлемі екіге тең ықтималдықты дискретті мәліметтер көзіндегі ақпаратты көрсетеді.  (4.3)-де логарифм негізі 10-ға тең болса дит деп аталатын ондық бірлікті аламыз. Кейде нат деп аталатын ақпарат санының натуралды бірлігін қолданады, бұл кезде (4.3)-тегі логарифм негізі е=2,7 тең.
Қарастырылатын ақпарат саны өлшемінің қолданылуы шектелген, өйткені көзбен кез келген оның жағдайының тең ықтималдықты алынуы қарастырылады. Жалпы жағдайда көздің әртүрлі жағдайларының анықталмағандығы бірдей емес болса, белгілі бір жағдайдың анықталмағандық дәрежесі тек алфавит көлеміне ғана емес осы жағдайлардың ықтималдықтарына да байланысты.  Мұндай жағдайда u_k бір дискретті мәліметте бар ақпарат санын бұл мәліметтің P(u_k) пайда болу ықтималдығы функциясы ретінде анықтап, келесі шамамен суреттеген жөн 

                                .                                        (4.4)

(4.4)-тегі логарифм негізі (4.3)-ке қатысты пікірлер бойынша алынады. (4.4)-тегі бірінші теңдіктегі минус таңбасы ақпарат саны теріс емес сан болуы үшін керек, өйткені әрқашан . (4.3)-те анықталған H(U)  өлшемі сияқты нің аддитивтілік қасиеті бар. Дискретті мәліметтегі ақпарат саны оның пайда болу ықтималдығымен сипатталатын оның күтпегенділік дәрежесінен тәуелді.  Егер көз өзара тәуелді элементарлы мәліметтер тізбегін беретін болса, онда алдыңғы мәліметтер келесілерінің пайда болу ықтималдығын, демек ондағы ақпарат санын өзгерте алады. Ол   алдыңғы белгілі мәліметтермен  мәліметтерін берудің  шартты ықтималдығы бойынша анықталуы керек, сонда ақпарат саны

 

                               .                                 (4.5)

(4.4) және (4.5) пен берілген ақпарат сандары кездейсоқ шама болып табылады, өйткені мәліметтердің өздері кездейсоқ. Оның ықтималдықтарының таралуын анықтағанда барлық ансамбльдің цифрлық сипаттамасы үшін берілген ансамбльде мәліметтер тығыздығының таралуы немесе энтропия деп аталатын бөлек мәліметтердегі ақпарат санының математикалық күтуі қолданылады.                                

.

                                                   (4.6)

Көздің энтропиясы көп болған сайын онымен берілетін мәліметтің орташа күтпегендік дәрежесі көп болады. (4.6) өлшемі Клод Шеннонмен оның  қазіргі ақпарат теориясының негіздері бар 1948ж. шыққан "Байланыс теориясының математикалық негіздері" атты жұмысында жарық көрді. Өлшем энтропия деп кездейсоқ айтылмаған. (4.6) формуласының түрі Больцманның термодинамикалық жүйелердің энтропиясы үшін алынған нәтижесімен беттеседі. Көзде h тең ықтималдықты жағдайлар іске асырылғандағы Шеннон және Хартли өлшемдерінің байланысын қарастырайық, мұнда  .  Осыған байланысты  Хартли көзінің анықталмағандық өлшемін бір дискретті мәліметке келетін ақпарат саны ретінде қарастыруға болады, ал Шеннон бойынша бұл тең емес ықтималдықты жағдайлардың біріндегі орташа ақпарат саны. Ол ақпарат көзінің статистикалық қасиеттерін ескеруге мүмкіндік береді.

4.2 Дискретті мәліметтер көзінің энтропиясының қасиеттері

1. Кез келген дискретті ансамбльдің энтропиясы теріс емес

                                                     .                                                         (4.7)

         Көз Р=1 ықтималдығымен бір ғана мәлімет беретін болса амал нөлге тең болуы мүмкін, бұл жағдайда басқа мәліметтердің ықтималдықтары нөлге тең. Теріс еместік (4.4) сәйкес анықталған көздің әрбір мүмкін болатын мәліметтеріндегі ақпарат санының теріс еместігінен шығады.
          2. N – дискретті ақпарат көзінің алфавит көлемі болсын, сонда                                                                

                                                        .                                                 (4.8)

Мұндай теңдік көздің барлық мәліметтері тең ықтималдықты болғанда орын алады. (4.8) дәлелдеу үшін  айырмасын қарастырайық. Егер u_k көзінің мәліметі P(u_k) ықтималдықтарымен берілсе онда былай жазуға болады

                        

.

                                                                                        (4.9)

Дәлелдеу үшін   теңсіздігін қолданайық.

 

 

 

4.1 Сурет

                                     болса                                  (4.10)

 

                        .               (4.11)

Теңсіздік дәлелденді. Мұнда (4.9) сәйкес болғанда  (бұл теңдіктен  болатындығы шығады). Сонымен, N алфавит көлемімен дискретті көз энтропиясының мүмкін болатын ең үлкен мәні logN-ге тең және оның барлық мәліметтері тең ықтималдықты болғанда ғана алынады.

          3. Бірнеше тәуелсіз статистикалық мәліметтер көздерінің бірігу энтропиясы бастапқы көздердің энтропияларының қосындысына тең - энтропияның аддитивтілік қасиеті. Сәйкес N және M алфавит көлемдерімен u және z бірігулерін қарастырумен шектелейік. u және z екі көздердің бірігуі ретінде P(u_iz_j) барлық мүмкін  болатын комбинациялармен сипатталатын  (u·z) жалпыланған мәлімет көзін түсінеді. Жалпыланған  көздің энтропиясы

                                                                 (4.12)

тең. u және z статистикалық тәуелсіз болса  , онда

.

      (4.13)

Мысал. Екі дискретті кездейсоқ шаманың U және V ансамбльдері берілген

 ,

.

Олардың энтропиясын салыстыру керек.

         Энтропия кездейсоқ шаманың белгілі бір мәндеріне байланысты емес, ал олардың пайда болу ықтималдықтары бірдей болғандықтан

4.3 Шартты энтропия және өзара ақпарат

            (4.6)  теңдігі бойынша анықталған энтропия  бір дискретті көздің немесе

ансамбльдің ақпараттық қасиеттерін анықтайды. Бірақ байланыс техникасында М алфавит көлемімен Z ансамбліне байланысты N алфавит көлемімен U ансамбліндегі мәліметтердің ақпарат санын анықтау маңызды. Мұндай ақпараттық сипаттаманы анықтау үшін Z ансамблінің мәліметі белгілі болғандағы U ансамблінің мәліметімен берілетін H(U/Z) деп белгіленетін орташа ақпарат санын анықтайтын шартты энтропия түсінігін енгізейік.  Егер екі ансамбльдің тәуелсіз элементтері бар болса, онда H(U/Z) анықталмағандық өлшемі берілген z_j -дегі H(U/Z_j) ансамблінің элементтерінің орта анықталмағандығын барлық z_j  мәндері бойынша  орталау арқылы табылады. Соңғысы H(U) энтропиясына сәйкес P(u_k) шартсыз ықтималдықтарын P(u_k/z_j) шартты ықтималдықтарына ауыстыру арқылы алынады.

                          

               .                              (4.14)

Ықтималдықтарды көбейту теоремасы бойынша

                                                                           (4.15)

мұндағы - u_k және z_j мәліметтерінің бірге пайда болу ықтималдығы. (4.15) амалын ескеріп (4.14) амалын

                                                             (4.16)

түрінде жазуға болады. (4.15) және (4.16) басқаша да жазуға болады                                

                                    (4.17)

мұндағы М{}- математикалық күту символы. Шартты энтропия  

                                                                                     (4.18)

теңсіздігін қанағаттандырады, мұнда Z ансамблінің іске асырылуы бойынша U ансамблінің іске асырылуын дәл қоюға болатын болса   (шуылсыз канал). U және Z ансамбльдері тәуелсіз болғанда және Z іске асырылуы U іске асырылуын білдірмесе . Жалпы жағдайда және Z іске асырылуын білу U ансамблінің бастапқы анықталмағандығын төмендетеді. Осыған негізделіп  U және Z ансамбльдерінің өзара ақпарат деп аталатын

                                                                                      (4.19)

ақпарат санын енгізуге болады. Өзара ақпарат энтропияның бірлігі сияқты бірлікпен өлшенеді, мысалы бит. шамасы Z ансамблінің іске асуы туралы бақылау U ансамблінің іске асырылуы туралы қанша орташа бит ақпарат беретіндігін көрсетеді. (4.6) және (4.16)-ны (4.19)-ға қойып келесіні аламыз
                                     (4.20)

 деп есептеп, соңғы амалды келесідегідей жазуға болады

                  

.

                                                                          (4.21)

Өзара ақпараттың келесі қасиеттері бар:

а)                                                                                              (4.22)

Бұл теңдік  U және Z  өзара тәуелсіз болса ғана орын алады. Бұл (4.19) анықтамасынан және (4.18) теңсіздігінен шығады;

         ә)                                      .                                                 (4.23)

 Демек, U-ға қатысты Z-тегі ақпарат саны Z-ке қатысты U-дағы ақпарат санына тең, бұл қасиет  (4.19) симметриясынан шығады. Сондықтан

                                                                            (4.24)

(4.25) (4.26)

деп жазуға болады;
          б)                                       ;                                           

          Мұнда Z іске асырылуы бойынша  U  іске асырылуын дәл қалпына келтіруге немесе керісінше болатын болса теңдік орын алады. Бұл (4.18) және  (4.19) шығады.

в) (4.19)-да  деп есептеп және  ескеріп  аламыз. Бұл көздің энтропиясын U ансамблінің өзіндік ақпараты ретінде қарастыруға мүмкіндік береді. U дискретті мәліметтер ансамблі, ал Z - U мәліметі түрленетін дискретті сигналдар ансамблі болсын, сонда U-дың Z-ке түрлендірілуінің қайтымдылығы бар болса ғана . Түрлендірудің қайтымдылығы болмаса және айырмасын ақпараттың жоғалуы немесе U-ды Z-ке түрлендірудің сенімсіздігі деп атайды.   шамасы түрлендіру шуылының энтропиясы немесе жалған ақпарат деп аталады.

Мысал. u және v көздерін біріктіретін жүйенің жағдайларының ықтималдықтарының матрицасы берілген

 H(U), H(V), H_v(U), H(UV) энтропияларын анықтау керек.

 

Әрбір жүйенің жағдайларының шартсыз ықтималдықтарын берілген матрицаның бағандары және жолдарының  ықтималдықтарының қосындысы ретінде есептейміз

                                            p(u_i)

 

   

;

Шартты ықтималдықтарды анықтаймыз

,

,

,

,

,

          Нәтижелерді тексерейік

4.4 Үздіксіз мәліметтердегі ақпарат

Үздіксіз каналдар бойынша мәліметтерді берудің мүмкіндіктерін бағалау үшін үздіксіз мәліметтердің және каналдардың  сандық ақпараттық сипаттамаларын енгізу керек.  Бұл мақсатпен үздіксіз сигналдар ансамблінің энтропия және өзара ақпарат түсінігін жалпылайық.  Х – кейбір үздіксіз облыста анықталған кездейсоқ шама (қиық немесе кездейсоқ процестің басы)  және оның таралу ықтималдығы  w(х) болсын. Х мәндер облысын  ∆x ұзындығымен үлкен емес аралықтарға бөлейік. х_к<x<x_к+∆x болу Р_к ықтималдығы шамамен w(х_к) ∆x тең, демек

                                      Р_к=Р( х_к<x<x_к+∆x) ∆w(х_к) ∆x.                                     (4.27)

Бұл шама ∆x аралығы кіші болған сайын дәлірек. Мұндай оқиғаның оңдық дәрежесі

                        .                          (4.28)

          Егер  ∆x аралық шегінде Х-тің мәндерін интервалдың басында х_к мәндерімен ауыстырса, онда  үздіксіз ансамбль дискреттімен ауыстырылады және оның энтропиясы (4.6) байланысты  деп анықталады немесе (4.27) ескеріп

.

(4.29)

Енді х мәнін анықтау дәлдігін ∆x аралығын азайту арқылы көбейтеміз. Δx→0 шекке көшіп үздіксіз кездейсоқ шаманың энтропиясын аламыз

,       (4.30)                                                               .                                                       (4.31)

Алынған амалдағы екінші мүше ұмтылады және Х таралу ықтималдығына байланысты емес. Бұл кез келген үздіксіз кездейсоқ шаманың өзіндік ақпараты шексіз үлкен дегенді білдіреді. Мұндай нәтиженің физикалық мағынасы, шекті диапазонда үздіксіз шаманың шексіз көп мәндер жиынтығын қабылдайтындығын ескеріп, сондықтан да оның іске асырылу ықтималдығы алдын ала берілген белгілі бір мәнге тең болатындығын ескерсек түсінікті болады. Нәтижесінде (4.6) байланысты анықталған кез  келген үздіксіз кездейсоқ шама үшін мүмкін болатын іске асырылулардың орташа күтпегендік дәрежесін сипаттайтын энтропия оның таралу заңына тәуелді емес және әрқашан шексіздікке тең екендігі шығады. Сондықтан үздіксіз шамалардың ақпараттық қасиеттерін суреттегенде басқа сипаттамаларды енгізу қажет болады. Мұны (4.30) амалындағы бірінші қосылғыш шекті болатындығына және w(x) ықтималдығының таралу тығыздығымен бір мағыналы анықталатындығына назар аударып жасауға болады. Оны дифференциалды энтропия деп атайды және h(x) деп белгілейді

 

.                                                       (4.32)

4.4.1 Дифференциалды энтропияның қасиеттері

1. Дифференциалды энтропияның кәдімгі дискретті көз энтропиясынан айырмашылығы ол  Х кездейсоқ шама мәндері ансамбліндегі өзіндік ақпарат өлшемі болмайды. Ол Х масштабына байланысты және теріс мәндер қабылдай алады.
           2. Дифференциалды энтропия Х кездейсоқ шамасының барлық мүмкін болатын мәндері тұрақты шамаға ауысқанда өзгермейді. Бұл кезде Х масштабы өзгермейді және

(4.33)

теңдігі әділ.

Осыдан h(x) кездейсоқ шаманың математикалық күтуіне байланысты еместігі шығады, өйткені Х-тің барлық мәндерін С өзгертіп  С және оның орташа мәнін, яғни математикалық күтуін өзгертеміз.

3. Дифференциалды энтропия аддитивті, демек Х және Y тәуелсіз кездейсоқ шамаларының ХY бірігуі үшін
h(XY)= h(X)+ h(Y) әділ. Бұл қасиетті дәлелдеу (4.13) кәдімгі энтропияның аддитивтілігінің дәлелдеуіне ұқсас.

4. σ ²   фиксирленген дисперсиялы барлық Х үздіксіз шамалардан ең үлкен дифференциалды энтропия  гаусс таралуы бар шамада бар, демек

.

(4.34)

Бұл қасиетті дәлелдеуді екі кезеңде өткізейік: алдымен   h(x)                                      

                                                                     (4.35)              
тығыздығымен берілетін гаусс таралуымен есептейік, мұндағы m – математикалық күту, сонан соң (4.34) теңсіздігін дәлелдейік.
(4.35)-ті (4.32)-ге қойып

                                                               (4.36)

табамыз.
           (4.34) теңсіздігін дәлелдеу үшін σ²  дисперсиялы және m математикалық күтумен ω(х) өз еркімен алынған таралуды беріп J түріндегі интегралды есептейік

(4.37)

.

                           

 

Логарифмдердің негіздерінің өзгеру ережесін ескеріп келесіні табамыз

 

өйткені интеграл астындағы  амал – гаусстік таралу тығыздығы.

Осылайша , бұдан , - гаусс таралуының дифференциалды энтропиясы. Дәлелденген теңсіздік гаусс таралуының энтропиясы ең үлкен екендігін көрсетеді.
 

4.5  Үздіксіз екі кездейсоқ шама арасындағы өзара ақпарат

Шекті көшудің көмегімен X және Y үздіксіз кездейсоқ шамалар арасындағы өзара ақпаратты анықтайық. Х және Y анықталу облыстарын сәйкес үлкен емес Δx және Δy аралықтарына бөліп, дискретті шамалармен ауыстырайық. (4.21) амалына байланысты Х және Y шамалар арасындағы өзара ақпаратты анықтауға болады

			(4.38)
	.

 

 

 

            Бұл шекті көшуде ешқандай анық шексіздік пайда болмады, демек өзара ақпарат дискретті мәліметтердегідей мағынасы бар шекті шама болады. Осыны ескеріп

                                                                             .                                                   (4.39)

(4.38) теңдігін келесідегідей беруге болады

.

(4.40)

Мұнда h(X) - (4.32) амалымен анықталған дифференциалды энтропия, ал

(4.41)

h(X/Y) - шартты дифференциалды энтропия. Барлық жағдайларда h(X/Y)≤h(X) екендігін көрсетуге болады. (4.40) формуласының түрі (4.19) амалындағыдай, тек қана энтропияны дифференциалды энтропиямен ауыстырумен ерекшеленеді. (4.22)÷(4.24) теңдіктерімен суреттелетін өзіндік ақпараттың қасиеттері бұл жағдай үшін де әділ болатындығына оңай көз жеткізуге болады.

4.6  ε-энтропия және  үздіксіз ақпарат көзінің ε-өнімділігі

Кез келген үздіксіз мәліметтің бір санағында шексіз санды өзіндік ақпарат бар. Үздіксіз мәліметтер (телефондық сөйлесулер, телехабарлар) байланыс каналы бойынша ойдағыдай беріледі. Бұл практика жүзінде тасымалданған мәліметті дәл өзін қалпына келтірудің қажет еместігімен түсіндіріледі, ал өте жылдам, бірақ шекті дәлдікпен тасымалдау үшін дискретті мәліметтерді тасымалдау кезіндегідей ақпараттың шекті саны керек. Бұл жағдай  үздіксіз мәліметтер көзінің өзіндік ақпараттың сандық өлшемін анықтауға негізделген. Осындай өлшем негізінде үздіксіз ақпаратты берілген дәлдікпен қалпына келтіруге қажетті ең кіші ақпарат саны алынады. Мұндай тәсілді қолданғанда өзіндік ақпарат тек қана мәлімет көзінің қасиеттерінен емес, сондай-ақ қалпына келтірудің дәлдігін сипаттайтын ε параметрін таңдауға байланысты екендігі анық. Берілетін ақпараттың мақсатына және түріне байланысты ε анықтаудың әртүрлі тәсілдері бар. Көбінесе ақпараттық техникада ε ретінде алынған у және берілген х сигналдарының арасындағы орта квадратты ауытқу жиі қолданылады, демек

(4.42)

мұндағы Х және Y – бастапқы және қалпына келтірілген мәліметтерді бейнелейтін сигналдар ансамблі. Бір-бірінен айырмашылығы берілген ε ₀ аспайтын мәліметтер немесе сигналдардың варианттары эквивалентті деп аталады. Эквивалентті X(t) және Y(t) процестері арасындағы  I(X,Y) өзара ақпарат былайша анықталады

(4.43)

         мұндағы h(X) және h(X/Y) – сәйкесінше дифференциалды және шартты  дифференциалды энтропия. Көрсетілген амалдан көрінетіндей I(X,Y) шамасы Х ансамблінің ω(х) өзіндік таралуынан  ғана емес ((4.38) қара), ω(x/y) шартты таралуына да  ((4.41) қара) байланысты екендігі көрінеді. Х процесінің бір санағындағы өзіндік ақпараттың сипаты үшін Х мәліметін оған эквивалентті У мәліметіне түрлендіру әдісінен тәуелділігін жою керек. Егер Х пен Y эквивалентті болғанда өзіндік ақпараттың саны немесе Х процесінің ε-энтропиясы ретінде  ω(X/Y) барлық таралулар бойынша ең кіші болатын I(X,Y) шамасын түсінсек оған қол жеткізуге  болады, демек

.

(4.44)

Осылайша, ε - энтропия берілген дәлдікпен қалпына келтіруге керекті үздіксіз мәліметтің бір санағындағы ең кіші ақпарат санын анықтайды.
Егер Х мәліметтер ансамблі үздіксіз санақты дискретті уақытты процесс болса, онда ε - өнімділік ретінде

(4.45)

шамасын түсінеді, мұндағы υ_с – уақыт бірлігінде берілетін мәліметтің санақтар саны. 

Х – шекті спектрлі үздіксіз кездейсоқ процесс болса оның мәндеріндегі барлық ақпарат   аралығымен алынғандағы санақтардағы ақпаратқа эквивалентті, (f_m-спектрдің шекаралық жиілігі), демек жылдамдық

 

.

(4.46)

Бұл кезде көздің немесе процестің ε-өнімділігі  (4.45) амалымен анықталады, мұндағы υ_с шамасы (4.46) шартынан  анықталады. Егер процестің санақтары коррелирленген болса, (4.44)-тегі Н_ε(Х) шамасы санақтардың арасындағы ықтималдық байланыстар арқылы есептелуі керек. Сонымен, үздіксіз  мәліметтер  көзінің ε-өнімділігі оның мәліметтерін берілген дәлдікпен қалпына келтіру үшін уақыт бірлігінде көздің жасап шығаруға керекті ең кіші ақпарат саны болып табылады.  ε - өнімділікті берілген дәлдік критерийіндегі ақпаратты жасау жылдамдығы деп те атайды.

Х үздіксіз көзінің  мүмкін болатын ең үлкен ε - өнімділігі дисперсиясымен гаусс таралуында қамтамасыз етіледі (бұл шартта h(X) ең үлкен ((4.34) қара). мәнін бағалайық. X(t) үздіксіз мәліметі Р_х берілген қуатпен (дисперсиямен), F_c  шектелген жиілігі бар, бірқалыпты энергетикалық спектрмен стационарлы гаусстық процесс болып табылады, ал ε эквиваленттік критерийі (4.42) түрінде берілген. Қалпына келтірудің берілген дәлдігі М[ε]=0 математикалық күтуімен және  дисперсиясымен (қуатымен) ε(t) аддитивті статистикалық байланыспаған сигнал шуылымен байланысты деп санаймыз. Бастапқы Х сигналын  Y қалпына келтіру сигналының және бөгеуілдің қосындысы ретінде қарастырайық

(4.47)

мұнда ω(x/y)= ω(y+ ε /y)= ω(ε /y)= ω(ε) болғандықтан, h(X/Y) толығымен ε(t) қалпына келтіру шуылымен анықталады. Сондықтан max h(X/Y)=max h(ε). Қалпына келтіру шуылының дисперсиясы  болғандықтан, дифференциалды энтропия шуылдың гаусстық таралуында  ең үлкен болады

.                                        (4.48)

 дисперсиясымен Гаусс көзінің дифференциалды энтропиясы 

.                                           (4.49)

Демек, мәліметтің бір санағына келетін ε - энтропия

(4.50)

 шамасы X(t) және Y(t) мәліметтері эквивалентті болғандағы ең кіші сигнал-шуыл қатынасын суреттейді. Котельников теоремасына байланысты дискреттеу қадамы , ал υ_c=2· F_c.  Бұл кезде мәлімет спектрінің бірқалыптылығы Δt-ға бір-бірінен қашық тұрған санақтардың коррелирленбегенінен, ал X(t)  таралуының гаусстық сипаты олардың тәуелсіздігін қамтамасыз етеді. Демек, (4.45) байланысты

(4.51)

немесе (4.50) ескеріп

.

(4.52)

Мұндай көзбен  Т_с уақыт ішінде берілетін ақпарат саны

.

(4.53)

(4.53) амалының оң бөлігі сигналдың динамикалық диапазонын D=logρ ₀ деп алсақ, оның көлемі деп аталатын сигналдың жалпы ситаттамасымен беттесетіндігін айтып өткен жөн. Бұл -  сигналдың көлемі Т_с ұзақтықтағы сигналдағы ең көп ақпарат санына тең деген сөз.

 

        Бақылау сұрақтары

 

1.                      Таңдаудың анықталмағандық өлшеміне аддитивтілік талабының мағынасы неде?

2.                      Хартлимен ұсынылған анықталмағандық өлшемінің негізгі кемшілігі неде?

3.                       Таңдаудың анықталмағандығы қандай бірліктермен өлшенеді?

4.                       Дискретті ансамбльден таңдаудың анықталмағандық өлшеміне қандай талаптар қойылады?

5.                       Энтропия дегеніміз не?

6.                       Дискретті ансамбльдің энтропиясының негізгі қасиеттерін мазмұндаңыз.

7.                      Дискретті мәліметтер көзінің энтропиясы неге байланысты?

8.                       Шартты энтропия дегеніміз не? Оның мағынасын түсіндіріңіз.

9.                       Бірнеше өзара тәуелді ансамбльдердің энтропиясын қалай анықтауға болады?

10.                   Үздіксіз ақпарат көзінің энтропиясын анықтаудың ерекшеліктері қандай?

11.                   Дифференциалды энтропияның анықтамасын айтып беріңіз.

12.                  Дифференциалды энтропияның негізгі қасиеттері қандай?

13.                   Келесі қандай таралулардың дифференциалды энтропиясы ең көп болады:

 

а) кездейсоқ шаманың өзгеру диапазонына шек қойғанда;

б) кездейсоқ шаманың дисперсиясын шектегенде.

14.                  Ақпарат саны және энтропия түсініктері өзара қалай байланысқан?

15.                   Дербес және орта ақпарат саны түсініктерінің айырмашылықтары неде?

16.                   Ақпарат санының негізгі қасиеттерін айтып беріңіз.

17.                   Анықтылығы толық емес тасымалдау кезіндегі ақпарат санын анықтау үшін амалдарды жазыңыз:

а) дискретті көзден;

б) үздіксіз көзден.

18.                  Кездейсоқ шаманың эпсилон энтропиясы дегеніміз не?

19.                  Көздің немесе процестің ε-өнімділігі  нені көрсетеді?

5 Мәліметтер көзінің және байланыс каналының ақпараттық сипаттамалары

5.1 Дискретті мәліметтер көзінің өнімділігі.  Ақпаратты беру жылдамдығы

Әдетте мәліметтер көздері бір мәліметті беруге бір жылдамдықпен Т орташа уақыт жұмсайды.  көздің өнімділігі  деп уақыт бірлігінде берілген мәліметтер энтропиясының қосындысын айтамыз

.                                                                                                      (5.1)

            Өнімділік секундына битпен өлшенеді.  Егер мәлімет секундынаэлемент жылдамдығымен энтропиясымен   элементарлы дискретті мәліметтер көзінің тізбегі ретінде берілген болса, онда

                                                          .                                                 (5.2)

 Осылайша уақыт бірлігінде бір  мәліметіне есептелген  шартты энтропия және  ақпарат саны үшін сәйкес теңдіктерді алуға болады.  шамасы U-дан  Z-ке ақпаратты беру жылдамдығы деп аталады. Егер, мысалы U дискретті канал кірісіндегі сигналдар ансамблі, ал Z оның шығысындағы сигналдар ансамблі болса онда канал бойынша ақпаратты беру жылдамдығы               

                                    .                   (5.3)            

5.1 Сурет

         Мұндағы  - берілетін сигнал көзінің өнімділігі, ал каналдың "өнімділігі", демек уақыт бірлігінде алынған сигналдағы толық өзіндік ақпарат.  шамасы уақыт бірлігіндегі ақпараттың жоғалуы немесе каналдың сенімсіздігі, ал  U-ға қатысы жоқ және каналдағы бөгеуілдердің әсерінен болатын жалған, бөгде ақпаратты жасау жылдамдығы. Шеннон анықтамасы бойынша каналдың сенімсіздігі шығыс белгілі болғандағы кіріс энтропиясы болады, оны алынған сигналдың орта анықталмағандығының өлшемі деп есептеуге болады.  шамасы, кіріс белгілі және берілетін сигналдың орта анықталмағандығының өлшемі болғандағы шығыс энтропиясы болып табылады.  және  арасындағы қатынас каналдың қасиетіне байланысты. Мысалы, сигналды сапалы қалпына келтіруге жеткіліксіз және бөгеуілдердің төменгі деңгейімен қысаң жолақты канал бойынша дыбыстық сигналды тасымалдағанда пайдалы ақпарат бөлігі жоғалады, бірақ дерлік қажетсіз болмайды, бұл жағдайда . Егер сигнал сапалы қалпына келтірілсе, көршілес радиоканалдың кедергілері бар болса, ол - пайдалы ақпаратты жоғалтпай көп кедергі келтіретін ақпарат алынды деген сөз және

                                                            .                                  (5.4)

         5.2  Дискретті каналдың өткізу қабілеті

Кез келген байланыс каналында канал бойынша ақпарат беріледі, оның берілу жылдамдығы (5.3) анықталады, одан жылдамдық тек каналдың қасиетінен емес, оның кірісіне берілетін сигналға да байланысты екендігі көрінеді, сондықтан каналды ақпаратты беру құрылғысы ретінде сипаттай алмайды. Каналдың ақпаратты тасымалдау қабілетінің сипаттамасын тауып көрейік. Уақыт бірлігінде  M алфавит көлемімен көздің  символы берілетін дискретті каналды қарастырайық. Әрбір символды бергенде канал бойынша орташа  ақпарат саны өтеді, мұндағы U және Z каналдың кірісі және шығысындағы мәліметтер ансамблі. Мұндағы төрт энтропияда H(U) ғана тасымалданатын символдар көзінің өзіндік ақпараты, ол кіріс сигналының көзімен анықталады және каналдың қасиеттеріне байланысты емес. Қалған үш энтропия жалпы жағдайда каналдың да, көздің де қасиеттеріне байланысты. Каналдың кірісіне әртүрлі көздерден  және M бірдей мәндеріндегі P(U) әртүрлі ықтималдықтардың таралуымен сипатталатын символдар беріледі деп есептейік. Әрбір осындай көз үшін канал бойынша берілген ақпарат санының өз мәні бар.  I(U,Z) шамасы ең үлкен болатын белгілі бір P(U) таралу шамасымен кіріс сигналының көзі бар екендігі анық. Барлық мүмкін болатын кіріс сигналының көздері бойынша алынған ең көп берілген ақпарат саны каналдың өзін сипаттайды және бір символға есептегенде каналдың өткізу қабілеті деп аталады.

.                           (5.5)

Мұнда ең үлкен мәнді алу барлық мүмкін болатын  P(U) көп өлшемді таралу ықтималдығы (демек, тізбекті түрде берілетін элементарлы мәліметтердің өзара статистикалық байланыстылығын ескеретін) бойынша жасалады. Әдетте өткізу қабілетін уақыт бірлігінде анықтайды

(5.6)

және оны каналдың өткізу қабілеті деп атайды. Каналдың өткізу қабілеті

                                                                                                   (5.7)

теңсіздіктер жүйесін қанағаттандырады, каналдың кірісі және шығысындағы тізбектер тәуелсіз болса С=0, демек H(U/Z)=H(U) (каналдың үзілуі немесе күшті бөгеуілдер).

                                                                                                          (5.8)

шектелген мәні каналда бөгеуіл жоқ болса байқалады H(U/Z)=H(Z/U)=0, мұнда егер берілген M кезінде ескерсек H(U)=H(Z)=I(U,Z) (энтропияның 2 қасиетін қара).

Мысал ретінде жадысыз дискретті симметриялы каналдың өткізу қабілетін есептейік. Мұндай каналда әрбір берілген кодты символ P берілген ықтималдығымен қате және  (1-P) ықтималдығымен дұрыс қабылдана алады, қате кезінде берілген  символының орнына бірдей ықтималдықпен басқа кез келген символ алына алады. Осылайша, u_k символы берілгендегі z_j  символының қабылдану ықтималдығы

болса                                            (5.9) болса

тең, мұндағы N – көз алфавитінің көлемі. Жадысыз деген термин каналдағы қате ықтималдығы бұрын қандай символдар беріліп және олар қалай алынғандығына байланысты емес деген сөз. (4.24) ба      йланысты .

(4.15) және (4.16) сәйкес келесі амалды аламыз

.

         (5.10)
               Осылайша .

Теңдеудің оң жағында P(U)-дан тек H(Z) байланысты. Энтропияның екінші қасиетіне байланысты ең үлкен мәні барлық алынған Z_j сигналдар тең ықтималдықты және тәуелсіз болғанда ғана іске асырылады. ,  болса бұл шарттың орындалатындығына көз жеткізуге болады. j-дің әрбір мәнінде j=k болғанда осы қосындының  сәйкес бір қосылғышы үшін , ал басқалары үшін . Бұл кезде және

.

                                                  (5.11)

Осыдан каналдың өткізу қабілеті 

.

                                                 (5.12)

Екілік симметриялы канал үшін N=2 және      

                                                                        (5.13)

(5.13) сәйкес құрылған  байланысы 5.2 суретте көрсетілген.

5.2 Сурет

Р=1 болғанда екілік каналдың өткізу қабілеті C=0, өйткені мұндай қате ықтималдығында шығыстағы екілік символдар тізбегін каналмен бермей-ақ оларды шамамен алуға болады, демек Р=1 болғанда кіріс және шығыстағы тізбектер тәуелсіз (канал үзіледі). Екілік каналда P=1 болғанда өткізу қабілеті  P=0 (шуылсыз канал) кезіндегідей болуы, P=1 болғанда бастапқы сигналды дұрыс қалпына келтіру үшін барлық шығыс символдарын терістеу жеткілікті екендігінен шығады.

 5.3 Үздіксіз байланыс каналдарының модельдері

Үздіксіз сигналдарды тасымалдауға арналған каналдарды үздіксіз деп атау қабылданған. Үздіксіз каналдар телефон байланысында, радиохабарламаларда кеңінен қолданылуда. Шынайы үздіксіз каналдар сипаттамалары уақыт бойынша кездейсоқ түрде өзгеретін күрделі инерциялық бейсызықты нысандар болып табылады. Мұндай каналдарды талдау үшін әртүрлі деңгейлердегі күрделілік және шынайы каналдарға сәйкестік деңгейлерімен математикалық модельдер жасалған. Ең кеңінен таралған модельдер гаусс каналының түрлері.

Гаусс каналы деп келесі жорамалдарда құрылған шынайы каналдың математикалық моделін түсінеді:

1.                 Каналдың негізгі физикалық параметрлері белгілі детерминирленген шамалар болып табылады.

2.                 Каналдың өткізу жолағы F_k герц жиілігімен шектелген.

3.                 Каналда гаусстың аддитивті ақ шуылы – бірқалыпты жиілікті спектрлі және амплитудалардың нормальді таралуымен шектелген қуатты бөгеуіл бар.

Канал бойынша тұрақты орта қуатты сигналдар беріледі деп есептеледі, сигналдар және шуылдар арасында статистикалық байланыстар жоқ, сигналдың спектрінің және бөгеуілдің ені каналдың өткізу жолағымен шектелген.

Каналдың ақпараттық сипаттамаларын (беру жылдамдығы, өткізу қабілеті, қолдану коэффициенті) анықтағанда негізгі көңіл гаусс каналына бөлінетін болады.

5.4    Үздіксіз канал бойынша ақпаратты беру жылдамдығы және өткізу қабілеті

 

Үздіксіз канал бойынша ақпаратты тасымалдау жылдамдығы - бұл уақыт бірлігінде тасымалданған сигналдарға қатысты үздіксіз сигналдармен алынған орташа ақпарат саны. 

Каналдың өткізу жолағы әрқашан шектелген болғандықтан үздіксіз мәліметтер жеткілікті ұзын Т уақыт интервалында кейбір қателікпен санақтар қатарымен беріледі. Бөгеуілден пайда болатын санақтар арасындағы корреляциялық байланыстарды ескеріп дискреттелген сигналмен  ақпаратты берудің орта жылдамдығы үшін келесіні аламыз

 

                                     .                                                  (5.14)

Т ұзақтығы көбейген сайын бұл жылдамдық өседі, өйткені әрбір жаңа санақта іске асырылулар анықталады.  шекте (5.14) амалы үздіксіз канал бойынша ақпаратты тасымалдау жылдамдығын анықтайды

                                       .                                           (5.15)

  шекке көшу барлық мүмкін болатын сигналдар бойынша жылдамдықты орталауды білдіреді.

         Кіріс сигналдарының әртүрлі ансамбльдеріне статистикалық қасиеттері белгілі бөгеуілдер әсерінің дәрежесі әртүрлі. Сондықтан ақпаратты тасымалдау жылдамдығы да әртүрлі.

Белгілі техникалық сипаттамалары бар үздіксіз канал бойынша C_н ақпаратты тасымалдаудың мүмкін болатын ең үлкен жылдамдығы үздіксіз каналдың өткізу қабілеті деп аталады

                                    .                                              (5.16)

Мұнда ең үлкен мәнді кіріс сигналдарының мүмкін болатын барлық ансамбльдері бойынша  табады.

 

Бақылау сұрақтары

1.         Мәліметтер көзінің негізгі ақпараттық сипаттамалары қандай?

2.                 Дискретті мәліметтер көзінің өнімділігін анықтаңыз және оны арттырудың жолдары қандай?

3.                 Дискретті каналдың негізгі сипаттамалары қандай?

4.                 Жіберудің техникалық және ақпараттық жылдамдығы дегеніміз не? Олардың айырмашылықтары қандай?

5.                 Каналдың өткізу қабілеті дегеніміз не?

6.         Гаусс каналы ретіндегі модель қалай анықталған?

7.                 Үздіксіз каналдағы ақпаратты беру жылдамдығы және өткізу қабілеттілігі қалай анықталады?

8.        Гаусс каналының өткізу қабілеті үшін амалды жазыңыз.

6 Дискретті канал бойынша берудегі ақпаратты кодтау

6.1 Тиімді кодтау

 Қатенің пайда болу ықтималдығы нөлге жуық дискретті канал идеалды немесе шуылсыз деп аталады. Каналдың өткізу қабілеті  түрінде анықталады. Идеалды каналда H'(U) өнімділігімен  өз еркімен алынған U дискретті көзден каналдың өткізу қабілетіне тең жылдамдықпен ақпаратты жоғалтусыз беру мүмкіндігін анықтайық. Мұндай ақпаратты беру жүйесі 6.1 суретте көрсетілген:

 

                         

                                                

6.1 Сурет

Каналда ақпаратты тасымалдау жылдамдығы оның өткізу қабілетіне тең болу үшін каналдың кірісінде I(Z,Z*) шамасын көбейтетін белгілі бір статистикалық қасиеттері бар дискретті көз болу керек. Бөгеуілсіз идеалды каналда мұндай көздің ең көп энтропиясы немесе нөлдік артықтылығы болуы керек, демек тең ықтималдықты тәуелсіз мәліметтерді беру керек. Мәліметті кез келген статистикалық қасиеті бар өз еркімен алынған көзден тасымалдау кезінде кодердің функциясы статикалық мағынада мәлімет көзін каналдың кірісімен келістіру, демек мәліметтің артықтылығын жоюда болып табылады.  Кодер мәліметтерді кодтайды, демек әрбір дискретті мәліметке белгілі бір ережемен М көлемді алфавиттен символдар тізбегін сәйкес қояды. Өз еркімен алынған бастапқы мәліметтер көзінің артықтылығын толығымен жоятын кодерді құру мүмкіндігі каналдың өткізу қабілетіне тең жылдамдықпен ақпаратты қатесіз беру есебін шешу мүмкіндігін анықтайды. Оны толығымен шешкенде келесі теңдік әділ болады

 
                                                                   (6.1)

осыдан             

                             (6.2)
          мұндағы H(U) – тасымалданатын мәліметтер көзінің энтропиясы, υ_K және υ _C – уақыт бірлігінде берілетін сәйкес мәліметтер және код символдарының орта сандары.  – бір мәліметке келетін символдардың орта саны.  (6.1) және (6.2)  теңдіктерінің дәл орындалуына жақындау дәрежесі мәліметтер көзінің артықтылығының азаю дәрежесіне байланысты. Мәліметтер көзінің артықтылығын жоюға мүмкіндік беретін кодтау тиімді деп аталады. Мұндай кодтау нәтижесінде алынатын кодтар тиімді деп аталады.

Дискретті көздердің артықтылығы екі себепке байланысты:

а) көздің жадысынан;
ә) мәліметтердің біркелкі емес болуынан.

Элементарлы мәліметтерді ірілеу арқылы көздің жадысымен болған артықтылықты азайтуға болады. Кодтау ұзын блоктармен жасалады. Блоктардың арасындағы ықтималдылықты байланыстар мәліметтердің бөлек элементтерінің арасындағы байланыстарға қарағанда азырақ. Бұл кезде ұзын блокты қалыптастырғандықтан мәліметтерді тасымалдау кешеуілдейді. Мәліметтердің біркелкі еместігіне байланысты артықтылықты азайту біркелкі емес кодтарды қолдану арқылы алынады. Мұндай кодтарды құрудың негізгі идеясы пайда болу ықтималдығы үлкен мәліметтерге кодты символдардың ең қысқа блоктары, ал ықтималдылығы аз мәліметтерге ең ұзын блоктардың қойылуына байланысты. Мұндай кодтардың біркелкі еместігіне және U мәліметінің кездейсоқ сипатына байланысты ақпаратты жоғалтусыз тасымалдау үлкен жадылы буферлі жинағыш болса ғана, яғни үлкен кешеуілдету бар болса ғана қамтамасыз етіледі.

6.2 Шуылсыз канал үшін Шеннон теоремасы

Статистикалық кодтаудың шекті мүмкіндіктері шуылсыз канал үшін Шеннон теоремасында қарастырылады. Шеннон теоремасы келесі түрде айтылады: мәлімет көзінің  өнімділігі, ал каналдың   өткізу қабілеті бар болсын. Сонда көздің шығысындағы мәліметтерді мәліметтің бір элементіне келетін кодты символдардың орта санын алуға болатындай  кодтауға болады

                                                                          (6.3)

         мұндағы ε – қанша болса да аз (тура теорема).
         Теореманың

                                                                                   (6.4)

мәнін алу мүмкін еместігін бекітетін кері бөлігі (6.4) амалы ,  теңсіздігіне  эквивалентті   болатынын   ескерсек дәлелдене алады.  Соңғы  теңсіздік   орындала   алмайды, өйткені

қарастырылатын кодтау қайтымды түрлендіру болуы керек (демек ақпаратты жоғалтусыз). Секундына каналдың кірісіндегі  энтропия немесе кодердің өнімділігі каналдың өткізу қабілеттілігінен асуы мүмкін емес.

6.3 Шуылсыз канал үшін Шеннон теоремасын дәлелдеу. Фано әдісі. Тиімді кодтар.

Тура теореманы дәлелдеу тиімді кодтау әдісін көрсетеді, ол келесідегідей: К ұзындықты u_j элементарлы мәліметтер тізбегі болатын α_i мәліметін қарастырамыз. Барлық α_i мәліметтерін олардың ықтималдықтарының кемуі бойынша орналастырамыз, P₁≥ P₂ ≥ …≥P_L   

мұндағы L=N_u^k - α_i мәліметтерінің саны.  болсын, демек Q_s - P_s-1 дейінгі жинақталған ықтималдық болады.  Барлық мәліметтерді екілік жүйеге кодтайық. α_s мәліметі үшін екілік код Q_s жіктелуінің екілік сан ретіндегі (S=1, Q_s=0 болғанда) бөлшек бөлігін жазу арқылы алынады. Жіктеу m_s позициясына дейін жасалады, мұндағы m_s

                                                                                            (6.5)

қатынасына қанағаттандыратын бүтін сан.

Мысалы  4 мәлімет бар болсын:

 

6.1  К е с т е       

P(α1) = ½	P(α 2) = ¼	P(α 3) = 1/8	P(α 4) = 1/8
Q1 = 0	Q2 = ½	Q3 = 3/4	Q4 = 7/8
m1 = 1	m2 = 2	m3 = 3	m4 = 4
код 1	код 01	код 001	код 000

 

Кестенің соңғы жолында көрсетілген кодтар бөлшек бөліктің Шеннон коды. Осылайша жоғары ықтималдықты мәліметтер қысқа кодтармен, ал аз ықтималдықты мәліметтер ұзын кодтармен беріледі. Бұл теңсіздіктерден  келесі теңсіздіктер жүйесі шығады

.

                                                                                                        (6.6)

Ол m_s–ті (6.5) теңсіздіктер жүйесіне сәйкес  таңдағанда sP_s нөмірлі мәліметтің ықтималдығы Q_s екілік жіктелуінің  соңғы кіші разрядының салмағынан аз еместігін көрсетеді.   Осының салдарынан Q _s үшін код кейінгі барлық кодтардан өзінің бір және одан да көп m_s позицияларында ерекшеленеді, өйткені қалған барлық Q_i ең болмағанда  шамасына көп, сондықтан олардың екілік жіктелуі Q_s үшін кодтан ең болмағанда кіші разрядта ерекшеленеді. Бұл ұсынылған кодтау әдісінің бір мағыналылығын көрсетеді. η_с бір мәліметіне келетін орташа символдар санын

                                                                                                        (6.7)

деп анықтауға болады, ал U_k бір элементарлы мәліметіне келетін кодтың орташа символдар саны

                                                  .                                          (6.8)

(6.5) теңсіздіктер жүйесінің барлық бөліктерін   көбейтіп және оларды α_i мәліметтер ансамблі бойынша орталап             

                                             (6.9)

теңсіздіктеріне келеміз, бірақ

                                                                                              (6.10)

мұндағы Нα - К элементті U_i тәуелсіз мәліметтердің бірігуі болатын (жадысыз көзді қарастырамыз) α іріленген мәліме￿тер көзінің э￿тропиясы. Сондықтан энтропияның аддитивтілік қасиеттері салдарынан Hα = K·￿(U). Өз кезегінде

                           .             (6.11)

Осылайша (6.3) теңсіздігін

                                                                                (6.13)

түрінде жазуға болады. (6.13) теңсіздігі К мәнінің шексіз өсуімен код символының  η орта саны көздің бір элементарлы мәліметіне келеді және бұл көздің энтропиясының мәніне қанша болса да жақындайтындығын көрсетеді. Біз алфавит көлемі 2-ге тең  және log₂M=log₂2=1 екілік кодты қарастырғандықтан (6.13) теңсіздігінің орындалуы (6.3) шартының орындалуына эквивалентті  және бұл тура теореманы дәлелдейді. Алынған нәтиже энтропияның келесі талқылануын береді: көздің энтропиясы мәліметтер кодердің шығысы бойынша қанша болса да дәл қалпына келтірілуі мүмкін болатын шартта мәліметке келетін ең кіші екілік символдар саны болып табылады. Дәлелдеудің бұл әдісі Шеннонмен берілген тиімді екілік код құру негізінде қарастырылған.

 

         Мысал. Тиімді кодтау кезіндегі кодты комбинацияның орташа ұзындығын анықтайық. Кодты комбинация 6.2 кестеде келтірілген:

 

6.2 К е с т е

Блоктар	Ықтималдықтар	Кодтық комбинациялар
z1 z2 z3 z4 z5 z6 z7 z8	0,22 0,20 0,16 0,16 0,10 0,10 0,04 0,02	11 101 100 01 001 0001 00001 00000

 

         Ансамбльдің энтропиясы 2,76-ға тең. Шеннон-Фано әдісі бойынша әрбір белгіге кодты комбинациялар ансамблін сәйкес қою арқылы 2.84-ке тең бір символға келетін орташа символдар санын аламыз.

         Демек, символдар тізбегінде артықтылық бар. Шеннон теоремасы бойынша бұл артықтылықты үлкен блоктар арқылы кодтаған кезде жоюға болады.

Мысал. Пайда болу ықтималдықтары сәйкесінше  және  тең екі белгіден тұратын алфивиттен құрылған мәліметтерді тиімді кодтау процедурасын қарастырайық.

         Ықтималдықтар тең болмағандықтан мұндай тізбекте артықтылық бар. Бірақ әріп бойынша кодтау тиімді болмайды.

         Әрбір әріпті жіберуге 1 немесе 0 керек. Энтропия 0,47 тең.

Екі әріптен тұратын блоктарды кодтағанда 6.3 кестеде көрсетілген кодтарды аламыз.

 

6.3 К е с т е

Блоктар	Ықтималдықтар	Кодтық комбинациялар
z1z1 z1z2 z2z1 z2z2	0,81 0,09 0,09 0,01	1 01 001 000

 

Бір блокқа келетін орташа сиволдар саны 1,29, ал әріпке – 0,645.

Үш белгіден тұратын ансамбльдің кодтары тиімдірек болады, олар келесі 6.4 кестеде берілген

 

 

6.4 К е с т е

Блоктар	Ықтималдықтар	Кодтық комбинациялар
z1z1z1 z2z1z1 z1z2z1 z1z1z2 z2z2z1 z2z1z2 z1z2z2 z2z2z2	0,729 0,081 0,081 0,081 0,009 0,009 0,009 0,001	1 011 010 001 00011 00010 00001 00000

Бір блокқа келетін орташа символдар саны 1,59, ал белгіге 0,53, бұл энтропиядан 12% қана көп. Теориялық минимум шексіз белгілерден тұратын блоктарды кодтағанда алынады

.

Қарастырылған Шеннон-Фано әдісін қолданғанда әрқашан бір мағыналы код құрылмайды. Топшаларға бөлгенде жоғарғы жақтың да төменгі жақтың да ықтималдықтарын көбірек жасауға болады.

 

         Мысал. Хаффмен әдісін қолданып келесі кестеде келтірілген белгілерді тиімді кодтау керек.

Кодтау процесі 6.5 кестеде келтірілген:

 

6.5 К е с т е

Белгі-лер	Ықтимал-дықтар	Бағандар
		1	2	3	4	5	6	7

    z₁                0,22            0,22      0,22       0,26       0,32       0,42       0,58          1

    z₂                0,20            0,20      0,20       0,22       0,26       0,32       0,42

    z₃                0,16            0,16      0,16       0,20       0,22       0,26

    z₄               0,16             0,16      0,16      0,16        0,20

    z₅               0,1               0,1        0,16      0,16

    z₆               0,1               0,1        0,1

    z₇               0,04             0,06

    z₈               0,02

Кестеде көрсетілгендей мәліметтің әріптері ықтималдықтарының кемуі бойынша орналастырылады. Соңғы екі әріп қосынды ықтималдықтары бар бір әріпке біріктіріледі. Бірігуге қатыспаған әріптердің ықтималдықтары және алынған қосынды ықтималдықты қайтадан ықтималдықтарының кемуі бойынша орналастырылады. Процесті ықтималдығы бірге тең бір әріп алғанша жалғастырамыз. Хаффмен әдісі бір әріпке келетін ең аз орташа символдар санымен бір мағыналы код құруға көмектеседі.

Енді кодты ағаш құрайық. Бір ықтималдығына сәйкес нүктеден екі тармақ бағыттаймыз, ең үлкен ықтималдықты тармаққа 1 символын, ал кіші тармаққа 0 символын меншіктейміз. Осындай тізбекті тармақты әрбір әріптің ықтималдығына жеткенше жалғастырамыз. Кестеде келтірілген әріптер алфавиті үшін кодты ағаш келесі суретте көрсетілген. Енді кодты ағаш бойынша төмен жылжып әрбір әріп үшін оған сәйкес комбинацияны жазуға болады:

  z₁      z₂       z₃     z₄        z₅         z₆       z₇        z₈

 01     00     111  110    100  1011  10101  10100

 

 

 

 

 

 

 

 

6.4 Тиімді кодтардың префикстік талабы

Тиімді кодтарда ең қысқа кодты комбинациялар  ең ықтималдықты белгілерге, ал ең ұзын комбинациялар аз ықтималдықты белгілерге меншіктеледі. Осылайша, тиімділік кодты комбинациялардағы символдар санының  әртүрлілігімен байланысты. Бұл декодтау кезінде күрделілікке әкеліп соғады. Кодты комбинацияларды ерекшелеу үшін арнайы бөлгіш қоюға болады. Бірақ кодты комбинацияның орташа ұзындығы бір символға артады. Ол үшін тиімді кодтауды комбинацияның бір де бір коды ең ұзын комбинацияның басымен беттеспейтіндей құру керек. Мұндай шартқа жауап беретін кодтар префиксті деп аталады.  

 

 z₁    z₂      z₃    z₄

00    01   101  100

 

кодының префикстік комбинациясы 100000110110110100 бір мағыналы декодталады:

 

100   00   01  101  101   101  00

 z₄     z₁    z₂    z₃      z₃          z₃     z₁

Мысалы      z₁     z₂    z₃      z₄

                   00   01   101  010

 

кодының префиксті комбинациясы 000101010101 әртүрлі кодталуы мүмкін:

 

00    01   01   01  010   101

z₁     z₂    z₂    z₂      z₄          z₃

 

00   010   101   010    101

 z₁     z₄     z₃      z₄         z₃

немесе

 

00   01   010   101   01   01

z₁     z₂    z₄    z₃      z₂          z₂

 

         Шеннон-Фано немесе Хаффмен әдістерін қолдану нәтижесінде алынған кодтар префиксті болып табылатындығына көз жеткізу күрделі емес.           

6.5 Шуылмен дискретті канал үшін Шеннон теоремасы

Теорема ақпарат теориясының фундаменталды негізі болып табылады және Шеннонның негізгі кодтау теоремасы деп аталады. Ол келесідегідей айтылады: егер ақпарат көзінің H^’(U) өнімділігі каналдың С өткізу қабілетінен  кем болса, демек

                                                                                                   (6.14)

онда  мәліметтерді  қаншама  болса  да  аз ықтималдықты қатемен  (немесе қанша болса да аз сенімсіздікпен) тасымалдайтын  кодтау жүйесі  бар.

         Егер

                                                                                                             (6.15)

 

болса, онда мәліметті уақыт бірлігіндегі сенімсіздік  -нан кем болатындай кодтауға болады, мұндағы ε →0 (тура теорема).

-дан кем болатын уақыт бірлігіндегі сенімсіздікті қамтамасыз ететін кодтау әдісі болмайды (кері теорема). Бұл теорема осылайша Шеннонмен берілген. Әдебиетте тура теореманың екінші бөлігі және  кері теорема біріктіріліп келесідегідей айтылады: егер  болса, онда  мұндай кодтау әдісі болмайды.

6.6 Бөгеуілге орнықты кодтарды құру методикасы. Артықтылықтың ақпараттық шегі

Каналда шуыл әсерінен пайда болған қателерді жоятын кодтау бөгеуілге орнықты деп аталады. Қатені түзететін және табатын кодтар бөгеуілге орнықты код деп аталады.

 Шеннонның негізгі кодтау теоремасы конструктивті емес, ол белгілі бір оптимальді бөгеуілге орнықты кодты құру әдісін көрсетпейді. Шеннон теориясы белгілі бір кодтарды жасап шығаруды қамтамасыз етті. Нәтижесінде қазіргі кезеңде бөгеуілге орнықты кодтау теориясы өзіндік ғылымға айналды.

  Бөгеуілге орнықты кодтарды құруға негізделген қағидаларды қарастырайық. Шеннонның негізгі теоремасын дәлелдеуден шығатындай бөгеуілге орнықты кодтардың қолданылмайтын қасиеті артықтылық болып табылады. Бұл кезде тек қана кез келген артықтылық емес, каналдың қасиеттерімен және кодты құру ережесімен анықталатын өзгеше артықтылық керек. Алдымен тиімді кодтау көмегімен мәліметтер көзінің артықтылығын ең кішіге дейін азайтады, сонан соң бөгеуілге орнықты кодтау кезінде тасымалданатын сигналға артықтылық енгізеді. Сонымен тиімді кодтау бөгеуілге орнықтылықпен үйлесе алады.

Бөгеуілге орнықты кодтарды екі үлкен класқа бөлуге болады: блоктық және үздіксіз. Блоктық кодтарда кодтау кезінде әрбір дискретті мәліметке кодты комбинация деп аталатын кодты символдардың бөлек блогы сәйкес қойылады. Үздіксіз кодтар кодты комбинацияларға бөлінбейтін символдар тізбегін түзеді. Бөгеуілге орнықты блокты кодтарды құру қағидасын қарастырайық. Бірқалыпты блоктық кодтың түзетушілік қасиеттерін көрсететін артықтылық

                                                                                                      (6.16)

 

теңсіздігі орындалу арқылы енгізіледі, мұндағы m-кодтың негізі, яғни қолданылатын кодты символдардың алфавит көлемі, n-кодты комбинацияның ұзындығы немесе разрядтар саны, М-кодталатын мәліметтер саны. Бұл теңсіздіктің орындалуы мәліметтер белгілерін тасымалдау үшін тек М мүмкін  болатын кодты комбинациялардың бөлігі қолданылады деген сөз. Қолданылатын кодты комбинациялар рұқсат етілген деп аталады. Қолданылмайтын  mⁿ-M комбинациялар тыйым салынған болып табылады. Каналдың кірісіне тек рұқсат етілген комбинациялар беріледі. Егер бөгеуілдер әсерінен бір немесе бірнеше символдар қате алынған болса, онда каналдың шығысында тыйым салынған комбинациялар пайда болады, ол қате бар деген сөз. (6.13) орындалуын қамтамасыз ету үшін n>k деп алу керек, мұндағы k 

 

                                                                                                     (6.17)

теңсіздігін қанағаттандыратын ең кіші бүтін сан. k  санын кодты комбинацияның ақпаратты разрядтарының саны деп атайды, өйткені m негізді код комбинациясының әртүрлі кодты комбинациялардың саны М мәліметтер санынан аз болмайтындай разрядтар саны болуы керек. R=n-k кодты комбинациялар разрядтары тексеруші деп аталады. Олардың саны бөгеуілге орнықты кодтың артықтылығын анықтайды. Бөгеуілге орнықты кодты қолданғанда қатені табу және түзетумен декодтау қолданылуы мүмкін. Бірінші жағдайда алынған комбинацияны талдау кезінде оның рұқсат етілген немесе тыйым салынған екендігі анықталады. Мұнан соң тыйым салынған комбинация алынып тасталады немесе берілген ақпаратты қайталауға сұраныс беру арқылы анықталады. Екінші жағдайда, тыйым салынған комбинацияны қабылдаған кезде белгілі бір тәсілмен ондағы қателер анықталады және түзетіледі. Кодты комбинациядағы осы кодтың көмегімен табылатын  (q) және түзетілетін (S) ең көп q және S қателер саны кодтың сәйкес табушы немесе түзетуші қабілеті деп аталады.  Кодтық ара қашықтық деп кодты комбинациялардағы бірдей емес разрядтар саны айтылады. Бөгеуілге орнықты кодтағы d_min шамасы n және k қатынасына, яғни r тексеру разрядтар санына байланысты. Берілген S түзетушілік қабілетімен n ұзындықты блокты бөгеуілге орнықты  кодтың r_min тексеру разрядтары санымен анықталған керекті ең кіші артықтылықты бағалауға мүмкіндік беретін тәсілді (демек ақпарат теориясының  идеяларына негізделген) қарастырайық. m негізді S түзетушілік қабілетті код бар болсын және қатені декодтаумен түзету қолданылсын. Мұндай кодты қолданғанда екі жағдай болуы мүмкін: мәліметті дұрыс және дұрыс емес қабылдау. Дұрыс емес қабылдау каналдан келетін кодты комбинациялардың қателер саны S-тің мәнінен асатын болса ол басқа рұқсат етілген кодты комбинацияға айналуынан болуы мүмкін. Алынатын комбинацияларда қателер жоқ болса (мұндай мәліметтің ықтималдығын Р₀ деп белгілейік) немесе алынған комбинацияда қарастырылатын кодпен түзетіле алатын қателер бар болса дұрыс қабылдау болмайды. Мұндай жағдайлардың ықтималдықтарын P_j деп белгілейік. Қойылған есепті шешу үшін белгілі бір қатенің пайда болуы және қатенің жоқ болуы немесе корректті емес қателердің пайда болуы бар оқиғалар жиынтығын суреттей алатын ең кіші ақпарат санын анықтайық. Бұл шаманы және бір тексеру символында бар ең үлкен ақпарат санын біле отырып ең кіші тексеру символдарының санын анықтауға болады. Осы оқиғаларды суреттейтін ақпарат  саны

                              .                                        (6.18)

m негізді код символында log₂m ең көп ақпарат саны бар. Демек тексерілетін разрядтар саны 

                                                                                                          (6.19)

кем бола алмайды. Осылайша анықталған r_min шамасы артықтылықтың ақпараттық шегі деп аталады. Тәуелсіз қателікті екілік канал үшін r_min мәнін анықтайық. Мұндай каналда алдыңғы қатенің пайда болуы келесі қатенің пайда болуына себепкер емес. Бұл жағдайда n ұзындықты кодты комбинациядағы i еселікті  R(i)  қателер саны  тең.

.

(6.20)

Қателер тәуелсіз болғандықтан кодты комбинациядағы  i еселікті қатенің пайда болу ықтималдығы

                                                  P(i)=Pⁱ ·(1-P)^n-i                                         (6.19) 

мұндағы Р- каналда қатенің пайда болу ықтималдығы. Бұл жағдайда N_пр = S ескеріп, (6.18) амалын келесідегідей жазуға болады

                                    .                            (6.20)

Қатені түзету кезінде қолданылмайтындықтан екінші қосылғышпен суреттелетін функцияны ескермесе болады, сондықтан 

                                     .                      (6.21)

Кез келген еселікті белгілі бір қатенің пайда болуы және қателердің жоқ болуы тең ықтималдықты болатын, демек кез келген i үшін Pⁱ · (1-P)^n-i=P₁ болатын дербес жағдайды қарастырайық.  Р₁ шамасын 

                                                                                               (6.22)

нормалау шартынан анықтаймыз.

  Демек

                                        .                                 (6.23)

Екілік код үшін

                                                    .                                      (6.24)

         Осылайша табылған r_min басқа әдістермен алынған бағалармен беттеседі, мысалы Хеммингтің төменгі шегімен. Осылайша табылған артықтылықтың ақпараттық шектері каналдағы басқа да қателер конфигурациясы, мысалы, қателер қорабы, үшін де қолданылады. Бұл кезде алынған нәтижелер басқа да әдістердің қорытындыларымен жақсы үйлеседі. 

6.7 Түзетуші кодтың сапа көрсеткіштері

 

Түзетуші кодтың негізгі сипаттамаларының бірі кодтың артықтылығы. Ол белгілі түзетушілік қабілетке жету үшін кодты комбинацияның ұзару дәрежесін көрсетеді. Егер кодердің шығыс тізбегіндегі әрбір n символға k ақпараттық және n-k тексеру символдары келетін болса, онда кодтың салыстырмалы артықтылығы

                                                                                                (6.25)

немесе

 

                                                                                                (6.26)

          қатынастарының бірімен беріле алады. 0 ден  дейін өзгеретін

шамасы артықтылық түсінігін қолданатындықтан көбірек қолданылады. Ең кіші мүмкін болатын артықтылық кезінде берілген түзетушілік қабілетті қамтамасыз ететін кодтар оптимальді деп аталады.

Оптимальді кодтарды табуға байланысты n-белгілі екілік кодтың s-ке дейінгі еселікті өзара тәуелсіз қателерді түзету қабілеті бар ең көп мүмкін болатын рұқсат етілген комбинациялар санын бағалайық. Бұл кодтық ара қашықтығы d=2s+1-ден кем емес комбинациялар санын іздегенге пара-пар.

Әрбір рұқсат етілген комбинация үшін әртүрлі түзетілетін қателердің жалпы саны .  Мұндай қателердің әрқайсысы берілген рұқсат етілген комбинациялардың жиынтығына қатысты тыйым салынған комбинацияларға әкеліп соғады. Бұл комбинациямен қоса жиынтықта  комбинациялар болады. Бір мағыналы декодтау айтылған комбинациялар қиылыспағанда ғана мүмкін. n-белгілі екілік кодтың әртүрлі комбинацияларының жалпы саны 2ⁿ болатындықтан , рұқсат етілген комбинациялар саны

                                                                                                      (6.27)

аспайды. Бұл баға Хеммингпен табылған.

Бірақ мұндай кодтарды қолдануға әрқашан ұмтылмау керек. Түзетуші кодтың басқа да маңызды сапа көрсеткішін – кодтау және декодтау процестерін техникалық іске асырылуының күрделілігін де ескеру керек.

         Егер ақпарат баяу жұмыс істейтін, сенімсіз және қымбат байланыс линиясы арқылы берілу керек болса, ал кодтаушы және декодтаушы құрылғылар жоғарғы сенімді және тез жұмыс істейтін элементтерде орындалатын болса, онда бұл құрылғылардың күрделілігі маңызды емес. Бұл жағдайда шешуші фактор байланыс линиясын қолдану тиімділігін арттыру болып табылады, сондықтан ең кіші артықтылығы бар түзетуші кодтар қолданылады.    

         Егер түзетуші код сенімділігі және іс әрекеті бірдей немесе кодтайтын және декодтайтын аппараттардың элементтерінің іс әрекеттеріне жақын болатын болса, онда түзетуші кодтың сапа көрсеткіші ретінде осы құрылғылардағы мүмкін болатын қажалулар және ақауларды ескере отырып, жүйенің жалпы сенімділігі алынады. Бұл жағдайда қарапайым техникалық іске асырылатын, артықтылығы көбірек кодтар қолданылады.

Бақылау сұрақтары

1.     Тиімді статистикалық кодтаудың мәні неде?

2.     Шуылсыз канал үшін кодтау туралы Шеннонның негізгі теоремасын талдап, түсіндіріп беріңіз.

3.      Белгілердің ұзын тізбегін тиімді кодтаудың қандай себептері бар?

4.                 Тиімді кодтау кезінде кодты комбинацияның орташа ұзындығы ненің әсерінен азаяды?

5.      Шеннон-Фано әдісімен салыстырғанда Хаффменмен ұсынылған тиімді код құру әдісінің артықшылығы неде?

6.      Тиімді кодтар қандай негізгі шартқа жауап беруі керек?

7.                     Тиімді кодтарды қолданған кезде пайда болатын негізгі күрделіліктерді атап шығыңыз.

8.     Шуылмен канал үшін кодтау туралы Шеннон теоремасын айтып беріңіз.

9.      Канал бойынша сигналдың қажалусыз жіберу шартын анықтаңыз.

10.  Кодтаудың негізгі мақсаттары қандай?

 

 

 

 

Әдебиеттер тізімі

 

1. Сергиенко А.Б. Цифровая обработка сигналов. – СПб.: Питер, 2002.

2. Баричев С.Г. Основы современной криптографии: Учебный курс. – М., 2001.

3. Баскаков С.И. Радиотехнические цепи и сигналы. – М.: Высшая школа, 2000.

4. Гоноровский И.С.  Радиотехнические цепи и сигналы. – М.: Радио и связь, 1994.

5. Дмитриев В.И. Прикладная теория информации. – М.: Высшая школа, 1989.

6. Солонина А.И. и др. Основы цифровой обработки сигналов.: 2-е издание. – СПб.: БХВ-Петербург, 2005.-768с.

7. Назаров М.В. и др. Теория передачи сигналов. – М.: Связь, 1980.

8. Зюко А.Г. Теория передачи сигналов. – М.: Радио и связь, 1986.

9. Потехин Д.С., Тарасов И.Е. Разработка систем цифровой обработки сигналов на базе ПЛИС. – М.: Горячая линия-Телеком, 2007. -248с.

10. Баранов А.А. Квантование по уровню и временная дискретизация в цифровых системах управления. – М., 1990.

11. Куприянов М.С. Техническое обеспечение цифровой обработки сигналов: Справочник. – СПб.: На ука и техника, 2000.

12. Разевиг В.Д., Лаврентьев Г.В., Златин И.Л. SystemView средство системного проектирования радиоэлектронных устройств. – М.: Горячая линия-Телеком, 2002.

13. Скляр Б. Цифровая связь: Теоретические основы и практическое

применение. - М.: Вильямс, 2003.

14. Гаранин М.В., Журавлев В.И., Кунегин С.В. Системы и сети передачи информации. - М.: Радио и связь, 2000.

15. Телекоммуникационные системы и сети: Учебное пособие.-Под. ред. В.П. Шувалова. – М.: Горячая линия-Телеком, 2003.

16. Передача дискретных сообщений: Учебник/ Под ред. В.П. Шувалова. - М.: Радио и связь, 1990.

17. Боккер П. Передача данных. Техника связи в системах телеобработки данных./ Пер. с нем.- М.: Связь, 1980.

18. Лайонс Р. Цифровая обработка сигналов: Второе издание. Пер. с англ. – М.: ООО «Бином-Пресс», 2007. – 656с.

 

 

 

 

 

 

 

 

Мазмұны

Кіріспе                                                                                                                        3

1     Сигналдардың математикалық модельдері                                                     5

1.1  Сигнал және оның моделі түсініктері                                                              5

1.2  Детерминирленген сигналдарды беру формалары                                         6

1.3  Детерминирленген сигналдардың математикалық модельдері                    8

1.4  Сигналдың ортогональді берілуі                                                                      8

1.5  Сигналды берудің уақыттық формасы                                                           10

1.6  Сигналды берудің жиіліктік формасы                                                           11

1.7 Периодты сигналдардың спектрлері                                                               12

1.8 Спектрде энергияның таралуы                                                                        17

2 Сигналдың моделі ретіндегі кездейсоқ процесс                                               18

2.1 Сигналдың моделі ретіндегі кездейсоқ процесс                                            18

2.2 Кездейсоқ процестің ықтималдық сипаттамалары                                        19

2.3 Стационарлы кездейсоқ сигналдардың жиіліктік берілуі                             21

2.4 Үздіксіз   спектрлер                                                                                           22

2.5 Спектралды тығыздықтың негізгі қасиеттері                                                 23

3    Кванттау және дискреттеу                                                                                27

3.1  Үздіксіз мәліметтер. Кванттау және дискреттеу                                           27

3.2  Дискреттеу есебінің жалпы қойылымы                                                         28

3.3  Таңдау көмегімен жасалатын дискреттеу әдістері                              29

3.4 Амплитудалық-импульстік-модульденген   сигнал және оның 

       спектрі                                                                                                               30

3.5  Дискреттелген сигналдардың спектрлік берілуі                                           32

3.6 Дискреттелген сигналдың математикалық моделі. δ- функция.        

      Дискреттелген сигналдың  спектрі                                                                  34

3.7 Котельников теоремасы                                                                                    36

3.8 Ең үлкен ауытқу критерийі бойынша дискреттеу                                         38

3.9 Дискреттеу қателерін бағалау                                                                          41

3.10 Кванттау қателерін бағалау                                                                            41

4    Ақпарат саны                                                                                                     43

4.1   Дискретті мәліметтегі ақпарат саны. Энтропия                                          43

4.2   Дискретті мәліметтер көзінің энтропиясының қасиеттері                          46

4.3   Шартты энтропия және өзіндік ақпарат                                                       48

4.4   Үздіксіз мәліметтердегі ақпарат                                                                    52

4.4.1 Дифференциалды энтропияның қасиеттері                                                 53

4.5  Үздіксіз екі кездейсоқ шама арасындағы өзара ақпарат                              55

4.6  ε-энтропия және  үздіксіз ақпарат көзінің ε-өнімділігі                                56

5     Мәліметтер көзінің және байланыс каналының ақпараттық

       сипаттамалары                                                                                                  60

5.1  Дискретті мәліметтер көзінің өнімділігі.  Ақпаратты беру жылдамдығы  60

5.2 Дискретті каналдың өткізу қабілеті                                                                61

5.3 Үздіксіз байланыс каналдарының модельдері                                               64

5.4 Үздіксіз канал бойынша ақпаратты беру жылдамдығы және өткізу    қабілеті                                                                                                                     65

6 Дискретті канал бойынша берудегі ақпаратты кодтау                                     66

6.1 Тиімді кодтау                                                                                                     66

6.2  Шуылсыз канал үшін Шеннон теоремасы                                                     67

6.3  Шуылсыз канал үшін Шеннон теоремасын дәлелдеу. Фано әдісі. Тиімді     

       кодтар.                                                                                                               68

6.4  Тиімді кодтардың префикстік талабы                                                            72

6 .5 Шуылмен дискретті канал үшін Шеннон теоремасы                                   73

6.6  Бөгеуілге орнықты кодтарды құру методикасы. Артықтылықтың

       ақпараттық шегі                                                                                                74

6.7 Түзетуші кодтың сапа көрсеткіштері                                                             77

Әдебиеттер тізімі