Матеріали для Нової української школи 1 клас - планування, розробки уроків, дидактичні та методичні матеріали, підручники та зошити

ОБРОБКА І ПЕРЕДАЧА ІНФОРМАЦІЇ. СУЧАСНІ КОМП'ЮТЕРНІ ТЕХНОЛОГІЇ - Золота колекція рефератів - 2018

ЗАБЕЗПЕЧЕННЯ ВЗАЄМОДІЇ З ЕОМ ПРИРОДНОЮ МОВОЮ

Забезпечення взаємодії з ЕОМ природною мовою (ПМ) є найважливішим завданням досліджень зі штучного інтелекту (ШІ). Бази даних, пакети прикладних програм і експертні системи, що грунтуються на ШІ, вимагають оснащення їх гнучким інтерфейсом для численних користувачів, що не бажають спілкуватися з комп’ютером штучною мовою. У той час як багато фундаментальних проблем в галузі обробки ПМ (Natural Language Processing, NLP) ще не вирішені, прикладні системи можуть оснащуватися інтерфейсом, що розуміє ПМ при певних обмеженнях. Існують два види й, отже, дві концепції обробки природної мови:

— для окремих речень;

— для ведення інтерактивного діалогу.

ОБРОБКА ПРИРОДНОЇ МОВИ

Обробка природної мови — це формулювання й дослідження комп’ютерно-ефективних механізмів для забезпечення комунікації з ЕОМ на ПМ. Об’єктами досліджень є:

— власне природні мови;

— використання ПМ як у комунікації між людьми, так і в комунікації людини з ЕОМ.

Завдання досліджень — створення комп'ютерно-ефективних моделей комунікації на ПМ. Саме така постановка завдання відрізняє NLP від завдань традиційної лінгвістики й інших дисциплін, що вивчають ПМ, і дозволяє віднести її до галузі ШІ. Проблемою NLP займаються дві дисципліни: лінгвістика й когнітивна психологія. Традиційно лінгвісти займалися створенням формальних, загальних, структурних моделей ПМ й тому віддавали перевагу тим з них, які дозволяли витягати якнайбільше мовних закономірностей і робити узагальнення. Практично ніякої уваги не приділялося питанню про придатність моделей з погляду комп’ютерної ефективності їхнього застосування. Таким чином, виявилося, що лінгвістичні моделі, характеризуючи власне мову, не розглядали механізми її породження й розпізнавання. Показовим прикладом цього є породжувальна граматика Хомського, що виявилася абсолютно непридатною на практиці як основа для комп’ютерного розпізнавання ПМ. Натомість завданням когнітивної психології є моделювання не структури мови, а її використання. Фахівці в цій галузі також не надавали великого значення питанню про комп’ютерну ефективність.

Різняться загальна й прикладна NLP. Завданням загальної NLP є розробка моделей використання мови людиною, що є при цьому комп’ютерно-ефективними. Основою для цього є загальне розуміння текстів, як це мається на увазі в роботах Чарняка, Шенка, Карбонелла й ін.

Безсумнівно, загальна NLP вимагає величезних знань про реальний світ, і більша частина робіт зосереджена па представленні таких знань і їхньому застосуванні при розпізнаванні отриманих повідомлень на ПМ. На сьогодні ШІ ще не досягло рівня розвитку, коли для розв’язання подібних завдань у великому обсязі використовувалися б знання про реальний світ, і існуючі системи можна називати лише експериментальними, оскільки вони працюють із обмеженою кількістю ретельно відібраних шаблонів на ПМ.

Прикладна NLP займається зазвичай не моделюванням, а безпосередньо можливістю комунікації людини з ЕОМ на ПМ. У цьому випадку не так важливо, як уведена фраза буде зрозуміла з погляду знань про реальний світ, а важливим є витягання інформації про те, чим і як ЕОМ може бути корисною користувачеві (прикладом може слугувати інтерфейс експертних систем). Крім розуміння ПМ, у таких системах важливим є також і розпізнавання помилок і їхня корекція.

ОСНОВНА ПРОБЛЕМА ОБРОБКИ ПРИРОДНОЇ МОВИ

Основною проблемою NLP є мовна неоднозначність. Існують різні види неоднозначності:

> Синтаксична (структурна) неоднозначність: у фразі Time flies like an arrow для ЕОМ незрозуміло, чи йдеться про час, що летить, або про комах, тобто чи є слово flies дієсловом чи іменником.

> Значеннєва неоднозначність: у фразі The man went to the bank to get some money and jumped in слово bank може означати як банк, так і берег.

> Відмінкова неоднозначність: прийменник in у реченнях Не ran the mile in four minutes / Hc ran the mile in the Olympics позначає або час, або місце, тобто представлені зовсім різні відношення.

> Референційна неоднозначність: для системи, що не володіє знаннями про реальний світ, буде важко визначити, з яким словом — table або cake — співвідноситься займенник it у фразі I took thecake from the table and ate it.

> Літерація (Literalness): у діалозі Can you open the door? — I feel cold і прохання, і відповідь виражені нестандартним способом. В інших обставинах на питання може бути отримана пряма відповідь yes/no, але в цьому випадку в питанні імпліцитно виражене прохання відкрити двері.

Центральна проблема як для загальної, так і для прикладної NLP — розв’язання такого роду неоднозначностей (розв’язуються за допомогою переведення зовнішнього представлення на ПМ в якусь внутрішню структуру). Для загальної NLP таке перетворення вимагає набору знань про реальний світ. Так, для аналізу фрази Jack took the bread from the supermarket shelf, paid for it, and left і для коректної відповіді на такі питання, як What did Jack pay for?, What did Jack leave? і Did Jack have the bread with him when he left? необхідні знання про супермаркети, процеси купування й пролажу й деякі інші. Прикладні системи NLP мають перевагу перед загальними, тому шо працюють у вузьких предметних сферах. Наприклад, системі, що використовується продавцями в магазинах із продажу комп’ютерів, не потрібно «роздумувати» над неоднозначністю слова terminals у питанні How many terminals are there in the order? Проте створення систем, що мають можливість спілкування на ПМ в широких галузях, є можливим, хоча результати поки далекі від задовільних.

ТЕХНОЛОГІЇ АНАЛІЗУ ПРИРОДНОЇ МОВИ

Під технологією аналізу ПМ мається на увазі переведення деякого виразу па ПМ у внутрішнє представлення. Фактично всі системи аналізу ПМ можуть бути розподілені па такі категорії: підбор шаблона (Pattern Matching), синтаксичний аналіз, семантичні граматики, аналіз за допомогою відмінкових фреймів, «чекай і дивися» (Wait and See), словниковий експертний (Word Expert), конекціоністський, «ковзний» (Skimming) аналіз. Нижче піде мова про деякі найпоширеніші методи.

Підбор шаблона. Сутність цього підходу полягає в інтерпретації введення загалом, а не в інтерпретації змісту й структури його окремих складників на нижчому рівні. При використанні цього методу відбувається порівняння вже наявних у системі шаблонів-зразків з текстом, що надійшов на вхід. Зазвичай шаблони представлені у вигляді простого списку відповідностей між класами висловлень та інтерпретаціями. Іноді вони доповнені семантичними елементами або іншими компонентами вищого рівня. За таким принципом працює система Еліза, що імітує діалог із психотерапевтом. Насправді система нічого не розуміє, а лише підтримує діалог, порівнюючи репліки пацієнта з шаблонами й привласненими їм відповідними репліками, такими як:

X завжди Y:

Ви можете навести який-небудь приклад?

Коли?

Справді, завжди?

X ви Y мене:

Чому ви думаєте, що я Y вас?

Вам подобається думати, що я Y вас, чи не так?

Уявіть, що я Y вас. Що ви про це думаєте?

У результаті Еліза здатна вести такий діалог:

Пац.:

Люди завжди пильно дивляться на мене

Добір за 1-м шаблоном з урахуванням завжди

Ел.:

Ви можете навести який-небудь приклад?

Першу відповідь за 1-м шаблоном

Пац.:

Наприклад, зараз ти дивишся на мене

Добір за 2-м шаблоном,

Y = дивитися

Ел.:

Чому ви думаєте, що я дивлюся на вас?

Перша відповідь за 2-м шаблоном

Пан.:

Тому що ти ненавидиш мене

Добір за 2-м шаблоном,

Y = ненавидіти

Ел.:

Вам подобається думати, що я ненавиджу вас, чи не так? і т. д.

Друга відповідь за 2-м шаблоном

Синтаксичний аналіз. При використанні синтаксичного аналізу відбувається інтерпретація окремих частин висловлення, а не всього висловлення загалом. Зазвичай спочатку здійснюється повний синтаксичний аналіз, а потім будується внутрішнє представлення уведеного тексту або здійснюється інтерпретація.

Дерева аналізу й вільно-контекстні граматики. Більшість способів синтаксичного аналізу реалізовані у вигляді дерев. Один з найпростіших різновидів — вільно- контекстна граматика, що складається з правил типу S = NP + V або VP = V + NP і яка припускає, що ліва частина правила може бути замінена на праву без урахування контексту. Вільно-контекстна граматика широко використовується в машинних мовах, і з її допомогою створені високоефективні методи аналізу. Недолік цього методу — відсутність заборони на граматично неправильні фрази, де, наприклад, підмет не погоджений із присудком у числі. Для вирішення цієї проблеми необхідна наявність двох окремих, паралельно працюючих граматик: одна — для однини, інша — для множини. Крім того, необхідна своя граматика для пасивних речень і т. д. Семантично неправильне речення може породити величезну кількість варіантів розбору, з яких один буде перетворений на семантичний запис. Усе це робить кількість правил величезним і, у свою чергу, вільно-контекстні граматики непридатними для NLP.

Трансформаційна граматика. Трансформаційна граматика була створена з урахуванням згаданих вище недоліків і раціональнішого використання правил ПМ, але виявилася непридатною для NLP. Трансформаційна граматика створювалася Хомським як породжувальна, що, отже, робило дуже складною зворотну дію, тобто аналіз.

Розширена мережа переходів була розроблена Бобровим (Bobrow), Фрейзером (Fraser) і багато в чому Вудсом (Woods) як продовження ідей синтаксичного аналізу й вільно-контекстних граматик зокрема. Вона являє собою вузли й спрямовані стрілки, «розширені» (тобто доповнені) рядом тестів (правил), на підставі яких вибирається шлях для подальшого аналізу. Проміжні результати записуються в комірки (регістри). Нижче наводиться приклад такої мережі, що дозволяє аналізувати прості речення всіх типів (включаючи пасив), які складаються з підмета, присудка й прямого доповнення, таких як The rabbit nibbles the canot (Кролик гризе моркву). Позначки біля стрілок означають номер тесту, а також або ознаки, аналогічні до застосовуваних у вільно-контекстних граматиках (NP), або конкретні слова (by). Тести написані мовою LISP і являють собою правила типу якщо умова = істина, то присвоїти аналізованому слову ознаку X і записати її у відповідну комірку.

Розберемо алгоритм роботи мережі на вищенаведеному прикладі. Аналіз починається зліва, тобто з першого слова в реченні. Словосполучення the rabbit проходить тест, який з’ясовує, що воно не є допоміжним дієсловом (Аuх, стрілка 1), але є іменною групою (NP, стрілка 2). Тому the rabbit кладеться в комірку Subj, і речення одержує ознаку TypeDeclarative, тобто розповідне, і система переходить до другого вузла. Тут додатковий тест не потрібний, оскільки він відсутній у списку тестів, записаних на LISP. Отже, слово, яке стоїть після the rabbit — тобто nibbles — дієслово-присудок (позначення V на стрілці), і ній Wes записується в комірку з іменем V. Перекреслений вузол означає, що в ньому аналіз речення може в принципі закінчитися. Але в нашому прикладі є ще й доповнення the carrot, так що аналіз триває за стрілкою 6 (вибір між стрілками 5 і 6 здійснюється знову за допомогою спеціального тесту), і словосполучення the carrot кладеться в комірку з ім'ям Obj. На цьому аналіз закінчується (останній вузол був би використаний у випадку аналізу такого пасивного речення, як The carrot was nibbled by the rabbit). Таким чином, у результаті заповнені регістри (комірки) Subj, Type, V і Obj, використовуючи які можна одержати яке-небудь уявлення (наприклад, дерево). Розширена мережа переходів має свої недоліки:

— немодульність;

— складність при модифікації, що викликає непередбачені побічні ефекти;

— нестійкість (коли єдина неграматичність у реченні унеможливлює подальший правильний аналіз);

— неефективність при переборі з поверненнями, тому що помилки на проміжних стадіях аналізу не зберігаються;

— неефективність з погляду змісту, коли за допомогою отриманого синтаксичного уявлення виявляється неможливим створити правильне семантичне уявлення.

Семантичні граматики. Аналіз ПМ, що грунтується на використанні семантичних граматик, дуже схожий па синтаксичний, з тією різницею, що замість синтаксичних категорій використовуються семантичні. Природно, семантичні граматики працюють у вузьких предметних галузях. Прикладом слугує система Ladder, убудована в базу даних американських судів. Її граматика містить записи тину:

? <present> the <attributc> of <ship>

? what is[can you] tell me

? the <shipname><classname> class ship.

Граматика дозволяє аналізувати такі запити, як Сап you tell те the class of the Enterprise? (Enterprise назва корабля). У цій системі аналізатор складає на основі запиту користувача запит мовою бази даних. Недоліки семантичних граматик полягають у тому, що, по-перше, необхідна розробка окремої граматики для кожної предметної галузі, а по-друге, вони дуже швидко збільшуються в розмірах. Способи виправлення цих недоліків — використання синтаксичного аналізу перед семантичним, застосування семантичних граматик тільки в рамках реляційних баз даних з абстрагуванням від загальномовних проблем і комбінація декількох методів (включаючи власне семантичну граматику).

Аналіз за допомогою відмінкових фреймів. Зі створенням відмінкових фреймів пов’язаний великий стрибок у розвитку NLP. Вони набули популярності після роботи Філлмора «Справа про відмінок». На сьогодні відмінкові фрейми — один з найчастіше використовуваних методів NLP, тому що він є найефективнішим при аналізі як знизу вгору (від складників до цілого), так і зверху вниз (від цілого до складників).

Відмінковий фрейм складається з заголовка й набору ролей (відмінків), пов’язаних певним чином із заголовком. Фрейм для комп’ютерного аналізу відрізняється від звичайного фрейму тим, що відношення між заголовком і ролями визначаються семантично, а не синтаксично, тому що в принципі тому самому слову можуть приписуватися різні ролі, наприклад, іменник може бути як інструментом дії, так і її об'єктом.

Структура фрейму така:

[Заголовне дієслово

[відмінковий фрейм

агент: <активний агент, що виконує дію>

об’єкт: <об’єкт, над яким виконується дія>

інструмент: <інструмент, використовуваний при виконанні дії>

реципієнт: <одержувач дії — часто непрямий додаток

напрямок: <мета (зазвичай фізичної) дії>

місце: <місце, де відбувається дія>

бенефіціант: <сутність,'в інтересах якої відбувається дія>

коагент: <другий агент, що допомагає виконувати дію>

]]

Наприклад, для фрази Іван дав м’яч Каті відмінковий фрейм виглядає так:

[Давати

[відмінковий фрейм

агент: Іван

об’єкт: м’яч реципієнт: Катя|

[ грам

час: мин

стан: акт]

]

Існують обов’язкові, необов’язкові й заборонені відмінки. Так, для дієслова розбити обов’язковим буде відмінок об’єкт — без нього висловлення буде незакінченим. Місце й коагент будуть у цьому прикладі необов’язковими відмінками, а напрямок і реципієнт — забороненими.

У NLP буває корисним використання семантичного уявлення в якомога більш канонічній формі. Найвідомішим способом такої репрезентації є метод концептуальних залежностей, розроблений Шенком для дієслів дії. Він полягає в тому, що кожна дія представлена у вигляді однієї або простіших дій.

Наприклад, для речень Іван дав м’яч Каті (1) і Катя взяла м’яч в Івана (2), що позначають акт передачі, але різняться синтаксично, можуть бути побудовані такі репрезентації з використанням найпростішої дії Atrans, щo застосовується в граматиці концептуальних залежностей:

(1)

(2)

[ Atrans

[ Atrans

відн: володіння

відн: володіння

агент: Іван

агент: Катя

об'єкт: м’яч

об'єкт: м'яч

джерело: Іван

джерело: Іван

реципієнт: Катя ]

реципієнт: Катя]

За допомогою такого уявлення легко виявляються подібності й розходження фраз. Для полегшення аналізу також використовується розподіл ролі на лексичний маркер і заповнювач. Так, для ролі об’єкт може бути встановлений маркер прямий додаток, для ролі джерело — маркер виду <маркер-iз> = ізот... Загалом, аналіз тексту за допомогою відмінкових фреймів складається з таких кроків:

> Використовуючи існуючі фрейми, підібрати підходящий для заголовка. Якщо такого немає, текст не може бути проаналізований.

> Повернути в систему підходящий фрейм із відповідним заголовком-дієсловом.

> Спробувати провести аналіз за всіма обов’язковими відмінками. Якщо один або більше обов’язкових заповнювачів відмінків не знайдені, повернути в систему код помилки. Такий випадок може означати наявність еліпсиса, неправильний вибір фрейму, неправильно уведений текст або недолік граматики. Наступні кроки використовуються вже для аналізу й виправлення таких ситуацій.

> Провести аналіз за всіма необов’язковими відмінками.

> Якщо після цього в уведеному тексті залишилися непроаналізовані елементи, видати повідомлення про помилку, пов’язану з неправильним уведенням, недостатністю цього аналізу або необхідністю провести інший, гнучкіший аналіз.

Переваги використання відмінкових фреймів такі:

> сполучення двох стратегій аналізу (зверху вниз і знизу вгору);

> комбінування синтаксису й семантики;

> зручність при використанні модульних програм.

СТІЙКІСТЬ АНАЛІЗУ

Певні труднощі при аналізі представляє варіативність того самого запиту. Наприклад, на вхід системи, що управляє зарахуванням і перерозподілом учнів на курсах різних спеціальностей, може надійти запит типу Переведіть Петрова, якщо це можливо, з математики на, скажімо, економіку.

Найлегше такі труднощі долаються при використанні відмінкових фреймів. Правило, сформульоване Карбонеллом і Хейзом, говорить: «Слід пропускати невідомі введені елементи доти, поки не буде знайдений відмінковий маркер; пропущені елементи слід аналізувати з урахуванням незаповнених відмінків, використовуючи тільки семантику».

ДІАЛОГ

Поряд із проблемою розпізнавання тексту існує також проблема підтримки інтерактивного діалогу. При цьому виникають додаткові особливості, характерні для діалогів, а саме:

— анафора (тобто використання займенників замість їхніх анафоричних антецедентів — самостійних частин мови);

— еліпсис;

— екстраграматичні речення (пропуск артиклів, помилки, уживання вигуків і т. п.);

— металінгвістичні речення (тобто спроба виправлення введеного раніше).

Для цього користувачі систем із природно-мовним інтерфейсом намагаються висловлюватися якомога коротше, що в ряді випадків також утрудняє аналіз.

Використання відмінкових фреймів, а саме злиття поточного фрейму з попереднім, забезпечує відновлення еліпсиса.

ВИСНОВОК

Таким чином, процес розробки систем, що забезпечують розуміння ПМ, вимагає створення механізмів, відмінних від традиційних способів уявлень ПМ, а системи з природно-мовними інтерфейсами застосовуються тільки у вузьких предметних галузях.









загрузка...

Віртуальна читальня освітніх матеріалів для студентів, вчителів, учнів та батьків.

Наш сайт не претендує на авторство розміщених матеріалів. Ми тільки конвертуємо у зручний формат матеріали з мережі Інтернет які знаходяться у відкритому доступі та надіслані нашими відвідувачами. Якщо ви являєтесь володарем авторського права на будь-який розміщений у нас матеріал і маєте намір видалити його зверніться для узгодження до адміністратора сайту.

Дозволяється копіювати матеріали з обов'язковим гіпертекстовим посилання на сайт, будьте вдячними ми затратили багато зусиль щоб привести інформацію у зручний вигляд.

© 2008-2019 Всі права на дизайн сайту належать С.Є.А.