Блог про дані, штучний інтелект та мої проекти

Автоматичний підсумок – приймати довгий текст або навіть набір текстів, а також автоматично генерувати набагато коротший текст, який містить більшість інформації. Простий ? Не так багато. По -перше, ви повинні погодитися, яка інформація дійсно важлива. Тоді ми повинні мати можливість їх правильно витягнути, реорганізувати їх, все в граматичному тексті та без втручання людини. І це не розраховує на велику кількість варіантів можливих підсумків !

Автоматичний резюме тексту

З вибухом збору та зберігання текстури необхідність аналізу та вилучення відповідної інформації з цієї маси все більше і більше присутня.

Крім того, бум у моделях глибокого навчання для автоматичної обробки природних мов (TALN) сприяв використанню текстових даних у оперативних проблемах. Автоматичний підсумок тексту так само, як і питання, що відповідає, аналіз подібності, класифікація документа та інших завдань, пов’язаних з TALN, є частиною цих питань.

Саме в цьому контексті Лабораторні інновації Де Лінкольн вирішив виконати роботу над автоматичним резюме тексту. Ці роботи дали можливість встановити орієнтир автоматичних підсумкових моделей, доступних для мови Французький, викликати власну модель і нарешті поставити її у виробництво.

�� Модель тренувань

Дані

Перш ніж ми могли розпочати свою роботу, ми спочатку повинні були створити базу даних для навчання автоматичних підсумкових моделей. Ми відновили прес -предмети з кількох французьких новинних сайтів. Ця база містить ~ 60 к статті статті і постійно оновлюється.

Витвір мистецтва

Автоматичні підсумкові алгоритми можна розділити на дві категорії: резюме видобуток і резюме абстрактний. В рамці видобуток, Підсумки побудовані з речення, витягнутих із тексту, поки підсумки абстрактний генеруються з нових речень.

Автоматичні підсумкові моделі досить поширені англійською мовою, але вони набагато менше французькою мовою.

Показники

Для оцінки моделей ми використовували такі показники:

Червоний: Безсумнівно, вимірювання найчастіше повідомлялося в підсумкових завдань, відкликання орієнтована на недостатність для оцінки суглоба (Lin, 2004) обчислює кількість подібних N-грамів між оціненим підсумком та підсумком довідки людини.

Метеор: Метрика для оцінки перекладу з явним упорядкуванням (Banerjee and Lavie, 2005) був розроблений для оцінки результатів автоматичного перекладу. Він ґрунтується на середньому гармонічному рівні та нагадування про Unigrams, відкликання, що має зважування, більший за точність. Метеор часто використовується в автоматичних підсумкових публікаціях (див. Та ін., 2017; Донг та ін., 2019), крім червоного.

Новинка: Було помічено, що деякі абстрактні моделі занадто сильно спираються на вилучення (див. Та ін., 2017; Krysci ‘Nski et al.’, 2018). Тому стало загальним для вимірювання відсотка нових N-грамів, що утворюються в рамках вироблених резюме.

Джерело: Переклад з паперу MLSUM [2].

Розгортання моделей

Для тренувань моделей ми використовували послугу ML Cloud Azure, яка забезпечує повне середовище для навчання, моніторингу та розгортання моделей.

Ми більш точно використовуємо SDK Python, який дозволяє керувати ціле середовище Azureml програмним способом, від запуску “завдань” до розгортання моделей.

Однак ми інкапсульували нашу остаточну модель у контейнерну програму колби, а потім розгорнуті за допомогою трубопроводів CI/CD на кластері Kubernetes

Результати

Перш за все, ми зробили кілька спроб, очолюючи моделі на 10 -кратних статтях, змінюючи кількість жетонів, наведених на початку моделі (512 або 1024) та різних архітектури.

Перше спостереження: Червоні та метеорні показники здаються не дуже підходящими для оцінки ефективності наших моделей. Тому ми вирішили базувати наші порівняння лише на показнику новизни та вибраних архітектура надання більш абстрактних підсумків.

Після просування підготовки нашої моделі на предметів 700 тис., Ми значно вдосконалили результати та підтвердили першу версію, яку ви знайдете нижче.

Точки уваги

Крім виступу, цей експеримент дозволив нам виділити деякі межі Автоматичний підсумок:

В даний час розмір тексту у входах типів моделей Перетворити обмежений ємністю в пам’яті графічних процесорів. Вартість пам’яті є квадратичною з розміром тексту як введення, це створює справжню проблему для завдань автоматичного резюме, де текст, який слід узагальнити, часто досить довгий.

Дуже важко знайти відповідні показники для оцінки завдань для генерації тексту.

Будь обережний вага витяжки : Ми також зіткнулися з кількома проблемами, пов’язаними з даними самі по собі. Основна проблема полягає в тому, що стаття статті часто була парафразою або навіть дублікатами перших речення статті. Це призвело до того, що заохотити наші моделі бути більш екстрактивними, ніж абстрактними, просто повернувши перші речення статті. Тому потрібно було виконати кураторну роботу, видаливши статті, що створюють проблему, щоб уникнути такого роду упередженості.

Блог про дані, штучний інтелект та мої проекти.

Автоматичний підсумок – приймати довгий текст або навіть набір текстів, а також автоматично генерувати набагато коротший текст, який містить більшість інформації. Простий ? Не так багато. По -перше, ви повинні погодитися, яка інформація дійсно важлива. Тоді ми повинні мати можливість їх правильно витягнути, реорганізувати їх, все в граматичному тексті та без втручання людини. І це не розраховує на велику кількість варіантів можливих підсумків !

Мені вдалося близько року працювати над цією захоплюючою темою перед моїм доктором.

Тож давайте оглянемо цю тему, створюючи, описуючи різні типи резюме, які існують, перед тим, як детально зупинятись на двох типах систем: тих, хто з AI та нейронних мереж, та тих, які досить зосереджені на оптимальному вилученні інформація.

Різні типи резюме

Коли ми говоримо про резюме, ми часто думаємо про задню обкладинку книги або опис сценарію для фільму. Як правило, вони уникають зіпсуючи кінець, коли саме це те, що можна було б попросити інструмент класичного автоматичного резюме: сказати інтригу, щоб резюме може бути достатньо, щоб знати основні речі. Ось це приблизно Монопрокументи Резюме, Тобто, ми лише узагальнюємо один документ (фільм, книга, стаття, …).

Навпаки, ми могли б хотіти Багатодокументальний підсумок, що ми зустрічаємося частіше в контексті оглядів преси: ми хочемо мати підсумок найважливішої інформації, як повідомляли різні прес -організації.

Після того, як ми вирішили про тип даних, які ми прагнемо узагальнити, моно або багатодокументальний, у нас є вибір між двома підходами:видобуток, що полягає у витягу як інформацію, перш ніж повернути її, щоб створити резюме та підхід генеративний, що полягає у створенні нових речень, які спочатку не з’являються в документах, щоб мати більш текучий та вільніший підсумок.

На додаток до цих критеріїв, існують різні стилі підсумків, до яких ми тут не підійдемо: оновлення резюме, що полягають у узагальненні інформації, що відображається в новому документі, і яка досі не була вказана, узагальнена спрямована, яка полягає у прийнятті точного кута Дано користувачем, ..

AI та нейронні мережі революціонізують автоматичний підсумок

До середини -2010 -х років більшість резюме були екстрактивними. Однак у цих алгоритмах вже існувало велике різноманіття. Прихід нових підходів, заснованих на нейронних мережах, значно змінило ситуацію. Ці алгоритми набагато ефективніші, ніж попередні, щоб генерувати граматичний та текучий текст, як, наприклад, те, що можна зробити з цією демонстрацією GPT.

Нейронні мережі, однак, вимагають навчання великої кількості даних і відносно відбійні. Вони прекрасно працюють над тим, щоб створити коментарі, для яких правда має мало значення, але сильно може створити суперечливу або просто неправильну інформацію, яка є проблематичною в контексті підсумків преси, наприклад. Багато дослідницьких статей зацікавлені в цих “галюцинаціях” нейронних мереж.

Приклад гібридного інструменту: Potara

Автоматичний підсумок був першим дослідницьким предметом, в якому я зацікавився, і я мав можливість розробити під час мого майстра гібридної системи підсумків шляхом вилучення/покоління для багатопрокументного підходу, тобто узагальнити набір документів, що говорять того ж теми.

Ідея полягала в тому, щоб почати з класичного видобутку, а саме для визначення найважливіших речень та зібрати їх для створення резюме. Проблема такого підходу полягає в тому, що найважливіші речення часто можна було б ще більше покращити. Наприклад, у статті, що говорить про переміщення президента, фраза “Еммануель Макрон познайомився з американським колегою та обговорювала економіку” може бути вдосконалена в “Еммануель Макрон Мет Джо Байден і обговорював економіку”. Журналісти ретельно уникають репетицій, ми часто стикаємося з цим явищем.

Щоб подолати цей дефект, ми можемо визначити подібні речення, присутні в різних документах, і спробувати об’єднати їх, щоб отримати краще речення. ANSI, з двох речення:

• Еммануель Макрон познайомився зі своїм американським колегою у Вашингтоні і довго розповів про економіку.
• Президент Франції зустрів Джо Байдена та обговорив економіку.

Ми можемо створити коротке та інформативне речення:

• Еммануель Макрон познайомився з Джо Байденом у Вашингтоні та обговорив економіку.

Для досягнення цього результату необхідно кілька кроків: пошук подібних речень, пошук найкращого синтезу, перевірка того, що синтез набагато краще, ніж оригінальне речення. Вони беруть частину багатьох технологій: Word2 з нейронними мережами, щоб знайти подібні речення, графіки спільної роботи, щоб об’єднати їх, оптимізацію ILP, щоб вибрати найкращі злиття.

Якщо ви хочете побачити більше, Потара є відкритим кодом, але не зберігався на деякий час. Цей проект, помітно, служив вітриною, коли мене звільнили, і тому я мав документацію, тести, безперервну інтеграцію, розгортання на PYPI, ..

Що таке хороший автоматичний підсумок ?

Якщо певні критерії здаються очевидними та відносно простими в оцінці (наприклад, граматичність речення), інші набагато складніше. Вирішити, яка найважливіша інформація тексту – це вже дуже суб’єктивне завдання. Оцініть плинність, правильний вибір використаних слів, повертається до видавничої роботи, і не будемо говорити про політичну орієнтацію, яку може взяти підсумок !

Нові генеративні моделі, засновані на нейронних мережах, швидше за все, впроваджують Пейоративні судження чи кваліфікації (або дружба користувач), ефект, який шукає, що стосується створення кінокритика, але набагато менше, коли говорити про програму кандидата в президенти !

Тому автоматичний підсумок залишається дуже активним предметом у дослідженні і може бути на мить, особливо стосовно здатності керувати результатом алгоритму, саме до певного почуття, конкретного стилю, політичного барвника. У цій галузі він тільки починає вводити дуже конкретних керівників (наприклад, підсумок зустрічей).

Президентський 2022: до ваших даних !

3 Приклади проектів даних, які слід здійснити на президентських виборах 2022 року.