Программное обеспечение переводчиков
В данной работе предпринята попытка проанализировать различные программные средства, которые необходимы переводчику в работе. Эта тема представляется актуальной, поскольку ежедневно во время работы над переводом различных статей и документов переводчику может потребоваться специальное программное обеспечение, при помощи которого специалист в сфере перевода сможет осуществлять переводческую деятельность с минимальными затратами времени и максимальной эффективностью.
Анализ показал, что среди основных продуктов программного обеспечения можно выделить следующие.
ABBYY Lingvo. На данный момент эта программа позволяет переводить с 15 языков. Существует несколько версий программы с разным объемом словарей. Платная версия словаря устанавливается на компьютер и может работать без подключения к интернету.
Мультитран. Наиболее известная и распространенная программасловарь. Существуют версии для мобильных устройств и для ПК. Дополнительно к ним можно приобрести оффлайн-версию этого словаря. Отметим, что мультитран является официальным представителем Союза переводчиков России.
Далее рассмотрим примеры средств специального программного обеспечения с возможностью распознавания текста. К ним относятся:
ABBYY FineReader. Этот продукт позволяет пользователю распознавать текст на фотографиях, сканах, PDF-документах. Самая последняя версия распознает текст на 190 языках, а для 48 из них имеется возможность проверки орфографии. Сохранить полученный текст можно практически во всех популярных форматах (Word, Excel, PowerPoint, PDF, html и др.)
CuneiForm. Данная программа была создана как коммерческий продукт, однако теперь имеется в общем доступе. Обеспечивается совместимость с операционными системами Linux, Mac OS X, Windows.
Далее рассмотрим программы, использующиеся для подсчета статистики. К ним относятся:
Translator’s Abacus. Это бесплатная программа для подсчета количества слов в документах различного типа.
AnyCount. Данный программный продукт является платным, но при этом обладает более широким спектром настроек. Например, возможностью подсчета количества знаков с пробелами/без пробелов, количество строк, страниц. Также имеется возможность задать единицу подсчета самостоятельно.
FineCount. Схожая платформа с предыдущей программой. Также имеются платная и бесплатная версии, различия между ними только в сниженном количестве функций у последней.
В заключении отметим, что для обеспечения эффективной работы переводчик должен уметь пользоваться различными программами, то есть развивать навыки компьютерной грамотности.
Искусственный перевод
Perhaps the history of the errors of mankind, all things considered, is more valuable and
interesting than that of their discoveries. Truth is uniform and narrow; it constantly exists,
and does not seem to require so much an active energy, as a passive aptitude of the soul in
order to encounter it. But error is endlessly diversified; it has no reality, but is the pure and
simple creation of the mind that invents it. In this field the soul has room enough to expand herself,
to display all her boundless faculties, and all her beautiful and interesting extravagancies and absurdities.
(с) Benjamin Franklin
Взгляд на системы машинного перевода изнутри
Машинный (или автоматизированный) перевод – именно так называется технология, с помощью которой компьютерная программа осуществляет связный перевод текста с одного языка на другой. Технология машинного перевода (МП) как научное направление имеет уже почти вековую историю, а первые идеи автоматизации переводческого процесса появились еще в XVII столетии. В 1954 году в США состоялся так называемый Джорджтаунский эксперимент, на котором была представлена первая версия электронного переводчика: программа имела словарный запас всего в 250 слов и действовала на основе шести правил.
Сегодняшние программы-переводчики имеют гораздо более широкий «кругозор» и действуют на основе более совершенных переводческих технологий. Системы перевода активно используются во всем мире в случаях, когда требуется быстро понять смысл текста или часто переводить большие объемы информации. Некоторым разработчикам на сегодняшний день удалось достичь весьма приемлемого качества перевода по отдельным языковым направлениям. В этом материале мы предлагаем посмотреть, как выглядит процесс перевода изнутри, каким образом программе удается «понять» иностранный текст и перевести его на другой язык.
Две стороны МП
В рамках технологии машинного перевода существует два подхода: традиционный (основанный на правилах, rule-based machine translation) и статистический (основанный на статистической обработке словарных баз, statistical based machine translation). Традиционный метод МП используется большинством разработчиков систем перевода. Работа такой программы включает в себя несколько этапов и, по сути, заключается в использовании лингвистических правил (алгоритмов). Соответственно, создание такого электронного переводчика включает в себя разработку правил и пополнение словарных баз системы. От разработки необходимых алгоритмов зависит качество перевода на выходе. Богатый словарь системы также позволяет справиться с переводом самых разнообразных по тематике текстов.
Статистический метод МП действует совсем по иному принципу. В его основе лежат математические методы для получения перевода. Точнее сказать, весь принцип работы подобной системы основан на статистическом вычислении вероятности совпадений фраз из исходного текста с фразами, которые хранятся в базе системы перевода.
Правила перевода изнутри
Работа системы машинного перевода, основанной на правилах, состоит из нескольких этапов. Сначала система осуществляет морфологический анализ слов (указывает род, число, лицо и другие морфологические характеристики для каждого слова). Кроме того, программа фиксирует полную информацию по многозначным словам (тем словам, которые могут относиться к разным частям речи или иметь разные значения).
Затем происходит объединение отдельных слов в группы: именные (где главным словом является существительное, а зависимые от него слова определяются по идентичным морфологическим характеристикам), глагольные (главное слово – глагол) и др. Кроме того, в этот момент система может решить вопрос многозначности для некоторых слов в зависимости от их контекста.
На следующем этапе программа приступает к определению членов предложения и их роли в предложении, границ и типа связи между простыми предложениями. Сначала она ищет границы простых предложений, которые определены знаками препинания. Затем определяет главные члены, причем сначала система ищет сказуемое и только потом подлежащее перед ним (если перед сказуемым подлежащего нет, программа ищет его за сказуемым или делает вывод, что подлежащее отсутствует (например, в безличных предложениях)). Завершив поиск главных членов предложения, система определяет сферы их влияния (слова и группы слов, зависимые от подлежащего и от сказуемого). Все группы, которые система не смогла отнести ни к сфере влияния подлежащего, ни к группе сказуемого, считаются обстоятельствами.
И, наконец, на заключительной стадии работы происходит окончательное согласование всех членов предложения и построение предложений с учетом требований грамматики выходного языка. Элементы согласуются внутри групп, а также уточняется их зависимость от подлежащего или сказуемого и подтверждается порядок слов в предложении.
Таким образом, процесс перевода системы логически понятен: происходит поиск языковых эквивалентов, их объединение по морфологическим признакам, синтаксический анализ членов предложения и окончательный синтез предложения на выходном языке.
Статистический метод МП работает совсем иначе. Здесь главным является наличие как можно большего количества парных фрагментов текста и вычисление наибольшей вероятности их употребления. Программа вычисляет наиболее вероятную последовательность слов выходного языка, которую она считает наиболее соответствующей переводу исходного текста.
На данный момент очевидным является то, что системы традиционного метода МП справляются с переводом текстов лучше, чем статистические системы. Примеры сравнения качества перевода двух методов МП представлены в Таблице 1.
Статистика на подходе
Однако, несмотря на явное, на сегодняшний день, преимущество традиционного метода, статистический машинный перевод в последнее время более явно заявляет о себе. Самыми продуктивными разработками в этой области занимается компания Google, которая предлагает онлайновый сервис перевода на своем портале. Google заявляет о преимуществе именно статистического метода перевода и видит причину успеха в максимально обширных словарных базах, имеющих необходимое количество сегментов текста для их правильного перевода. Однако пока успехи в этой области незначительные. Перевод, выполняемый сервисом, постоянно меняется, но далеко не всегда в лучшую сторону (см. примеры в Таблице 2). Как видно из примера, одно и то же выражение (attorney’s fees) было переведено совершенно по-разному (и спустя месяц перевод не выглядит корректным). Кроме того, система часто неправильно распознает артикли и не всегда согласует слова между собой по морфологическим признакам.
Возможность быстрого пополнения словарных баз, безусловно, является преимуществом статистического метода МП. Однако у этого обстоятельства есть и обратная сторона: большое количество информации требует немалого объема памяти для хранения. Возможно, в будущем, эту проблему удастся успешно решить, но на данный момент она существует.
Нюансы технологии машинного перевода, основанной на правилах (традиционного метода МП), не позволяют разработчикам так же быстро публиковать изменения, как это делает Google. Работа в рамках традиционного метода МП заключается, главным образом, в совершенствовании самого механизма перевода, разработке новых алгоритмов. Однако эти усилия, пусть и не столь быстрые, оправдывают себя. Например, последняя версия уже упоминавшейся системы PROMT представляет качество перевода на порядок выше, чем ее предшественница.
Повод улыбнуться
| Пример | Перевод системой МП |
| Fair words butter no parsnips. | Соловья баснями не кормят. |
| One will reap what he’ll sow. | Каждый будет пожинать то, что он посеет. |
| Information that defines a GPRS connection between a mobile phone and the network. PDP context activation also means that other subscriber-related parameters are activated. | Информация, которая определяет связь GPRS между мобильным телефоном и сетью. Активация контекста PDP также означает, что активизированы другие связанные с подписчиком параметры. |
Что дальше?
В процессе тестирования систем МП стало ясно, что возможность быстрого пополнения словарных хранилищ статистической системы на данный момент не дает нужного результата. Однако, вполне возможно, это вопрос времени. В то же время разработчики традиционных систем МП сегодня могут гарантировать перевод высокого, но не идеального качества.
В настоящее время существует идея объединить оба метода машинного перевода, в результате чего, возможно, удастся создать систему нового поколения, которая совместит преимущества каждого метода и сможет выполнять перевод, максимально близкий к идеальному. Некоторые производители уже приступили к разработкам в этой области. А нам остается ждать от них качественно новых результатов.
Автор выражает благодарность компании ПРОМТ за консультации при создании материала.
Компьютерные программы-переводчики, их достоинства и недостатки
Я преподаю в гимназии №47 г. Кургана предмет “Теория и практика перевода” в 10-11 классах лингвистического направления. К сожалению, до сих пор не существует учебного пособия по такому предмету, рассчитанному на обучение в средней школе, поэтому программу, виды работы, задания приходится разрабатывать самому. Предлагаю одну из тем, материал по которой я до сих пор не смог найти ни в одном учебнике, пособии или книге по теории перевода.
Словари-переводчики: переводят отдельные слова и выражения.
Примеры электронных словарей-переводчиков
В толковом словаре русского языка имеется показ ударений. Информация об искомом слове в словарях представлена детально: по желанию пользователя выводятся синонимы, пометы, примеры или толкования.
Включает в себя знаменитый «Новый большой англо-русский словарь» (НБАРС) под редакцией академика Ю. Д. Апресяна и профессора Э. М. Медниковой, «Русско-английский словарь» под общим руководством профессора А. И. Смирницкого и 15 специализированных словарей с широким охватом тематик. Объем лексики всех семнадцати словарей составляет 3 000 000 английских и 3 500 000 русских слов. Специализированные словари охватывают следующие темы: экономика, банковское дело, финансы, юриспруденция, вычислительная техника, Интернет, программирование, политехника, физика, строительство, полиграфия, издательское дело, нефть и газ, солнечная энергетика, медицина, социология. Имеется встроенная программа синтеза речи. Multilex версия 2.0 (2,5 миллиона слов и выражений) русский, английский языки (медицинский, политехнический, юридический словари)
ABBYY Lingvo 10 Cамый известный и популярный в России электронный словарь.
За несколько секунд можно найти точный перевод любого слова прямо из текста документа, из любого приложения или из Интернета.
Текстовые переводчики переводят от отдельных предложений до связанного текста
Примеры электронных программ текстовых переводчиков:
Словари:
PROMT
Это семейство переводчиков компаний ПРОектМТ и Арсенал. В английском языке практически каждое слово имеет несколько значений, в зависимости от контекста, в котором слово употребляется. Программа имеет базовый (общий/генеральный) словарь и дополнительно подключаемые специализированные словари.
Имеется в PROMT 98/2000/XP еще и пользовательский словарь (и редактор пользовательского словаря). Он позволяет добавлять новые слова, значения слов и их словоформы.
Имеются и онлайновые программы-переводчики, то есть для возможности использования этих словарей необходим не только компьютер, но и Интернет. Основным препятствием в данном случае может стать еще и стоимость услуги пользования Интернетом.
Вот некоторые ссылки на онлайновые словари:
Цель: научить учащихся пользоваться программой текстовым переводчиком и с ее помощью переводить художественные (если это возможно) и технические тексты.
Quin Ellis was a lazy person by nature. Even though she was pushing thirty and found her weight tougher to maintain by diet alone, her favorite form of exercise was settling into the old porch swing out front with a cinnamon roll and a glass of sweet tea, and giving the swing a shove now and then to keep it in motion. But, my, oh my, she did enjoy watching the marines in her Jacksonville neighborhood engage in their favorite exercise. At all hours of the day, winter or summer or in between, come rain or shine, joggers passed her house as regularly as clockwork, and the hotter it got, the less they wore.
And this July was pretty darned hot.
She was in her favorite spot this warm Saturday morning, the roll already eaten, and the tea on the table beside her. Through the picture window behind her, she could hear the shrill voices and exaggerated sound effects of cartoons, punctuated occasionally by Cady’s giggles. Every Saturday she teased her daughter about watching cartoons at her age and every Saturday Cady gave her an older-than-the-hills look along with some remark about half-naked marines and hard bodies. Then she promptly plopped herself in front of the TV in her nightshirt and ate a breakfast of ice cream and fudge sauce to the accompaniment of the Ellis household.
from «Finally A Father» by Marilyn Pappano
перевод программой Stylus версия 3.01
Quin Эллис был ленивое лицо родом. Даже при том, что она помещала тридцать и нашла ее груз более жестким, чтобы обслужить(поддержать) один законодательным собранием, ее любимая форма примера(упражнения) классифицировала в старый свинг подъезда из передней стороны с булочкой с корицей и стеклом пресного чая, и давала свингу толчок время от времени, чтобы сохранить это в движении. Но, мой, ох мой, она любила наблюдать, что морские пехотинцы в ее Jacksonville соседстве(окрестностях) участвуют на их любимом примере(упражнении). Во все часы дня, зима или лето или между, прибывает, дождь или блеск, толкатели пропускал ее дом так регулярно как часовой механизм, и чем более горячий(более острый) это добралось, тем меньше они изнашивались.
И этот июль довольно чинили горячим(острым).
Она была в ее любимом пятне этот тепла в субботу утром, крен, уже съеденный, чай на таблице около нее. Сквозь венецианское окно позади нее, она могла бы заслушивать голоса пронзительного воя и преувеличила звуковые спецэффекты мультипликаций, с пунктуацией иногда хихиканьем Кади. Каждую субботу она дразнила ее дочь относительно наблюдения мультипликаций в ее возраст, и каждую субботу Cady давал ей просмотр older-than-the-hills наряду с некоторым замечанием относительно полуобнаженных морских пехотинцев и жестких тел. Тогда она быстро plopped непосредственно перед ТЕЛЕВИДЕНИЕМ(ТЕЛЕВИЗОРОМ) в ее nightshirt и ела завтрак мороженое и уклоняться от соуса к сопровождающему симптому домашнего хозяйства Эллис.
От » Наконец Отец » Мэрилин Паппано
Just as chemistry determines what is to be alloyed with the steel, the treatments which can be given to the steel are determined by the variables of pressure, temperature and time.
Science and engineering are combined to exercise a control over these variables under conditions where the research investigator can examine the contribution of each variable and where he can optimize the combination of variables to produce steels with superior properties. Recently this type of investigation resulted in a physical simulation of hot rolling through the experiments in the laboratory – experiments in which the steel is not even rolled!
перевод программой Stylus версия 3.01
Также, как химия определяет то, что должно сплавиться со сталью, обработки(уходы), которые можно давать стали, определены переменными давления, температуры и времени.
Наука и разработка смешаны, чтобы осуществить контроль над этими переменными при условиях(состояниях), где исследовательский слушатель может исследовать содействие каждой переменной и где он может оптимизировать комбинацию переменных, чтобы поставить стали с верхним реквизитом. Недавно этот тип исследования привел к опытному моделированию горячей прокатки, сквозь эксперименты.
Программы-переводчики не могут заменить человека. Использование программ-переводчиков и словарей может существенно помочь в переводе и облегчить труд переводчика.
Текстовые переводчики можно использовать при переводе текстов технического содержания, так как термины в совсем большинстве однозначны, Перевод художественной литературы с помощью программ-переводчиков невозможен!
Как машинный перевод экономит время переводчиков
Машинное обучение упрощает работу специалистов в самых разных областях, например, переводчикам. Хотя без живых людей по-прежнему не обойтись, их роль в процессе меняется. Технический специалист MedConsult Татьяна Апраксина рассказывала, как в бюро внедрили машинный перевод, как выглядит работа с ним на практике и каких результатов удалось достичь.
У переводчиков есть популярный анекдот: «Голый кондуктор бежит под вагоном» — так выглядит автоматический перевод фразы «A naked conductor runs under the tram» без учета контекста. А должно быть: «Оголенный провод проходит под вагоном». Примерно так выглядел и машинный перевод еще в 2008 году. Но сейчас все сильно изменилось: перевод, выполненный благодаря алгоритмам, сложно отличить от «человеческого». Да, полностью заменить переводчиков нельзя, но новые технологии сильно повышают качество и скорость. Разберемся, как это работает, на примере компании MedConsult.
MedConsult — бюро переводов медицинских документов. Его сотрудники помогают фармацевтическим, медицинским, страховым компаниям и частным заказчикам с переводом документов для регистрации препаратов, выписок из карт и т. д.
Татьяна Апраксина занимается внедрением и поддержкой инструментов автоматизации перевода в компании MedConsult. «Мы решили не разрабатывать программы сами, — рассказывает Татьяна, — создавать свое решение долго и дорого. На рынке есть поставщики услуг машинного перевода: мы пользуемся программой MemoQ и сервисами компании Intento. Наша задача — сделать использование этих инструментов максимально простым для наших переводчиков».
MemoQ — это программа для перевода текстов, в которой сотрудники используют разные плагины, помогающие в работе. В MedConsult начали использовать ее девять лет назад, отказавшись от обычных Word и Excel, и соответственно перестраивать работу переводчиков.
«Это было непросто: обычно переводчики — очень консервативные люди. Но они попробовали инструмент и поняли, что он значительно облегчает работу. Два года назад мы внутри компании начали внедрять плагин с машинным переводом, и теперь большинство переводчиков сами просят подготовить текст с использованием этой технологии».
Как работает программа для перевода
Даже без машинного перевода в MemoQ есть много полезных функций. Например, функция «память переводов» — файл, в котором записаны пары «оригинал-перевод». Если программа находит в тексте сегмент, который уже переводили ранее, — его перевод появится автоматически. В работе с медицинской документацией это экономит кучу времени: многие типовые куски документов уже когда-то переводили. А если программа находит похожий переведенный сегмент, то переводчик просто исправляет различающиеся детали.
Другая функция — глоссарий, словарь терминов. MemoQ позволяет создавать множество глоссариев, по которым программа будет подсвечивать медицинские термины, предлагая правильный перевод. В MedConsult создают глоссарии для каждой компании-заказчика, поэтому все переводчики, работающие над большим пакетом документов одного клиента, используют везде одинаковые термины.
Качество машинного перевода растет. У того же Google с 2009 по 2019 год работал сервис Translator Toolkit — в нем переводчики получали машинный перевод в веб-интерфейсе. Благодаря этому у Translator Toolkit появился большой массив данных о переводах и ручных исправлениях переводчиков за 10 лет. Эти данные использовали для обучения алгоритмов и повысили качество перевода.
По словам Татьяны, пока не все работает идеально. Иногда у поставщиков машинного перевода случаются сбои — может прийти текст очень плохого качества. Тогда приходится снова отправлять запросы на серверы и ждать, когда алгоритмы начнут работать правильно.
Как машинный перевод упрощает работу переводчиков
Пример: индийская фармацевтическая компания хочет продавать в России новое лекарство. Сначала компания оформит российское представительство и запросит в Минздраве список нужных документов. После этого она обратится в бюро медицинских переводов, чтобы перевести всю документацию с английского и подготовить ее по стандартам Минздрава.
Компания присылает в бюро большое количество документов: сертификаты, инструкции, результаты исследований и т. д. Чаще всего их присылают в формате сканов в PDF. Поэтому сканы нужно сначала распознать и перевести в удобный для перевода формат — в текстовые документы, например в Microsoft Word.
В бюро разбирают эти документы по темам и отдают переводчикам, которые, специализируются на конкретных направлениях. Специалист, как правило, имеет медицинское или химическое образование и узкое направление. Если с фармацевтикой могут работать многие, то документы, например, по эндокринологии будет переводить только специалист в этой теме.
Менеджеры бюро загружают текстовые файлы в программу MemoQ, подключают глоссарии и память переводов, после чего начинает работу переводчик. Если работают с типовым документом — может быть достаточно ручных исправлений из памяти переводов. Если текст нужно перевести с нуля, то работают с плагином для машинного перевода.
Переводчик использует машинный перевод как инструмент, но за конечный результат все равно отвечает человек. Чтобы документ был переведен правильно, проверяют падежи, стиль, формулировки, терминологию. Документ также утверждает редактор, а затем верстальщики оформляют его в нужной для Минздрава форме.
Кто занимается машинным переводом?
Обработкой текста занимаются специалисты по NLP (Natural Language Processing) — направлению Data Science. NLP-дата-сайентисты создают нейросети, которые анализируют исходный текст и выдают перевод. Для этого используют машинное обучение — нейросети обучают на больших наборах данных о правильном переводе слов.
В этой профессии есть две специальности, но иногда ими занимается один специалист:
NLP Researcher — исследователь со знаниями в лингвистике. Он подбирает данные для обучения разрабатываемых нейросетей и проводит в них эксперименты по переводу.
NLP Research Engineer — разработчик со знаниями математики и алгоритмов машинного обучения. Он пишет код на Python, который реализует задачи исследователя.
Дата-сайентисты могут работать и в других областях машинного обучения, например бизнес-аналитике и компьютерном зрении.
Data Science с нуля
Освойте самую востребованную профессию 2021 года! Только реальные знание и навыки, поддержка менторов и помощь в трудоустройстве. Дополнительная скидка 5% по промокоду BLOG.
Что дало внедрение машинного перевода?
Компания MedConsult работает с программой MemoQ уже девять лет, а плагин для машинного перевода внедрили два года назад. Главное преимущество над простой работой в Word — упрощение редактуры большого проекта, над которым работает несколько переводчиков. Машинный перевод делает работу качественнее и быстрее. Вот каких результатов с его помощью удалось достичь:
Как обучить компьютер переводу?
Мы спросили у Вячеслава Лялина, ведущего автора NLP-трека (интенсивного курса по Natural Language Processing — обработке естественного языка) в Акселераторе SkillFactory, как можно обучить компьютер машинному переводу. По его словам, современные системы перевода можно описать одним предложением: подаем в нейросеть текст на одном языке, а на выходе получаем текст на другом языке.
До нейронных сетей пользовались статистическими системами. Они были сложными и состояли из большого числа компонентов, таких как модель перевода отдельных фраз, языковая модель, которая старается получить из перевода фраз связный текст, и большого числа других подсистем. А с 2016 года мир начал двигаться в сторону нейронных моделей по нескольким причинам.
«Во-первых, нейронные модели стали работать лучше статистических, во-вторых, они были проще, но самое главное — их качество лучше “склеилось” с данными», — считает Вячеслав.
Для обучения нейронной системы перевода достаточно большого датасета так называемых параллельных предложений, то есть пар «предложение-перевод». При обучении системе подают на вход предложение, которое хотят перевести, и внутри она преобразует его в набор чисел (векторы). Эта часть нейросети называется энкодером. Дальше эти векторы изначального предложения передаются в следующую часть нейросети — декодер, — которая предсказывает вероятность следующего слова перевода на основе предыдущих слов перевода и слов оригинального предложения.
Когда система обучена, перевод генерируется пословно. Декодер предсказывает одно слово, после чего оно добавляется в перевод. Дальше декодер на основе векторов из энкодера (информации об оригинальном предложении) и уже сгенерированной части перевода предсказывает следующее слово. Операция повторяется, пока декодер не выдает специальное слово, обозначающее конец перевода.
Machine Learning и Deep Learning
На курсе вы освоите все классические алгоритмы машинного обучения — от деревьев до рекомендательных систем — а также научитесь создавать нейросети.