Как определить качество услуг переводческой фирмы? Проще всего оценить составляющую «обслуживание» – вежливость менеджера, оперативность ответа на запросы, предоставление пояснений к переводу и тому подобное. А вот качество самого продукта перевода заказчику объективно оценить довольно сложно: нужно безупречно владеть терминологией и стилем, понимать все оттенки смысла оригинального текста, а также держать в голове большой академический словарь русского языка. Что же делать? Можно ли на основании косвенных признаков предположить, насколько адекватным получится перевод в данной компании?

Перевод – это чёрный ящик. В ящике сидят два друга – Технология и Персонал.
Технология – это стандартные стадии обработки текста, программы управления проектами, которыми пользуются менеджеры и т.д. Сложная технология – добрый знак.
Персонал – это переводчики, редакторы и другие члены команды.
От слаженной работы двух «друзей» зависит то, что вылезет из черного ящика. Например, если технологический процесс включает подготовку вспомогательных материалов, перевод, тематическое редактирование, литературное редактирование, вёрстку и финальную проверку, качество будет выше, чем при только переводе. Но это при условии, что каждую стадию выполняет действительно квалифицированный специалист.
Возникает закономерный вопрос: как бюро переводов отбирает и тестирует своих переводчиков, редакторов, корректоров?

Возможно несколько вариантов:
1) Переводчиков находят среди друзей и бывших однокашников, обычно лингвистов. Квалификация никак не проверяется. Результат – плачевный, особенно при техническом переводе. Руководитель переводческой компании может догадываться, что качество хромает.
2) Переводчиков отбирают исключительно на основании опыта работы, указанного в резюме (например, переводчик пишет, что работал с текстами по газотурбинным установкам). Поскольку хороших переводчиков по нашей статистике не более 20% от общего числа специалистов на рынке, результат – как правило тот же, что в п.1, с той лишь разницей, что руководство бюро переводов пребывает в счастливом неведении относительно уровня перевода.
3) Каждый новый переводчик выполняет для бюро небольшое тестовое задание, которое оценивает проверенный редактор (к примеру, грамотный инженер с электротехническим образованием, работающий на современной газотурбинной электростанции и владеющий иностранным языком на уровне понимания письменных текстов) и выносит вердикт – подходит кандидат или нет. Результат гораздо лучше, но у проверяющего могут возникать сложности с принятием решения в пограничных случаях, также по истечении некоторого времени уже сложно вспомнить, в чем состояли ошибки именно данного переводчика.
4) Количественное измерение качества. Все переводчики выполняют тест-задание в каждой новой тематике, при этом проверяющий отмечает все ошибки переводчика согласно существующему классификатору ошибок и заполняет форму оценки качества перевода, в которой подсчитывается индекс качества – translation quality index (TQI). В этом случае оценка максимально беспристрастна, и по каждому кандидату сохраняется журнал ошибок. В зависимости от требований проекта менеджер выбирает наиболее подходящего специалиста исходя из его сильных и слабых сторон.

В основе системы отбора персонала по индексу качества лежит простой принцип: хочешь оценить качество перевода – посчитай, сколько в нём ошибок, и сколько они “весят”!
Для этого нужны несколько составляющих:
• Тест-задание – файл объёмом не менее 3000 печатных знаков, составленный на основе различных типов текста, встречающихся в проекте (например, тест для проекта по локализации компьютерной игры должен содержать образцы диалогов персонажей, отдельные реплики героя, названия предметов, элементы меню и графического интерфейса, системные сообщения). Кандидаты должны обладать всей необходимой информацией для идеального выполнения теста (т.е. вместе с тестом отправляются необходимые пояснения и рекомендации, а также инструкции для переводчика).
• Классификатор ошибок – простой, удобный, исчерпывающий, с примерами. Ошибки делятся на несколько классов (например, на смысловые, терминологические, языковые, стилистические, ошибки оформления и ошибки соблюдения региональных стандартов) и далее на типы. Ошибки могут быть серьёзными и незначительными, и у каждой ошибки имеется свой вес (у нас – от 1 до 6).

• Процедура оценки, зафиксированная в инструкции (с разъяснениями, как подготовить тест-задание, как отличить ошибку от стилистического предпочтения переводчика и т.д.)
• Проверяющий – внимательный, грамотный носитель языка с опытом перевода и тематического редактирования, прошедший обучение по процедуре проверки и досконально разобравшийся в тестовом отрывке (в среднем на то, чтобы разобраться в тест-задании, у проверяющего уходит 10-15 часов).

• Форма оценки перевода – в форму заносится количество ошибок каждого типа, допущенных переводчиком, TQI подсчитывается (желательно автоматически) по формуле (1 – (кол-во набранных баллов ошибок / кол-во слов))*100%.

Согласно нашей статистике, количество переводчиков с TQI в профильной тематической области выше 86 – не более 20% от общего числа специалистов на рынке, с TQI выше 90 – не более 10%. Чтобы подобрать команду из 12 переводчиков и 3 редакторов, проверяющий должен изучить около 100 тест-заданий! Это кропотливая работа, которая, тем не менее, с лихвой окупается эффектом от её применения.

Система TQI может применяться и для оценки качества на промежуточных этапах и на этапе сдачи заказчику – в качестве выходного контроля. В любом случае TQI текста, который сдаётся клиенту, никогда не должен опускаться ниже 95, а целевой TQI составляет 99.

Очень хорошую презентацию по количественному измерению качества перевода можно найти на сайте Aliquantum.

Так что спросите менеджера бюро переводов, кто прячется в чёрном ящике, и как он туда попал.

Не может быть и сомнения в том, что перевод – это услуга. В то же время перевод – это совсем не то же самое, что внешняя бухгалтерия, создание сайтов или, скажем, уборка помещений. И разница не только в том, что с точки зрения технологии перевод – это работа с текстом, а бухгалтерия – работа с платежками, чеками и отчетами. Хо-хо!

Разница гораздо серьёзнее.

Вот наняли вы уборщицу (или даже клининговую компанию), чтобы она приходила к вам и протирала пыль, подметала, мыла полы и выносила мусор. Тетенька приходит в офис в 07:00 (у неё свой ключ), убирается и идет дальше по своим делам. В 09:00 (да-да, утром лучше работается!) в офис приходите вы. Хотя вы и не виделись с уборщицей, вы сразу точно можете сказать, что в корзинах нет вчерашних бумажек и чайных пакетиков, а горы песка с ботинок вчерашних клиентов волшебным образом испарились. В конце каждого месяца вы оставляете в ящике стола для Тетеньки N рублей, которые исчезают на следующее утро.
Вы можете компетентно заявить, что услуга оказана отлично, потому что вы используете собственные глаза и нос сразу после оказания услуги, и они вас не подводят – грязь и мусор действительно исчезли!

Теперь вы идёте к переводчику (или в бюро переводов), чтобы он вам перевел на английский язык сайт вашей фирмы. Через неделю вы получаете на руки готовый текст и отдаете его веб-программисту. Вот Иван Иваныч теперь обзавидуется, – думаете вы, – ведь теперь у меня есть Сайт на Английском языке! Вы радуетесь, платите переводчику деньги. А он вообще-то ничего, – думаете вы, – профессионально к делу подошёл! Рассказал, чем британский английский от американского отличается, говорил слова умные – “локализация”, “интернационализация” и даже “корреляция” и показал (страшно сказать) диплом кандидата филологических наук, перевод прислал вовремя, деньги не тряс, подождал месяцок… Со всех сторон приятный человек!
То есть вы однозначно удовлетворены оказанной услугой.
Проходит год. Приезжает к вам в гости старый знакомый из Нью-Йорка, погостить (уехал в штаты в середине девяностых). И заходит он на ваш сайт – так, из интереса. И говорит: слушай, а перевод-то поганый!
А перевод, надо сказать, и вправду поганый, с кучей стилистических и грамматических ошибок. Приехали.
То есть получается, что услугой вы совсем не удовлетворены, как раз наоборот: вот гад – а ещё диплом показывал!

В чем же дело?
Просто заказчик очень редко может компетентно оценить качество услуги перевода в момент её оказания! С другими услугами обычно проще: созданный сайт вам либо нравится, либо нет, и вы можете сказать это наверняка; вам либо пришло уведомление явиться в налоговую с объяснениями, либо нет, и вы можете спать спокойно.

В главе 7 “Качество обслуживания” своей книги Дэвид Майстер формулирует Первую Заповедь Услуг: “УДОВЛЕТВОРЕНИЕ [клиента - прим. Д.Т.] равно ВОСПРИЯТИЕ минус ОЖИДАНИЯ” [Д.Майстер. Управление фирмой, оказывающей профессиональные услуги/Пер. с англ. - 2-е изд. - М.: Альпина Бизнес Букс, 2005. - С.97]. Заметьте, здесь не идет речь о компетентности заказчика, или даже о компетентности исполнителя. Речь идет о воприятии, то есть то, какое впечатление клиент получил от оказанной услуги. В конце главы, автор говорит о том, что конкурировать необходимо не за счет цены, а за счет качества, и поясняет, что имеется в виду именно качество обслуживания, а не качество работы: “Улучшение качества работы может стоить дорого, и его сложно доказать. А качество обслуживания можно улучшить, лишь изменив отношение персонала. И это клиент замечает быстрее” [Там же. - С.101].
Что же получается, в нашем случае качество услуги перевода действительно хорошее, несмотря ни на что?

Конечно, нет. Наверное, Дэвид Майстер говорит про области, в которых клиент достаточно компетентен, чтобы быстро оценить результат оказания услуги. И перевод к таким областям, увы, не относится (“увы”, потому что иначе среднее качество переводов было бы гораздо выше). И нужно понимать, что в переводе удовлетворение клиента как бы растянуто во времени, его нельзя замерять точечно!

В этом смысле работу переводчика можно уподобить работе архитектора: архитектурный проект жилого дома может быть красивым, оригинальным, масштабным и вызывать полное умиление заказчика. Архитектор может даже продать этот проект. Но если архитектор плохо разбирался в физике и не рассчитал, как будет распределяться нагрузка на балки, дом попросту рухнет – и не обязательно завтра. Это может произойти через десять или двадцать лет, когда приедет один старый знакомый из Нью-Йорка…

Глупо рассчитывать, что заказчик строительства разбирается во всех тонкостях строительного ремесла! У него нет компетенций, чтобы адекватно оценить архитектурный проект. Именно поэтому строительство – лицензируемая область деятельности. Поэтому заказчик может себе позволить оценивать качество ОБСЛУЖИВАНИЯ – ведь качество работы гарантирует лицензия.

В России переводческая деятельность не лицензируется, но я верю в качество.
Качество, которое складывается из ОБСЛУЖИВАНИЯ, умноженного на строгое соблюдение ТЕХНОЛОГИЧЕСКОГО ПРОЦЕССА.