| Pages in topic: [1 2 3 4 5 6] > | Добротность переводчиков в КудоЗ Thread poster: Feinstein
|
|---|
Feinstein
Germany
Local time: 10:49
German to Russian
+ ...
Система начисления очков КудоЗ призвана ориентировать заказчика в поиске подходящего исполнителя. Предполагается наличие некоей связи между суммой набранных очков КудоЗ и "переводческим уровнем" ее обладателя: чем больше сумма, тем вероятнее получение заказа, выше �... See more Система начисления очков КудоЗ призвана ориентировать заказчика в поиске подходящего исполнителя. Предполагается наличие некоей связи между суммой набранных очков КудоЗ и "переводческим уровнем" ее обладателя: чем больше сумма, тем вероятнее получение заказа, выше ожидаемое качество перевода и, соответственно, возможный гонорар переводчика.
На деле набранная сумма очков, как было справедливо замечено в одном из форумов, может в лучшем случае характеризовать лишь активность участника в КудоЗ. Она не позволяет судить, насколько хорош переводчик в решении задач КудоЗ.
Чтобы устранить этот недостаток и снабдить заказчика более эффективным критерием выбора вероятного исполнителя, предлагается ввести несколько иной показатель качества или эффективности участника КудоЗ. Для его определения уже имеются все необходимые данные и потребуется минимальная корректировка программного обеспечения сайта – ради одного дополнительного арифметического действия.
Автор, не претендуя на окончательность, приспособил для этого показателя термин "добротность" и его обозначение Q из теоретической радиотехники:
добротность Q = P/A,
где Р (от Punkte, Points) – количество набранных переводчиком очков КудоЗ;
А (от Antworten, Answers) – количество предложенных переводчиком ответов на вопросы в КудоЗ.
Данные Р и А имеются в стандартизованных профилях всех лиц, зарегистрированных на ПроЗ.
При существующей системе начисления очков Q может теоретически принимать значения в диапазоне 0…4, является приведенным, стандартизованным показателем и позволяет выстроить истинно объективный рейтинг участников. Показатель "добротность" при этом имеет двоякий смысл. С одной стороны, он является средней из полученных за ответы оценок (оценка за не принятый ответ – 0 очков) и характеризует тем самым некое среднее качество ответов. С другой – он говорит о среднем количестве принятых из 4 предложенных ответов и, соответственно, об эффективности, основательности, убедительности отвечающего. С той и другой точек зрения добротность Q гораздо красноречивее и полезнее простой суммы набранных очков.
Рассмотрим пример. В таблице представлена "верхушка" списка лидеров в одной из популярных языковых пар "за все время". Из этических соображений реальные имена и псевдонимы закодированы латинскими буквами. Автор также не счел уместным использовать здесь данные безвременно ушедшего коллеги.
Code:
|
Рейтинг Всего очков Всего ответов Добротность Рейтинг
в паре Р А Q = P/A Q
1. AA 23979 7689 3,119 1
2. BB 7061 4553 1,551 11
3. CC 7748 3848 2,014 7
4. DD 4041 1601 2,524 2
5. EE 3668 2398 1,53 13
6. FF 2938 1890 1,554 10
7. GG 7751 3878 1,999 8
8. HH 8616 8459 1,019 15
9. II 3198 1303 2,454 3
10. JJ 4306 2061 2,089 5
11. KK 2165 1143 1,894 9
12. LL 1967 943 2,086 6
13. MM 4352 3527 1,234 14
14. NN 1666 1085 1,535 12
15. OO 1277 551 2,318 4
28,92 : 15 = 1,928
|
|
Данные на 20:00 03 апреля 2011 года
В последнем столбце таблицы приведены позиции в списке, которые заняли бы участники при ранжировании по добротности.
Здесь нетрудно убедиться в справедливости утверждения "не все то золото…". Участник АА, возглавляющий рейтинг в паре, с заоблачной, недостижимой в обозримом будущем добротностью Q = 3,119 справедливо сохраняет лидерство и в рейтинге, составленном по предлагаемой методике. Но вот следующий за ним ВВ с вроде бы блестящей суммой очков 7061 демонстрирует весьма среднюю, вдвое меньшую добротность Q = 1,551 и оказывается в новом рейтинге лишь на 11 месте.
Участнику НН, чтобы набрать 8616 очков, понадобилось предложить 8459 ответов, что принесло Q = 1,019 и замыкающее 15-е место в списке. В то же время ОО, со "скромной" суммой 1277 находившийся на 15-й позиции в исходном рейтинге, мог бы переместиться с Q = 2,318 на 4 место в центр внимания работодателей.
Понятно, что заказчику, заинтересованному, прежде всего, в высоком качестве перевода, логичнее выбирать между исполнителями с Q = 2,524 и Q = 1,234, чем с Р = 4041 и Р = 4352. Думается, простота определения, понятность и полезность предлагаемого показателя не нуждаются в дальнейших объяснениях. Приведем еще ряд нелишних соображений.
Методами математической статистики могут быть обработаны выборки, образуемые подсчитанными Q. Это могут быть как генеральная совокупность – по сайту в целом, так и выборки для самых разных частных случаев – различных языковых пар, специализаций, возрастов, часовых поясов, полов, стран, конфессий, цвета глаз переводчиков – любых срезов, которые пожелает получить администрация сайта. Этим путем могут быть получены дополнительные полезные сведения, например, математическое ожидание (среднее выборки), с которым можно сравнивать индивидуальные показатели. Можно определить уровень Q, выше которого лежит область выдающихся значений. Переводчиков с Q в этой области можно пересчитать по пальцам, их можно, например, привлекать для консультаций или арбитража. На основе приведенной таблицы можно навскидку предположить, что здесь этот уровень находится около Q = 2,0. Коллеги с такой добротностью и определили среднюю Q = 1,928 для этой выборки.
Предлагаемый показатель – консервативный, очень устойчивый. Он может служить арифметическим обоснованием поговорки "береги честь смолоду". Если ухудшить свой индивидуальный коэффициент достаточно просто – подать серию не принятых ответов, то повысить его трудно и тем труднее, чем больше предложенных ответов накоплено. Рассмотрим еще один пример.
Участник ЕЕ хотел бы повысить свою добротность до 1,54 – всего на одну сотую. Что для этого нужно? Простой подсчет показывает, что для этого придется ответить на 11 вопросов КудоЗ так, чтобы они все были признаны наиболее полезными с оценкой 4 балла. При этом не должно быть 12-го – неудачного ответа. В то же время гипотетическому участнику с Р = 367, А = 240 и такой же Q = 1,53 для той же цели потребовалось бы 2 ответа. Т. о., для значительного, например. на одну десятую, повышения своего показателя понадобятся нешуточные усилия; при равной добротности, но вдесятеро большем количестве предложенных ответов существенно улучшить свои позиции практически невозможно. Вероятно, об этой особенности следует предупреждать новичков.
Таким образом, показатель Q может служить визитной карточкой переводчика (в КудоЗ!). Желательно, чтобы он всплывал при каждом упоминании переводчика на просторах ПроЗ.
В собственных целях автор уже давно использует предложенный показатель (это доступно каждому в отношении как самого себя, так и соседей по ПроЗ). Как правило, вычисленная добротность коллеги корреспондировала субъективному впечатлению от его решений в КудоЗ или выступлений в форумах.
Остается надеяться, что читатели поддержат идею, а русскоязычный персонал сайта или модераторы доведут ее до сведения администрации (автор не владеет американским или британским). ▲ Collapse
| | | | Nikita Kobrin 
Lithuania
Local time: 11:49
Member (2010)
English to Russian
+ ...
| Дельная идея! | Apr 17, 2012 |
Feinstein wrote:
набранная сумма очков, как было справедливо замечено в одном из форумов, может в лучшем случае характеризовать лишь активность участника в КудоЗ. Она не позволяет судить, насколько хорош переводчик в решении задач КудоЗ.
Верно!
Feinstein wrote:
Остается надеяться, что читатели поддержат идею, а русскоязычный персонал сайта или модераторы доведут ее до сведения администрации (автор не владеет американским или британским).
Я поддерживаю!
| | | | Andrej
Local time: 14:49
Member (2005)
German to Russian
+ ...
| Совершенно верно | Apr 17, 2012 |
Полностью правильное предложение, и я лично его полностью поддерживаю. Сам всегда при просмотре профилей коллег учитываю, сколько они дали ответов и сколько им за это дали очков, такой подход напрашивается сам собой. И действительно, результаты бывают удивительные и никак... See more Полностью правильное предложение, и я лично его полностью поддерживаю. Сам всегда при просмотре профилей коллег учитываю, сколько они дали ответов и сколько им за это дали очков, такой подход напрашивается сам собой. И действительно, результаты бывают удивительные и никак не коррелирующие с позицией в общем рейтинге. Когда для набора 3000 очков кому-то пришлось ответить на 2000 вопросов, это, мягко говоря, как-то смущает (пример выдумал из головы, никаких личных ассоциаций в нем нет!). К сожалению, на 100% уверен в том, что администрация не будет реализовывать это предложение. ▲ Collapse
| | | | ingeniero
Ukraine
Local time: 11:49
English to Russian
+ ...
| Кажется, уже было... | Apr 17, 2012 |
Feinstein wrote:
Остается надеяться, что читатели поддержат идею, а русскоязычный персонал сайта или модераторы доведут ее до сведения администрации (автор не владеет американским или британским).
Если я не ошибаюсь, такой алгоритм вычисления "качества" переводчика уже предлагался (в общем-то он досттаточно очевиден) и даже с некоторыми усовершенствованиями на минимальное количество ответов (поскольку переводчик с всего одним и правильным ответом попадает в самый верх списка).
Я так я только за. Это ж насколько выше в рейтинге я окажусь!
| | |
|
|
|
Andrej
Local time: 14:49
Member (2005)
German to Russian
+ ...
ingeniero wrote: Я так я только за. Это ж насколько выше в рейтинге я окажусь!
Именно поэтому его и не будут реализовывать. Слишком многие будут обижены. Дал 10 000 ответов, получил 10 000 очков, столько трудов! А тут на-ка, и ты с 10 000 ответов и с 10 000 очков вовсе даже чуть ли не последний в списке.
ЗЫ Еще раз, коллеги: никаких личных ассоциаций, все цифры из головы, без всяких намеков!
| | | | | сайт на это не пойдет | Apr 17, 2012 |
Это точно
| | | | | Следует учесть: | Apr 17, 2012 |
Если какой-то ответ выбран в качестве наилучшего, это еще не значит, что это наилучший и правильный ответ. Тогда следует учитывать, кто вопросы задает, что это за люди.
Боюсь, что объективность в этом вопросе невозможна.
| | | | | Никто не будет отвечать на вопросы, | Apr 17, 2012 |
ingeniero wrote:
переводчик с всего одним и правильным ответом попадает в самый верх списка.
чтобы не попортить себе рейтинг. Это же очевидно.
| | |
|
|
|
Я только за А то бывает так, что задаешь вопрос, на который сам искал пару часов ответ и не нашел, а тут через минуту получаешь три ответа, из которых ни один не подходит. Отвечает народ "для галочки". Кроме того, процент принятых ответов уже ... See more Я только за А то бывает так, что задаешь вопрос, на который сам искал пару часов ответ и не нашел, а тут через минуту получаешь три ответа, из которых ни один не подходит. Отвечает народ "для галочки". Кроме того, процент принятых ответов уже высчитывается в статистике.
По поводу "наилучших ответов": конечно, бывают исключения, особенно для литературных и прочих переводов творческого характера, когда автор вопроса прямо признается, что выбирает тот или иной ответ, ибо он ему больше по душе. Но это все же не основная тенденция. ▲ Collapse
| | | | | Изобретение велосипеда | Apr 17, 2012 |
Не поддерживаю. Во-первых, в профиле каждого пользователя ProZ имеется ссылка See all points earned ("См. все заработанные очки"), при переходе по которой открывается окно со статистикой ответов пользователя на вопросы KudoZ. На вкладке Stats в этом окне приводится показатель Acceptance rate ("Проц�... See more Не поддерживаю. Во-первых, в профиле каждого пользователя ProZ имеется ссылка See all points earned ("См. все заработанные очки"), при переходе по которой открывается окно со статистикой ответов пользователя на вопросы KudoZ. На вкладке Stats в этом окне приводится показатель Acceptance rate ("Процент принятых ответов"). Насколько я понимаю, фактически этот процент эквивалентен предлагаемому показателю "добротности". Например, у меня это выглядит следующим образом:
Questions answered 129
Answers accepted 43
Acceptance rate 33.3
Что означает - задавшие вопросы приняли 1/3 моих ответов. Соответственно, остальные 2/3 ответов не были приняты. Однако это отнюдь не означает, что эти 2/3 ответов - неправильные. Во-первых, на каждый вопрос отвечающими могут быть даны несколько правильных ответов - но из них может быть принят только один. Во-вторых, авторы вопросов, то ли в силу недостаточной квалификации в той или иной тематической области, то ли в силу вкусовых предпочтений или иных факторов достаточно часто выбирают неправильные (или не самые лучшие) ответы, как их ни убеждай.
И, самое главное, если я правильно понял, в предлагаемой модели, чем активнее участник, чем больше у него ответов на вопросы, тем труднее ему будет улучшить свой рейтинг. При этом в выигрыше окажутся те, кто даёт минимум ответов. У удачно ответившего на один вопрос будет максимальный уровень добротности - 4. Полагаю, такого не должно быть.
В свою очередь, предлагаю учитывать в рейтинге участников оценку переводов, представляемых на звание ProZ.com Professional. Поскольку присуждаемые за это очки Brownitz никакой ценности практически не имеют.
[Edited at 2012-04-17 12:14 GMT]
[Edited at 2012-04-17 13:47 GMT]
[Edited at 2012-04-17 13:51 GMT] ▲ Collapse
| | | | Nikita Kobrin
Lithuania
Local time: 11:49
Member (2010)
English to Russian
+ ...
| Нет в мире совершенства, но... | Apr 17, 2012 |
erika rubinstein wrote:
Если какой-то ответ выбран в качестве наилучшего, это еще не значит, что это наилучший и правильный ответ. Тогда следует учитывать, кто вопросы задает, что это за люди.
Боюсь, что объективность в этом вопросе невозможна.
Есть такая проблема, но все же предложенная система будет более объективной, чем ныне существующая и потому она заслуживает внимания.
Leanida wrote:
Никто не будет отвечать на вопросы, чтобы не попортить себе рейтинг. Это же очевидно.
Ничего подобного: тот, кто умеет "добротно" отвечать на вопросы и дальше будет это делать, ну а тот, кто не умеет и боится "попортить себе рейтинг"... пусть не отвечает - от этого всем станет только лучше...
| | | | Andrej
Local time: 14:49
Member (2005)
German to Russian
+ ...
Vladimir Morozov wrote:
В свою очередь, предлагаю учитывать в рейтинге участников оценку переводов, представляемых на звание ProZ.com Professional. Поскольку присуждаемые за это очки Brownitz никакой ценности практически не имеют.
Я бы сказал, что звание ProZ.com Professional никакой ценности практически не имеет. Во всяком случае, в моих глазах. Потому что иногда (а если честно, то очень часто) просто диву даешься, какие ProZ.com Professional встречаются на просторах сайта. Это звание девальвировалось очень быстро. Опять же никаких личных ассоциаций, это мнение я тут уже высказывал много раз и в других темах.
| | |
|
|
|
| Объективной оценки не получится | Apr 17, 2012 |
Бывает, что появился новый вопрос в КУДОЗ и на него еще никто не ответил. Пока отвечаешь на этот вопрос и отправляешь ответ, оказывается, что-то кто-то уже на него ответил и ответил правильно. В результате обычно очки присуждаются первому ответившему правильно и это справед�... See more Бывает, что появился новый вопрос в КУДОЗ и на него еще никто не ответил. Пока отвечаешь на этот вопрос и отправляешь ответ, оказывается, что-то кто-то уже на него ответил и ответил правильно. В результате обычно очки присуждаются первому ответившему правильно и это справедливо, но второй правильно ответивший оказывается "в пролете".
Еще один пример. Я, как-то, отвечала на многочисленные вопросы в технической тематике одного и того же коллеги, совершенно не знакомого с данной тематикой. Потом эта коллега присудила очки сразу за все ответы и очки за все ответы, кроме одного, присудила мне. Но... она мне дала по 1 или 2 очка, а ответ на тот единственный вопрос, за который очки были присуждены не мне, был неправильным.
И о какой объективной оценке может идти речь в подобных случаях? ▲ Collapse
| | | |
Vladimir Morozov wrote:
Не поддерживаю. Во-первых, в профиле каждого пользователя ProZ имеется ссылка See all points earned ("См. все заработанные очки"), при переходе по которой открывается окно со статистикой ответов пользователя на вопросы KudoZ. На вкладке Stats в этом окне приводится показатель Acceptance rate ("Процент принятых ответов"). Насколько я понимаю, фактически этот процент эквивалентен предлагаемому показателю "добротности".
Что означает - задавшие вопросы приняли 1/3 моих ответов. Соответственно, остальные 2/3 ответов не были приняты. Однако это отнюдь не означает, что эти 2/3 ответов - неправильные. Во-первых, на каждый вопрос отвечающими могут быть даны несколько правильных ответов - но из них может быть принят только один. Во-вторых, авторы вопросов, то ли в силу недостаточной квалификации в той или иной тематической области, то ли в силу вкусовых предпочтений или иных факторов достаточно часто выбирают неправильные (или не самые лучшие) ответы, как их ни убеждай.
Можно настроить сайт так, чтобы показатель "Доля принятых ответов" отображался рядом с именем пользовался.
Но следует иметь в виду, что задают вопросы не самые квалифиуированные переводчики, и выбор ими ответов достаточно субъективен, как и мнения коллег. Как говорил персонаж одной кинокомедии, "до смешного доходит". Например, несколько лет назад предложенный мной ответ был отвергнут потому, что "печи металлоломом не топят". Почему-то никто не заметил, что речь шла не об отопительной, а о доменной печи.
| | | | | Ценность всех званий и рейтингов относительна | Apr 17, 2012 |
Andrej wrote: Я бы сказал, что звание ProZ.com Professional никакой ценности практически не имеет. Во всяком случае, в моих глазах. Потому что иногда (а если честно, то очень часто) просто диву даешься, какие ProZ.com Professional встречаются на просторах сайта. Это звание девальвировалось очень быстро.
Ценность всех званий и рейтингов на ProZ.com относительна. Кто-то получает звание заслуженно, кто-то нет. Оценивая образцы переводов, всякого насмотрелся - на какие только ухищрения люди ни идут, чтобы его получить. Но и если ориентироваться только на рейтинг KudoZ, то, на мой взгляд, можно отсеять 3/4 вполне квалифицированных переводчиков. Далеко не каждый имеет время и желание отвечать на эти вопросы. Поэтому, видимо, нужен какой-то более объективный совокупный показатель.
| | | | | Pages in topic: [1 2 3 4 5 6] > | To report site rules violations or get help, contact a site moderator: You can also contact site staff by submitting a support request » Добротность переводчиков в КудоЗ No recent translation news about Russian Federation. |
| Anycount & Translation Office 3000 | Translation Office 3000
Translation Office 3000 is an advanced accounting tool for freelance translators and small agencies. TO3000 easily and seamlessly integrates with the business life of professional freelance translators.
More info » |
| | Wordfast Pro | Translation Memory Software for Any Platform
Exclusive discount for ProZ.com users!
Save over 13% when purchasing Wordfast Pro through ProZ.com. Wordfast is the world's #1 provider of platform-independent Translation Memory software. Consistently ranked the most user-friendly and highest value
Buy now! » |
|
| | | | X Sign in to your ProZ.com account... | | | | | |
Login to reply/comment 
Translation news in Russian Federation
