Как оцениваются работы на конкурсах?

**Василий Александров** » Вт фев 06, 2007 12:10 pm

Коля,дорогой! Конечно, очень хорошо посмотреть фотографии.
Например, я в своё время уже выставлял на Форум небольшие фотоальбомы о выставках в Казани и Питере:
http://foto.mail.ru/mail/alexandrov_vasil/2
http://foto.mail.ru/mail/alexandrov_vasil/28/

Андрей выставил некоторые фотографии от Осипова (та же "Фемида").

Но ведь больше никто ничего не присылает! (За исключением Осипова и Рачкова, поделившегося со мной казанскими снимками). А снимают практически все!

Мне кажется, наиболее удобно было бы давать ссылки на фотоальбомы, а не забивать Форум.
Услуги по созданию альбомов предоставляют, наример, http://www.mail.ru и http://www.gallery.ru/

Выкладывайте свои архивы в сеть, а мы все посмотрим и порадуемся!

**Administrator** » Вт фев 06, 2007 12:27 pm

Народ, таинственным образом в ответ на ваши пожелания возник форум Меморабилия...

Прекрасное место размещать фотографии, линки и прочее:

viewforum.php?f=37

Форум пожелал быть открытым, наверное таким его и оставим.

**Игорь Варченко** » Вт фев 06, 2007 5:45 pm

Микола писал(а):Игорь, молодец, вспомнил самое важное. Выставки дают возможность встречи с людьми, которые занимаются той же ерундой, что и ты. Посмотреть на них, послушать ну и, конечно дерябнуть, дюснуть, жахнуть, трахнуть. Чтобы потом оставить это событие в памяти на всю жизнь. Как мы играли в футбол в Воронеже, как купались в подземном бассейне под Таллинном...
Не карикатура для нас была важна, а человек и собеседник, занимающийся карикатурой. Обратите внимание, как карикатуристы рассматривают карикатуры на выставках. Бегло, без энтузиазма, без эмоций, без интереса, либо вообще не обращают внимания на разрисованные листы бумаги формата A4 И A3.
Зато как светятся лица карикатуристов при общении. Поэтому поддерживаю Игоря, давайте будем выладывать фотки с выставок. Уверяю, позитива будет больше, чем рассуждения о чистых и нечистых карикатуристах, о плагиате, о жупеле карикатура.ру и прочее.

Коль! Ты в точности обрисовал ситуацию - ни убавить, ни прибавить. Я тоже не могу сконцентрироваться на выставках. Моментом проскакиваю мимо стендов, зато с удовольствием вспоминаю наши посиделки, когда Бибишев заливается соловьем под гитару, Валька Дружинин поет свои собственные песни, Юра Кособукин, поддав, красиво философствует обо всем на свете. А рисунки потом в каталоге спокойно просматриваешь, когда страсти улягутся и только вспоминаешь, как классно все было.
Сегодня невероятно бредовый день. Написал огроменное письмо, адресованное Светлане, чтобы она не думала, что я сильно серчаю на их жюри. Подробно описал ПОЧЕМУ я именно так все изложил, но кипрский провайдер почему-то на полчаса обрубил инет и я потерял все, что написал. Повторять нет сил и желания. Но обидно почти до слез.

**Administrator** » Вт фев 06, 2007 5:57 pm

Игорь Варченко писал(а):но кипрский провайдер почему-то на полчаса обрубил инет и я потерял все, что написал. Повторять нет сил и желания. Но обидно почти до слез.

Закон компьютерщика - написал 10 предложений - сохрани...

Если бы еще я сам ему следовал, то не пришлось бы сегодня перепечатывать статью о годовщине мухамедского скандала... :cry:

**Dm.BOND.** » Вт фев 06, 2007 7:43 pm

zlatkovsky писал(а):Был в жюри Айдун Доган дважды-так хорошо прописанная на бумаге система в реальности -НЕ работает. То есть, работает, но очень прибдизительно...
А именно-оба раза находились члены жюри, которые(как уже сказано выше) ставили нескольким работам одинаковые баллы. А ВСЕМ членам жюри перед оценкой объяснялось, что у каждого есть возможность поставить только один раз оценку "1"..."15".
и вот показываются результтаы общего голосования--видим, что один, два..три.. члена жюри поставили нескольким работам по "8", или там "12".
что делать? Переголосовывать?
Куда там... И так три часа на жаре...
---

Мне кажется, именно эту проблему можно было бы решить простым способом: напечатать на самоклейке цифирки от "1" до "15" (на манер прилагаемых к пустым видео-кассетам, но удобного размера) и раздать всем членам жюри в единичном варианте. Президенту же, как имеющему дополнительные возможности в спорных случаях, цифры покрасить, напр., в красный цвет. Тогда даже непонятливый поймёт свои ограниченные возможности.

Кстати, как решается на отборе проблема языкового барьера у международного жюри? Или у всех знание английского по умолчанию?

zlatkovsky писал(а):... Но удалось вывести его на читсую воду...Стоило это многим---скандалом и чуть ли не дракой...В результате--кулуарное мнение, чо тебя, зараза, вряд ли пригласят еще раз в жюри сюда...---

"Заразой" были конечно Вы или всё же тот профессор живописи?

**Dm.BOND.** » Вт фев 06, 2007 8:08 pm

Виктор Богорад писал(а):Дмитрий, слабость турецкой системы заключается в 12 пункте. Посколько я участвовал в подобной системе отбора, то могу проанализировать недостаток системы. Предположим один член жюри оценивает две равноценные работы и дает им 12 и 10 баллов, а другой более эмоциальный член жюри дает 14 и 8= то в таком случае
работа, претендующая на высокое место, не добрав баллы, уступает
более слабой работе. А потом возникает недоумение по поводу распределения мест

Виктор, по этому поводу у меня возникли примерно те же мысли, что и у Андрея. Каждый член жюри (человек) воспринимает по-своему эмоционально и субъективно, всё в мире относительно и сравнительно... (извините, что говорю всем известные вещи, так легче рассуждать). Похоже, любой голос, любой маленький балл или крестик может решить исход голосования и стать соломинкой для верблюда. Но это, в принципе, и является целью - выявить лучшего по мнению определённой кучки людей. Возможно, что избежать явного неравенства в какой-то мере может небольшой "разгон" в баллах (напр. от 1 до 7, а не до 15) или дополнительный этап. А в ситуации с песком - обязанность сделать по 3 круга с максимальной нормой 2 совочка на одну работу. А то чересчур экспансивный член разбросает весь песок на первые же несколько работ или действительно вбухает всё в одну.

Получается, что до сих пор в карикатурно-конкурсном мире нет единого и общепринятого наиболее оптимального способа судейства? Проблема не имеет решения?

**Виктор Богорад** » Вт фев 06, 2007 8:52 pm

Дмитрий, исходя из опыта 6-ти жюри, могу сказать, что если каждый член жюри имеет только двоичный код для каждой работы (ндра или не ндра) и количество членов не менее 8-9, то лишний крестик имеет
значение около 10%, тогда отбор становиться более объективным, чем подсчет баллов. Например есть три работы претендующих на гран-при-
А,В и С, условимся что А лучше В, которое лучше С, и три члена жюри оценивает по Вашей системе от 1 до 7. Для А,В, и С первый ставит соответственно 7.6.5, второй 3.2.1, третий (поклоник работы С) 2.1.7,
У А-12баллов, у В-9,а у С-13! Побеждает более слабая работа С, на втором месте работа А, на третьем-В, Вот такая чехарда без злого умысла :twisted:

**Dm.BOND.** » Вт фев 06, 2007 9:49 pm

Виктор Богорад писал(а):Дмитрий, исходя из опыта 6-ти жюри, могу сказать, что если каждый член жюри имеет только двоичный код для каждой работы (ндра или не ндра) и количество членов не менее 8-9, то лишний крестик имеет значение около 10%, тогда отбор становиться более объективным, чем подсчет баллов. Например есть три работы претендующих на гран-при- А, В и С, условимся что А лучше В, которое лучше С, и три члена жюри оценивает по Вашей системе от 1 до 7. Для А,В, и С первый ставит соответственно 7.6.5, второй 3.2.1, третий (поклоник работы С) 2.1.7,
У А-12баллов, у В-9,а у С-13! Побеждает более слабая работа С, на втором месте работа А, на третьем-В, Вот такая чехарда без злого умысла

Пример понятен, но!.. Будем исходить из Ваших условий и из того, что не только А - лучшая работа, но и мнение 1-го судьи вернее. Тогда в той ситуации 1-й же и виноват в результатах, ибо он оценил разницу между работами А и С всего в 2 балла (они для него показались почти равноценны), а 3-й судья - в целых 5! И это его мнение и его полноценное право. Как и 2-го судьи держать в этой ситуации почти нейтральную позицию, что тоже сыграло в итоге.

Но ошибку здесь вижу прежде всего в малом количестве членов жюри (всего 3!). Попробовал расчитать этот же конфуз на 9 человек. Исходим из тех же вкусов: 1-й судья оценивает = 7.6.5, шесть судей инертны, нейтральны и представляют собой большинство в едином мнении = 3.2.1, а двое человек (не 1, а целых 2!) вдруг по своим усмотрениям решили опустить сильную А и поднять слабую работу С, оценив = 1.2.7. В итоге получаем А.В.С = 27.22.25 соответственно. В таком случае мнение меньшинства не сыграло роли, как те двое не старались в рамках дозволенных правил.
Хотя в этом случае пострадала работа-середнячок В. Но в этом "виноваты" те 6 судей которые поскупились на баллы в целом и оценили 2 сильные работы без большого отрыва от слабой (значит не настолько она была слаба и борьба была почти равной, а тогда и 1 балл может решить всё).

Если же оценка была бы до 15 баллов, то общее кол-во жюри (9 человек) уже не спасло бы в той же ситуации от "козней" тех двоих.

Я не знаю, сколько минимум человек должно быть в жюри (лучше 50-100)), чтобы один голос (напр. тупой спонсор или непорядочный член) не спутал карты профессионального большинства, но наверное это можно рассчитать. Но уж точно не три.

**Dm.BOND.** » Вт фев 06, 2007 11:06 pm

Как пример могу привести случай с судейством, который коснулся конкретно меня. Дело было в 89-м, ещё в СССР, на судействе конкурса "Эх, молодёжь!" в Калининграде (Моск. обл.). Я тогда только недавно начал посылать на конкурсы и этот был одним из первых. Моя работа якобы шла большинством на 1 место. Но один из известных (московских?) карикатуристов был против, мол, новичок неизвестный - рано сразу первое. В результате он умышленно открыто понизил баллы на финальном голосовании и работа получила 3-е место. Эту историю долго скрывали от меня, чтобы зря не расстраивать, потом кто-то на встрече всё же проболтался. Я уже не помню фамилий (чесслово!), но никаких обид на этого человека не держу. И вот почему: во-первых, это было правильно в воспитательных целях (для меня и 3-й приз был нежданной и скорой победой!!!), а во-вторых, это было личное мнение и полное право того члена жюри, данное ему системой голосования, её правилами. Значит система была не до конца продуманной. К сожалению я не знаю деталей того судейства, сколько членов было, каков был метод оценки, но видимо, открытое обсуждение.

Вот почему мне кажется, что нужно к системе и кол-ву голосующих подходить как можно строже. И не всегда открытое голосование полезно. Может результаты должны объявляться только в конце, чтобы никто не мог целенаправленно повлиять на ход голосования? Хотя в подобных случаях, без предварительного обсуждения и обмена мнениями, в призёры может пройти, повтор, плагиат или ещё что. Зато не будет лишних поводов для споров и скандалов, о которых рассказывал Михаил.

**Administrator** » Ср фев 07, 2007 12:21 am

Если

количество членов не менее 8-9, то лишний крестик имеет
значение около 10%, тогда отбор становиться более объективным, чем подсчет баллов

Да, похоже крестообразная система хороша при большом количестве членов жюри, что-нибудь около 10-ти.

15-бальная система тоже работает лучше при большом жюри, ошибка нивелируется. Проблема с двойным выбором на одно место тоже решается путем печатания бумажных форм. Каждый член жюри должен получить один бюллетень с перечнем всех художников (картинок) в финальний группе. Отметить член жюри может только одну работу проставив ее против определенной позиции (бюллетени с пропусками или двойными оценками аннулируются.)

**Игорь Варченко** » Ср фев 07, 2007 4:55 am

Administrator писал(а):
Игорь Варченко писал(а):но кипрский провайдер почему-то на полчаса обрубил инет и я потерял все, что написал. Повторять нет сил и желания. Но обидно почти до слез.

Закон компьютерщика - написал 10 предложений - сохрани...
Если бы еще я сам ему следовал, то не пришлось бы сегодня перепечатывать статью о годовщине мухамедского скандала...

Дык я ж всегда и сохраняю текст ( научен еще со времен чиновничьей молодости, когда готовишь документ министру, а он (документ - не министр) вдруг стирается по какой-то причине, например электричество моргнуло), а тут увлекся и не заметил, что значок скайпа стал серым, а не зеленым - значит коннекта нет. Вот так вот меня и наказали за невнимательность.

**Administrator** » Пт фев 09, 2007 10:24 am

В развитие темы я решил спросить у бельгийцев, как в точности проходил процесс судейства, столь разрекламированный на их сайте.

Милая дама с романтическим именем Саския любезно ответила мне на вопросы.

Привожу примерный перевод ее письма:

1. Президент жюри (André Nollet) и президент Европейского Центра Карикатуры осуществляют преселекцию, отбирают зерна от плевел, убирают работы поврежденные в ходе доставки.

2. На заседании жюри все оставшиеся работы раскладываются на на столы в разных комнатах и каждый член жюри имеет право выбрать те работы, которые ему нравятся для следующего тура. Обычно в следующий тур попадают около 500 рисунков. (Напомню, что прислано было около 4000 карикатур. А.Ф.)

3. Эти 500 рисунков снова раскладываются на столы и члены жюри опять выбирают понравившиеся с тем, чтобы осталось 250 работ (в соответствии с вместимостью зала. А.Ф.)

4. 250 работ располагаются на столах, и каждого члена жюри просят отобрать 3-4 работы, которые на его взгляд могут стать победителями.
Таким образом в последний тур проходят около 30 рисунков.

5. Эти работы обсуждаются членами жюри, каждый приводит свои аргументы и защищает свой выбор.

6. Затем мы просим членов жюри голосовать индивидуально. Обычно каждый год мы придумываем что-нибудь новое и интересное.
В этом году каждый член жюри получил 10 желтых монеток (по 1-му очку) и 2 красных монетки (по 5 очков). Эти монеты они должны разделить по меньшей мере между 5-ю разными карикатурами.
Все члены жюри находятся в другой комнате и один за другим голосуют. (очень напоминает мне традицию семинара Бориса Стругацкого. Там мы голосовали за новые рассказы исходя из 15-копеечной шкалы.

) По окончанию голосования все члены жюри возвращаются в комнату с работами и монеты подсчитываются. Таким образом определяются 1, 2 и 3-е места. Если работы набрали одинаковые очки, перед финальным решением проходит небольшая дискуссия. Если в финальную группу (не считая 3-х призовых работ) попали рисунки из Бельгии, то рисунок с наибольшим количеством очков получает Приз за лучшую Бельгийскую карикатуру. Аналогично, если в финальную группу (не считая 3-х призовых работ) попали рисунки из Европейского Союза, то рисунок с наибольшим количеством очков получает Приз за лучшую карикатуру из EU. Президент организации бельгийских карикатуристов Kever выбирает лучшую работу среди членов этой организации. Оставшиеся работы получают почетбые дипломы.

**ales** » Пт фев 09, 2007 11:13 am

Administrator писал(а): (очень напоминает мне традицию семинара Бориса Стругацкого.

А ты не знаком с Борей Гуревичем по семинару? Я гостил в его семье в Денвере.

**Administrator** » Пт фев 09, 2007 11:31 am

Нет, не помню. Сорри.

**Светлана Круглова** » Пт фев 09, 2007 12:16 pm

Андрей. спасибо, прочитала. В принципе практически тоже самое и у нас происходит (жаль что стерлась страница от игоря, жаль. А что так много было сказано что практически повторить не возможно7 Игорь может быть основную мысль- коротко, но ясно!!?). Мы правда пока ни песком ни копейками не пользовались, видимо нефть будем переливать в мензурки...с.к.

Как оцениваются работы на конкурсах?

Кто сейчас на конференции