Автор Тема: Проблема при упорядочивании имен в персонах  (Прочитано 21085 раз)

0 Пользователей и 5 Гостей просматривают эту тему.

Оффлайн CII

  • Постоялец
  • ***
  • Сообщений: 66
Имеется проблема.
  В результате ручного заполнения базы в именах персон одному "оригинальному имени" вследствие неоднозначности перевода иногда соответсвует несколько переведенных имен или переведенных без заполнения поля "оригинальное имя".
Например, имя "Harry" переводят как Гарри, Гэрри, Гари, Гэри, Харри, Хэри ( Ужас :(  ). Таким образом фактически одной персоне соответсвует много переведенных имен. Выловить это дело в базе вручную очень сложно и громоздко.
  Сортировка при отображении реализована, так что, или видно "Оригинальное имя (Переведенное имя)", или если Оригинального нет, то Переведенное становится Оригинальным и отображается соответственно на его месте.
  Очень бы облегчило решение проблемы, если бы можно было поменять местами поля
"Оригинальное имя" <--> "Переведенное имя", тогда выловить и исправить все похожие имена и поменять местами еще раз.
Может ли уважаемый Nostra предложить какое-либо решение этой задачи ?

Оффлайн Aig

  • Гуру
  • ****
  • Сообщений: 298
Re: Проблема при упорядочивании имен в персонах
« Ответ #1 : 16 Сентября 2009, 15:02:24 »
  Очень бы облегчило решение проблемы, если бы можно было поменять местами поля
"Оригинальное имя" <--> "Переведенное имя", тогда выловить и исправить все похожие имена и поменять местами еще раз.
Может ли уважаемый Nostra предложить какое-либо решение этой задачи ?
1. Сортировать можно и по "имя", и по "Переведенное имя": "Вид / Сортировать по >"
2. В списке слева можно показывать и "имя", и "Переведенное имя", и оба: Инструменты / Настройки -> Люди - Форматирование названия. Причем на порядок сортировки это не влияет.
PVD 1.0.2.7 - пробная эксплуатация, 0.9.9.29 в резерве.

Оффлайн CII

  • Постоялец
  • ***
  • Сообщений: 66
Re: Проблема при упорядочивании имен в персонах
« Ответ #2 : 17 Сентября 2009, 13:04:45 »
  Очень бы облегчило решение проблемы, если бы можно было поменять местами поля
"Оригинальное имя" <--> "Переведенное имя", тогда выловить и исправить все похожие имена и поменять местами еще раз.
Может ли уважаемый Nostra предложить какое-либо решение этой задачи ?
1. Сортировать можно и по "имя", и по "Переведенное имя": "Вид / Сортировать по >"
2. В списке слева можно показывать и "имя", и "Переведенное имя", и оба: Инструменты / Настройки -> Люди - Форматирование названия. Причем на порядок сортировки это не влияет.

Это я уже пробовал. Оно проблемы не решает. Дело в том, что когда имя персоны есть только в одном виде (оригинальном и переведенном), то оно автоматически попадает в поле "Имя". И при любом вышеописанном методе сортировки "Переведенное имя" персоны в формате "Имя / Переведенное имя" будет отображаться не в том столбце, что "Переведенное имя" в формате "Имя".
 Таким образом выловить похожие имена вследствие их довольно большого количества очень трудно.Поставить их в один столбец можно только, если поменять местами поля "Оригинальное имя" <--> "Переведенное имя" или просто в персонах, где указано только "Имя" это "Имя" перенести в поле "Переведенное имя".

Оффлайн Aig

  • Гуру
  • ****
  • Сообщений: 298
Re: Проблема при упорядочивании имен в персонах
« Ответ #3 : 17 Сентября 2009, 19:31:53 »
Дело в том, что когда имя персоны есть только в одном виде (оригинальном и переведенном), то оно автоматически попадает в поле "Имя". И при любом вышеописанном методе сортировки "Переведенное имя" персоны в формате "Имя / Переведенное имя" будет отображаться не в том столбце, что "Переведенное имя" в формате "Имя".
 Таким образом выловить похожие имена вследствие их довольно большого количества очень трудно.Поставить их в один столбец можно только, если поменять местами поля "Оригинальное имя" <--> "Переведенное имя" или просто в персонах, где указано только "Имя" это "Имя" перенести в поле "Переведенное имя".
1. Ничего не понял. Про какие "не те" столбцы речь? Нет там никаких столбцов.
В "Инструменты / Настройки -> Люди - Форматирование названия" - "Показывать людей в списке" ставишь %N/%T - будет тебе в "Персонах" в списке слева показываться Имя/Переведенное имя. Или ты имеешь в виду "Инструменты / Настройки -> Фильмы - Карточка данных - Показывать участников как" ? Ну тогда так и пиши.
 2. Поменять местами поля "Оригинальное имя" <--> "Переведенное имя" или в персонах, где указано только "Имя" это "Имя" перенести в поле "Переведенное имя" можно, думаю, с помощью SQL-запроса - в режиме -debug - Помощь/SQL. Конкретный текст запроса - к нашим Гуру.
« Последнее редактирование: 17 Сентября 2009, 19:34:05 от Aig »
PVD 1.0.2.7 - пробная эксплуатация, 0.9.9.29 в резерве.

Оффлайн CII

  • Постоялец
  • ***
  • Сообщений: 66
Re: Проблема при упорядочивании имен в персонах
« Ответ #4 : 18 Сентября 2009, 14:52:55 »
Дело в том, что когда имя персоны есть только в одном виде (оригинальном и переведенном), то оно автоматически попадает в поле "Имя". И при любом вышеописанном методе сортировки "Переведенное имя" персоны в формате "Имя / Переведенное имя" будет отображаться не в том столбце, что "Переведенное имя" в формате "Имя".
 Таким образом выловить похожие имена вследствие их довольно большого количества очень трудно.Поставить их в один столбец можно только, если поменять местами поля "Оригинальное имя" <--> "Переведенное имя" или просто в персонах, где указано только "Имя" это "Имя" перенести в поле "Переведенное имя".
1. Ничего не понял. Про какие "не те" столбцы речь? Нет там никаких столбцов.
В "Инструменты / Настройки -> Люди - Форматирование названия" - "Показывать людей в списке" ставишь %N/%T - будет тебе в "Персонах" в списке слева показываться Имя/Переведенное имя. Или ты имеешь в виду "Инструменты / Настройки -> Фильмы - Карточка данных - Показывать участников как" ? Ну тогда так и пиши.
 2. Поменять местами поля "Оригинальное имя" <--> "Переведенное имя" или в персонах, где указано только "Имя" это "Имя" перенести в поле "Переведенное имя" можно, думаю, с помощью SQL-запроса - в режиме -debug - Помощь/SQL. Конкретный текст запроса - к нашим Гуру.


1. Имею ввиду следующее:
Ставлю В "Инструменты / Настройки -> Люди - Форматирование названия" - "Показывать людей в списке" %N (%T).
Тогда, если в персоне будут заполнены поля "Имя" и "Переведенное имя", то отображение персон будет иметь вид:
Имя (Переведенное имя)

А если в персоне будет заполнено поле только "Имя", а в него автоматически попадает фактически переведенное имя, которое набирается в ручную ( так, как оригинальное имя в момент набора неизвестно), то ображение персон у меня будет иметь следующий вид:
Имя ()

Итого получается следующее:
 
Имя (Переведенное имя)
Имя ()                ; Имя в этой строке -это переведенное имя.
|        |
|        |
Это я называл столбцами :).

При таком показе отловить "дубликаты" имен очень сложно.

2. Можете сказать к кому конкретно можно обратиться ?

Оффлайн Reset

  • Глобальный модератор
  • *****
  • Сообщений: 1362
Re: Проблема при упорядочивании имен в персонах
« Ответ #5 : 18 Сентября 2009, 17:59:47 »
Дело в том, что когда имя персоны есть только в одном виде (оригинальном и переведенном), то оно автоматически попадает в поле "Имя". И при любом вышеописанном методе сортировки "Переведенное имя" персоны в формате "Имя / Переведенное имя" будет отображаться не в том столбце, что "Переведенное имя" в формате "Имя".
 Таким образом выловить похожие имена вследствие их довольно большого количества очень трудно.Поставить их в один столбец можно только, если поменять местами поля "Оригинальное имя" <--> "Переведенное имя" или просто в персонах, где указано только "Имя" это "Имя" перенести в поле "Переведенное имя".
1. Ничего не понял. Про какие "не те" столбцы речь? Нет там никаких столбцов.
В "Инструменты / Настройки -> Люди - Форматирование названия" - "Показывать людей в списке" ставишь %N/%T - будет тебе в "Персонах" в списке слева показываться Имя/Переведенное имя. Или ты имеешь в виду "Инструменты / Настройки -> Фильмы - Карточка данных - Показывать участников как" ? Ну тогда так и пиши.
 2. Поменять местами поля "Оригинальное имя" <--> "Переведенное имя" или в персонах, где указано только "Имя" это "Имя" перенести в поле "Переведенное имя" можно, думаю, с помощью SQL-запроса - в режиме -debug - Помощь/SQL. Конкретный текст запроса - к нашим Гуру.


1. Имею ввиду следующее:
Ставлю В "Инструменты / Настройки -> Люди - Форматирование названия" - "Показывать людей в списке" %N (%T).
Тогда, если в персоне будут заполнены поля "Имя" и "Переведенное имя", то отображение персон будет иметь вид:
Имя (Переведенное имя)

А если в персоне будет заполнено поле только "Имя", а в него автоматически попадает фактически переведенное имя, которое набирается в ручную ( так, как оригинальное имя в момент набора неизвестно), то ображение персон у меня будет иметь следующий вид:
Имя ()

Итого получается следующее:
 
Имя (Переведенное имя)
Имя ()                ; Имя в этой строке -это переведенное имя.
|        |
|        |
Это я называл столбцами :).

При таком показе отловить "дубликаты" имен очень сложно.
Сейчас проверил на версии 0.9.9.14: при заполнении только поля Имя остаётся заполненным только оно, при заполнении только поля Переведенное имя заполняются как поле Имя, так и поле Переведенное имя. Возможно, описанная тобой ситуация имела место в предыдущих версиях программы или переведенные имена были занесены в поле Имя случайно. В принципе, не суть.
Сейчас, насколько я понимаю, ситуация следующая:
1. для некоторых персон поле Переведенное имя не заполнено;
2. оригинальные имена для всех персон лежат в поле Имя;
3. переведенные имена лежат для одних персон в поле Переведенное имя, а для других - в поле Имя.
Т.е. есть группа персон, у которых заполнено только поле Имя, но у одних персон это оригинальное имя, а у других - переведенное.
Если это так, то что даст смена полей Имя и Переведенное имя? Лишь то, что ситуация смениться на прямо противоположную. Так? Или я что-то не просёк?
Поможет ли дублирование поля Имя в поле Переведенное имя для тех персон, у которых не заполнено поле Переведенное имя? Правда, в этом случае в поле Переведенное имя могут оказаться оригинальные имена.
Нет описания? Нужны ответы? Есть предложения? Не хватает сайтов?

Оффлайн CII

  • Постоялец
  • ***
  • Сообщений: 66
Re: Проблема при упорядочивании имен в персонах
« Ответ #6 : 21 Сентября 2009, 12:19:22 »
Сейчас проверил на версии 0.9.9.14: при заполнении только поля Имя остаётся заполненным только оно, при заполнении только поля Переведенное имя заполняются как поле Имя, так и поле Переведенное имя. Возможно, описанная тобой ситуация имела место в предыдущих версиях программы или переведенные имена были занесены в поле Имя случайно. В принципе, не суть.
Сейчас, насколько я понимаю, ситуация следующая:
1. для некоторых персон поле Переведенное имя не заполнено;
2. оригинальные имена для всех персон лежат в поле Имя;
3. переведенные имена лежат для одних персон в поле Переведенное имя, а для других - в поле Имя.
Т.е. есть группа персон, у которых заполнено только поле Имя, но у одних персон это оригинальное имя, а у других - переведенное.
Если это так, то что даст смена полей Имя и Переведенное имя? Лишь то, что ситуация смениться на прямо противоположную. Так? Или я что-то не просёк?
Поможет ли дублирование поля Имя в поле Переведенное имя для тех персон, у которых не заполнено поле Переведенное имя? Правда, в этом случае в поле Переведенное имя могут оказаться оригинальные имена.
Ты все понял идеально. Именно так и есть.
Действительно, замена полей ничего не даст.
Что можно сделать, чтобы как то так отсортировать имена, чтобы можно было относительно легко выловить "дубликаты" персон.
Или придумать какой-то умный экспорт в файл...

Оффлайн Reset

  • Глобальный модератор
  • *****
  • Сообщений: 1362
Re: Проблема при упорядочивании имен в персонах
« Ответ #7 : 21 Сентября 2009, 18:32:13 »
Сейчас проверил на версии 0.9.9.14: при заполнении только поля Имя остаётся заполненным только оно, при заполнении только поля Переведенное имя заполняются как поле Имя, так и поле Переведенное имя. Возможно, описанная тобой ситуация имела место в предыдущих версиях программы или переведенные имена были занесены в поле Имя случайно. В принципе, не суть.
Сейчас, насколько я понимаю, ситуация следующая:
1. для некоторых персон поле Переведенное имя не заполнено;
2. оригинальные имена для всех персон лежат в поле Имя;
3. переведенные имена лежат для одних персон в поле Переведенное имя, а для других - в поле Имя.
Т.е. есть группа персон, у которых заполнено только поле Имя, но у одних персон это оригинальное имя, а у других - переведенное.
Если это так, то что даст смена полей Имя и Переведенное имя? Лишь то, что ситуация смениться на прямо противоположную. Так? Или я что-то не просёк?
Поможет ли дублирование поля Имя в поле Переведенное имя для тех персон, у которых не заполнено поле Переведенное имя? Правда, в этом случае в поле Переведенное имя могут оказаться оригинальные имена.
Ты все понял идеально. Именно так и есть.
Действительно, замена полей ничего не даст.
Что можно сделать, чтобы как то так отсортировать имена, чтобы можно было относительно легко выловить "дубликаты" персон.
Или придумать какой-то умный экспорт в файл...

Такой вариант не подходит?
Поможет ли дублирование поля Имя в поле Переведенное имя для тех персон, у которых не заполнено поле Переведенное имя? Правда, в этом случае в поле Переведенное имя могут оказаться оригинальные имена.
В этом случае можно будет использовать сортировку и группировку.

UPD
Под "дублированием" я подразумеваю скрипт, который это сделает автоматически.

UPD2
Если такой вариант устраивает, то делаем следующее:
1. Запускаем программу в режиме отладки (с ключом -debug или просто пакетный файл debug.bat).
2. Идем в Помощь -> SQL.
3. Вводим в окно следующий код:
update people set "transname" = "name" where "transname" = '';4. Нажимаем кнопку Execute.
Этот запрос продублирует поле Имя в поле Переведенное имя для тех персон, у которых поле Переведенное имя пустое.

NB: перед любыми манипуляциями с базой данных рекомендую делать резервную копию.
« Последнее редактирование: 22 Сентября 2009, 19:31:11 от Reset »
Нет описания? Нужны ответы? Есть предложения? Не хватает сайтов?

Оффлайн CII

  • Постоялец
  • ***
  • Сообщений: 66
Re: Проблема при упорядочивании имен в персонах
« Ответ #8 : 23 Сентября 2009, 08:16:48 »
Поможет ли дублирование поля Имя в поле Переведенное имя для тех персон, у которых не заполнено поле Переведенное имя? Правда, в этом случае в поле Переведенное имя могут оказаться оригинальные имена.
В этом случае можно будет использовать сортировку и группировку.

UPD
Под "дублированием" я подразумеваю скрипт, который это сделает автоматически.

UPD2
Если такой вариант устраивает, то делаем следующее:
1. Запускаем программу в режиме отладки (с ключом -debug или просто пакетный файл debug.bat).
2. Идем в Помощь -> SQL.
3. Вводим в окно следующий код:
update people set "transname" = "name" where "transname" = '';4. Нажимаем кнопку Execute.
Этот запрос продублирует поле Имя в поле Переведенное имя для тех персон, у которых поле Переведенное имя пустое.

NB: перед любыми манипуляциями с базой данных рекомендую делать резервную копию.
Как временная мера для выявления "дубликатов" - Да.
Для постоянного заполнения - Нет.
Дело вот в чем:
База постоянно наполняется и в случае, если в каком-то фильме присутсвует "Оригинальное имя" той персоны, которая уже находится в базе с заполненым поле только "Имя" ( а фактически это переведенное имя ) и при заполнении в карточке фильма имени такой персоны в формате "Оригинальное имя / Переведенное имя" в карточке персоны автоматически корректно будут заполнены поля "Имя / Переведенное имя",
а если в карточке персоны уже будут заполнены эти два поля каким-либо дубликатом то этого происходить, не будет и будет дежурный "геморрой" :).

А нельзя ли, учитывая все эти аномалии, создать скрипт экспорта в файл с соответствующей сортировкой, удобной для выявления "дубликатов".

Оффлайн Aig

  • Гуру
  • ****
  • Сообщений: 298
Re: Проблема при упорядочивании имен в персонах
« Ответ #9 : 23 Сентября 2009, 14:59:34 »
А нельзя ли, учитывая все эти аномалии, создать скрипт экспорта в файл с соответствующей сортировкой, удобной для выявления "дубликатов".
Предлагаю в качестве развития программы такой вариант решения: Пожелания и планы
« Последнее редактирование: 23 Сентября 2009, 15:01:16 от Aig »
PVD 1.0.2.7 - пробная эксплуатация, 0.9.9.29 в резерве.

Оффлайн Reset

  • Глобальный модератор
  • *****
  • Сообщений: 1362
Re: Проблема при упорядочивании имен в персонах
« Ответ #10 : 23 Сентября 2009, 20:53:15 »
А нельзя ли, учитывая все эти аномалии, создать скрипт экспорта в файл с соответствующей сортировкой, удобной для выявления "дубликатов".
Набросал такой вариант:
1. Шаблон экспорта person.ptm кидаем в Plugins\Templates.
2. С помощью него экспортируем всех/необходимых персон в файл. В файл будут экспортированы поля Имя и Переведенное имя сплошным списком.
3. Распаковываем архив check_dup.rar.
4. Запускаем пакетный файл check_dup.bat с параметром - именем файла, полученного в результате экспорта. Для простоты можно кинуть этот файл в каталог с пакетным файлом. Например:
check_dup.bat person.txt
5. В результате получится файл с тем же именем и добавкой .out.txt в конце. В файле будут находиться имена, встречающиеся не менее двух раз, отсортированные по количеству вхождений в порядке убывания.

UPD
check_dup.rar на iFolder.ru

[вложение удалено администратором]
« Последнее редактирование: 30 Октября 2009, 06:20:28 от Reset »
Нет описания? Нужны ответы? Есть предложения? Не хватает сайтов?

Оффлайн CII

  • Постоялец
  • ***
  • Сообщений: 66
Re: Проблема при упорядочивании имен в персонах
« Ответ #11 : 24 Сентября 2009, 11:52:33 »
Набросал такой вариант:
1. Большое тебе спасибо за оказанную помощь. :)

2.Вариант очень хорош, но выловить дубликаты он может лишь частично, поскольку он "автомат" и вылавливает только 100% совпадение.
Но хуже всего, что очень много "дубликатов" как раз, не есть 100% совпадение, и выловить их можно лишь визуально. Больше всего неточностей в переводах на русский язык.
Для этого бы подошел просто экспорт в файл с соответствующей наглядной сортировкой ,примерно, в таком виде:
    Если заполнены оба поля "Имя" и "Переведенное имя", то:
Имя (Переведенное имя)
а
    Если заполнено поле только "Имя", то
() (Имя)
поскольку здесь фактически, чаще всего, находиться переведенное имя.
То-есть, в каждой строчке по одной персоне.
При таком выводе было бы очень удобно визуально отловить "фактические дубликаты"

Все неточности в переводах касаются, как имен так и фамилий.
 И в связи с этим вопрос:
Можно ли, как то при создании шаблона экспорта в файл разграничить имя и фамилию и формировать два списка (два файла, или два разных шаблона)
один в виде "Имя Фамилия" ,
а другой    "Фамилия Имя"

Оффлайн NikLeon

  • Новичок
  • *
  • Сообщений: 44
Re: Проблема при упорядочивании имен в персонах
« Ответ #12 : 28 Октября 2009, 05:37:24 »
Примерно аналогичная проблемма.
При импорте (версию не могу уточнить) с кинопоиска URL по актеру вставал в карточку типа http://www.kinopoisk.ru/level/4/people/31266/view_bio/ok
а теперь просьба, кто силен в SQL как в базе отобрать тех у кого окончание URL /view_bio/ok либо убрать это окончание в базе (желательно автоматически, что бы руками не работать :-)

Всем спасибо, проблема отпала
« Последнее редактирование: 30 Октября 2009, 05:20:23 от NikLeon »

Оффлайн NikLeon

  • Новичок
  • *
  • Сообщений: 44
Re: Проблема при упорядочивании имен в персонах
« Ответ #13 : 30 Октября 2009, 05:18:38 »

--------------------------------------------------------------------------------
 check_dup.part2.rar (143.7 Кб - загружено 33 раз.)
сколько не пробую не дает скачать, можно ли переложить этот файл или весь архив на другой обменник или отпраить на e-mail из профиля

Оффлайн Reset

  • Глобальный модератор
  • *****
  • Сообщений: 1362
Re: Проблема при упорядочивании имен в персонах
« Ответ #14 : 30 Октября 2009, 06:21:19 »

--------------------------------------------------------------------------------
 check_dup.part2.rar (143.7 Кб - загружено 33 раз.)
сколько не пробую не дает скачать, можно ли переложить этот файл или весь архив на другой обменник или отпраить на e-mail из профиля
Залил на iFolder.ru
Нет описания? Нужны ответы? Есть предложения? Не хватает сайтов?