{"id":17924,"date":"2021-01-05T19:27:39","date_gmt":"2021-01-05T17:27:39","guid":{"rendered":"https:\/\/www.venarbol.net\/?p=17924"},"modified":"2021-01-23T16:16:40","modified_gmt":"2021-01-23T14:16:40","slug":"grands-travaux","status":"publish","type":"post","link":"https:\/\/www.venarbol.net\/en\/archives\/17924","title":{"rendered":"Le grand m\u00e9nage"},"content":{"rendered":"\n<p class=\"wp-block-paragraph\">Traditionnellement, c&#8217;est au printemps qu&#8217;on se lance dans les travaux de nettoyage et pourtant j&#8217;ai d\u00e9cid\u00e9 de commencer 2021 en initiant enfin un projet que j&#8217;avais sans cesse repouss\u00e9 : donner un grand coup de balai dans ma g\u00e9n\u00e9alogie pour rationaliser la gestion de mes bases.<\/p>\n\n\n\n<!--more-->\n\n\n\n<p class=\"wp-block-paragraph\">Voil\u00e0 environ 12 ans que j&#8217;ai commenc\u00e9 \u00e0 saisir mes anc\u00eatres avec G\u00e9n\u00e9atique, en cr\u00e9ant une base nomm\u00e9e &#8220;famille Vedovotto-Guadagnin&#8221;. Quelques ann\u00e9es plus tard, je me suis lanc\u00e9e dans le d\u00e9pouillement syst\u00e9matique des registres paroissiaux de Borso del Grappa, la paroisse de mes grands-parents. Pour y voir plus clair et ne pas tout m\u00e9langer, j&#8217;ai cr\u00e9\u00e9 \u00e0 cette occasion une seconde base avec G\u00e9n\u00e9atique, nomm\u00e9e &#8220;Borso del Grappa&#8221;, avec l&#8217;objectif de dupliquer les compl\u00e9ments concernant les branches de mes anc\u00eatres vers la premi\u00e8re base.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">C&#8217;\u00e9tait le tableau id\u00e9al de d\u00e9part, mais bien \u00e9videmment cette m\u00e9thode m&#8217;a amen\u00e9e 10 ans plus tard \u00e0 me retrouver \u00e0 devoir g\u00e9rer deux bases comportant une intersection cons\u00e9quente en nombre d&#8217;individus mais, j&#8217;en suis certaine, de nombreuses incoh\u00e9rences au niveau des donn\u00e9es&#8230; car il est impossible de toujours penser \u00e0 tout dupliquer de l&#8217;une \u00e0 l&#8217;autre.<\/p>\n\n\n\n<figure class=\"wp-block-image size-large\"><a href=\"https:\/\/www.venarbol.net\/wp-content\/uploads\/2021\/01\/intersection.png\"><img loading=\"lazy\" decoding=\"async\" width=\"693\" height=\"466\" src=\"https:\/\/www.venarbol.net\/wp-content\/uploads\/2021\/01\/intersection.png\" alt=\"\" class=\"wp-image-17926\" srcset=\"https:\/\/www.venarbol.net\/wp-content\/uploads\/2021\/01\/intersection.png 693w, https:\/\/www.venarbol.net\/wp-content\/uploads\/2021\/01\/intersection-300x202.png 300w\" sizes=\"auto, (max-width: 693px) 100vw, 693px\" \/><\/a><figcaption>\u00c9tat sch\u00e9matis\u00e9 de mes bases avant la fusion<\/figcaption><\/figure>\n\n\n\n<p class=\"wp-block-paragraph\">Il y a bien longtemps que je sais que cette mani\u00e8re de travailler n&#8217;est pas rationnelle, que l\u2019h\u00e9t\u00e9rog\u00e9n\u00e9it\u00e9 ne peut que s\u2019aggraver avec le temps et que plus j&#8217;attends pour faire le m\u00e9nage plus \u00e7a va \u00eatre lourd \u00e0 g\u00e9rer. Mais j&#8217;ai toujours repouss\u00e9 cette t\u00e2che car je butais face \u00e0 une probl\u00e9matique fondamentale \u00e0 mes yeux : &#8220;si je fusionne mes deux bases, comment vais-je pouvoir ensuite faire des exports gedcom diff\u00e9renti\u00e9s, pour alimenter d&#8217;une part l&#8217;arbre de mes anc\u00eatres et d&#8217;autre part l&#8217;arbre des familles de Borso del Grappa ?&#8221;<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Des exports (trop) sophistiqu\u00e9s ?<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Avec G\u00e9n\u00e9atique, je sais exporter une branche (l&#8217;individu X et tous ses anc\u00eatres, sa fratrie, ses enfants, &#8230;) ou exporter des personnes sur une combinaison de crit\u00e8res (tous les individus nomm\u00e9s Y et n\u00e9s apr\u00e8s 1854, &#8230;). Mais dans une base fusionn\u00e9e, pour faire un export me permettant d&#8217;alimenter l&#8217;arbre des familles de Borso il me faudrait identifier :<\/p>\n\n\n\n<blockquote class=\"wp-block-quote is-layout-flow wp-block-quote-is-layout-flow\"><p>&#8211; tous les individus n\u00e9s, baptis\u00e9s, mari\u00e9s ou d\u00e9c\u00e9d\u00e9s dans la paroisse<br><strong>plus<\/strong><br>&#8211; les conjoints de ces individus et les parents de ces conjoints<br><strong>plus<\/strong><br>-les fr\u00e8res et s\u0153urs de ces individus, leurs conjoints et les parents de ces conjoints<br><strong>plus<\/strong><br>&#8211; tous les descendants de ces individus, les conjoints de ces descendants, les parents de ces conjoints<\/p><\/blockquote>\n\n\n\n<p class=\"wp-block-paragraph\">La premi\u00e8re partie de l&#8217;\u00e9quation ne me pose pas de probl\u00e8me, mais comment formuler les crit\u00e8res suivants qui s&#8217;appuient sur le r\u00e9sultat de cette premi\u00e8re partie ? Et comment trouver un processus que je pourrais r\u00e9p\u00e9ter simplement \u00e0 chaque besoin de mise \u00e0 jour de mes arbres en ligne ?<br>Apr\u00e8s avoir tent\u00e9 divers essais j&#8217;ai fini par poser la question aux experts, sur le <a rel=\"noreferrer noopener\" href=\"http:\/\/forum.guide-genealogie.com\/\" target=\"_blank\">forum de G\u00e9n\u00e9atique<\/a> et leur r\u00e9ponse m&#8217;a convaincue de ce que j&#8217;avais d\u00e9j\u00e0 pressenti : c&#8217;est impossible \u00e0 mod\u00e9liser.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">La solution simpliste : des tags<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Une fois la piste des exports sophistiqu\u00e9s \u00e9cart\u00e9e j&#8217;ai pu commencer \u00e0 penser diff\u00e9remment, ce qui m&#8217;a amen\u00e9e \u00e0 imaginer une autre solution, beaucoup plus simpliste : ajouter un marquage sp\u00e9cifique aux individus de chacun des deux arbres <strong>avant<\/strong> de r\u00e9aliser la fusion puis utiliser ce marquage pour faire les exports une fois la fusion achev\u00e9e.<br>G\u00e9n\u00e9atique offre en effet la possibilit\u00e9 de cr\u00e9er des champs personnalis\u00e9s.<br>A l&#8217;aide du menu &#8220;pr\u00e9f\u00e9rences pour cette g\u00e9n\u00e9alogie&#8221;, j&#8217;ai donc cr\u00e9\u00e9 des champs de type &#8220;bool\u00e9en&#8221; pour taguer les personnes \u00e0 exporter : &#8220;EXPORT_BO&#8221; pour les individus de l&#8217;arbre de Borso et &#8220;EXPORT_VG&#8221; pour les individus de l&#8217;arbre de mes anc\u00eatres.<\/p>\n\n\n\n<div class=\"wp-block-image\"><figure class=\"aligncenter size-large\"><a href=\"https:\/\/www.venarbol.net\/wp-content\/uploads\/2021\/01\/champs-export.jpg\"><img loading=\"lazy\" decoding=\"async\" width=\"772\" height=\"571\" src=\"https:\/\/www.venarbol.net\/wp-content\/uploads\/2021\/01\/champs-export.jpg\" alt=\"\" class=\"wp-image-17927\" srcset=\"https:\/\/www.venarbol.net\/wp-content\/uploads\/2021\/01\/champs-export.jpg 772w, https:\/\/www.venarbol.net\/wp-content\/uploads\/2021\/01\/champs-export-300x222.jpg 300w, https:\/\/www.venarbol.net\/wp-content\/uploads\/2021\/01\/champs-export-768x568.jpg 768w\" sizes=\"auto, (max-width: 772px) 100vw, 772px\" \/><\/a><figcaption>Cr\u00e9ation des champs &#8220;EXPORT-VG&#8221; et &#8220;EXPORT_BO&#8221; dans G\u00e9n\u00e9atique<\/figcaption><\/figure><\/div>\n\n\n\n<p class=\"wp-block-paragraph\">Il me fallait ensuite positionner sur &#8220;vrai&#8221; la valeur de &#8220;EXPORT_BO&#8221; pour tous les individus de la g\u00e9n\u00e9alogie de Borso del Grappa, et positionner sur &#8220;vrai&#8221; la valeur de &#8220;EXPORT_VG&#8221; pour tous les individus de mes anc\u00eatres. <br>Pour ne pas \u00e0 avoir \u00e0 le faire manuellement sur chacune des fiches, j&#8217;ai utilis\u00e9 le dictionnaire des donn\u00e9es et positionn\u00e9 \u00e0 &#8220;Oui&#8221; cette donn\u00e9e, pour toutes les fiches de chacune des g\u00e9n\u00e9alogies.<\/p>\n\n\n\n<div class=\"wp-block-image\"><figure class=\"aligncenter size-large\"><a href=\"https:\/\/www.venarbol.net\/wp-content\/uploads\/2021\/01\/dictionnaire-de-donnees.jpg\"><img loading=\"lazy\" decoding=\"async\" width=\"666\" height=\"345\" src=\"https:\/\/www.venarbol.net\/wp-content\/uploads\/2021\/01\/dictionnaire-de-donnees.jpg\" alt=\"\" class=\"wp-image-17928\" srcset=\"https:\/\/www.venarbol.net\/wp-content\/uploads\/2021\/01\/dictionnaire-de-donnees.jpg 666w, https:\/\/www.venarbol.net\/wp-content\/uploads\/2021\/01\/dictionnaire-de-donnees-300x155.jpg 300w\" sizes=\"auto, (max-width: 666px) 100vw, 666px\" \/><\/a><figcaption>Vue de l&#8217;\u00e9cran &#8220;Dictionnaire des donn\u00e9es de G\u00e9n\u00e9atique&#8221;<\/figcaption><\/figure><\/div>\n\n\n\n<p class=\"wp-block-paragraph\">Dans l&#8217;\u00e9cran du dictionnaire de donn\u00e9es illustr\u00e9 ci-dessus, j&#8217;ai donc s\u00e9lectionn\u00e9 la rubrique, puis dans l&#8217;onglet &#8220;Liste et Remplacement&#8221; j&#8217;ai choisi &#8220;Oui&#8221; dans &#8220;Remplacer&#8221; et coch\u00e9 &#8220;Cr\u00e9ation de la rubrique ou Remplacement Syst\u00e9matique&#8221;.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Pour mieux visualiser le r\u00e9sultat, et pour pouvoir modifier le choix au besoin par la suite, j&#8217;ai ajout\u00e9 ces champs &#8220;EXPORT_BO&#8221; et &#8220;EXPORT_VG&#8221; \u00e0 mon \u00e9cran de saisie, avec le menu &#8220;Param\u00e9trage de l&#8217;\u00e9cran de saisie&#8221;.<\/p>\n\n\n\n<div class=\"wp-block-image\"><figure class=\"aligncenter size-large\"><a href=\"https:\/\/www.venarbol.net\/wp-content\/uploads\/2021\/01\/champs-cocher.jpg\"><img loading=\"lazy\" decoding=\"async\" width=\"285\" height=\"168\" src=\"https:\/\/www.venarbol.net\/wp-content\/uploads\/2021\/01\/champs-cocher.jpg\" alt=\"\" class=\"wp-image-17936\"\/><\/a><figcaption>Affichage des champs \u00e0 cocher\/d\u00e9cocher dans l&#8217;\u00e9cran de saisie de G\u00e9n\u00e9atique<\/figcaption><\/figure><\/div>\n\n\n\n<h2 class=\"wp-block-heading\">La fusion n&#8217;est qu&#8217;un d\u00e9but<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Apr\u00e8s cette \u00e9tape, j&#8217;avais \u00e0 ma disposition :<\/p>\n\n\n\n<ul class=\"wp-block-list\"><li>une base de 30.655 individus pour lesquels la valeur de &#8220;EXPORT_BO&#8221; \u00e9tait positionn\u00e9e sur vrai<\/li><li>une base de 13.222 individus pour lesquels la valeur de &#8220;EXPORT_VG&#8221; \u00e9tait positionn\u00e9e sur vrai<\/li><\/ul>\n\n\n\n<p class=\"wp-block-paragraph\">Pour ne pas tout perdre en cas de fausse man\u0153uvre, j&#8217;ai commenc\u00e9 par dupliquer la premi\u00e8re puis j&#8217;ai ajout\u00e9 \u00e0 cette copie toutes les fiches de la seconde. Le r\u00e9sultat : une base fusionn\u00e9e de 43.977 individus, soit 100 de plus que la somme des deux ! J&#8217;ai en effet constat\u00e9 par la suite que certaines fiches avaient \u00e9t\u00e9 dupliqu\u00e9es, sans que je comprenne pourquoi.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Et c&#8217;est l\u00e0 qu&#8217;a commenc\u00e9 un travail de fourmi : d\u00e9tecter les doublons et fusionner les fiches correspondantes, en conservant toutes les informations pertinentes provenant de l&#8217;un ou l&#8217;autre des fichiers de d\u00e9part.<br><br>G\u00e9n\u00e9atique dispose d&#8217;une fonction de recherche de doublons, que l&#8217;on peut param\u00e9trer assez finement. <\/p>\n\n\n\n<div class=\"wp-block-image\"><figure class=\"aligncenter size-large\"><a href=\"https:\/\/www.venarbol.net\/wp-content\/uploads\/2021\/01\/doublons.jpg\"><img loading=\"lazy\" decoding=\"async\" width=\"768\" height=\"522\" src=\"https:\/\/www.venarbol.net\/wp-content\/uploads\/2021\/01\/doublons.jpg\" alt=\"\" class=\"wp-image-17929\" srcset=\"https:\/\/www.venarbol.net\/wp-content\/uploads\/2021\/01\/doublons.jpg 768w, https:\/\/www.venarbol.net\/wp-content\/uploads\/2021\/01\/doublons-300x204.jpg 300w\" sizes=\"auto, (max-width: 768px) 100vw, 768px\" \/><\/a><figcaption>\u00c9cran de param\u00e9trage de la recherche de doublons dans G\u00e9n\u00e9atique<\/figcaption><\/figure><\/div>\n\n\n\n<p class=\"wp-block-paragraph\">Mais sur un fichier de plus de 40.000 individus, mon PC semble avoir du mal \u00e0 suivre&#8230; Certains doublons ont \u00e9t\u00e9 d\u00e9tect\u00e9s automatiquement mais j&#8217;en ai d\u00e9couvert bien d&#8217;autres, gr\u00e2ce \u00e0 l&#8217;une des nouveaut\u00e9s de la version de G\u00e9n\u00e9atique.<br>Destin\u00e9e \u00e0 l&#8217;origine \u00e0 mettre en \u00e9vidence les jumeaux en affichant des liens de type &#8220;queue de cerise&#8221;, cette fonctionnalit\u00e9 s&#8217;est av\u00e9r\u00e9e \u00e9galement parfaite pour r\u00e9v\u00e9ler les doublons !<\/p>\n\n\n\n<div class=\"wp-block-image\"><figure class=\"aligncenter size-large\"><a href=\"https:\/\/www.venarbol.net\/wp-content\/uploads\/2021\/01\/doublons-jumeaux-geneatique.jpg\"><img loading=\"lazy\" decoding=\"async\" width=\"458\" height=\"286\" src=\"https:\/\/www.venarbol.net\/wp-content\/uploads\/2021\/01\/doublons-jumeaux-geneatique.jpg\" alt=\"\" class=\"wp-image-17930\" srcset=\"https:\/\/www.venarbol.net\/wp-content\/uploads\/2021\/01\/doublons-jumeaux-geneatique.jpg 458w, https:\/\/www.venarbol.net\/wp-content\/uploads\/2021\/01\/doublons-jumeaux-geneatique-300x187.jpg 300w\" sizes=\"auto, (max-width: 458px) 100vw, 458px\" \/><\/a><figcaption>Mise en \u00e9vidence des doublons, gr\u00e2ce \u00e0 la fonction d&#8217;affichage des jumeaux<\/figcaption><\/figure><\/div>\n\n\n\n<p class=\"wp-block-paragraph\">Ce travail de fusion m&#8217;a pris plusieurs heures, r\u00e9parties sur quelques journ\u00e9es. Mais il m&#8217;a permis de mesurer \u00e0 quel point mes deux bases \u00e9taient \u00e0 la fois redondantes et divergentes et a fini de me convaincre de l&#8217;utilit\u00e9 de ce grand m\u00e9nage.<br>Au final, j&#8217;aboutis \u00e0 un ensemble d&#8217;un peu plus de 33.800 individus, ce qui signifie que j&#8217;ai supprim\u00e9 plus de 10.000 doublons !<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Une fois cette fusion\/v\u00e9rification achev\u00e9e, je suis en mesure d&#8217;exporter l&#8217;un ou l&#8217;autre des sous ensembles, en filtrant l&#8217;export sur le crit\u00e8re &#8220;EXPORT_VG&#8221; \u00e9gal \u00e0 O&#8221; (O pour oui) (ou EXPORT_BO \u00e9gale \u00e0 O).<\/p>\n\n\n\n<figure class=\"wp-block-image size-large\"><a href=\"https:\/\/www.venarbol.net\/wp-content\/uploads\/2021\/01\/condition-export.jpg\"><img loading=\"lazy\" decoding=\"async\" width=\"633\" height=\"378\" src=\"https:\/\/www.venarbol.net\/wp-content\/uploads\/2021\/01\/condition-export.jpg\" alt=\"\" class=\"wp-image-17932\" srcset=\"https:\/\/www.venarbol.net\/wp-content\/uploads\/2021\/01\/condition-export.jpg 633w, https:\/\/www.venarbol.net\/wp-content\/uploads\/2021\/01\/condition-export-300x179.jpg 300w\" sizes=\"auto, (max-width: 633px) 100vw, 633px\" \/><\/a><\/figure>\n\n\n\n<p class=\"wp-block-paragraph\">Et comme disait l&#8217;autre dans une pub de mon enfance : &#8220;et c&#8217;est tant mieux car je referais pas \u00e7a tous les jours !&#8221;.<\/p>\n","protected":false},"excerpt":{"rendered":"<p>Traditionnellement, c&#8217;est au printemps qu&#8217;on se lance dans les travaux de nettoyage et pourtant j&#8217;ai d\u00e9cid\u00e9 de commencer 2021 en initiant enfin un projet que j&#8217;avais sans cesse repouss\u00e9 : donner un grand coup de balai dans ma g\u00e9n\u00e9alogie pour rationaliser la gestion de mes bases.<\/p>\n","protected":false},"author":1,"featured_media":17934,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"inline_featured_image":false,"_exactmetrics_skip_tracking":false,"_s2mail":"yes","footnotes":""},"categories":[64],"tags":[238],"class_list":["post-17924","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-outils","tag-geneatique"],"_links":{"self":[{"href":"https:\/\/www.venarbol.net\/en\/wp-json\/wp\/v2\/posts\/17924","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.venarbol.net\/en\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.venarbol.net\/en\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.venarbol.net\/en\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/www.venarbol.net\/en\/wp-json\/wp\/v2\/comments?post=17924"}],"version-history":[{"count":0,"href":"https:\/\/www.venarbol.net\/en\/wp-json\/wp\/v2\/posts\/17924\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.venarbol.net\/en\/wp-json\/wp\/v2\/media\/17934"}],"wp:attachment":[{"href":"https:\/\/www.venarbol.net\/en\/wp-json\/wp\/v2\/media?parent=17924"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.venarbol.net\/en\/wp-json\/wp\/v2\/categories?post=17924"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.venarbol.net\/en\/wp-json\/wp\/v2\/tags?post=17924"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}