Importeren MyHeritage GEDCOM

Een nieuwe poging! Na de overstap op de laatste versies van Aldfaer, duiken opnieuw de problemen op met het importeren van de GEDCOM bestanden van MyHeritage. Ik doe precies hetzelfde als voorheen. Met de wat kleinere bestanden lukt het importeren wel, maar worden er geen namen meegenomen, maar alleen datums, die overigens wel op de juiste plaats terechtkomen (geboorte, doop, overlijden, etc.). Bij de grotere bestanden (mijn grootste bestand is nu zo'n 400.000 regels) gebeurt er echter helemaal niets. Ik heb bijna een uur tegen een leeg "GEDCOM Import" dialoogvenster aan zitten kijken. "Log" -> Niets. "Records toevoegen" -> Niets.

Zou het niet handig zijn wanneer er een programma zou zijn die alle niet door Aldfaer ondersteunde regels zou verwijderen? Ik zou best aan zo'n oplossing mee willen werken. Ik kan programmeren in diverse talen, maar ik heb geen flauw benul van de structuur van GEDCOM, laat staan van de verschillen tussen die van MyHeritage en Aldfaer. Sommige van die regels zullen vrijstaande regels zijn (_UID en _UPD?), maar andere wellicht een introductieregel voor een aantal volgregels, bijv. bij geboorte, doop, overlijden, e.d.

Iemand geïnteresseerd?

Ik ben inmiddels aan het experimenteren geweest met de scriptingtaal PHP. PHP heeft een functie om HTML (en PHP) tags te verwijderen uit elke ingelezen regel. Verder heb ik regels kunnen verwijderen waarin _UID, _UPD en RIN staan. Het gevolg was dat ik de kleinere GEDCOM bestanden (max. 372 records) nu moeiteloos kon importeren in Aldfaer. Een groter bestand (981 records) liet het nog afweten. Slechts van 1 record werd de naam opgenomen, van de overige records waren alle namen verdwenen (voor- en achternamen, plaatsnamen). Nadat ik het PHP-bestand had aangepast, waarbij ook alle verwijzingen naar multimedia (foto's) werden verwijderd, kon ik ook dit bestand zonder problemen importeren in Aldfaer. Probleem is nu nog het grootste bestand met 15056 records. Ook nu blijft het "GEDCOM Import" dialoogvenster leeg, maar misschien ben ik te ongeduldig. Het opschonen van dit GEDCOM bestand nam al zo'n 20 minuten in beslag.

Ik zou dus graag vernemen welke GEDCOM tags door Aldfaer niet worden ondersteund en die mogelijk voor problemen kunnen zorgen bij de import.

Alvast bedankt!

Alle,
Het probleem ligt bij MyHeritage die niet de laatste officiële Gedcom release 5.5 gebruikt maar een latere nooit officieel geworden Gedcom versie 5.5.1
Dus wat geeft MyHeritage aan welke tags zij gebruiken en volgens welke Gedcom release.
De Laatste officiële release is versie 5.5 welke door Aldfaer wordt gebruikt
De specificaties vindt je in de help van Aldfaer onder: Lijst van GEDCOM-tags

Verder:
MH gebruikt versie 5.5.1 of mogelijk de nog latere versie 5.6 die nooit formeel gepubliceerd is
Deze specs vindt je o.a. onder
www.tamurajones.net/FamilySearchGEDCOMSpecifications.xhtml

Verder, zowel 5.5 als 5.5.1 laten het gebruik van "eigen" tags toe. Aldfaer lost dit op door deze bij import eventueel in de notitie velden bij de betreffende persoon op te nemen. Dien je wel de functie Onbekende gegevens aan te vinken in de Gedcom Instellingen

Ruud,

Bedankt voor je info. MH gebruikt versie 5.5.1, wat te zien is in de exports die ik vandaag en gisteren heb gedaan. De wat kleinere bestanden kan ik nu goed "opschonen" voor Aldfaer en probleemloos importeren, maar het grootste bestand (ruim 15000 records, ruim 361000 regels) levert nog steeds problemen. Ik zal de specs van Aldfaer en MH vergelijken en zien of ik een oplossing kan vinden. Er moet toch nog een en ander in de MH export zitten waar Aldfaer niet mee om kan gaan. Het op een na grootste bestand (981 records, bijna 20000 regels) gaf geen problemen meer nadat ik de verwijzigingen naar foto's had verwijderd (OBJE tag en vervolgtags).

Alle,
Ik heb daar geen invloed op maar, gezien het feit dat LDS (Family Search) zelf van hun eigen "voorschrift" afwijken lijkt een aanpassing naar 5.5.1 logisch. Hoeveel werk en tijd dat in beslag neemt...
Ik denk dat op dit moment de prioriteit is onvolkomenheden versie 7.0 te corrigeren

Ruud,
Dat is begrijpelijk. Ik zal proberen alles wat ik aan problemen tegenkom zo goed mogelijk te documenteren. Mijn prioriteit ligt bij het vervaardigen van mooie rapportages, wat bij MH helaas ontbreekt, maar bij Aldfaer gelukkig wel aanwezig is. Ik begin de GEDCOM specs zo langzamerhand iets beter te begrijpen, sinds de import van MH exports in Aldfaer mij de laatste paar dagen zoveel hoofdbrekens heeft gekost. Wanneer ik na vergelijking van de GEDCOM 5.5.1 specs en de door Aldfaer ondersteunde tags een definitieve oplossing heb gevonden, ben ik bereid de PHP scripts ter beschikking van Aldfaer te stellen. PHP heeft, voor zover ik nu heb ontdekt, één nadeel. De maximale uitvoeringstijd moet op ongelimiteerd worden ingesteld voor zeer grote GEDCOM bestanden. Dat maakt het script uitermate onveilig voor online gebruik.

Ik ben inmiddels een aardige stap verder. Toch nog een vraag. Mag ik aannemen dat alle GEDCOM tags van versie 5.5.1 (concept versie van FamilySearch en gebruikt door MyHeritage) die niet zijn opgenomen in de "Lijst van GEDCOM-tages" van Aldfaer, niet worden ondersteund? Voorbeelden: _PRIM, _PRIM_CUTOUT, _POSITION, _PHOTO_RIN, _PARENT_RIN en _FILESIZE (in het OBJE blok), maar nog vele andere 5.5.1 GEDCOM tags.

Je kunt natuurlijk aangeven wat je met onbekende GEDCOM tags wilt doen, maar deze als notitie laten opnemen, blijkt op geen enkele manier te werken.

Dat kunt u aannemen.
Daarnaast kunt u bij de import wel aangeven dat niet-ondersteunde Tags in de notities worden opgenomen, maar dat creëert dermate veel tekst, die moeilijk te verwijderen is.

Bedankt, Han Kortekaas! Dat betekent dat ik weer een stuk verder ben met het schrijven van een script in PHP. Ik heb inmiddels al een aanzienlijk deel goed werkend, en ook sneller als eerder aangegeven. Wat ik heb begrepen, is dat de GEDCOM tags die beginnen met een underscore "user defined" tags zijn, dus in geval van MyHeritage dus door hen in de export opgenomen. Ik zal iedereen in deze "thread" op de hoogte houden.

Toch nog een vraag!

Kan ik de TEXT en de daarop volgende CONC regels samenvoegen, of zijn deze aan een bepaalde lengte gebonden? Ik kan hierover niets vinden in de specificaties. De regels lijken nogal eens behoorlijk in lengte te verschillen. PHP heeft een mooie functie (fgetss) om HTML (en PHP) tags uit tekst te verwijderen, maar in de TEXT en CONC worden regels vaak halverwege "woorden" afgebroken, met als gevolg dat HTML-tags vaak verdeeld over twee regels zijn opgenomen (bijv. "<b" op een regel en "r />" op een volgende). PHP functie herkent deze dan niet meer als HTML-tags.

In de bijlage (in RTF-formaat) mijn bevindingen tot nu toe. Misschien heeft iemand er iets aan (devs?) of heeft iemand misschien aanvullende informatie voor mij.

Tekst op CONC en CONT is gelimiteerd tot 120 karakters.
Andere velden zoals naaam zijn ook gelimiteerd.

Het samenvoegen van tekstblokken moet je niet doen.
Het verwijderen van regels uit de HEAD zou ik achterwege laten want een aantal zijn nodig om een gedcom in te lezen en bv de karakterset te identificeren.

Ik ben wel genoodzaakt de tekstblokken eerst samen te voegen. Ten eerste omdat MH zich ook hier niet houdt aan de limieten, de meeste TEXT en CONC regels zijn praktisch twee keer de omvang van de limiet. Ten tweede worden HTML-tags in de tekstblokken te vaak verdeeld over twee regels, waardoor deze niet meer als HTML-tags worden herkend.

Inmiddels vraag ik mij ook af of de lijst van GEDCOM-tags in het help-bestand wel volledig is. Aldfaer zou versie 5.5 ondersteunen, maar dit lijkt niet altijd het geval te zijn of de lijst is (nog) niet volledig.