CSV-Import "hängt"

[koelner]

Hallo zusammen,

ich habe mich gerade als Benutzer angemeldet und auch erst seit kurzem die Vollversion von Ahnenblatt erworben. Ich benutze auch andere Programme, aber eine der für mich interessantesten Funktionen war die Möglichkeit, Daten aus Tabellen (in diesem Fall CSV) einschließlich Verknüpfungen zu importieren und als GEDCOM zu speichern.

Darauf bezieht sich auch meine erste Frage: Ist es normal, dass bei einem Import einer CSV-Dateien von ca. 2130 Datensätzen (und vielen internen Verknüpfungen in Form von Referenzen auf Ehepartner und Eltern) hängten bleibt in dem Sinne, dass die Fortschrittsanzeige bei der Mitte stehen bleibt und sich über viele Stunden nicht bewegt?

Ich hatte schon erwartet, dass solch ein Import etwas länger dauern kann, aber noch über 10 Stunden gar kein Fortschritt? Bei Fehlern in der Datei sollte ja eine entsprechende Meldung erfolgen.

Hat man als Benutzer Möglichkeitn, das Problem einzugrenzen?

Vielen Dank und viele Grüße

[Fridolin]

Das Problem kommt mir uferlos vor - woher willst du wissen, ob deine CSV-Datei konsistent bzw. integer ist? Liegt es also am Programm oder an den Daten? Du könntest höchstens Tests mit anderen Dateien anstellen.

[Iemhoff]

Hallo


CSV ist als Export gedacht, da es verschiedene Trennzeichen gibt. Ascii 09 HT oder such ';' semicolon (punkt komma)
AB arbeitet in Export mit HT
Bitte deine CSV ansehen mit Notepad+ oder ein anderes Hexer-Programm

ABcsv.png

[Klaus-DieterR]

Hallo,

für meine csv-Datei mit 171000 Personen (Trennzeichen ;) braucht AB 3.58 zum
Laden 75 sec und zum
Sortieren 25 sec.

Schönes Wochenende

[koelner]

Hallo,
erst einmal vielen Dank für die teils sehr hilfreichen Antworten.

Der Erfahrungswert über die Ladezeit von 171000 Personen war schon mal sehr wichtig, denn nun wusste ich, dass ich nicht Stunden bei stehengebliebenem Fortschrittsbalken abwarten musste.

Dass die Daten konsistent waren, konnte ich natürlich nicht garantieren - aber ich bin davon ausgegangen, dass offensichtliche Inkonsistenzen (völlig falsches Format, falsche Trennzeichen, unerlaubte Zeichen ...) beim Import abgefangen würden.

Ergebnis zahlreicher Versuche, bei denen immer wieder Ahnenblatt mit dem TaskManager abgebrochen werden musste: Es hängt nicht mit dem Inhalt (Trennzeichen) und auch nicht mit der Zahl der Verknüpfungen zusammen, sonder mit der Zeichencodierung:

Ich hatte (aus OpenRefine) mit der Codierung UTF-8 abgespeichert. NotePad++ bestätigt mir das auch. Dann habe ich mir eine Exportdatei aus Ahnenblatt erzeugt. Hier zeigt NotePad++ die Codierung "UTF-16 LE-BOM" an. Der Workaround ist nun zwar einfach: Ich nehme im Editor meine Daten und kopiere sie in die aus Ahnenblatt erzeugte da, speichere sie unter einem anderen Namen ab (wobei ja die Codierung beibehalten wird) und voilà - es funktioniert, einschließlich Umlauten und Personenverknüpfungen.

Ich kann nun weiterarbeiten, aber was im Hintergrund wirklich passiert, ist mir nicht ganz klar. Ist die benötigte Codierung für den CSV-Import wirklich UTF-16 LE-BOM? Auf jeden Fall sollte ein Programm sich nicht einfach aufhängen, wenn wirklich eine falsche Codierung vorliegt. Das wäre eine Anregung an den Entwickler.

Vielen Dank und viele Grüße
"koelner"

[Iemhoff]

Schoen das es soweit geklappt hat.
Viel Spaß mit AB.

[Fridolin]

Danke für den Bericht! Auf die Zeichenkodierung bin ich nicht gekommen. Werden wir uns für zukünftige Probleme merken müssen.

Das letzte Mal, dass jemand mit dem Import von CSV in UTF-8 keine erwünschten Ergebnisse bekam, war 2020 und beschränkte sich auf falsche Sonderzeichen.

[DirkB]

Hallo koelner,

Ist die benötigte Codierung für den CSV-Import wirklich UTF-16 LE-BOM?

Nein, nicht wirklich. Aber BOM (die ersten drei Bytes der Datei kennzeichnen dann die Codierung) ist sicherlich hilfreich, damit die korrekte Codierung erkannt wird. Von daher sollte auch UTF-8-BOM funktionieren. Ohne BOM ist es dann pure Spekulation, ob es sich um UTF-8, ANSI, ASCII oder etwas ganz anderes handelt.

Auf jeden Fall sollte ein Programm sich nicht einfach aufhängen, wenn wirklich eine falsche Codierung vorliegt. Das wäre eine Anregung an den Entwickler.

Das ist sicherlich richtig. Wenn du mir eine entsprechende Datei zumailst, mit der der Fehler auftritt, werde ich mal schauen, ob sich das korrigieren lässt. Ich kann nun mal nur Fehler korrigieren, die ich auch nachstellen kann. Wenn ich mir selbst erst Beispieldaten erstellen muss, ist das aufwändig - und ich kann nicht sicher sein, dass genau dein Fall damit auch korrigiert wäre.

- Dirk

[koelner]

Habe am 30.7. Testdateien an DirkB geschickt.
Dirk hat bestätigt, dass der Fehler bei ihm auch auftritt und mitgeteilt, dass die Behebung etwas dauern kann.
Vielen Dank schon mal an dieser Stelle!

- koelner