1265: Plugin: Datenschutz-Filter

[Mic]

Hallo Imanuel,

nach einigem Tüfteln habe ich es hinbekommen. Super! Genau das, was ich für mein Ortsfamilienbuch brauchte. Ich liebe das Plugin!

Zum Ablauf: wenn ich auf das Tool klicke, werden zuerst die "Daten gespeichert. Dann ist die erste Meldung: Element befindet sich nicht mehr im Ordner C:Program Files\Ahnenblatt\Plugins\Datenschutz.ini. Ich kann nun auf "Wiederholen" oder "Abbrechen" klicken. So oder so öffnet sich nun das Fenster: Datei Öffnen/Sicherheitswarnung. Ort der Datei ist im Ordner "Temp", Unterordner "Ahnen Temp".

Klicke ich auf "Ausführen", erscheint dein schönes Bearbeitungsfenster. Ich suche die Kriterien aus und klicke auf "Löschen". Auch bei einer kleinen Auswahl (Gestorbene vor 30 Jahren) dauert es ziemlich lange, bis alle 7000 Personen der Datei komplett durchgefiltert sind (etwa drei Minuten). Anscheinend dauert es vor allem wegen der Verwandtschaftssuche so lange. Wichtig ist: man muss warten, bis im Fenster rechts die Zeile erscheint: "[Anzahl, z.B. 19] Personen gelöscht"

Klicke ich noch mal auf "Löschen", stürzt das Programm unweigerlich ab. Ich muss also auf "Speichern" klicken. Nun darf ich die Datei (unbedingt als .csv speichern!) aber nicht im Ordner Programme\Ahnenblatt speichern, wie zunächst vorgeschlagen. Die Datei lässt sich zwar scheinbar speichern,. wird aber einfach nicht angezeigt.

Speichere ich an einem anderen Ort, klappt es: die csv-Datei wird angezeigt, lässt sich mit Ahnenblatt problemlos öffnen, und ich habe eine schöne, bereinigte Datei, die ich nun nur noch als Ahnenblatt- oder Gedcom-Datei speichern muss.

Einige Fallstricke, aber es funktioniedelt.



Sehr nette Grüße
Mic

[Torquatus]

Hallo Imanuel,

Den Fehler habe ich aber - aller Wahrscheinlichkeit nach - gerade gefunden; Meine anfängliche Vermutung, daß die Datei in UTF-8 gespeichert worden ist (womit das Plugin nicht umgehen kann), scheint zielführen gewesen zu sein.

daran hatte ich auch schon gedacht

Wenn ich nämlich bei meinen 443 Personen Sonderzeichen mit aufnehme, mag das Plugin auch niemanden mehr einladen.

Das habe ich jetzt insofert korrigiert, als die Datenübergabe jetzt immer mittels ANSI durchgeführt wird.

Daß das nicht die beste Lösung ist, ist mir klar - aber vorerst ist das besser als nichts.

Ja, so sehe ich das auch, aber noch besser wäre, wenn . . . .

So dürften deine Personen - bis auf ihre Sonderzeichen - jetzt eingeladen werden.

Das werde ich jetzt mal versuchen. Nachdem aber Mic von 3 Minuten bei 7.000 Personen spricht, wird das bei mir wohl mind. 9 Minuten dauern

Gleichzeitig ist mir beschämenderweise aufgefallen, daß noch Testfunktionen mitgelaufen sind - die Dateien vorher.txt und nachher.txt können jederzeit gelöscht werden und erscheinen ab 1.2.2 nicht neu

Bei mir wurden die noch nicht erzeugt, denn bis zur Erstellung dieser Dateien kam das Programm wohl gar nicht

[Torquatus]

Hallo Imanuel,

Allerdings denke ich, daß ich das Plugin mittels der angehängten ABP-Datei Vista-kompatibel gemacht habe - ersetze mal die in deinem Plugin-Ordner vorhandene Datei mit dieser hier, dann sollte es gehen.

das war nicht notwendig, denn bei mir läuft Dein Plugin unter Vista-32b mit der Beispiel.ahn von Dirk ohne Probleme.

[Imanuel]

Hallo Mic,

Schön, daß es funktioniert!
Die Fehlermeldung mit der Datenschutz.ini kannst du entfernen, indem du aus der ABP-Datei die entsprechende Zeile entfernst (und bei den nachfolgenden die Nummern korrigierst).
Viel Sinn hatte die Zeile in dieser Form eh nicht (man müßte die Datei nach dem Ausführen des Plugins auch wieder zurückkopieren, was möglicherweise wieder nicht geht) - außerdem sollen so nur die Einstellungen erhalten werden, was ja im Kontext dieser Notlösung nicht unbedingt notwendig ist

Daß die Verwandschaftssuche sehr langsam ist, ist richtig - vielleicht schaffe ich es ja mal, die Algorithmus noch zu beschleunigen.


Und selbstverständlich auch Hallo Torquatus

Ich fürchte fast, bei dir könnte es noch länger dauern, weil die Verwandschaftssuche bei mehr Personen überproportional länger dauern dürfte.
Wie gesagt, der Algorithmus ist noch alles andere als perfekt, da läßt sich sicher noch etwas verbessern.

Daß das Plugin bei dir unter Vista funktioniert, ist natürlich sehr schön - dann ist das Problem wohl spezifisch bei Mics Computer zu suchen.
Die hochgeladene ABP-Datei wird dann auch nur hier als Behelfslösung stehen bleiben, aber nicht in die Hauptversion des Plugins aufgenommen werden.

Viele Grüße,
Imanuel

[Mic]

Hi Imanuel,

ja, der Durchlauf beim Kriterium Geboren nach 1900/Gestorben nach 1980 (etwa 800 Personen) dauerte etwa anderthalb Stunden. Nur wegen der Verwandtensuche - die 800 eigentlich Betroffenen schafft das Plugin in zwei Sekunden.
U
Aber jetzt habe ich es auch schön sortiert - super!

Und noch einmal herzlichen Dank für deine Mühe

Mic

[Imanuel]

Hallo Mic,

Das ist natürlich viel zu lange, da muß etwas gemacht werden - Ich denke mal darüber nach, wie sich das bewerkstelligen läßt.

Ich habe übrigens kürzlich einen Fehler gemacht, der sich immer dann ausgewirkt hat, wenn die betroffenen Personen nicht komplett gelöscht werden sollten.
In Version 1.2.3 ist dieser Fehler behoben.

Viele Grüße,
Imanuel

[Hugo]

Guten Tag Imanuel
Hier nur eine kurze Info zwischendurch für Dich, wo nicht nur Mic sein Problem liegt
Wir haben uns tagelang den Kopf darüber zerbrochen

hier geht die Lösung los klick mich

und hier ist ist im im dortigen Thema auch ein Beitrag bezüglich Deines Plugins klick mich

Vielleicht hilft es Dir auch

Gibt es eigentlich irgendwo eine Dokumentation der ABP-Dateien?
Ich habe am Anfang des Datenschutz-Entwicklung mal danach gesucht, aber nichts gefunden.

Leider NEIN

Nur, was selbst zusammen gesammelt wurde
Thomas: Einleitung zur Speicherung über Plugin
weiter schau bitte hier
Dirk: ANSI oder UNICODE Speicherung im Plugin
und hier
Jürgen: Speicherbefehle im Plugin

Gruß Hugo

[Torquatus]

Hallo Imanuel,

Das ist natürlich viel zu lange, da muß etwas gemacht werden - Ich denke mal darüber nach, wie sich das bewerkstelligen läßt.

aber es ist immer noch zu langsam. Bis eine Verwandtschaftssuche durch ist, dauert das vieeeel zu lange. Ich beobachte nun schon seit ca. 20 Minuten die Anzeige, ohne, dass sich etwas ändert. Nachdem ich jetzt mal Deinem Plugin mehr CPU-Leistung (siehe unten) zur Verfügung gestellt habe, geht es etwas vorwärts, aber von flott kann man nicht sprechen. Selbst bei Personen ohne Nachkommen und Partner dauert die Verwandtschaftssuche mehrere Minuten.

Noch zwei Fragen:
Welche Wirkung hat "Partner einbeziehen"? Da sehe ich keinen Sinn, denn Partner haben ein Eigenleben und sind genealogisch nicht von Partnern abhängig.

Welche Wirkung hat "Sämtliche Nachfahren einbeziehen"? Beispiel: Beim Großvater fehlt das Sterbedatum, weshalb bei ihm alles außer dem Namen weggefiltert wird. Was passiert nun mit seinen Nachkommen, bei denen die Filterung eigentlich nicht zum Zuge käme?

[Imanuel]

Hallo Hugo,

Den Thread habe ich zum Teil bereits gelesen, und mich jetzt auch mal eingemischt; trotzdem Danke für den Hinweis.



Und Hi Torquatus,

Ich habe die Verwandschaftssuche komplett neugeschrieben (jetzt nicht mehr rekursiv, falls es jemanden interessiert) und damit eine ungemeine Geschwindigkeitsverbesserung erreicht.

Inzwischen gibt es damit Version 1.3.

Die Einstellung "Partner einbeziehen" wurde in dieser Version abgeschafft, weil sie ab jetzt (vorerst) bei den sämtlichen Nachfahren mitgezählt werden.

Damit bleibt die Option "Sämtliche Nachfahren einbeziehen" übrig.
Wenn dieses Häkchen aktiviert wird, werden - wie du schon angedeutet hast - sämtliche Nachfahren dieses Großvaters auch bereinigt, unabhängig davon, ob sie den Filterkriterien entsprechen, oder nicht.

Wenn du das nicht willst, dann mach das Häkchen einfach aus - wer aber von den Nachfahren des Großvaters keine näheren Daten hat, oder auch aus organisatorischen Gründen keine Nachfahreninseln zurücklassen möchte, wird diese Option zu schätzen wissen.

Viele Grüße,
Imanuel

[Mic]

Hey, Imanuel,

das ging ja flott mit der neuen Version. Und sie ist deutlich schneller: die Verwandten hat sie in wenigen Sekunden sortiert, nur musste ich noch warten, bis die berühmte letzte Zeile erschien; vorher sollte man das Fenster nicht einmal zum Scrollen berühren, da sonst das Programm abstürzt.

Größe der Datei: 7000 Personen, 800 aussortiert, Dauer der Datensortierung: wenige Sekunden, Dauer der endgültigen Berechnung: zwischen 2 und 15 Minuten (habe nicht mehr genau hingesehen nach 2 Min, aber nach 15 Min war es fertig.)

Klasse!
Mic

[Imanuel]

Hallo Mic!

Dank deiner Mithilfe wird hiermit Verson 1.3.1 freigegeben.
Der Haken bestand darin, daß nach der Löschung der 800 Personen noch jeder Hinweis auf sie gelöscht werden mußte, beispielsweise bei Eheeinträgen.
Auch dort habe ich den anfänglichen Algorithmus erheblich verbessert, so daß es jetzt innerhalb weniger Augenblicke fertig sein sollte.

Abstürzen sollte es allerdings nie, ich selbst konnte auch noch keinen Absturz nachvollziehen (von einer Fehlermeldung abgesehen, wenn man das Plugin während der Arbeit beenden will - das wollte ich eigentlich noch korrigieren, wird dann in der nächsten Version geschehen).

Was passiert denn bei "deinen" Abstürzen; Kommt eine Fehlermeldung, oder verschwindet das Plugin einfach?

Viele Grüße,
Imanuel

[Mic]

Hallo Imanuel,

nein, es wird blass und zeigt keine Reaktion mehr ("reagiert nicht mehr"), so dass ich es schließe. Das passierte bei der ersten Version auch, als ich noch nicht wusste, dass man auf das Erscheinen der letzten Zeile warten musste, und ein zweites Mal auf Löschen klickte. Übrigens, mehrmals genau wiederholt, immer der gleiche Absturz.

Im Prinzip nicht schlimm, nur muss man die Arbeit wiederholen.

Jetzt lade ich mir die neuste Version herunter... ich muss aber immer die speziell für mein Vista-System erstellte immer wieder neu in den Plugin-Ordner kopieren.

Ciao
Mic

[Mic]

Yeah,

deutlich unter einer Minute bei 7350 Personen und 701 Löschungen. Fertig. Perfekt.

Gute Nacht,
Mic

[Nachfahre]

Hallo Imanuel,

Vielen Dank für das Update.
Dein Plug-In ist jetzt wirklich schnell wie der Blitz.

Ich habe aber noch ein paar Anmerkungen.
Was hällst Du davon die Benutzerführung ein bisschen zu ändern?

A)
Ich fände es besser, wenn man Schritt für Schritt durchs Plug-In geführt würde.

1) Filterkriterien auswählen (so wie jetzt)
2) dann Filter anwenden (also Datenschutzeinstellung anwenden)
3) dann erst die Möglichkeit des Speichen anbieten.
(Speichern ohne Anwenden des Filters wäre wie den Bayern-Bundesliga Sieg feiern, ohne das Ergebnis vom VFL und das Spiel gegen den VFB betrachtet zu haben)

B)
Eine Option das Ergebnis direkt in AB zu starten wäre auch schön.
(es ist nahe liegend, dass man sich das Resultat anschauen möchte)

C) Datenschutz Lebende:
Gedenke an die Toten, aber vergesse dabei die Lebenden nicht.
Wie man die "noch-nicht-lange-genug-Verschiedenen" und die "schon-vor-zu-langer-Zeit-Geborenen" ,jeweils mit Sack und Pack, be-"daten-schützen" kann, habe ich verstanden.
Aber was ist mit den schlicht noch am Lebenden?
Das habe ich noch nicht verstanden.
(die 3 Cabernet Sauvignon, die ich eben kredenzt habe, brachten mich auch nicht weiter ) )

liebe Grüße,
- Othmar

PS: Trage doch bitte auch Deine "Datums-Regeln" in die Hilfe mit ein.
(Die Halbwertszeit gelesener Beiträge ist geringer als die von Tomaten)