ITR und Entwicklungen

Logo of the Europeana Tech Conference 2023

Vom lesenden Menschen zu lernenden Maschinen – über die Möglichkeiten von Gaia-x für das kulturelle Erbe

Dieser Beitrag ist eine Verschriftlichung des gleichnamigen Vortrags über die ersten Erfahrungen, Daten aus dem ITR von CrossAsia in Gaia-X zu publizieren und auf diesem Wege der Forschung und vor allem den Digital Huminaties zur Verfügung zu stellen. Der Vortrag wurde am 11. Oktober 2023 im Rahmen der Europeana Tech Conference 2023 in Den Haag gehalten.

Ausgangspunkt der Reise Richtung Gaia-X stellt die CrossAsia Webseite dar. CrossAsia ist das von der Staatsbibliothek zu Berlin verantwortete Portal, in dem alle Services des von der DFG geförderten Fachinformationsdienstes Asien und weiteren Angebote gebündelt werden. Der Fachinformationsdienst richtet sich an Wissenschaftlerinnen und Wissenschaftler aus den asienbezogenen Geisteswissenschaften und hat seinen Schwerpunkt auf Ost-, Zentral- und Südostasien. Die Staatsbibliothek sammelt nicht nur Materialien aus und über diese asiatischen Regionen, sondern hat sich bereits vor mehr als 20 Jahren für eine e-preferred-Strategie entschieden. Wann immer ein elektronisches Medium wie Zeitschrift oder Buch dauerhaft lizenziert werden kann, wird kein gedrucktes Exemplar erworben, sondern das elektronische Dokument lizenziert. Hierbei versucht die Staatsbibliothek neben den überregionalen oder nationalen Zugangsrechten auch die Rechte für die lokale Archivierung der Dokumente inkl. Text- und Datamining-Rechten nach Verhandlungen zu erlangen. Neben den Einträgen in den Nachweissystemen kommt der Verwaltung der lizenzierten Daten wie Bilddaten, Volltexten, Film- und Tondokumenten eine besondere Bedeutung zu. Ein erster Dienst, der aus der Verwaltung der digitalen Objekte entwickelt wurde, ist die CrossAsia-Volltextsuche. Diese basiert neben eigenen digitalisierten und mit Volltexten ausgestatteten Objekten auf lizenzierten Objekten von Verlagen und anderen Anbietern. Hierbei handelt es sich hauptsächlich um Text- und Bildmaterialien aus historischen Quellen, von Büchern über wissenschaftliche Artikel bis hin zu aktuellen Zeitungen. Bislang sind insbesondere Materialien in Englisch und Chinesisch repräsentiert; das Angebot wird auch in Hinblick auf die anderen Sprachen kontinuierlich ausgebaut.

All diese Inhalte werden im sogenannten Integrierten Textrepository (ITR) archiviert. Technische Grundlage hier ist eine Infrastruktur basierend auf der Fedora Repository Software. Gleichzeitig stellen wir die Durchsuchbarkeit der Inhalte über einen Solr-Index dar. Dieser enthält momentan fast 70 Millionen Dokumente und ist weltweit eine einmalige Sammlung für lizenzfreie und lizenzbehaftete digitale Ressourcen in den Asienwissenschaften.

Aus diesem Grunde haben viele Wissenschaftlerinnen und Wissenschaftler ein großes Interesse, in diesen Inhalten Muster zu entdecken, neue Zusammenhänge zu erkennen und neue Erkenntnisse mit eigenen Algorithmen und Programmen durch Text- und Datamining zu gewinnen. Der FID Asien besitzt zwar das Recht, seine Nutzerinnen und Nutzern solche Analysen direkt durchführen zu lassen. Hierbei stellt sich jedoch die Frage, wie Code und Inhalte zusammenkommen?

Eine naheliegende Idee wäre ein zusätzlicher Service, der es Wissenschaftlerinnen und Wissenschaftlern ermöglicht, ganze Sammlungen aus dem ITR herunterzuladen. Allerdings ist die Datenmenge im ITR sehr groß, so dass unter Umständen mehrere Terrabyte von Daten heruntergeladen werden müssten. Dies kann je nach Netzwerkgeschwindigkeit Wochen dauern. Zudem wird die weitere Verbreitung der Daten mit dem Download unkontrollierbar, was für alle lizenzierten Inhalte äußerst kritisch ist und zu Vertragsverletzungen führen kann. Dies wiederum schafft Probleme mit Verlagen, mit denen die Staatsbibliothek Verträge geschlossen hat. Schließlich basiert ein Lizenzvertrag auf gegenseitigem Vertrauen, weshalb eine strengere Zugriffskontrolle auf die Daten notwendig ist.

Eine andere Idee ist, dass Wissenschaftlerinnen und Wissenschaftler in die Staatsbibliothek kommen und sich dort mit ihrem eigenen Laptop über die IT-Infrastruktur der SBB direkt mit dem ITR verbinden und dann die entsprechenden Analysen durchführen. Dies ist aus Zeit- und Kostengründen nicht immer realisierbar, vor allem wenn eine ferne Anreise notwendig ist. Und auch in diesem Fall muss kontrolliert werden, ob Daten in zu großem Umfang aus dem ITR abgezogen werden und die Staatsbibliothek damit die Kontrolle über ihre in den Lizenzverträgen eingegangenen Verpflichtungen verliert.

Ein weiteres Problem stellen die erforderlichen Computer-Ressourcen dar, die z.B. für das Training im Rahmen des maschinellen Lernens benötigt werden und die ein einfacher Laptop nicht bieten kann. Daher kann auch die Verfügbarkeit der notwendigen Rechenleistung ein Problem sein.

Ausgehend von dieser Problematik begann unsere Suche nach einer Möglichkeit, unsere Daten und unser ITR für Text- und Datamining zu öffnen. Dabei stießen wir auf Gaia-X. Gaia-X ist eine europäische Initiative für eine unabhängige Cloud-Infrastruktur, wobei es sich eher um ein Framework als um eine weitere Cloud-Plattform wie Amazon Webservices oder Google handelt, die sich in verschiedene Domänen aufgliedert.

Die wichtigsten Eigenschaften des Gaia-X Frameworks sind im Folgenden aufgeführt:

  • Volle Souveränität über die eigenen Daten. Die Kontrolle über die Daten bleibt stets beim Eigentümer.
  • Dezentralität, d.h., es gibt keinen zentralen Punkt im Netzwerk, der für das Funktionieren notwendig ist.
  • Ein Regelwerk zur Schaffung von Vertrauen und spezielle Services (verfügbar als Open Source), die von allen Netzwerkteilnehmern genutzt werden können, um zu überprüfen, ob andere auch die Regeln einhalten. Gaia-X ist also ein föderales System mit implizitem Vertrauen.
  • Gaia-X ist interoperabel, da es keine vorgeschriebene technische Infrastruktur für die Teilnahme gibt.
  • Mit Gaia-X ist es möglich, fachspezifische Dataspaces zu erstellen und diese miteinander zu verknüpfen.

Abbildung 1 zeigt einen Überblick über die Gaia-X Domäne, die wir uns näher angeschaut haben. Links ist das Trust Framework mit den verbundenen föderierten Diensten dargestellt, die dazu genutzt werden können, um die Compliance von allen Teilnehmenden zu überprüfen. Rechts oben finden sich die Portale, die den Einstiegspunkt in die fachspezifischen Dataspaces in Gaia-X darstellen.

 

 

Alles, was in einem Portal veröffentlicht wird, wird im föderierten Katalog verzeichnet, der in der Abbildung neben den Portalen zu sehen ist. Dieser Katalog ist unabhängig von den Portalen und enthält Informationen über alle Assets in Gaia-X. Nutzerinnen und Nutzer besuchen ein Portal und sehen die Inhalte abhängig vom Portal in einer fachspezifischen Ansicht des föderierten Katalogs. Die Inhalte sind jedoch nicht an das Portal gebunden und können jederzeit und überall im Gaia-X-Netzwerk genutzt werden. Auch deswegen ist Gaia-X als dezentral zu bezeichnen.

Um herauszufinden, wie uns diese Eigenschaften unterstützen können, um Text- und Datamining im ITR zu ermöglichen, haben wir ein Proof-of-Concept gestartet. Das Ergebnis war ein eigenes CrossAsia Portal in Gaia-X. Inhalte eines solchen Portals sind sogenannte Service-Offerings in Gaia-X. Dies kann entweder ein Dataset oder ein Algorithmus sein. Für ein Dataset besteht die Möglichkeit des gesicherten Downloads, was bedeutet, dass die URL des Datensatzes niemals sichtbar wird. Gleichzeitig kann zum Beispiel die gesamte Anzahl an Downloads festgelegt werden.

Eine weitere Möglichkeit besteht darin, Compute-To-Data für ein Dataset zu aktivieren. Dies ermöglicht es Nutzerinnen und Nutzern, die Daten mit einem veröffentlichten Algorithmus zu verknüpfen und einen Compute Job zu starten. Die Nutzerinnen und Nutzer erhalten nur die Ergebnisse ihres Compute-Jobs, nicht die Daten selbst. Auf diese Weise können wir die Daten aus unserem ITR für Text- und Datamining anbieten, ohne dass jemand Daten herunterladen oder verschieben muss.

Dies funktioniert, weil hier das Ocean Protocol die technische Grundlage von Gaia-X darstellt. Abbildung 2 zeigt einen vereinfachten technischen Ablauf für Compute-To-Data. Die Schritte sind relativ einfach: zunächst suchen die Nutzerinnen und Nutzer die Daten und den Algorithmus aus dem föderierten Katalog (vorausgesetzt, es bestehen entsprechende Zugriffsrechte). Dann werden Daten und Algorithmus in einen isolierten Execution Pod geladen, der innerhalb einer Kubernetes-Umgebung startet. Einzig die Ergebnisse des Algorithmus und Logfiles zur Ausführung werden dann dem Nutzer oder der Nutzerin zur Verfügung gestellt. Am Ende wird der Execution Pod gelöscht.

 

 

Das Veröffentlichen von Datasets und Algorithmen und deren Verbindung hat wie in der Theorie beschrieben funktioniert. Daher kann der Proof-of-Concept als Erfolg angesehen werden: eine Bibliothek kann Datasets in Gaia-X veröffentlichen, Wissenschaftlerinnen und Wissenschaftler können einen Algorithmus veröffentlichen und beides über das Portal kombinieren. Die gewünschten Ergebnisse werden zur Verfügung gestellt, ohne das die Sicherheit der Daten gefährdet wird – keine Downloads sind notwendig und alle Daten bleiben bei der Institution, die sie veröffentlicht hat.

Mit der Ersteinrichtung des Portals muss jedoch festgestellt werden, dass noch einige Verbesserungen notwendig sind, bevor die Lösung in größerem Umfang gut genutzt werden kann. Wer das Portal ausprobieren möchte, wird feststellen, dass der Einstieg in das Gaia-X Netzwerk nicht einfach ist und einiger Erklärungen bedarf. Da es sich bei der Datenbank des föderierten Katalogs um einen Distributed Ledger handelt, wird ein Wallet zur Identifizierung und Rechtegewährung benötigt. Daher muss im Browser ein Wallet (z.B. MetaMask) installiert und konfiguriert werden. Nach dem Einstieg ins Netzwerk ist jedoch die Veröffentlichung von Datasets und Algorithmen recht einfach, wenn auch die Verwendung von Daten bzw. das Starten eines Compute-Jobs eine Reihe von Bestätigungen bestimmter Transaktionen auf dem Ledger erfordert.

Zusammenfassend lässt sich feststellen, dass Gaia-X eine interessante neue Möglichkeit für GLAM-Institutionen ist, ihre schützenswürdigen Daten anzubieten. Gaia-X ist derzeit noch stark von wirtschaftlichen und industriellen Interessen mit einer starken kommerziellen Ausrichtung getrieben. Dennoch haben wir uns entschieden, vor allem aufgrund der guten Ergebnisse, unsere Aktivitäten in Gaia-X fortzuführen und den Proof-of-Concept zu einer Pilotanwendung weiterzuentwickeln. Hier arbeiten wir an ersten Verbesserungen der User-Experience und werden in Kürze weitere Use-Cases mit wissenschaftlichem Fokus durchführen. Wir engagieren uns gleichzeitig in der Gaia-X und Ocean-Protocol-Community, um auch nicht-kommerzielle Anwendungsfälle in Gaia-X besser zu ermöglichen und Gaia-X zu einem wissenschaftlichen Ökosystem für fachspezifische Dataspaces weiterzuentwickeln.

Basierend auf unseren Erfahrungen aus dem Proof-of-Concept möchten wir Einrichtungen des Kulturerbes vorschlagen, darüber nachzudenken, wie Gaia-X und das Ocean Protocol sie dabei unterstützen können ein Fullstack-Dataprovider zu werden. Und eben nicht nur ein Dataprovider für Metadaten, um Kulturartefakte zu finden, nicht nur ein Dataprovider für Texte zum Lesen, Audios zum Hören, Bilder oder Videos zum Ansehen oder Forschungsdaten zum Analysieren. Sondern vielmehr ein Dataprovider, der solche Kulturdaten in hoher Qualität auch für Algorithmen und Netzwerke für maschinelles Lernen anbietet und dabei – sofern notwendig – die Hoheit über die Daten behält.

Derzeit werden Large Language Models stark von großen Unternehmen wie OpenAI, Google oder Facebook kontrolliert. Wenn jedoch jeder die Möglichkeit erhält, seine eigenen Modelle mit Daten von GLAM- Institutionen zu trainieren, kann das maschinelle Lernen demokratisiert werden. Da jeder Zugang zu den Daten hat, die er oder sie für seine Algorithmen benötigt – entweder zu freien Daten oder bei lizenzierten Daten dort, wo ein entsprechendes Zugriffs- und Lizenzrecht besteht. Neue Ansätze wie Federated Learning können dabei helfen und den Prozess sogar noch stark vereinfachen. Unser Ziel ist es, das Training künstlicher Intelligenz zu verbessern, indem wir unsere digitalen Lesesäle für die Algorithmen öffnen und nicht nur die neuen Möglichkeiten der künstlichen Intelligenz selbst zu nutzen.

Referenzen

Wenn Sie interessiert sind, die Lösung zu testen und Unterstützung benötigen, wenden Sie sich bitte an x-asia(at)sbb.spk-berlin.de

Written Mongol Romanised Vocabulary ist online!

Ab sofort steht Ihnen das Tool „Written Mongol Romanised Vocabulary“ im CrossAsia Lab zur Verfügung. Das Tool bietet eine Suche nach mongolischen Vokabeln in kyrillischer Schrift und verschiedenen Transliterationen. Der Wortschatz ist derzeit auf Lemma aus Buchtiteln im Besitz der Staatsbibliothek beschränkt. Weitere Updates sind geplant.

Dieses Tool wurde unter Mithilfe unseres ehrenamtlichen Mitarbeiters, Dr. Michael Balk, entwickelt. Das Ehrenamt an der Staatsbibliothek machte dieses Tool möglich. Written Mongol Romanised Vocabulary zeigt, wie das Ehrenamt positiv auch auf die Weiterentwicklung der Staatsbibliothek und ihrer Services wirkt.

Im CrossAsia Lab finden Sie weitere IT-Anwendungen und –Tools, die im Kontext von CrossAsia entwickelt und zur freien Nutzung zur Verfügung gestellt werden. Schauen Sie gern vorbei!

 

Englische Zeitungen aus China, 1832-1998: über 10 Mio. Artikeldaten neu in der CrossAsia Volltextsuche und dem ITR Explorer

Der Umfang der neu in die beiden Volltextsuchen (also geführt und explorativ) und den ITR-Explorer aufgenommenen Ressource ist ein guter Anlass, noch einmal auf diese frei für alle Nutzenden zugänglichen CrossAsia Services hinzuweisen. Mit den über ProQuest angebotenen Zeitungen „South China Morning Post“ (1903-1998) und dem Paket englischsprachiger Zeitungen aus China der Jahre 1832-1953 (*) ist die Liste an „English Journals und Newspapers (published in/aimed at Asia)“ des ITR-Explorers noch einmal signifikant erweitert worden. Auch wenn die Zeitungen in China erschienen sind, so wird die gesamte Region Asiens und darüber hinaus behandelt und ein Blick lohnt auch für jene, die sich nicht speziell für China interessieren: über 130.000 Artikel erwähnen z.B. „Indonesia“,  35.000 „Mongolia“.

Die Volltextsuchen bieten die Möglichkeit ein breites Spektrum an Datenbanken gemeinsam zu durchstöbern und strukturierte Recherchen über das Setzen von Filtern vorzunehmen; der ITR Explorer erlaubt einen anderen Blick auf die Ressourcen, indem er verschachtelte Abfragen und den visuellen Vergleich verschiedener Treffergruppen ermöglicht.

Ein Beispiel anhand der neuen Ressource

In einem ersten Schritt kann man auswählen welche Quellen durchsucht werden sollen:

Auswahl der Quellen, auf der die Suche basieren soll: Sektion "Newspapers and Journals"

Select source: Hier aus der Sektion „Newspapers and Journals“ die neu hinzugefügten „Historical Newspapers und South China Morning Post

Auf Basis der Auswahl können Treffer-Sets erstellt und miteinander kombiniert werden:

Zwei Treffersets des ITR Explorer: links "worker", rechts "laborer"

Zwei Treffer-Sets auf der Basis der gewählten Quelle. Für das Set „worker“ wurde ausgewählt es mit dem Set „laborer“ zu kombinieren …

… und ein neues Set zu bilden: „laborer OR worker“ enthält Artikel, in denen entweder das eine ODER das andere vorkommt

Die große Menge an Treffer zu generieren und deren Visualisierung z.B. über die Zeit zu berechnen, dauert seine Zeit. Geduld, Geduld 🙂

Hier noch ein Venn- oder Mengendiagramms, das die Verteilung von Artikeln, in denen die Wörter „laborer OR worker“, „poverty“ und „peasant“ vorkommen, optisch und zahlenmäßig greifbar macht:

Mengendiagramm der drei Treffersets für "laborer OR worker", "poverty" und "peasant". Das erste Set ist deutlich größer, als die anderen beiden; die Schnittmengen von "peasant" mit "poverty" ist kleiner als die der "laborer OR worker". Der Großteil der Artikel mit "laboror OR worker" jedoch erwähnt nicht das Wort "poverty"

Venn-Diagramm von drei Treffermengen. Auch wenn die Anzahl der Artikel mit „laborer OR worker“, die auch „poverty“ erwähnen größer ist, als die „peasant“ „poverty“ Schnittmenge, so erwähnen der Großteil der „laborer OR worker“ Artikel nicht das Wort „poverty“. Hier ausgewählt ist die kleine Schnittmenge aller drei Sets, die 647 Artikel umfasst.

Die CrossAsia Volltextsuche ist jetzt „bunt“

An Ressourcen sind in beiden CrossAsia Services mittlerweile nicht nur lizenzpflichtige Daten versammelt, sondern auch frei zugängliche bzw. freie, für die man einen individuellen Account beim Anbieter anlegen muss. Um hier immer gleich zu wissen, woran man ist, haben wir diese Links unterschiedlich gefärbt:

  • wie gehabt, rot für authentifizierte CrossAsia-Nutzer
  • grün für frei zugängliche Dinge, wie die Asien-relevanten OCR-Texte der Digitalen Sammlung der Staatsbibliothek
  • orange für Daten, für die man sich einen kostenfreien, individuellen Account anlegen muss, um sie vollständig einsehen zu können.

Welche Farbe auch immer, eine Snippet-Ansicht des Treffers gibt es immer und für alle Nutzenden, für solche mit und solche ohne CrossAsia Account.


* Hier noch eine Liste der im Paket enthaltenen Zeitungen: The Canton Times (1919-1920), The China Critic (1939-1946), China Monthly Review (1950-1953), The China Press (1925-1938), The China Weekly Review (1923-1950), The Chinese Recorder (1912-1938), The Chinese Recorder and Educational Review (1939-1941), The Chinese Recorder and Missionary Journal (1868-1912), The Chinese Repository (1832-1851), Millard’s China National Review (1919-1919), Millard’s Review of the Far East (1917-1919, 1919-1921), The North-China Herald (1850-1867), The North-China Herald and Market Report (1867-1869), The North-China Herald and Supreme Court & Consular Gazette (1870-1941), Peking Daily News (1914-1917), Peking Gazette (1915-1917), The Peking Leader (1918-1919), The Shanghai Gazette (1919-1921), The Shanghai Times (1914-1921), The Weekly Review (1922-1923), The Weekly Review of the Far East (1921-1922).


Wie immer freuen wir uns über Feedback und Hinweise! Schreiben Sie uns an x-asia@sbb.spk-berlin.de

Neue Funktionen im CrossAsia ITR Explorer

Nachdem wir nun schon eine ganze Weile im Hintergrund an der Performance und einigen kleineren Details des ITR Explorers geschraubt und diese „stillschweigend“ veröffentlicht haben, ist es nun an der Zeit, einige wichtige Neuerungen und Funktionen vorzustellen.

Der ITR Explorer erlaubt es, Suchergebnisse auf Basis der Ressourcen im CrossAsia Integrierten Text-Repositorium (CrossAsia ITR) zu kombinieren und zu vergleichen und deren Überschneidungen bzw. die Verteilung über die Zeit zu visualisieren. Damit der Einstieg in die Nutzung leichter wird, haben wir zum einen das Layout etwas klarer strukturiert. Die einzelnen „Schritte“ sind als solche nun deutlicher hervorgehoben und mit jeweils eigenen kurzen Erläuterungen (i) versehen. Zum anderen ist ein weiterer wichtiger „Schritt“ bzw. eine neue Funktion hinzugekommen: die Recherche kann jetzt auf eine oder eine Auswahl von Ressourcen fokussiert werden.

Weiterlesen

CrossAsia ITR Explorer

Vor über einem Jahr haben wir begonnen eine Suche über jene Volltexte anzubieten, die bereits im CrossAsia ITR (Integriertes Text-Repositorium) angekommen sind. Der Korpus, in dem gesucht wird, ist mittlerweile auf 26 Datenbankressourcen mit zusammen 52,8 Millionen Seiten in über 325.000 Titeln angewachsen (eine Liste der Ressourcen finden Sie auf der Einstiegsseite zur Volltextsuche). Damit steht allen interessierten Nutzerinnen und Nutzern – auch jenseits einer CrossAsia Authentifizierung – ein sehr großer, stetig expandierender Suchraum zur Verfügung.

Um die „unendlichen Weiten“ des ITR Textkorpus zu erforschen, möchten wir Ihnen heute einen weiteren Zugang vorstellen: den CrossAsia ITR Explorer. Ziel des ITR Explorers ist es, Ihnen in Zukunft eine Reihe von Möglichkeit anzubieten, um Suchergebnisse zu generieren, miteinander zu vergleichen, zu analysieren und zu visualisieren. Wir haben hier eine Reihe von Ideen im Kopf (und in Planung), möchten Ihnen aber heute einen ersten Aufschlag hierzu präsentieren.

Weiterlesen

“Texte aufräumen” – die ersten CrossAsia N-Gramm-Pakete stehen zum Download bereit

Die meisten kennen sicherlich Ursus Wehrlis Buch „Kunst aufräumen“. Dort wird z.B. Keith Harings „Untitled“ (1986) in seine einzelnen Farbsegmente zerlegt und diese werden fein säuberlich nach Farben und Größe geordnet übereinander gestapelt (siehe z.B. hier). Ganz ähnlich geht das Erstellen von N-Grammen vor. Der eigentliche Text wird in seine Einzelteile zerlegt, identische Einzelteile werden zusammengetragen und dann wird gezählt: was gibt es wie oft. Damit wird sogar noch etwas ökonomischer als bei Herrn Wehrli „aufgeräumt“. Die eigentliche Struktur, das Gesamtbild, wird aufgelöst und der Text strikt statistisch und auf der Basis seiner Einzelteile betrachtet. Was im Fall von N-Grammen als „Einzelteil“ gilt, kann dabei variieren. In Texten in lateinischer Schrift können das die Buchstaben sein oder die durch Leerstellen identifizierbaren Wörter oder auch zwei oder drei (etc.) aufeinanderfolgende Buchstaben oder Wörter.

„Aufräumen“ Ostasiatisch

Für ostasiatische Texte sind die am sichersten korrekt zu identifizierenden Einzelteile die verschiedenen Schriftzeichen (chinesische Schriftzeichen oder auch japanische bzw. koreanische Silbenzeichen). An einem Beispiel lässt sich gut zeigen, wie konzeptionell einfach N-Gramme zunächst gedacht sind. Aus den ersten zwei Phrasen des Daode jing

道可道,非常道。名可名,非常名。無名天地之始, 有名萬物之母。

… wird (hier ohne die Satzzeichen, da die im Original i.d.R. ja auch nicht zur Verfügung stehen) im Fall von 1-Grammen (Monogramm bzw. Engl. unigram) folgendes:

名, 5
道, 3
可, 2
非, 2

常, 2
之, 2
無, 1
天, 1

地, 1
始, 1
有, 1
萬, 1

物, 1
母, 1

… im Fall von 2-Grammen (Bigramm bzw. Engl. bigram), bei denen die Einzelteile nicht aneinander angrenzen, sondern sich schuppenartig überlagern (also 道可, 可道, 道非 etc.), nach Anzahl gestaffelt dieses:

非常, 2
道可, 1
可道, 1
道非, 1
常道, 1
道名, 1

名可, 1
可名, 1
名非, 1
常名, 1
名無, 1
無名, 1

名天, 1
天地, 1
地之, 1
之始, 1
始有, 1
有名, 1

名萬, 1
萬物, 1
物之, 1
之母, 1

Die 3-Gramm (Trigramm bzw. Engl. trigram) Liste würde noch länger und keiner der 3-Gramme würde – auf diesen kleinen Abschnitt bezogen – mehr als einmal vorkommen. Zwei Dinge werden klar: N-Gramme machen für kurze Texte keinen Sinn und die Listen werden schnell sehr groß. Für den gesamten Korpus des Xuxiu Siku quanshu mit 5.446 Titeln sind das 27.387 Monogramme, bzw. 13.216.542 Bigramme; allein für das Beispiel Buwu quanshu 卜筮全書 aus dem Headerbild werden bereits 3.382 Monogramme, 64.438 Bigramme und 125.010 Trigramme gebildet.

Weiterlesen

Noch mehr Volltextsuche für alle!

Seit April steht bereits die erste Version der CrossAsia Volltextsuche zur Verfügung. Wir hatten damals über das CrossAsia Integrierte TextRepositorium (ITR) berichtet, und die Suche als eine Spitze dieses sonst von außen nicht sichtbaren „Eisbergs“ kurz vorgestellt. Seither ist viel passiert. Das ITR und die in die Volltextsuche eingebetteten Ressourcen sind kontinuierlich gewachsen und wir konnten jetzt auch eine zweite Variante der Volltextsuche freischalten. Zu beidem finden Sie mehr Details weiter unten. Ein wichtiger Punkt bei der Volltextsuche für uns ist, sie so anzubieten, dass sie *allen* Nutzer*innen zur Verfügung steht, also auch solchen, die keinen Zugang zu den jeweiligen Datenbanken haben bzw. deren Zugang nicht über CrossAsia ermöglicht wird. Damit fügt sich die Volltextsuche harmonisch in das Profil der eher „bibliographischen“ CrossAsia Suche ein, die ebenfalls frei zur Verfügung steht.

Schnipsel und Links

Die Treffer in der CrossAsia Volltextsuche werden als sehr kurze und fragmentierte Textschnipsel ausgegeben. Nur so ist es möglich, die Suche für alle zu öffnen und dabei die für diese Ressoucen vereinbarten Lizenzbedingungen zu wahren. Auch Nutzer*innen ohne Zugang zu den jeweiligen Datenbanken wird damit die Möglichkeit gegeben, einen Eindruck zu gewinnen, welche Quellen u.U. relevant für die eigene Fragestellung sind. Über verschiedene Links in den Treffern gelangt man zur kompletten Quelle. Für authentifizierte CrossAsia-Nutzer*innen führt das ‚rot‘ gefärbte Icon direkt zum Objekt im originalen Kontext der Datenbank; für Nutzer*innen mit anderen Zugangsmöglichkeiten – z.B. über den IP-Range ihrer Institution oder ein individuelles Login – wird parallel ein ‚graues‘ Icon angeboten. „Direkt zur Quelle“ bedeutet für die verschiedenen Ressoucen dann doch verschiedenes. In jedem Fall stellen wir möglichst treffgenaue Links zur Verfügung. D.h. wenn der Datenbankanbieter uns das ermöglicht, wird die entsprechende Seite angesteuert, in anderen Fällen gelangt man zumindest zum Buch oder Artikel und muß dort dann die im Treffer angegebene Seite (bzw. Imagenummer) aufschlagen. In einigen Fällen jedoch stehen nur Links zur jeweiligen Datenbank zur Verfügung. Hier ist der Weg dann etwas weiter bis zur Fundstelle (so aktuell z.B. der Fall für die People’s Daily und die Lokalmonographien der Erudition-Datenbank).

Noch mehr Volltexte für die Suche

Der Korpus an Texten, die in der CrossAsia Volltextsuche durchsucht werden können wächst kontinuierlich. Aktuell dominieren chinesische Texte und englische Texte mit Chinabezug, aber weitere Ressourcen, die auch für die Japan-, Korea- und weitere asienbezogene Forschung relevant sind, befinden sich bereits in der Pipeline. Aktuell können die Inhalte der folgenden, über CrossAsia lizenzierten Datenbanken recherchiert werden:

  • Adam Matthew – China, America, Pacific
  • Adam Matthew – China Trade & Politics
  • Adam Matthew – Foreign Office Files China
  • 道藏輯要
  • 中國地方誌 一集 (雕龍)
  • 中國地方誌 續集 (雕龍)
  • Missionary, Sinology, and Literary Periodicals (1817-1949)
  • Local Gazetteers (Erudition)
  • 人民日报 : People’s daily (1946-2009)
  • 清代史料
  • 四庫全書
  • 續修四庫全書

Darüberhinaus sind in die Volltextsuche einzelne lizenzierte Bände aus den Airiti und CNKI ebook-Portalen integriert, sowie ein Testsample an gedruckten Beständen, für die wir selbst mittels OCR einen Index erstellt haben. Zusammen sind das aktuell: 120 Tausend Titel (Buch- und Artikeltitel) mit über 13 Millionen Seiten. Das ist schon eine ziemlich große Eisbergspitze.

Noch mehr Suche für die Volltexte

Einigen Nutzer*innen ist die CrossAsia Volltextsuche Typ A mittlerweile schon vertraut. Jetzt haben wir ihr eine Volltextsuche Typ B zur Seite gestellt. Charakterisieren lassen sich die beiden als „geführte Suche“ (Typ A) und „explorative Suche“ (Typ B).

Typ A nimmt als Anker für die Suche Einheiten wie z.B. ein Buch oder eine Tagesausgabe der People’s Daily und verwendet die Anzahl der Seiten/Artikel mit Treffern darin als Kriterium für die Reihenfolge der Anzeige. Ein Buch mit mehr Seiten auf denen der Suchterm erscheint, wird also höher gerankt. Die „Anker“ bzw. Bücher etc. werden im Suchergebnis in der linken Spalte in diesem Ranking angezeigt; wählt man ein Objekt dort aus, erscheinen die Seiten mit Treffern aus dem ausgewählten Objekt in der mittleren Spalte. Diese sind nach Seitenzahl geordnet. Mit Hilfe der Filter in der rechten Spalte kann man die Treffermenge dann weiter reduzieren bzw. fokusieren. Es wird in Typ A  *nur* in den Inhalten der Seiten gesucht und diese Inhalte zu ihren jeweiligen Büchern o.ä. gebündelt ausgegeben.

Hier die Funktionen der drei Seitenbereiche von Typ A im Überblick:

Typ B behandelt alle Objekte gleichberechtigt. D.h. Bücher, Artikel oder Archivalien und die einzelnen Volltextseiten werden auf ihre Relevanz in Bezug auf den Suchterm vom Index bewertet und in der Reihenfolge dieser Bewertung (dem „score“) als Treffer ausgeliefert. Metadaten, Bescheibungen, Autorennamen, Volltexte – alles wird durchsucht und in bunt gemischter Reihe ausgegeben. Über Filter auf der linken Seite kann der Typ der Trefferobjekte gewählt werden (also ob nur Seiten oder nur Bücher bzw. Artikel und ihre Metadaten ausgeben werden sollen) oder auch Filter wie Jahr, subject u.ä. eingestellt werden. Dies kann wiederum nachträglich geschehen, in Typ B aber auch bevor ein Suchterm eingegeben wurde. Zu beachten hier ist, daß aktuell für Seiten keine inhaltlichen Filter zur Verfügung stehen. IE jenseits von Edge setzen die Filterfunktion nicht korrekt um.

 

Einen kurzen Überblick gibt auch die neue Einstiegsseite für die CrossAsia Volltextsuche. Mehr Informationen zu den jeweiligen Besonderheiten der beiden Such-Typen können über das „i“ hinter den Suchschlitzen aufgerufen werden.

Und was kommt dann?

Beide Suchmodi lösen Schranken zwischen verschiedenen Quellenkorpora und Texttypen auf, die durch die individuellen Datenbankzugänge geschaffen wurden, und ermöglichen damit – so hoffen wir – neue, bessere Wege, sich einen Überblick über die Quellenlage zu verschaffen und das Umfeld eines Suchterminus in einem möglichst breiten Spektrum von Texten zu ergründen. Details aus verschiedenen Datenkorpora werden gemeinsam angezeigt und werden jenseits der von der Datenbank vorgegebenen Logik ansteuerbar. Das ist ein wichtiger, aber doch auch nur ein erster Schritt. Um sich in diesen großen Mengen an Text nicht zu verlieren, wollen wir gemeinsam mit unseren Nutzern überlegen, wie innovative Rechereche- und Zugangsmodi aussehen könnten. Um zudem diese große Menge an Text für neue Forschungsfragen in den digitalen Geisteswissenschaften zu erschließen, arbeiten wir an Schnittstellen, über die Projekte (große und individuelle) mit diesen Daten in Zukunft arbeiten können, aber auch an Wegen über ein pre-processing diese Texte nicht nur über die Metadaten ihrer bibliographischen Einheit zu charakterisieren, sondern auch „aus sich selbst heraus“, d.h. mit Hilfe von automatisierter Textanreicherung und statistischen Auswertungen von Kollokationen u.ä. weitere Formen von „Metadaten“ zu generieren.

Über Hinweise, Feedback, Vorschläge, Kritik sind wir dankbar! Am besten direkt an x-asia@sbb.spk-berlin.de

(For a short English description of the CrossAsia Fulltext Search and the two types of searches please go to the entry page of CrossAsia Fulltext Search and the „i“ next to the search slot in both versions of the search)

 

Wo landen eigentlich die bibliografischen Daten der elektronischen Titel?

Im Rahmen der Arbeiten im FID Projekt werden neben den zahlreichen digitalen Objekten wie Bildern, PDFs, XML etc. auch große Mengen von bibliographischen Metadaten verarbeitet, sowohl auf Buch- als auf Artikelebene. Das ist mal mehr, mal weniger aufwändig. Einige dieser Metadaten erhalten wir direkt von den Anbietern. Diese können nach wenigen Anpassungen bereits für die CrossAsia Suche oder den electronischen Online-Katalog (OPAC) bereit gestellt werden – andere müssen aus XML-Dateien, die Volltext und Metadaten enthalten, extrahiert werden. In jedem Fall versuchen wir, soviel bibliografische Informationen wie möglich mitzunehmen und zusätzliche aus den Daten, die uns zur Verfügung gestellt werden „herauszukitzeln“. Da es sich um jeweils sehr große Datenmengen handelt (z.B. 8000 Foreign Office Files oder 5400 Titel aus Xuxiu etc.) können diese Arbeiten nur semi-automatisch passieren. Für die Lokalmonographien und die Titel aus Xuxiu haben wir z.B. mit Hilfe von Online-Tools wie MARKUS die chinesischen Editionsangaben in westliche Jahreszahlen „übersetzen“ lassen und nach weiteren Manipulationen diese dann den Titeln als Metadatum hinzugefügt.

Wo landen diese Metadaten

Neben der Volltextsuche, die in einem früheren Beitrag hier vorgestellt wurde, sozusagen eine Spitze des Eisbergs „CrossAsia ITR“, die unsere Nutzer bereits sehen und verwenden, können wohl auch die Metadaten, die als Teil der Arbeiten am ITR entstehen, als eine solche Eisbergspitze gelten. Handelt es sich um sogenannte „unselbstständige“ Titel, also Artikel, Kapitel, Aktenstücke etc., dann werden diese über einen Solr-Index in die CrossAsia Suche eingebunden werden; Buchtitel fließen in der Regel  über den OPAC in die CrossAsia-Suche ein.

Wo sucht die CrossAsia Suche

Einen Überblick über den jeweils aktuellen Stand der in die Suche eingebundenen Ressourcen bietet das rot unterlegte „i“ hinter dem Suchschlitz auf der Seite der CrossAsia Suche. Daher lohnt es sich, hin und wieder einmal einen Blick auf diese Liste (siehe das Headerbild diese Beitrags) zu werfen. Erst kürzlich sind z.B. folgende Zeilen hier hinzugekommen:

  • Airiti Conference Proceedings (CEPS)
  • Airiti Electronic Periodicals (TEPS)
  • Airiti Theses & Dissertations (CETD)
  • FO China (Adam Matthews Digital)
  • China, Trade and Politics (Adam Matthews Digital)
  • China, America and the Pacific (Adam Matthews Digital)
  • Meiji Japan – Edward Morse collection (Adam Matthews Digital)

Das sind zusammen 11.000 Datensätze aus Adam Matthews Ressourcen und über 1 Mio. bibliographische Datensätze aus dem Airiti Portal (letztere werden im monatlichen Turnus aktualisiert).

Wie gewohnt wird für jeden Titel ein CrossAsia Link sowie ein Anbieterlink angeboten, damit sowohl registrierte CrossAsia-Nutzer*innen als auch Nutzer mit anderen Authentifizierungsmöglichkeiten von der CrossAsia Suche profitieren können.

CrossAsia ITR Volltextsuche (Beta)

Heute ist eine erste Beta-Version der Volltextsuche im Rahmen der CrossAsia Suche online gegangen. Die Volltexte stammen aus dem CrossAsia Integrierten Textrepositorium (CrossAsia ITR), eine im Rahmen der ersten Projektphase des FID aufgebauten Infrastruktur zur Archivierung und Bereitstellung von digitalen Objekten wie Bildern, Texten und Metadaten. Aktuell kann in folgenden Kollektionen recherchiert werden:

  • 人民日报 : People’s daily (von der ersten Ausgabe 1946 bis Ende August 2009, insgesamt 23.074 Ausgaben mit 1.594.648  Artikeln)
  • Foreign Office Files China (7892 Dokumente mit insgesamt 983.201 OCR-generierten Volltextseiten)
  • 續修四庫全書 (5445 Buchtitel mit 2.311.561 Seiten)
  • Local Gazetteers (2000 Buchtitel mit 2.496.431 Seiten)
  • 道藏輯要 (299 Buchtitel mit 21.237 Seiten)
  • Airiti ebooks (75 lizenierte eBook-Titel mit 26.654 Seiten)
  • Fulltext search in print books (15 Titel aus unserem Bestand, für die wir testweise einen durchsuchbaren Volltext mit OCR erstellt haben, insgesamt 4619 Seiten)

Zur CrossAsia ITR Volltextsuche gelangen Sie über den 4. Reiter auf der CrossAsia Suche oder auch direkt. Auf der Einstiegseite zur Suche – sowie unter dem (i) in der ITR Suche – finden Sie Erläuterungen zu den Besonderheiten der Suche und Hinweise zur Verwendung.

Viel Spaß beim Ausprobieren und wir freuen uns über Feedback unter x-asia@sbb.spk-berlin.de.

 

CrossAsia ITR – was schon ist und was noch kommt

Der Aufbau einer Infrastruktur für Meta- und Volltextdaten bildet als Aktionsfeld 4 einen zentralen Teil der Aufgaben, die sich CrossAsia im Rahmen der ersten FID-Phase gestellt hat. Wie kurz auf unserer Seite „Über CrossAsia“ ausgeführt, dient das „Integrierte Text-Repositorium“ CrossAsia ITR zum einen der Aufgabe, Texte, Bilder und Metadaten der für CrossAsia lizenzierten Datenbanken sicher und nachhaltig zu archivieren, zum anderen bietet es die Möglichkeit, diese Inhalte nahtlos in aktuelle und zukünftige CrossAsia Services einzubinden und im Rahmen der digitalen Wissenschaften für Analysen, Explorationen, Anreicherungen und Visualisierungen anbieten zu können. Das ITR ist dabei nicht *nur* ein Lager (z.B. auch für Forschungsdaten), sondern eine komplexe Infrastruktur mit Workflows und technischen Routinen für das Einspielen, Verwalten, und die Bereitstellung der Objekte des ITR (siehe Abbildung 1).

Abbildung 1: CrossAsia ITR Systemarchitektur

 

Wo finde ich denn das CrossAsia ITR und was ist drin?

Wie bei Lagern, Magazinen, Repositorien zumeist die Regel, ist auch das CrossAsia ITR vor allem Infrastruktur, d.h. es *ermöglicht* Dinge ohne selbst unmittelbar sichtbar und greifbar zu werden. Mit einer Reihe von Metadaten ragt das ITR, wie die Spitze eines Eisbergs, jedoch bereits in die CrossAsia Suche hinein. Dies sind z.B. alle 5.445 Titel des Xuxiu Siku quanshu, die 299 Titel aus dem Daozang jiyao, 7.099 eBook Titel, die über Airiti als PDA angeboten werden, und 7.892 Objekttitel der Foreign Office Files China. Einen Überblick darüber, was aktuell in die CrossAsia Suche integriert ist, erhalten Sie bei Klick auf das „i“ neben dem Suchschlitz der CrossAsia Suche. Wie gewohnt bieten diese Treffer einen CrossAsia Link, mit dem das Objekt in der Datenbank aufgerufen werden kann.

Weitere Kontingente an Metadaten und digitalen Objekten, die entweder bereits ins ITR integriert sind bzw. sich auf dem Weg dorthin befinden, sind die Metadaten der Zhonghua Ancient Book und Pishu Datenbanken, die Metadaten und Texte der Renmin Ribao (1946-2009) und Zhongguo fangzhiku, sowie Metadaten, Texte und Images der Datenbanken Meiji Japan, Siku quanshu, Qingdai shiliao, China, America and the Pacific, sowie China, Trade and Culture (Stand April 2018). Die Idee und Aufgabe von Metadaten-Objekten im ITR ist auch, eine Art „Regalplatz“ zu bilden, an dem in Zukunft z.B. das PDF des gesamten Titels abgelegt werden kann und Volltexte und digitale Bilder der Einzelseiten des Titel angehängt werden können. Alle Objekte des ITR sind adressierbar und werden mit Zugriffsrechten versehen.

Die Volltexte dieser im ITR archivierten Objekte können über eine „CrossAsia ITR Suche“ von Nutzerinnen und Nutzern recherchiert werden, um relevante Texte im CrossAsia Angebot zu entdecken und diese dann in den entsprechenden Datenbanken authentifiziert aufrufen zu können. Das ist sozusagen die zweite Spitze des ITR-Eisbergs. Die Volltext-Ressourcen des ITR werden seit April 2018 in zunächst einer prototypischen Beta-Version für eine CrossAsia Volltext-Suche eingebunden; demnächst folgt eine zweite Beta-Version mit anderen Suchoptionen. Dazu in Kürze mehr für Sie zum Testen und mit Erläuterungen der Funktionalitätenhier im Blog.

Experimentelle und analytische Zugänge zu den Objekten des ITR

In Zukunft wird das ITR uns und unseren Nutzerinnen und Nutzern weitere, deutlich flexiblere und auch experimentelle, explorative und analytische Zugänge und Gesamtschauen von Beständen bieten. Um Nutzerinnen und Nutzern das direkte Arbeiten mit den Beständen mittels digitaler Tools zu ermöglichen wird das ITR mit Schnittstellen ausgestattet, die – unter Einhaltung der Lizenzbedingungen – ein möglichst nahtloses Arbeiten mit den Volltexten ermöglichen sollen (für einen Entwurf einer Struktur, die diese Zugriffe reguliert und ermöglicht, siehe Abbildung 2).

Abbildung 2 – Architektur Schnittstelle

Das ITR soll weiterhin als Arbeitsplattform ausgebaut werden, die es einzelnen Nutzerinnen und Nutzern sowie Forschergruppen erlaubt, z.B. eigene Transkriptionen und Erschließungen von gescannten Texten und Bildmaterialien zu erstellen und diese über kontrollierte Workflows in das ITR zurückzuspielen und dort zu sichern, um sie wiederum über die ITR Suche anbieten zu können.

Das CrossAsia ITR hat das Ziel, der CrossAsia Community eine neue Sicht auf und neue Formen der Recherchen in den über CrossAsia angebotenen Materialien zu ermöglichen. Damit wollen wir Rechercheangebote für die digitalen Wissenschaften von heute entwickeln und die Grundlage für Forschungsanliegen von morgen legen. Das CrossAsia Team freut sich darauf, die Möglichkeiten der Recherche in den Volltexten des ITR gemeinsam mit der Community auszutesten und die Entwicklungen weiter voranzutreiben. Wir freuen uns über Ihre Rückmeldungen, Verbesserungsvorschläge und Ideen.

Über die neue Kategorie im CrossAsia Blog zu „ITR und Entwicklungen“ halten wir Sie über die weiteren Entwicklungen auf dem Laufenden.