Tabelle tokens(↩ zurück zur Übersicht)
Beschreibung
Enthält die tokenisierten Daten aus der Tabelle `Aeusserungen`. Die Einträge dieser Tabelle (zusammen mit den Daten aus `Tokengruppen`, mit denen mehrere Tokens zu einer Mehrwortlexie zusammengefasst werden können) bilden somit den Kern der Projektdaten von VerbaAlpina.
Die Felder aus dieser Tabelle stimmen in vielen Fällen mit denen aus der Tabelle `Aeusserungen` überein und werden bei der Tokenisierung direkt übernommen.
Die Tabelle `aeusserungen` kann mehrere Belege in einer Zeile enhalten, falls ein Informant mehrere Belege geliefert hat. Diese werden entweder durch ein Semikolon (verschiedene Worttypen) oder ein Komma getrennt. Hier wird dies durch die Verwendung von drei Indexen in den Feldern Ebene_1, Ebene_2 und Ebene_3 abgebildet. Ebene_1 bezieht sich auf Teile der Äußerung, die durch ein Semikolon getrennt wurde, Ebene_2 auf solche, die durch ein Komma getrennt wurden und Ebene_3 auf die eigentliche Tokensierung des Beleges. Die Äußerung "la ṣẹ kū́la, si dé̜sfa; a kulársẹ" wird also beispielsweise auf 8 Tokens mit den folgenden Indexen aufgeteilt:
Enthält die tokenisierten Daten aus der Tabelle `Aeusserungen`. Die Einträge dieser Tabelle (zusammen mit den Daten aus `Tokengruppen`, mit denen mehrere Tokens zu einer Mehrwortlexie zusammengefasst werden können) bilden somit den Kern der Projektdaten von VerbaAlpina.
Die Felder aus dieser Tabelle stimmen in vielen Fällen mit denen aus der Tabelle `Aeusserungen` überein und werden bei der Tokenisierung direkt übernommen.
Die Tabelle `aeusserungen` kann mehrere Belege in einer Zeile enhalten, falls ein Informant mehrere Belege geliefert hat. Diese werden entweder durch ein Semikolon (verschiedene Worttypen) oder ein Komma getrennt. Hier wird dies durch die Verwendung von drei Indexen in den Feldern Ebene_1, Ebene_2 und Ebene_3 abgebildet. Ebene_1 bezieht sich auf Teile der Äußerung, die durch ein Semikolon getrennt wurde, Ebene_2 auf solche, die durch ein Komma getrennt wurden und Ebene_3 auf die eigentliche Tokensierung des Beleges. Die Äußerung "la ṣẹ kū́la, si dé̜sfa; a kulársẹ" wird also beispielsweise auf 8 Tokens mit den folgenden Indexen aufgeteilt:
| Token | Ebene_1 | Ebene_2 | Ebene_3 |
| la | 1 | 1 | 1 |
| ṣẹ | 1 | 1 | 2 |
| kū́la | 1 | 1 | 3 |
| si | 1 | 2 | 1 |
| dé̜sfa | 1 | 2 | 2 |
| a | 2 | 1 | 1 |
| kulársẹ | 2 | 1 | 2 |
Diese Tabelle wird von folgenden Tabellen referenziert:
Spalten
Der Name von Spalten, die Teil des Primärschlüssels sind wird fett dargestellt, die Namen von Fremdschlüsseln unterstrichen. Kursivierte Werte im Feld Datentyp bedeuten, dass der Wert optional (nullable) ist.
| Spaltenname | Datentyp | Mögliche Werte | Beschreibung |
|---|---|---|---|
| id_token | int(11) unsigned | beliebig | Eindeutige ID des Tokens. An der Oberfläche werden diese IDs mit dem Präfix "S" (= Single) verwendet (vgl. Identifikatoren). |
| id_informant | int(11) unsigned | beliebig | Fremdschlüssel, der auf die Tabelle `informanten` verweist. Informant, von dem dieser Beleg stammt. Direkt aus der Tabelle `Aeusserungen` übernommen. |
| id_stimulus | int(11) unsigned | beliebig | Fremdschlüssel, der auf die Tabelle `stimuli` verweist. Stimulus, durch den dieser Beleg produziert wurde. Direkt aus der Tabelle `Aeusserungen` übernommen. |
| token | varchar(200) | beliebig | Basistranskription des Tokens. Je nach Quelle sind unterschiedliche Transkriptionssysteme möglich:
Für Belege, die im Quellenmaterial ausschließlich bereits typsiert angegeben werden, ist dieses Feld leer. Die Quellentranskription ist über einen quellenspezifischen `phonetischen` oder `morpho-lexikalischen Typ` angegeben, der mit dem Token verknüpft ist. |
| ipa | varchar(200) | beliebig | IPA-Darstellung des Belegs. Für Quellen, die im VA-eigenen Betacode oder einem anderen systematischen Transkriptionssystem angegeben sind, wird die IPA-Darstellung automatisiert mit Hilfe der Tabelle `codepage_ipa` generiert. Für Quellenmaterial, das bereits IPA-kodiert war, entspricht dieses Feld dem Eintrag im Feld "token". Für alle weiteren Quellen (besonders Belege aus dem Crowdsourcing-Tool wird aktuell keine eigene IPA-Darstellung angegeben, da diese manuell erstellt werden müsste) |
| original | varchar(4000) | beliebig | Darstellung des Belegs, wie dieser im Quellenmaterial angegeben war. Dieses Feld ist primär für Tokens im Betacode relevant, aber auch für andere Quellen, deren Datenmaterial in einer nicht-menschenlesbaren Form kodiert ist. Die Einträge in diesem Feld werden automatisiert mit Hilfe der Tabelle `codepage_original` für die dort geführten Quellen erzeugt. |
| portalsprache | varchar(10) | beliebig | Nur relevant für Belege, die über das Crowdsourcing-Tool eingegeben werden. Gibt die Sprache an, die jeweilige Nutzer im Tool gewählt hat. Diese entspricht nicht der Sprache der Äußerung, sondern nur der der Oberfläche (Bedienelemente, Hinweise, etc.). Direkt aus der Tabelle `Aeusserungen` übernommen. |
| id_aeusserung | int(11) unsigned | beliebig | Fremdschlüssel, der auf die Tabelle `aeusserungen` verweist. Gibt die vollständige Ursprungsäußerung an, aus der dieses Token stammt. |
| erfasst_von | varchar(50) | beliebig | Nutzername der Person, die diese Äußerung eingegeben/importiert hat. Direkt aus der Tabelle `Aeusserungen` übernommen. |
| erfasst_am | timestamp | beliebig | Zeitpunkt der Erstellung der zugeordneten Äußerung. Direkt aus der Tabelle `Aeusserungen` übernommen. |
| version | tinyint(4) unsigned | beliebig | Aufsteigende Nummer um redundante Mehrfachtranskriptionen zum Auffinden von Fehlern zu ermöglichen. Dies wird aktuell nicht verwendet; das Feld enthält somit immer den Wert 1. Direkt aus der Tabelle `Aeusserungen` übernommen. |
| bemerkung | text | beliebig | Freitextfeld für Bemerkungen. Falls die zugrundeliegende Äußerung eine Bemerkung hatte, wird dieses hier dupliziert. Bei Belegen, die im Quellenmaterial ausschließlich vortypisiert angegeben sind, wird hier zusätzlich die Quellentransktiption angegeben (z.B. SDS-Typ "Hütte"), da das Feld Token leer ist. Dies dient nur der Vereinfachung der Projektarbeit, da diese Information grundsätzlich auch durch die Verknüpfung mit einem entsprechenden quellenspezifischen Typ vorhanden ist. Zusätzlich sind eventuell weitere interne Notizen in diesem Feld möglich. |
| ebene_1 | int(3) | beliebig | Index auf Ebene 1 (vgl. Tabellenbeschreibung) |
| ebene_2 | int(3) | beliebig | Index auf Ebene 2 (vgl. Tabellenbeschreibung) |
| ebene_3 | int(3) | beliebig | Index auf Ebene 3 (vgl. Tabellenbeschreibung) |
| id_tokengruppe | int(10) unsigned | beliebig | Fremdschlüssel, der auf die Tabelle `tokengruppen` verweist. Falls dieses Token Teil einer Mehrwortlexie ist, enthält es hier die ID einer entsprechenden Tokengruppe. |
| trennzeichen | varchar(10) | beliebig | Trennzeichen durch das dieses Token von nachfolgenden getrennt wird im Betacode. Für Tokens, die nicht Teil einer Mehrwortlexie sind oder die das letzte Token einer solchen sind, ist diese Feld immer NULL. Ansonsten enthält es aktuell entweder ein Leerzeichen oder {␣} (Betacode für einen Bogen, der zwei Tokens verbindet). |
| trennzeichen_ipa | varchar(10) | beliebig | Trennzeichen durch das dieses Token von nachfolgenden getrennt wird in IPA. Für Tokens, die nicht Teil einer Mehrwortlexie sind oder die das letzte Token einer solchen sind, ist diese Feld immer NULL. Ansonsten enthält es aktuell entweder ein Leerzeichen oder ‿. |
| trennzeichen_original | varchar(10) | beliebig | Trennzeichen durch das dieses Token von nachfolgenden getrennt wird in Originaldarstellung der Quelle. Für Tokens, die nicht Teil einer Mehrwortlexie sind oder die das letzte Token einer solchen sind, ist diese Feld immer NULL. Ansonsten enthält es aktuell entweder ein Leerzeichen oder ‿. |
| genus | enum | '','f','m','n','?','n/a' | Genus des Tokens (falls anwendbar) |
| pos | enum | '','v','art','sub','pron','adj','PPP','PPA','adv','num','praep','konj','mod','int' | Wortart des Tokens |
| person | enum | '','1','2','3','n/a' | Grammatikalische Person des Tokens (falls anwendbar) |
| tempus | enum | '','pres','impf','pasr','fut','n/a' | Tempus des Tokens (falls anwendbar) |
| modus | enum | '','ind','cong','cond','imp','inf','n/a' | Modus des Tokens (falls anwendbar) |
| numerus | enum | '','sg','pl','n/a' | Numerus des Tokens (falls anwendbar) |
| komplement | varchar(20) | beliebig | Aktuell nicht in Verwendung |
| chronoreferenz | char(9) | beliebig | Aktuell nicht in Verwendung. Für eine zeitliche Angabe der Verwendung vorgesehen. |
| id_dialekt | int(10) unsigned | beliebig | Fremdschlüssel, der auf die Tabelle `dialects` verweist. Nur relevant für Belege, die über das Crowdsourcing-Tool eingegeben werden. Gibt den im Tool ausgewählten Dialekt an. Da diese Möglichkeit in älteren Versionen des Tools noch nicht gegeben war, gibt es auch Crowdsourcing-Äußerungen, bei denen dieses Feld leer ist. Direkt aus der Tabelle `Aeusserungen` übernommen. |
| geaendert_am | timestamp | beliebig | Zeitpunkt der letzten Änderung |
Ausschnitt
| id_token | id_informant | id_stimulus | token | ipa | original | portalsprache | id_aeusserung | erfasst_von | erfasst_am | version | bemerkung | ebene_1 | ebene_2 | ebene_3 | id_tokengruppe | trennzeichen | trennzeichen_ipa | trennzeichen_original | genus | pos | person | tempus | modus | numerus | komplement | chronoreferenz | id_dialekt | geaendert_am |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 898669 | 73988 | 122996 | lädälä | 908444 | anonymousCrowder_1801 | 2022-07-19 23:42:33 | 1 | 1 | 1 | 1 | 851 | 2022-12-22 13:27:33 | ||||||||||||||||
| 260372 | 4241 | 24133 | WU5R9&S7D22H | vʊɽʃth | 270228 | mpantele | 2019-06-04 11:16:30 | 1 | 1 | 1 | 1 | 2019-06-04 17:01:00 | ||||||||||||||||
| 591106 | 3383 | 118952 | kuvrẹ́ć̆ | 612128 | admin | 2020-09-25 16:11:22 | 1 | 1 | 1 | 1 | 2020-09-25 16:58:01 | |||||||||||||||||
| 795858 | 9963 | 121870 | carigh | 825646 | admin | 2021-03-29 12:36:59 | 1 | 1 | 1 | 1 | 2021-03-29 13:09:31 | |||||||||||||||||
| 538114 | 3322 | 118248 | butríkαl | 565120 | admin | 2020-09-25 15:55:08 | 1 | 1 | 1 | 1 | 2020-09-25 16:53:05 | |||||||||||||||||
| 128400 | 4096 | 12265 | BU5TR4VAS2 | pʊtʰrfɐs | 135400 | MKunzmann | 2017-07-17 11:56:42 | 1 | WEIL GROESSER | 1 | 1 | 1 | 2018-06-20 14:08:43 | |||||||||||||||
| 197184 | 4116 | 23732 | S22A-2OBLE2+-2A,+MI6 | saoplĩɐ̃mɪ | 263652 | MKunzmann | 2019-05-06 20:11:52 | 1 | 1 | 1 | 1 | 2019-05-13 22:29:50 | ||||||||||||||||
| 367086 | 14994 | 116284 | sóada | 349394 | arra | 2019-12-04 02:31:02 | 1 | 1 | 1 | 1 | 41 | 2021-10-08 12:18:17 | ||||||||||||||||
| 438306 | 105 | 677 | garu0(vi-/zu0( | garʊ̆vˈiːzʊ̆ | gar<sup>u̜</sup>vī́z<sup>u̜</sup> | 310112 | ester24 | 2019-10-30 11:33:43 | 1 | s | 1 | 1 | 2 | m | 2020-04-16 15:41:46 | |||||||||||||
| 19806 | 1161 | 29755 | 61455 | MNeumeier | 2015-09-16 12:03:44 | 1 | f. SDS-Typ "Gruschte" | 1 | 1 | 1 | f | 2018-07-31 19:30:18 |