Karriere · Verifikationsprogramm
Annotator, Verifikationsprogramm
Das Verifikationsprogramm prüft die Einträge, aus denen Ackrens Antworten abgeleitet werden. Es zahlt fünfzehn Pfund pro Stunde, pro verifizierter Stunde statt pro Item, damit der Anreiz nicht darin besteht, die unsicheren Fälle zu überstürzen. Das Qualitätsverfahren ist öffentlich, bevor Sie sich bewerben.
Die Arbeit
Was Sie tun würden
- 01
Einträge gegen die Richtlinie verifizieren
Sie prüfen Lexikon- und Qualia-Einträge: ob eine Lesart stimmt, ob eine Relation gilt, ob ein Beispiel sie stützt. Das sind die Teile der Wissensbasis, die sich gefahrlos in großem Umfang verifizieren lassen.
- 02
Das Unsichere markieren, und dafür bezahlt werden
„Unsicher“ ist eine vollwertige Antwort, kein Versagen. Jedes unsichere Item geht in die fachliche Schlichtung, statt zu einer Entscheidung gezwungen zu werden. Sie werden pro verifizierter Stunde bezahlt, eine Markierung kostet Sie also nichts.
- 03
In einem veröffentlichten Verfahren arbeiten
Fünf Prozent der Items sind eingestreute Gold-Items und werden fortlaufend bewertet. Zwanzig Prozent werden dreifach annotiert, mit ausgewiesenem Fleiss' Kappa. Uneinigkeiten und jedes unsichere Item werden von einer Fachperson entschieden.
- 04
Einen Nachweis hinterlassen, der erneut geprüft werden kann
Jedes Urteil wird mit seiner Grundlage protokolliert, sodass die Wissensbasis später erneut geprüft werden kann. Die Methodik wird zusammen mit der Arbeit veröffentlicht, statt intern zu bleiben.
Anforderungen
Wen wir suchen
Das ist Lesearbeit, die Geduld und Ehrlichkeit höher belohnt als Tempo. Sie brauchen keinen Hintergrund in Linguistik oder maschinellem Lernen. Sie müssen eine Richtlinie über Hunderte von Items hinweg konsistent anwenden und dem Drang widerstehen zu raten, wenn ein Item wirklich unklar ist. Wenn Sie eine zweite Sprache gut lesen, sagen Sie es, erforderlich ist es aber nicht.
- Sorgfältiges Lesen
- Konsistenz über Items hinweg
- Kein Problem mit „unsicher“
- Eine zweite Sprache, optional
- Kein Annotationshintergrund nötig
Konditionen
Wie wir arbeiten
Vollständig remote, weltweit. Wir bitten um einige Stunden Überschneidung mit britischer Zeit, GMT oder BST, damit Fragen am selben Tag beantwortet werden. Sie werden pro verifizierter Stunde mit fünfzehn Pfund bezahlt, nicht pro Item und nicht im Akkord, denn Akkordsätze bezahlen Menschen dafür, genau die Fälle zu überstürzen, die die meiste Sorgfalt brauchen. Was Sie für Aleten verifizieren, wird Aleten übertragen, und wir sagen das hier statt in einer späteren E-Mail.
Was diese Stelle nicht ist
Sie verfassen nicht die Grammatik. Regeln und Frames bleiben zentral bei einer Person und werden nicht durch die Menge verifiziert, denn ein Fehler in einer Regel pflanzt sich fort, wie es ein Fehler in einem einzelnen Lexikoneintrag nicht tut. Diese Stelle verifiziert die Teile, die sich gefahrlos in großem Umfang verifizieren lassen: das Lexikon und die Qualia-Relationen. Falls diese Grenze nach Zurückstufung klingt, ist sie es nicht. Sie ist der Grund, warum die Zahlen überhaupt etwas bedeuten.
Bewerbung
Ein kurzes Formular, gelesen von einem Menschen
Erzählen Sie uns ein wenig über sich und warum sorgfältiges, ehrliches Lesen Sie anspricht. Für den Anfang des Gesprächs ist keine Probeaufgabe nötig.
Das Formular speichert Ihre Bewerbung in unserer eigenen Datenbank, und ein Mensch liest sie; es gibt kein Bewerbermanagementsystem von Dritten. Wenn Sie lieber schreiben, schreiben Sie an work@aleten.com, dass Sie die Stelle als Annotator im Verifikationsprogramm möchten, und ein Mensch antwortet.