ETH und EPFL veröffentlichen grosses Sprachmodell

(CONNECT) Forschende Schweizer Universitäten wie den Eidgenössischen Technischen Hochschulen Zürich (ETH) und Lausanne (EPFL) haben gemeinsam mit dem Swiss National Supercomputing Centre (CSCS) ein Large Language Model (LLM) entwickelt. Das LLM soll laut Mitteilung der ETH im Spätsommer erscheinen und eine mehrsprachige Kompetenz in über 1000 Sprachen vorweisen. Künftig vollständig öffentlich unter einer Open-Source Lizenz verfügbar, soll eine breite Nutzung ermöglicht und Innovationen in Wissenschaft, Gesellschaft und Industrie gefördert werden.

Das Modell wird in zwei Grössen, mit 8 und mit 70 Milliarden Parametern, veröffentlicht werden. Die grössere Version wird laut ETH zu den weltweit leistungsstärksten, vollständig offenen Modellen gehören. Das Modell wurde auf dem Supercomputer Alps des CSCS in Lugano mit 100 Prozent klimaneutralem Strom trainiert. Durch das Training mit über 15 Milliarden qualitativ hochwertiger Trainingstoken und einem Textdatensatz von über 1500 Sprachen, erreiche das Modell eine hohe Zuverlässigkeit.

Das LLM wurde in vollständig offenen und transparenten Prozessen entwickelt. Dabei werden Quellcode und Gewichte öffentlich verfügbar, und die Trainingsdaten transparent und reproduzierbar sein. Damit soll es eine vertrauenswürdige Alternative zu kommerziellen Systemen bieten, von denen die meisten in nicht-nachvollziehbaren Prozessen entwickelt worden seien. 

„Völlig offene Modelle ermöglichen Anwendungen, die ein hohes Mass an Vertrauenswürdigkeit gewährleisten, und sie sind notwendig, um die Forschung zu den Risiken und Chancen der KI voranzutreiben“, so Imanol Schlag, Forscher am ETH AI Center und Co-Leiter des Projekts. „Transparente Prozesse ermöglichen auch die Einhaltung der Rechtsvorschriften.“ Bei der Entwicklung wurden deshalb die schweizerischen Datenschutzgesetze, das schweizerische Urheberrecht und die Transparenzverpflichtungen der KI-Verordnung der EU berücksichtigt. ce/nta