Wie kann ein iPhone das nächste Wort vorhersagen, das Sie in Ihre Nachrichten schreiben werden? Die Technologie, die sich dahinter verbirgt und auch das Herzstück vieler KI-Anwendungen ist, wird Transformer genannt; ein Deep-Learning-Algorithmus, der Muster in Datensätzen erkennt.
Nun haben Forscher der EPFL und des KAIST einen Transformer für metallorganische Gerüste (MOFs), eine Klasse poröser kristalliner Materialien, entwickelt. Durch die Kombination von organischen Linkern mit metallischen Knotenpunkten können Chemiker Millionen verschiedener Materialien mit potenziellen Anwendungen in der Energiespeicherung und Gastrennung synthetisieren.
Der "MOFtransformer" ist als ChatGPT für Forscher gedacht, die MOFs untersuchen. Seine Architektur basiert auf einer KI namens Google Brain, die natürliche Sprache verarbeiten kann und den Kern beliebter Sprachmodelle wie GPT-3, dem Vorgänger von ChatGPT, bildet. Die zentrale Idee hinter diesen Modellen ist, dass sie mit einer grossen Menge an Text trainiert werden. Wenn wir also z. B. auf einem iPhone anfangen zu tippen, "wissen" Modelle wie dieses und vervollständigen automatisch das wahrscheinlichste nächste Wort.
"Wir wollten diese Idee für MOFs erforschen, aber anstelle eines Wortvorschlags wollten wir eine Eigenschaft vorschlagen", sagt Professor Berend Smit, der das Projekt an der EPFL leitete. "Wir haben den MOFTransformer mit einer Million hypothetischer MOFs vortrainiert, um ihre wesentlichen Eigenschaften zu lernen, die wir als Satz dargestellt haben. Das Modell wurde dann darauf trainiert, diese Sätze zu vervollständigen, um die korrekten Eigenschaften der MOFs zu ermitteln."
Die Forscher haben dann den MOFTransformer für Aufgaben im Zusammenhang mit der Wasserstoffspeicherung feinabgestimmt, z. B. für die Speicherkapazität von Wasserstoff, seinen Diffusionskoeffizienten und die Bandlücke des MOF (eine "Energiebarriere", die bestimmt, wie leicht sich Elektronen durch ein Material bewegen können).
Der Ansatz zeigte, dass der MOFTransformer im Vergleich zu herkömmlichen Methoden des maschinellen Lernens, die viel mehr Daten benötigen, mit viel weniger Daten Ergebnisse erzielen kann. "Aufgrund des Vortrainings kennt der MOFTtransformer bereits viele der allgemeinen Eigenschaften von MOFs; und aufgrund dieses Wissens benötigen wir weniger Daten, um für eine andere Eigenschaft zu trainieren", sagt Smit. Ausserdem kann dasselbe Modell für alle Eigenschaften verwendet werden, während beim herkömmlichen maschinellen Lernen für jede Anwendung ein eigenes Modell entwickelt werden muss.
Der MOFTransformer ist ein Meilenstein in der Erforschung von MOFs, denn er liefert schnellere Ergebnisse mit weniger Daten und ermöglicht ein umfassenderes Verständnis des Materials. Die Forscher hoffen, dass der MOFTransformer den Weg für die Entwicklung neuer MOFs mit verbesserten Eigenschaften für die Wasserstoffspeicherung und andere Anwendungen ebnen wird.
Literatur
Yeonghun Kang, Hyunsoo Park, Berend Smit, Jihan Kim. MOFTransformer: A multi-modal pre-training transformer for universal transfer learning in metal-organic frameworks. Nature Machine Intelligence 13 March 2023