TF-Ranking: Google entwickelt noch schnelleren Ranking-Algorithmus

Copyright © Shutterstock/Mike_shots

Das Update des Keras-basierten TF-Rankings fällt mit dem Tempo der jüngsten Google-Updates zusammen. Es ermöglicht die schnelle Entwicklung von leistungsfähigeren Ranking- und Spam-Algorithmen.
Google hat die Veröffentlichung einer verbesserten Technologie angekündigt. Diese erleichtert und beschleunigt die Erforschung und Entwicklung neuer Algorithmen, die schnell eingesetzt werden können.
Damit ist Google in der Lage, neue Anti-Spam-Algorithmen zu entwickeln. Außerdem können verbesserte Programme zur Verarbeitung natürlicher Sprache und zum Ranking schneller als je zuvor in Produktion gehen.

Die Verbesserung des TF-Rankings deckt sich mit den Daten der jüngsten Google-Updates

Dies ist insofern interessant, als Google im Juni und Juli 2021 mehrere Algorithmen zur Spam-Bekämpfung und zwei grundlegende Algorithmus-Updates herausgebracht hat. Diese Entwicklungen folgten direkt auf die Veröffentlichung der neuen Technologie im Mai 2021. Der Zeitpunkt könnte ein Zufall sein. Wenn Sie jedoch bedenken, was die neue Version des Keras-basierten TF-Rankings alles kann, ist es wichtig, sich mit ihr vertraut zu machen. Denn nur so können Sie verstehen, warum Google das Tempo bei der Veröffentlichung neuer Updates für Ranking-bezogene Algorithmen erhöht hat.

Neue Version des Keras-basierten TF-Rankings

Google kündigte eine neue Version von TF-Ranking an, die zur Verbesserung von Algorithmen für neuronales Lernen zum Ranking verwendet werden kann. Außerdem können damit Algorithmen zur Verarbeitung natürlicher Sprache wie BERT verbessert werden. Es ist ein leistungsfähiger Weg, um neue Algorithmen zu erstellen und bestehende sozusagen zu erweitern, und das auf eine Art und Weise, die unglaublich schnell ist.

TensorFlow-Ranking

Laut Google handelt es sich bei TensorFlow (TF) um eine Plattform für maschinelles Lernen.

In einem YouTube-Video aus dem Jahr 2019 wurde die erste Version von TF-Ranking beschrieben als:

“The first open source deep learning library for learning to rank (LTR) at scale.”

Die Innovation der ursprünglichen TF-Ranking-Plattform bestand darin, dass sie die Art und Weise änderte, wie relevante Dokumente eingestuft wurden.
Zuvor wurden relevante Dokumente in einem so genannten paarweisen Ranking miteinander verglichen. Die Wahrscheinlichkeit, dass ein Dokument für eine Anfrage relevant ist, wurde mit der Wahrscheinlichkeit eines anderen Elements verglichen.
Dies war ein Vergleich zwischen Dokumentenpaaren und nicht ein Vergleich der gesamten Liste.
Die Innovation des TF-Rankings besteht darin, dass es den Vergleich der gesamten Dokumentenliste auf einmal ermöglicht, was als Multi-Item-Scoring bezeichnet wird. Dieser Ansatz ermöglicht bessere Ranking-Entscheidungen.

Verbessertes TF-Ranking ermöglicht die schnelle Entwicklung leistungsfähiger neuer Algorithmen

In einem Artikel im Google AI-Blog heißt es, dass das neue TF-Ranking eine wichtige Neuerung ist. Sie vereinfacht das Einrichten von Learning-to-Rank-Modellen (LTR) und ermöglicht eine schnellere Umsetzung in die Produktion.
Das bedeutet, dass Google neue Algorithmen erstellen und sie schneller als je zuvor in die Suche einbinden kann.

In dem Artikel heißt es:

“Our native Keras ranking model has a brand-new workflow design, including a flexible ModelBuilder, a DatasetBuilder to set up training data, and a Pipeline to train the model with the provided dataset.

These components make building a customized LTR model easier than ever, and facilitate rapid exploration of new model structures for production and research.”

TF-Ranking BERT

Wenn in einem Artikel oder einer Forschungsarbeit festgestellt wird, dass die Ergebnisse nur geringfügig besser waren, Vorbehalte geäußert werden und darauf hingewiesen wird, dass weitere Forschungsarbeiten erforderlich sind, ist dies ein Hinweis darauf, dass der diskutierte Algorithmus möglicherweise nicht verwendet wird. Grund hierfür ist die unzureichende Entwicklung oder eine Sackgasse. Das ist bei TFR-BERT, einer Kombination aus TF-Ranking und BERT, nicht der Fall.
BERT ist ein maschineller Lernansatz für die Verarbeitung natürlicher Sprache. Es ist ein Weg, um Suchanfragen und Webseiteninhalte zu verstehen.

Dieses Update ist eine der wichtigsten Neuerungen bei Google und Bing in den letzten Jahren.
In dem Artikel heißt es, dass die Kombination von TF-R mit BERT zur Optimierung der Reihenfolge von Listeneingaben zu “signifikanten Verbesserungen” führte. Diese Aussage, dass die Ergebnisse signifikant waren, ist insofern wichtig, als dass sie die Wahrscheinlichkeit erhöht, dass so etwas derzeit verwendet wird.
Die Implikation ist, Keras-basiertes TF-Ranking BERT leistungsfähiger zu machen.

Laut Google:

“Our experience shows that this TFR-BERT architecture delivers significant improvements in pretrained language model performance, leading to state-of-the-art performance for several popular ranking tasks…”

TF-Ranking und GAMs

Es gibt noch eine andere Art von Algorithmen, die sogenannten Generalized Additive Models (GAMs). Diese werden durch TF-Ranking ebenfalls verbessert und sind sogar noch leistungsfähiger als das Original. Einer der Gründe, warum dieser Algorithmus so wichtig ist, liegt darin, dass er transparent ist. Das heißt, alles, was in die Erstellung der Rangliste einfließt, kann eingesehen und verstanden werden.

Google erklärt die Bedeutung der Transparenz wie folgt:

“Transparency and interpretability are important factors in deploying LTR models in ranking systems that can be involved in determining the outcomes of processes such as loan eligibility assessment, advertisement targeting, or guiding medical treatment decisions.

In such cases, the contribution of each individual feature to the final ranking should be examinable and understandable to ensure transparency, accountability and fairness of the outcomes.”

Das Problem bei GAMs besteht darin, dass Google nicht wusste, wie es diese Technologie auf Probleme des Typs Ranking anwenden konnte. Um dieses Problem zu lösen und GAMs in einer Ranking-Umgebung verwenden zu können, wurde TF-Ranking eingesetzt. Damit wurden neuronale Ranking Generalized Additive Models (GAMs) geschaffen, die sich besser für die Bewertung von Webseiten eignen.
Google nennt dies Interpretable Learning-to-Rank.

In dem Google AI-Artikel heißt es dazu:

“To this end, we have developed a neural ranking GAM — an extension of generalized additive models to ranking problems.

Unlike standard GAMs, a neural ranking GAM can take into account both the features of the ranked items and the context features (e.g., query or user profile) to derive an interpretable, compact model.

For example, in the figure below, using a neural ranking GAM makes visible how distance, price, and relevance, in the context of a given user device, contribute to the final ranking of the hotel.

Neural ranking GAMs are now available as a part of TF-Ranking…”

Copyright © Roger Montti

Jeff Coyle, Mitbegründer der KI-Content-Optimierungstechnologie MarketMuse (@MarketMuseCo), wurde zum Thema TF-Ranking und GAMs befragt. Jeffrey Coyle, der sowohl einen Informatik-Hintergrund als auch jahrzehntelange Erfahrung im Suchmaschinenmarketing hat, stellte fest, dass GAMs eine wichtige Technologie ist und ihre Verbesserung ein wichtiges Ereignis darstellt.

Coyle teilte mit:

“I’ve spent significant time researching the neural ranking GAMs innovation and the possible impact on context analysis (for queries) which has been a long-term goal of Google’s scoring teams.

Neural RankGAM and related technologies are deadly weapons for personalization (notably user data and context info, like location) and for intent analysis.

With keras_dnn_tfrecord.py available as a public example, we get a glimpse at the innovation at a basic level.

I recommend that everyone check out that code.”

Gradient Boosted Decision Trees (BTDT) übertrumpfen

Den Standard in einem Algorithmus zu übertreffen, ist wichtig, weil es bedeutet, dass der neue Ansatz eine Errungenschaft ist, die die Qualität der Suchergebnisse verbessert. In diesem Fall handelt es sich bei dem Standard um Gradient Boosted Decision Trees (GBDTs), eine maschinelle Lerntechnik, die mehrere Vorteile hat.

Google erklärt aber auch, dass GBDTs durchaus Nachteile haben:

“GBDTs cannot be directly applied to large discrete feature spaces, such as raw document text. They are also, in general, less scalable than neural ranking models.”

In einem Forschungsbericht mit dem Titel “Are Neural Rankers still Outperformed by Gradient Boosted Decision Trees?” stellen die Wissenschaftler fest, dass neuronale Ranglistenmodelle den baumbasierten Implementierungen “mit großem Abstand unterlegen” sind.
Die Google-Forscher verwendeten das neue Keras-basierte TF-Ranking, um ein Modell zu erstellen, das sie Data Augmented Self-Attentive Latent Cross (DASALC) nannten.

DASALC ist wichtig, weil es in der Lage ist, den aktuellen Stand der Technik zu erreichen oder zu übertreffen:

“Our models are able to perform comparatively with the strong tree-based baseline, while outperforming recently published neural learning to rank methods by a large margin. Our results also serve as a benchmark for neural learning to rank models.”

Keras-basiertes TF-Ranking beschleunigt die Entwicklung von Ranking-Algorithmen

Wichtig ist, dass dieses neue System die Forschung und Entwicklung weiterer Rankingsysteme beschleunigt. Das schließt auch die Identifizierung von Spam ein, um diesen aus den Suchergebnissen zu verbannen.

Der Artikel schließt mit den Worten:

“All in all, we believe that the new Keras-based TF-Ranking version will make it easier to conduct neural LTR research and deploy production-grade ranking systems.”

Google hat in den letzten Monaten mit mehreren Spam-Algorithmus-Updates und zwei Core-Algorithmus-Updates innerhalb von zwei Monaten ein immer schnelleres Innovationstempo vorgelegt.
Diese neuen Technologien könnten der Grund dafür sein, dass Google so viele neue Algorithmen zur Verbesserung der Spambekämpfung und des Rankings von Websites im Allgemeinen eingeführt hat.

Quelle: Search Engine Journal