![\"\"](\"https:\/\/www.bestenakku.com\/blog\/wp-content\/uploads\/2024\/11\/QwQ-32B-Preview.png\")
<\/figure>\n\n\n\nWas ist Qwen with Questions (QwQ)?<\/h2>\n\n\n\n
Wie andere Large Reasoning Models (LRMs) verwendet QwQ w\u00e4hrend der Inferenz zus\u00e4tzliche Rechenzyklen, um seine Antworten zu \u00fcberpr\u00fcfen und seine Fehler zu korrigieren, wodurch es besser f\u00fcr Aufgaben geeignet ist, die logisches Denken und Planung erfordern, wie Mathematik und Codierung.<\/p>\n\n\n\n
In einem Blogbeitrag erl\u00e4uterte Alibaba sein neues, auf Denken ausgerichtetes LLM und hob seine F\u00e4higkeiten und Einschr\u00e4nkungen hervor. QwQ-32B basiert, wie der Name schon sagt, auf 32 Milliarden Parametern und hat ein Kontextfenster von 32.000 Token. Das Modell hat sowohl die Vor- als auch die Nachtrainingsphase abgeschlossen. Das Modell befindet sich derzeit in der Vorschauphase, was bedeutet, dass wahrscheinlich eine leistungsst\u00e4rkere Version folgen wird.<\/p>\n\n\n\n
Was seine Architektur angeht, hat der chinesische Technologieriese bekannt gegeben, dass das KI-Modell auf Transformer-Technologie basiert. F\u00fcr die Positionskodierung verwendet QwQ Rotary Position Embeddings (RoPE) zusammen mit den Funktionen Switched Gated Linear Unit (SwiGLU) und Root Mean Square Normalization (RMSNorm) sowie Attention Query-Key-Value Bias (Attention QKV).<\/p>\n\n\n\n
Laut Alibabas Tests schl\u00e4gt QwQ o1-preview bei den AIME- und MATH-Benchmarks, die mathematische Probleml\u00f6sungsf\u00e4higkeiten bewerten. Es \u00fcbertrifft auch o1-mini bei GPQA, einem Benchmark f\u00fcr wissenschaftliches Denken. QwQ ist o1 bei den LiveCodeBench-Codierungsbenchmarks unterlegen, \u00fcbertrifft aber dennoch andere Spitzenmodelle wie GPT-4o und Claude 3.5 Sonnet.<\/p>\n\n\n\n
QwQ wird nicht mit einem Begleitdokument geliefert, das die Daten oder den zum Trainieren des Modells verwendeten Prozess beschreibt, was es schwierig macht, die Ergebnisse des Modells zu reproduzieren. Da das Modell jedoch im Gegensatz zu OpenAI o1 offen ist, ist sein \u201eDenkprozess\u201c nicht verborgen und kann verwendet werden, um zu verstehen, wie das Modell bei der L\u00f6sung von Problemen vorgeht.<\/p>\n\n\n\n
Insbesondere hat Alibaba das KI-Modell \u00fcber eine Hugging Face-Liste verf\u00fcgbar gemacht und sowohl Einzelpersonen als auch Unternehmen k\u00f6nnen es f\u00fcr pers\u00f6nliche, akademische und kommerzielle Zwecke unter der Apache 2.0-Lizenz herunterladen.<\/p>\n","protected":false},"excerpt":{"rendered":"
Alibaba hat am Donnerstag ein neues Modell f\u00fcr k\u00fcnstliche Intelligenz (KI) ver\u00f6ffentlicht, das als Qwen with Questions (QwQ) bekannt ist und als neuester Open-Source-Konkurrent zum OpenAI o1-Reasoning-Modell dient. Das als Vorschau ver\u00f6ffentlichte QwQ-32B Large Language Model (LLM) soll GPT-o1-preview in mehreren mathematischen und logischen Denk-bezogenen Benchmarks \u00fcbertreffen. Das neue KI-Modell kann auf Hugging Face heruntergeladen werden, ist jedoch nicht vollst\u00e4ndig Open Source. Was ist Qwen with Questions (QwQ)? Wie andere Large Reasoning Models (LRMs) verwendet QwQ w\u00e4hrend der Inferenz zus\u00e4tzliche…<\/p>\n