Hugging Face tokenizasyonlarını yerel OpenVINO çıkarım modülleri olarak çalıştırın
Hugging Face tokenizasyonlarını OpenVINO IR modellerine dönüştürün ve tokenizasyonu bir çıkarım hattı içinde yerel olarak çalıştırın, dağıtım yolundan yalnızca Python ön işleme kaldırın. Intel Corporation, OpenVINO içinde tokenizasyon ve detokenizasyonu yerleştirmek için bu uzantıyı sağlar, Python ve C++ API'leri ile. Ana işlevler arasında IR dönüşümü, birleşik tokenizer+model hatları ve özel regex/normallleştirme işlemleri bulunmaktadır. Araç, üretim veya kenar senaryoları için Intel donanımında ince, C++ tabanlı LLM dağıtımlarına ihtiyaç duyan AI geliştiricileri ve mühendisleri hedef almaktadır.
Tokenizer mantığını OpenVINO modellerine dönüştürerek yerel pipeline kullanımı için
Bu araç, Hugging Face token'larını OpenVINO Ara Intermediate Temsil modellerine dönüştürerek, tokenizasyonun OpenVINO çalışma zamanında dış bir Python adımı olarak değil, içinde çalışmasını sağlar. Dönüşüm, Byte-Pair Encoding, WordPiece ve SentencePiece gibi yaygın tokenizer algoritmalarını destekler. Daha sonra, tokenizasyon IR'sini ana modelle birleştirerek, tek bir çıkarım dizisinin metin girişini tokenizasyon yoluyla model çıktısına işlemesini sağlar ve dış ön işleme adımlarını azaltır.
Sadece CPU üzerinde token'lar için çıkarım, dağıtım seçimlerini etkiler
Token'lar, OpenVINO çalışma zamanında CPU üzerinde çalışır, bu da heterojen bir sistemde metin ön işlemesini nerede yerleştireceğinizi etkiler. Ana AI modelleri CPU, GPU veya NPU'ya hedef alabilirken, tokenizer bileşeni işlemci üzerinde çalışır, bu nedenle toplu veya düşük gecikmeli metin iş yükleri için CPU kapasitesini buna göre planlayın. Uzantı, Intel işlemcileri için optimize edilmiştir ve OpenVINO çalışma zamanının ana makinede mevcut olduğunu varsayar.
Python bağımlılıkları olmadan çalışır, C++ üretim derlemelerine uyar
Proje, hem Python hem de C++ API'lerini sunar ve tamamen yerel C++ çıkarım pipeline'larını üçüncü taraf Python tokenizer kütüphanelerini üretimden kaldırarak açıkça etkinleştirir. C++ uygulamalarında veya kenar firmware'inde LLM'leri gömülü hale getiren ekipler için, bu dış çalışma zamanı bağımlılıklarını azaltır. C++ ortamları için tokenizer, kaynak koddan derlenebilir veya ikili bir uzantı olarak kullanılabilir, tipik yerel derleme iş akışlarına uyar.
Güvenlik, işleme seçenekleri ve OpenVINO GenAI ile entegrasyon
Bu araç, metin işleme için yalnızca okunabilir bir çıkarım akışını koruyan regex tabanlı temizleme ve normalizasyon gibi deterministik ön işleme adımlarını destekler. Tokenizasyonu model dağıtımı ile hizalamak için OpenVINO GenAI ve Optimum Intel ile entegre olur. Proje, Intel tarafından aktif olarak korunmakta olup, ön işlemenin çıkarım sınırları içinde kalırken dağıtım ayak izini azaltmayı hedeflemektedir.
CPU takası ile üretim C++ LLM dağıtımları için pratik
Bu araç, Python çalışma zamanı bağımlılıklarını kaldırması ve tokenizasyonu bir çıkarım hattı içinde çalıştırması gereken geliştiriciler için uygundur ve Intel'in aktif bakımı, devam eden mimari güncellemeleri destekler. Tek dikkate değer takas, tokenizasyon çıkarımının CPU üzerinde çalışmasıdır, bu nedenle ekiplerin yüksek talep hacimlerini veya büyük parti ön işleme işlemlerini yönetirken işlemci kapasitesini sağlaması gerekir. Minimal çalışma zamanı bağımlılıklarını önceliklendiren üretim C++ veya kenar yapılandırmaları için, bu araç bu kısıtlama ile net bir operasyonel avantaj sunar.
