vLLM’lere dalmadan önce, LLM modellerinin ve bellek sistemlerinin bildiğimiz şekilde nasıl çalıştığını anlamak önemlidir. LLM’lerin özünde, girişe (veya istemi) ve bugüne kadar ürettiği çıktı token’larının önceki dizisine dayalı olarak bir seferde bir token üretmek için otomatik gerileyen bir kod çözücü kullanan bir Transformers modeli yer alır. Her istek için token üretimi, model bir sonlandırma token’ı döndürene kadar gerçekleştirilir. Makale, bu dizinin işlemi belleğe bağlı hale getirdiğini, bunun da GPU’ların hesaplama yeteneklerini yetersiz kullandığını ve hizmet verimini sınırladığını iddia ediyor. Belleğin yarısından fazlası statik olan model ağırlıkları tarafından alınır ve daha küçük bir kısmı isteklerin dinamik durumları tarafından alınır. Transformatörlerde bu dinamik durumlara, genellikle önceki tokenlardan bağlamı temsil eden KV önbelleği olarak adlandırılan dikkat mekanizmasıyla ilişkili anahtar ve değer tensörleri denir. KV önbelleği, üretilen token sayısına bağlı olarak zamanla dinamik olarak büyüyen ve küçülen bir yapıdır. Verimli bir şekilde yönetilmediğinde bu, sınırlı toplu boyuta ve dolayısıyla daha düşük verime yol açar. Genellikle mevcut sistemler iki büyük verimsizlik tarafından engellenir; birincisi dahili ve harici bellek parçalanması, ikincisi ise bellek paylaşımı için fırsatlardan yararlanamamadır.

vLLM, yeni bir teknik olan PagedAttention’ı tanıtarak bu darboğazları ele alır. İşletim sistemlerinde sayfalama ile sanal bellek kavramından esinlenen PagedAttention, anahtar ve değer tensörlerinin bitişik olmayan şekilde depolanmasını sağlayarak geleneksel dikkat mekanizmalarından farklıdır. KV önbelleğini tek bir sürekli parça olarak depolamak yerine, her biri belirli sayıda tokenı temsil eden sabit boyutlu bloklara böler. Dikkat gerçekleştirirken, PagedAttention çekirdeği yalnızca hesaplama için gereken ilgili KV bloklarını verimli bir şekilde bulur ve alır.

Dahası, vLLM, GPT, OPT, LLaMA gibi çeşitli boyutlardaki popüler LLM’leri destekler ve makalede yapılan değerlendirmelere göre vLLM, model doğruluğuna olumsuz bir etkisi olmadan, en son LLM’lere kıyasla LLM hizmet verimini 2-4 kat artırır. vLLM, aynı komuttan birden fazla çıktı dizisinin üretildiği paralel örneklemede önemli bir avantaj sağlar, bu durumda komut için hesaplama ve bellek, çıktı dizileri arasında paylaşılabilir. vLLM bu paylaşımı kolayca gerçekleştirebilir ve bellekten tasarruf sağlayabilir. Benzer şekilde, vLLM, paralel ışın işleme yoluyla ışın aramasında daha yüksek verimlilik, verim ve daha düşük gecikmeye yol açmıştır.