Byte Pair Encoding (BPE): algoritmo compressione dati

Byte Pair Encoding (BPE) è un algoritmo di compressione dati che riduce la dimensione file di testo sostituendo iterativamente i byte adiacenti più frequenti con singoli byte inutilizzati.

Come funziona

1. Contare tutti i byte adiacenti nei dati.
2. Sostituire la coppia più frequente con un nuovo byte non presente nei dati.
3. Ripetere finché non rimangono coppie frequenti o si raggiunge compressione desiderata.

Risultato

Può ridurre dimensione file fino a 50%. Ampiamente usato nella tokenizzazione moderna per NLP (es. modelli GPT) come metodo segmentazione subword.