Histórico e visão geral do Xet

Em agosto de 2024, a Hugging Face adquiriu a XetHub, uma startup em estágio inicial sediada em Seattle, para substituir o Git LFS no Hub.

Assim como o Git LFS, um repositório com suporte a Xet utiliza o S3 como armazenamento remoto, com um arquivo .gitattributes na raiz do repositório ajudando a identificar quais arquivos devem ser armazenados remotamente.

Um arquivo ponteiro do Git LFS fornece metadados para localizar o conteúdo real do arquivo no armazenamento remoto:

• SHA256: Fornece um identificador único para o arquivo grande real. Esse identificador é gerado ao calcular o hash SHA-256 do conteúdo do arquivo.
• Tamanho do ponteiro: O tamanho do arquivo de ponteiro armazenado no repositório Git.
• Tamanho do arquivo remoto: Indica o tamanho do arquivo grande real em bytes. Esses metadados são úteis tanto para fins de verificação quanto para o gerenciamento de operações de armazenamento e transferência.

Um ponteiro Xet inclui todas essas informações por design. Consulte a seção sobre compatibilidade reversa com Git LFS com a adição de um campo Xet backed hash para referenciar o arquivo no armazenamento Xet.

Diferentemente do Git LFS, que realiza a deduplicação no nível do arquivo, os repositórios habilitados para Xet deduplicam no nível de bytes. Quando um arquivo suportado pelo armazenamento Xet é atualizado, apenas os dados modificados são enviados para o armazenamento remoto, o que economiza significativamente nas transferências de rede. Para muitos fluxos de trabalho, como atualizações incrementais de checkpoints de modelos ou a adição/inserção de novos dados em um conjunto de dados, isso melhora a velocidade de iteração para você e seus colaboradores. Para saber mais sobre a deduplicação no armazenamento Xet, consulte Deduplication.

Update on GitHub