GorselRotasi
Kayıtlı Üye
GorselRotasi yeni bir kaynak paylaştı:
Metni örtüşmeli JSONL parçalara ayırma - TXT ve Markdown metinlerinden konum bilgili parçalar ve SHA256 manifesti üretin.
Bu kaynak hakkında daha fazla bilgi...
Metni örtüşmeli JSONL parçalara ayırma - TXT ve Markdown metinlerinden konum bilgili parçalar ve SHA256 manifesti üretin.
Ne işe yarar?
Yerel TXT/Markdown metnini karakter tabanlı, örtüşmeli JSONL parçalara ayırır. Her parça kaynak adı, karakter aralığı ve başlangıç satırı taşır; manifest girdi ve çıktı SHA256 değerlerini kaydeder.
Kullanım
Kod:python arac.py ornek.md --output parcalar.jsonl --size 120 --overlap 25Paket ve gereksinimler
Python 3.10+; yalnız standart kütüphane. arac.py, pack_io.py, örnek veriler, çevrimdışı testler...
Bu kaynak hakkında daha fazla bilgi...