• Arsa, arazi ve gayrimenkul sorularınızı ilgili bölümde sorun; bölgesel bilgi ve deneyimlerinizi paylaşın.

Metni örtüşmeli JSONL parçalara ayırma [Deleted]

  • Konuyu Başlatan Konuyu Başlatan GorselRotasi
  • Başlangıç tarihi Başlangıç tarihi
  • Cevaplar Cevaplar 0
  • Görüntüleme Görüntüleme 17
Durum
Üzgünüz bu konu cevaplar için kapatılmıştır...

GorselRotasi

Kayıtlı Üye
Konum
YurtDışı
Konular
30
Mesajlar
37
Çözümler
0
GorselRotasi yeni bir kaynak paylaştı:

Metni örtüşmeli JSONL parçalara ayırma - TXT ve Markdown metinlerinden konum bilgili parçalar ve SHA256 manifesti üretin.

Ne işe yarar?​

Yerel TXT/Markdown metnini karakter tabanlı, örtüşmeli JSONL parçalara ayırır. Her parça kaynak adı, karakter aralığı ve başlangıç satırı taşır; manifest girdi ve çıktı SHA256 değerlerini kaydeder.

Kullanım​

Kod:
python arac.py ornek.md --output parcalar.jsonl --size 120 --overlap 25

Paket ve gereksinimler​

Python 3.10+; yalnız standart kütüphane. arac.py, pack_io.py, örnek veriler, çevrimdışı testler...

Bu kaynak hakkında daha fazla bilgi...
 
Durum
Üzgünüz bu konu cevaplar için kapatılmıştır...

Konuyu görüntüleyenler

Bu konuyu şu anda görüntüleyen üye bulunmuyor.
Robotlar:
  • Anthropic
Geri
Üst