• Arsa, arazi ve gayrimenkul sorularınızı ilgili bölümde sorun; bölgesel bilgi ve deneyimlerinizi paylaşın.

Tam metin tekrarlarını ayıklama [Deleted]

  • Konuyu Başlatan Konuyu Başlatan ModelDefteri
  • Başlangıç tarihi Başlangıç tarihi
  • Cevaplar Cevaplar 0
  • Görüntüleme Görüntüleme 21
Durum
Üzgünüz bu konu cevaplar için kapatılmıştır...

ModelDefteri

Kayıtlı Üye
Konum
YurtDışı
Konular
29
Mesajlar
37
Çözümler
0
ModelDefteri yeni bir kaynak paylaştı:

Tam metin tekrarlarını ayıklama - CSV veya JSONL metin alanında tam eşleşmeleri ayırın; ilk kaydı ve diğer alanları koruyun.

Ne işe yarar?​

CSV/JSONL veri kümesinde seçilen metin alanı birebir aynı olan kayıtları ayıklar. İlk kayıt tutulur; yeni çıktı ve yinelenen satırların konum raporu oluşturulur.

Kullanım​

Kod:
python arac.py ornek.jsonl --format jsonl --field text --output tekil.jsonl
python arac.py ornek.csv --format csv --field text --output tekil.csv

Paket ve gereksinimler​

Python 3.10+; yalnız standart kütüphane. arac.py, pack_io.py...

Bu kaynak hakkında daha fazla bilgi...
 
Durum
Üzgünüz bu konu cevaplar için kapatılmıştır...

Konuyu görüntüleyenler

Bu konuyu şu anda görüntüleyen üye bulunmuyor.
Robotlar:
  • Anthropic
Geri
Üst