ModelDefteri
Kayıtlı Üye
ModelDefteri yeni bir kaynak paylaştı:
Tam metin tekrarlarını ayıklama - CSV veya JSONL metin alanında tam eşleşmeleri ayırın; ilk kaydı ve diğer alanları koruyun.
Bu kaynak hakkında daha fazla bilgi...
Tam metin tekrarlarını ayıklama - CSV veya JSONL metin alanında tam eşleşmeleri ayırın; ilk kaydı ve diğer alanları koruyun.
Ne işe yarar?
CSV/JSONL veri kümesinde seçilen metin alanı birebir aynı olan kayıtları ayıklar. İlk kayıt tutulur; yeni çıktı ve yinelenen satırların konum raporu oluşturulur.
Kullanım
Kod:python arac.py ornek.jsonl --format jsonl --field text --output tekil.jsonl python arac.py ornek.csv --format csv --field text --output tekil.csvPaket ve gereksinimler
Python 3.10+; yalnız standart kütüphane. arac.py, pack_io.py...
Bu kaynak hakkında daha fazla bilgi...