Як очистити CSV перед імпортом
Безпечний процес очищення CSV, що зберігає оригінал і перетворює припущення імпорту на явні правила.
{:"CSV є набором домовленостей"=>"експортери по-різному трактують delimiter, quotes, encoding, decimal marks, dates та line endings."}
Не змінюйте оригінальний файл. Працюйте з копією та записуйте кожне перетворення, щоб результат можна було повторити або скасувати.
Перевірте структуру до зміни значень
Визначте encoding, delimiter, quote, newline, headers і очікувану кількість колонок. Перегляньте також середину й кінець файлу.
Знайдіть переноси всередині cells, escaped quotes, дублікати headers, BOM і рядки з неправильною кількістю колонок.
Нормалізуйте за явними правилами
Визначте представлення empty, null, booleans, dates, decimal separators, leading zeros і whitespace у цільовій системі.
Видаляйте дублікати за стабільним business key, а не всім рядком, якщо форматування може відрізнятися.
Захистіть і перевірте імпорт
Cells, що починаються з =, +, - або @, можуть стати spreadsheet formulas і потребують нейтралізації.
Спочатку імпортуйте малий зразок, порівняйте row counts та rejected rows, а потім перевірте ID, totals і випадкові записи.
Чекліст очищення CSV
- Збережіть оригінальний export без змін.
- Звірте encoding, delimiter, headers і кількість колонок.
- Визначте правила null, dates, numbers і leading zeros.
- Видаляйте дублікати за обраним business key.
- Нейтралізуйте spreadsheet formulas за потреби.
- Протестуйте малий імпорт і звірте кількість рядків.
Пов’язані гайди
Дізнайся workflow за цим інструментом і що перевіряти далі.
Як покроково налагоджувати JSON-відповідь API
Послідовний процес, що відокремлює транспортні помилки, синтаксис JSON і невідповідність контракту даних.
Як дебажити JSON API payloads
Практичний workflow для форматування JSON, пошуку syntax errors, перевірки payload shape і response status, коли API data виглядає неправильно.