Как разбить большой текстовый файл на более мелкие файлы с одинаковым количеством строк?

У меня есть большой (по количеству строк) простой текстовый файл, который я хотел бы разбить на более мелкие файлы, в том числе по количеству строк. Таким образом, если мой файл имеет около 2M строк, я бы хотел разделить его на 10 файлов, содержащих 200k строк, или 100 файлов, содержащих 20k строк (плюс один файл с остатком; быть равномерно делимым не имеет значения).

Я мог бы сделать это довольно легко в Python, но мне интересно, есть ли какой-нибудь способ ниндзя сделать это, используя утилиты bash и unix (в отличие от ручного зацикливания и подсчета / разбиения строк).

Из любопытства, после того, как они «разделены», как их «объединить»? Что-то вроде «кошка часть2 >> часть1»? Или есть еще одна утилита ниндзя? возражаете обновить свой вопрос?

да, кошка коротка для конкатенации. В целом, урок полезен для поиска соответствующих команд. IE видит вывод:

который создаст файлы каждый с 200000 строк с именем xaa xab xac .

Другой вариант, разделенный по размеру выходного файла (по-прежнему разбивается на разрывы строк):

создает файлы output_prefix01 output_prefix02 output_prefix03 . размером не более 20 мегабайт.

Вы также можете разделить файл по размеру: split -b 200m filename (м для мегабайт, к для килобайт или без суффикса для байтов)

split дает искаженный вывод с помощью ввода Unicode (UTF-16). По крайней мере, на Windows с версией, которую я имею.

@geotheory, обязательно следуйте совету LeberMac ранее в теме о первом преобразовании концов строк CR (Mac) в окончания строк LR (Linux) с использованием TextWrangler или BBEdit. У меня была та же проблема, что и у вас, пока я не нашел этот совет.

-d опция недоступна в OSX, используйте gsplit вместо этого. Надеюсь, что это полезно для пользователей Mac.

Да, есть split команда. Он разделит файл на строки или байты.

Пробовал georgec @ ATGIS25 ~ $ split -l 100000 /cygdrive/P/2012/Job_044_DM_Radio_Propogation/Working/FinalPropogation/TRC_Longlands/trc_longlands.txt, но в каталоге нет разделенных файлов — где вывод?

Это должно быть в том же каталоге. Например , если я хочу разделить на 1000000 строк в файл, выполните следующие действия : split -l 1000000 train_file train_file. и в том же каталоге , я буду получать train_file.aa с первым миллионом, то trail_file.ab со следующим миллионом, и т.д.

Разбивает файл на части фиксированного размера, создает выходные файлы, содержащие последовательные разделы INPUT (стандартный ввод, если ничего не задано или INPUT равен `- ‘)

Здесь 1 и 100 — номера строк, которые вы будете записывать output.txt .

При этом получаются только первые 100 строк, вам нужно зациклить его, чтобы последовательно разбить файл на следующие 101..200 и т. Д. Или просто использовать, split как уже говорилось во всех верхних ответах.

split (из GNU coreutils, начиная с версии 8.8 от 2010-12-22 ) включает в себя следующий параметр:

Таким образом, split -n 4 input output. сгенерирует четыре файла ( output.a ) с одинаковым количеством байтов, но строки могут быть разбиты посередине.

Если мы хотим сохранить полные строки (т.е. разделенные на строки), то это должно работать:

В случае, если вы просто хотите разделить на x количество строк в каждом файле, данные ответы split в порядке. Но мне интересно, чтобы никто не обращал внимания на требования:

Я не могу сделать это без «wc + cut», но я использую это:

Это может быть легко добавлено к вашим функциям bashrc, так что вы можете просто вызывать его, передавая имя файла и чанки:

Если вам нужно только x кусков без остатка в дополнительном файле, просто измените формулу, чтобы суммировать ее (куски — 1) в каждом файле. Я использую этот подход, потому что обычно я просто хочу x количество файлов, а не x строк на файл:

Вы можете добавить это в скрипт и назвать его «ниндзя-путь», потому что, если ничего не соответствует вашим потребностям, вы можете создать его 🙂

У меня есть файл excel(file.xls)/csv(file.csv), который содержит/будет содержать сотни тысяч записей, даже миллионы, я думаю. Можно ли разделить этот файл на несколько файлов? Например, от file.xls до file1.xls, file2.xls, file3.xls и так далее. Есть ли какие-нибудь библиотеки для использования.

Как в Экселе разделить таблицу по листам? Онлайн журнал Жизнь и работа

Power Query автоматически создает запрос для консолидации данных из каждого файла на каждом из них. Шаги запроса и созданные столбцы зависят от того, какую команду вы выбрали. Дополнительные сведения см. в разделе Сведения обо всех этих запросах.