максимальное количество файлов в папке linux

Есть задача хранить 200 – 300 тысяч файлов, и всем было бы удобнее, если бы файлы были внутри одной директории.

>Есть задача хранить 200 – 300 тысяч файлов, и всем было бы
>удобнее, если бы файлы были внутри одной директории.

Никому не удобнее и кроме того пожалейте диск(и). В десятки раз быстрее и надёжнее будет создать несколько десятков (пару сотен) директорий с тысячей-другой (десятком тысяч) файлов каждая.

1. «Ограничение файлов в директории Linux.»
Сообщение от Nimdar (ok) on 09-Янв-07, 18:42
Высказать мнение \| Ответить \| Правка \| Наверх \| Cообщить модератору


	2. «Ограничение файлов в директории Linux.»
	Сообщение от Messing (??) on 09-Янв-07, 20:13
	>Есть задача хранить 200 – 300 тысяч файлов, и всем было бы >удобнее, если бы файлы были внутри одной директории.
	Высказать мнение \| Ответить \| Правка \| Наверх \| Cообщить модератору


	3. «Ограничение файлов в директории Linux.»
	Сообщение от GByte (??) on 10-Янв-07, 00:14

	Высказать мнение \| Ответить \| Правка \| Наверх \| Cообщить модератору

4. «Ограничение файлов в директории Linux.»
Сообщение от GloryS (??) on 11-Янв-07, 12:37

Высказать мнение \| Ответить \| Правка \| Наверх \| Cообщить модератору

5. «Ограничение файлов в директории Linux.»

Сообщение от simple_rulez

on 11-Янв-07, 14:53

Источник

Много файлов в папке

Есть информация, что на NTFS все работает нормально при 25 млн. файлов в папке

reiserfs чем не нравится?

reiserfs вроде стандартом не идет, там какая то версия древняя. надо будет на продакшене с бубном танцевать, стремно запороть все. работает не трогай как говорят. просто хочу узнать ext4 потянет? кто сталкивался?

Нормальная версия. УМВР. Зато не эти помои extX.

Задай при создании их кол-во с запасом.

С какой целью интересуешься?

никакая не древняя.
ты думаешь всё новое лучше?
а экст. можно при создании задать инодов по-больше

надо будет на продакшене с бубном танцевать

почитай об ext4 о структуре директории, список или дерево, узнаешь будет тормозить или нет.

Та ну его в инод! Пущай vfat ставит, раз ССЗБ такой!

Если создать на ext4 файл с raiserfs и примонтировать куда нужно, так можно? не закончатся иноды?

Если уж делать нефиг и хочется на свою пятую точку приключений, переформатируй в ext4 с увеличенным количеством инодов.

Filesystem Inodes IUsed IFree IUse% Mounted on /dev/sdb 61046784 8198556 52848228 14% /var/www

заполнишь почти 53 млн. файлов приходи

1) Файлы от 3х до 4х кб влезают в иноду, это четверть от всех файлов (предполагая равномерное распределение).

2) Файлы от 4х кб до 6кб, влезают в одну иноду полностью и одну иноду заполняют в среднем на четверть, это 75% от всех файлов.

Итого:
1) 25% раздела заполенны точно.
2) 75% раздела на половину заполнены, т.е. ещё 37,5% от раздела заполнены.
3) и 35.5% раздела заполнены на четверть, т.е. 35.5%/4 = 8,875% от раздела.

Значит заполнятся 25 + 37,5 + 8,875 = 71,375% раздела, что несколько лучше чем 31%.

Говорят что reiserfs (или reiser4, не уверен) относится к месту на диске гораздо лучше, потому что умеет паковать концы файлов прямо в иноду. Поэтому при большом кол-ве мелких файлов я бы попробовал её, если сильно не устраивают получившиеся цифры.

Источник

Максимальное количество файлов в папке Linux и Windows

Вопрос не из простых

Сколько можно сохранить картинок в папке в Linux

т.е. допустим у меня 9 000 000 000 000 000 000 картинок

я создаю древовидную иерархию из папок

у меня допустим 5 ветвей, ограничение на число файлов и папок в ветви 6179

тогда общее количество возможно загружаемых файлов равно 6179 в 5 степени и равно

9 007 224 264 576 426 899 т.е. BIGINT (почти из за округления)

Теперь сам вопрос

Как определить максимальное возможное число файлов в папке или папок в папке в Linux и тоже самое в windows для сравнения?

Моя иерархия будет нормально работать?

Что думаете по этому поводу?

2 ответа 2

В FAT32 максимальное количество файлов на логическом диске 4,194,304.

В NTFS максимальное количество файлов на логическом диске 4,294,967,295.

В ext4 максимальное количество файлов на логическом диске до 4,294,967,295 (указывается при создании ФС).

Согласно википедии, общий объём цифровой информации, имеющейся на земном шаре в 2006 году, составил 161 эксабайт),

С другой стороны, в линуксе (да и в видне) все сильно зависит от файловой системы, но по своему опыту могу сказать, что после 10000 файлов к каталоге независимо от файловой системы, начинаются тормоза.

В июле 2011 года было достигнуто число в 100 миллионов загруженных в сервис Instagram фотографий, а к августу таких фотографий стало уже 150 миллионов.

Источник

Максимальное количество файлов/папок в Linux?

Я разрабатываю интернет-магазин LAMP, который позволит администратору загружать несколько изображений для каждого элемента.

каково максимальное количество файлов и / или папок в Linux?

каков обычный способ справиться с этой ситуацией (лучшая практика)?

моя идея состояла в том, чтобы сделать папка для каждого элемента, на основе его уникального идентификатора, но тогда у меня все равно будет 20000 папок в main передает папка, и она будет расти бесконечно, поскольку старые элементы не будут удалены.

Спасибо за любую помощь.

6 ответов

нет ограничений на каталоги, в частности, за пределами этого; имейте в виду, что каждый файл или каталог требует по крайней мере одного блока файловой системы (обычно 4KB), хотя, даже если это каталог только с одним элементом в он.

если файловая система сервера имеет dir_index функция включена (см. tune2fs(8) для получения подробной информации о проверке и включении функции), то вы можете разумно хранить более 100 000 файлов в каталоге до снижения производительности. ( dir_index был по умолчанию для новых файловых систем для большинства дистрибутивов в течение нескольких лет, поэтому это будет только старый файловая система, которая не имеет эту функцию по умолчанию.)

это сказало, добавив еще один уровень каталога, чтобы уменьшить количество файлов в каталоге в 16 или 256 раз, резко повысит вероятность таких вещей, как ls * Работа без перезапуска ядра maximum argv размер.

как правило, это делается примерно так:

т. е., добавляя букву или цифру к пути, на основе некоторой функции вы можете вычислить имя. (Первые два символа md5sum или sha1sum имени файла является одним из распространенных подходов, но если у вас есть уникальные идентификаторы объектов, то ‘a’+ id % 16 это достаточно простой механизм, чтобы определить, какой каталог использовать.)

60000 ничего, 20000 также. Но вы должны поставить группу этих 20000 любыми средствами, чтобы ускорить доступ к ним. Может быть, в группах по 100 или 1000, взяв номер каталога и разделив его на 100, 500, 1000, что угодно.

например, У меня есть проект, где файлы имеют номера. Я группирую их в 1000s, поэтому у меня есть

в дополнение к общим ответам (в основном «не беспокойтесь так много», и «настройте свою файловую систему», и»организуйте свой каталог с подкаталогами, содержащими несколько тысяч файлов каждый»):

Если отдельные изображения небольшие (например, менее нескольких килобайт), вместо того, чтобы помещать их в папку, вы также можете поместить их в базу данных (например, с MySQL как BLOB) или, возможно, внутри GDBM индексированный файл. Тогда каждый маленький предмет не будет потреблять inode (во многих файловых системах каждому индексу требуется хотя бы несколько килобайт). Вы также можете сделать это для некоторого порога (например, поместить изображения больше 4kbytes в отдельные файлы и меньшие в базу данных или файл GDBM). Конечно, не забудьте сделать резервную копию данных (и определить состояние резервной копии).

2014 год. Я возвращаюсь вовремя, чтобы добавить этот ответ. Много больших/маленьких файлов? Вы можете использовать Amazon S3 и другие альтернативы на основе Ceph, такие как DreamObjects, где нет ограничений каталога, о которых нужно беспокоиться.

Я надеюсь, это поможет кому-то решить из всех альтернатив.

Источник

Максимальное количество файлов в папке Linux и Windows

joraxr

Новичок

Вопрос не из простых

Сколько можно сохранить картинок в папке в Linux

т.е. допустим у меня 9 000 000 000 000 000 000 картинок

я создаю древовидную иерархию из папок

у меня допустим 5 ветвей, ограничение на число файлов и папок в ветви 6179

тогда общее количество возможно загружаемых файлов равно 6179 в 5 степени и равно

9 007 224 264 576 426 899 т.е. BIGINT (почти из за округления)

Моя иерархия будет нормально работать?

Что думаете по этому поводу?

Вот у меня вот такая картина на сервере

Я правильно понял что моя теория разваливается и максимальное количество файлов которые я могу сохранить на сервере равно 3203072?

Как вообще сделать так чтобы на сервере было 1000 000 000 инодов и больше?

Ведь смотрите еслия я сохраню 3203072 файлов то у меня останется очень много свободного места на диске.

планирую сохранить 7000 000 файлов, как быть, что думаете, может что подскажете и т.д. и т.п.

Пью пиво

Ярослав

Новичок

hell0w0rd

Продвинутый новичок

Пью пиво

Вурдалак

I’d like to model your domain

grigori

( ͡° ͜ʖ ͡°)

герр M:)ller

на современных фс влезет бесконечно кажется, и доступ по path будет мгновенным. другое дело переместить или удалить папку, будет создаваться список всех файлов, там начнутся первые проблемы, а также просмотр особенно по удаленному доступу.

мне кажется просто вопрос памяти.

Продвинутый новичок

Absinthe

герр M:)ller

это и в одной папке тоже, на сколько я понимаю. иногда пишут ограничение на корневую директорию.
в vfat понятия не имею. у fat32 общее число файлов было 268.435.456 или 2^28 а у NTFS уже 2^32 те. как и Ext4.

но я тоже считаю 16^3 это 4к или 3 буквы md5 и больше на папку не нужно делать.

joraxr
9 квинтиллионов это что храним, все фотки всех людей?

hell0w0rd

Продвинутый новичок

Breeze

goshogun

ну а какое тут может быть рекомендуемое? тут не только диры, но и сторадж решает
могу по опыту сказать, что даже nfs сносно работает на 2-3К в директории, правда ls иногда подтупливает
но для ext4 это не будет проблемой точно

для 7M тебе за глаза хватит схемы /a/b/c/file.jpg,
если хочется запаса, то «a» можно расширить с 16 до 52 используя набор a-z A-Z 0-9, что даст четырехкратный запас =)
но опять же не стоит забывать, что даже пустые директории занимают место

так что калькулятор в руки, считать и выбирать баланс

Источник