оптимизация производительности с управлением пользовательскими файлами в веб-приложении

Моим веб-приложениям необходимо хранить и извлекать файлы данных, созданные пользователями приложения (эти файлы представляют собой файлы журналов, исходящие от устройства мониторинга, которое использует пользователь приложения). Типичный файл меньше 10 КБ. Каждый такой файл имеет атрибут даты создания. Обычно пользователь загружал и просил получить одновременно несколько файлов, созданных в дни настройки.

Мой вопрос: следует ли мне разработать код передачи файлов, чтобы объединить несколько пользовательских файлов в смежные даты и хранить их вместе как один файл для оптимизации производительности сервера? IOW, стоит ли мне беспокоиться об уменьшении количества выборок файлов? И наконец, есть ли в Linux ограничение на количество файлов, которые могут быть помещены в папку?

Спасибо, Ави


person Avi    schedule 12.12.2012    source источник


Ответы (1)


Для быстрого поиска вам следует поиграть со структурой папок, пусть это будет любая ОС Windows, Linux и т. Д., При поиске проверяется весь список файлов.

Итак, что вы можете сделать, это иметь структуру папок, например 2012 -> 12 -> 20 2012 - год 12 - месяц 20 - день

Это поможет в быстром поиске, а также, если вы можете выполнить индексацию, это было бы здорово.

Linux или любая другая ОС не ограничивают количество файлов в папке.

person Nipun Ambastha    schedule 20.12.2012
comment
Спасибо, Нипун! Это очень полезно. Вы можете объяснить подход к индексации? - person Avi; 22.12.2012
comment
Потрясающий. Я больше Windows Guy, поэтому, если вам нужна помощь в индексировании в Windows, я могу помочь вам, однако для Linux вы можете попробовать эти несколько ссылок superuser.com/questions/120717/ tech.lds.org/forum/viewtopic.php?t=96-Indexing-with-Linux stackoverflow.com / questions / 698943 / - person Nipun Ambastha; 23.12.2012