Вопрос программистам: что быстрее - файловая система или база данных?

[orleanz]

Уточняю вопрос (иначе он был бы бессмысленным)

Допустим, у нас есть 1 (одна) таблица с 2 (двумя) колонками

В первой колонке - большой интегер, Юникс тайм, отсортированный по возрастанию, во второй колонке - строки (собственно пейлоуд, данные)

Я хочу максимально быстро выдавать те строки таблицы, которые удолетворяют некому условию по первой колонке, например, все строки соответствующие одному дню

Это элементарно делается с использования условного Постгреса, ок.

Но ведь можно создать на файловой системе набор файлов, для каждого дня, где содержимое файла и будет набор строк с пейлоудом. И отдавать данные путем просто открытия файла с нужным именем (которое совпадает с днем, например, 2010.10.31.txt) и чтением данных из файла. Там и кэширование автомически появится, на уровне файловой системе, типа, бесплатный бонус.

Что будет в результате быстрее, как думаете?

Вопрос апдейта данных и сложных запросов не стоит, речь про узкоспециализированную задачу, описанную выше.

Тут ведь еще какой момент есть - если речь идет про веб, то выдача данных может идти НАПРЯМУЮ через стоящий впереди реверс-прокси Nginx, через статическую директорию. То есть просто по прямому УРЛ обращаешься к файлу с соответствующим именем, скажем, http://mysite.com/static/db/2010.10.31.txt, и усё, Энджинэкс выдаст данные даже не потревожив Ноду (аппликейшен сервер). А если делать через базу данных, то аппликейшен сервер будет по всякому задействован...

Comments

[imfromjasenevo.livejournal.com]

не программист, но мне кажется, что файлы должны быть быстреей на порядок, другое дело, что базы более надежно и больше гарантий, что данные не похерятся и структура не сломается, если что-то не так пойдет.

[vsamovarov.livejournal.com]

>Это элементарно делается с использования условного Постгреса, ок.

быстрее

Время передачи данных к клиенту по сети все равно будет на порядки больше и та ничтожная экономия времени о которой вы говорите, ни чего не стоит. А при разработке создаст кучу ненужного головняка.

[old-radist.livejournal.com]

Ну, файлы ж тоже могут лежать на 5400 оборотах, а могут и на SSD. С другой стороны, есть ин-мемори базы.

[vit-r.livejournal.com]

Зависит от кучи факторов. Тем более, что таблицы могут быть в памяти, а могут висеть в распределённой базе. В общем случае, накладные расходы на открытие файлов слишком большие.

Самое быстрое (в общем варианте) - это денормализовать таблицы добавить столбцов по характерным запросам ( например "день недели", "число", "месяц") и загнать всё в память.

То есть просто по прямому УРЛ обращаешься к файлу с соответствующим именем...

Угу. Так и хочется добавить в имя ../../../ и выйти на новый уровень.

[orleanz.livejournal.com]

" Угу. Так и хочется добавить в имя ../../../ и выйти на новый уровень.

nginx не позволит, там прописана публичная папка, и за ее пределы хрен выйдешь

[vit-r.livejournal.com]

http://www.saintcorporation.com/cgi-bin/demo_tut.pl?tutorial_name=nginx_HTTP_vulnerabilities.html
;-)

[orleanz.livejournal.com]

предложенный тобой "вариат взлома" не имеет никакого отношения описанной задаче, он "ломает" вообще любой вебсервер, не важно с базой или без базы.

то что вебсервера имеют статические папки - это абсолютный стандарт современного веба. В этих папках лежат ресурсы, которые должны быть бысто отдаваться клиенту и которые не содержат секрета, потому что они и так видны в браузере (в частности, картинки, стили и джаваскрипты).

если ты научился ломать защиту nginx или апача предложенным образом - поздравляю, ты сломал 99% всех вебсайтов мира.

иными словами, это как сказать - ваш вебсервере работает на виндоус или юникс ? а вот список серьюрити проблем этих ОС, ай-ай-ай. Возникает законный вопрос -ок, виндоус и юникс низзя для сервера, а что МОЖНО? Мейнфрейм ? Ну, ок.

[vit-r.livejournal.com]

Есть правило: для безопасности запрещено должно быть всё, что не разрешено. В этом смысле любой доступ к чему-то на диске - зло.

[orleanz.livejournal.com]

то есть если на вебсайте CIA (ЦРУ) показан логотип этой организации, который отдается вебсервером через статическую папку, как это обычно бывает с картинками - это потому, что ЦРУ не знает как организовать безопасность?

[vit-r.livejournal.com]

ЦРУ - это государственная контора. Там чиновники. Фиг знает, как и у кого одни заказывали веб-страницу.

[Сергей Монахов (from livejournal.com)]

БД быстрее. Открытие файла с диска это очень медленно.

[orleanz.livejournal.com]

а БД сама типа не открывает файл, а волшебно знает его содержимое сама по себе?

[Сергей Монахов (from livejournal.com)]

А он у нее уже открыт, вопрос позиционирования курсора в нем). А даже если и открывать - потом все закешируется с некой вероятностью.
Я в свое время одно приложение (PHP) переводил с файлов на БД - разница по скорости в десятки раз.

[imfromjasenevo.livejournal.com]

для php возможно это так, но если что-то более вменяемое, то очень сомнительный результат БД пользуется файловой системой так или иначе, т.е. сразу писать в файл быстрей.

[p-a-s-h-a.livejournal.com]

БД строит в памяти хитрейшим образом организованные кэши. Чем навороченнее БД тем БД-шные кэши хитрее. Также достаточно навороченная БД организует запись в файлы (своего, внутреннего формата) так, чтобы не мешала фрагментация файлов, или чтобы фрагментации файлов вообще не было

[p-a-s-h-a.livejournal.com]

Может зависеть от количества одновременных обращений. При массовом обращении БД быстрее. При небольшом количестве может быть быстрее файловая система. Также ускорить могут навешанные сверху стандартных файловосистемных и БД-шных дополнительные кэшировщики...
Или умный админ, который заточит БД под идеальное кэширование :)

[sab123.livejournal.com]

Я думаю файлы будут гораздо быстрее. БД - очень медленная штука.