Какая база данных для поискового робота и как использовать MySQL в распределенной среде?

Какой механизм базы данных я должен использовать для поискового робота, InnoDB или MYiSAM? У меня два компьютера, каждый с жесткими дисками по 1 ТБ. Если один из них заполняется, я бы хотел, чтобы он автоматически сохранялся на другом ПК, но считанные данные должны поступать на правильный компьютер; как это сделать?


person Jesvin    schedule 17.08.2010    source источник
comment
Этот предыдущий вопрос может помочь вам stackoverflow.com/questions/1381186/fulltext- поиск с innodb   -  person Jaydee    schedule 19.08.2010


Ответы (2)


Что касается первой части вашего вопроса, это скорее зависит от вашей точной реализации. Если у вас будет один сканер, ограниченный пропускной способностью сети, то MYiSAM может быть быстрее. Если вы используете несколько поисковых роботов, InnoDB предоставит вам такие преимущества, как транзакции, которые могут помочь.

AFAIK MySQL не поддерживает предлагаемую вами конфигурацию оборудования. Если вам нужно большое хранилище, вы можете взглянуть на MySQL Cluster.

person Jaydee    schedule 17.08.2010
comment
Я использую многопоточное программирование, используя 2 системы для сканирования, в этом случае это хорошо MyISAM? Как мы можем выполнить полнотекстовый поиск в InnoDB? - person Jesvin; 17.08.2010

MyISAM - это первый выбор, потому что у вас будут только операции записи, а поисковые роботы - даже запущенные параллельно - будут настроены - я полагаю - для сканирования разных доменов / URL-адресов. Таким образом, вам не нужно заботиться о конфликтах доступа.

При записи большого количества данных, особенно текста !, в Mysql избегайте транзакций, индексов и т. Д., Потому что это резко замедлит работу MySQL.

person Skarab    schedule 19.08.2010