Недавно я начал внедрять solr-cloud на AWS EC2 для поисковых приложений. Я создал 2 экземпляра AWS Ec2 со следующими конфигурациями ---
- Тип EC2 - t2.medium
- оперативная память - 4 ГБ
- Место на диске - 8 ГБ
- ОС - ubuntu 18.04
Для двух экземпляров EC2 я создал группу безопасности, которая разрешает весь входящий трафик. NACL имеет настройки по умолчанию, которые также разрешают весь входящий трафик.
Следующие шаги для установки Apache Solr -
- ssh в ec2:
ssh -i "pem_file" ubuntu@ec2-public-ipv4-address
- cd в каталог / opt
- запустить ->
sudo apt-update
- запустить ->
sudo apt-get openjdk-11
- Проверить java -версию
- запустить ->
wget https://archive.apache.org/dist/lucene/solr/8.3.0/solr-8.3.0.tgz
- запустить ->
tar -xvzf solr-8.3.0.tgz
export SOLR_HOME=/opt/solr-8.3.0
- Добавьте /opt/solr-8.3.0 в переменную среды Path
- Обновите файл sudo vim / etc / hosts, указав хосты - a. общедоступный IP-v4-адрес-из-EC2 Solr-node-1
- Запустил Solr, используя следующую команду ->
sudo bin/solr start -c -p 8983 -h solr-node-1 -force
- Проверял открытые порты с помощью ->
sudo lsof -i -P -n | grep LISTEN
- Создавал коллекции, шарды и реплики с помощью --->
bin/solr create -c travasko -d sample_techproducts_configs -n travasko_configs -shards 2 -rf 2 -p 8983
Я повторил тот же процесс на другом компьютере EC2 и запустил на нем solr. Теперь, чтобы использовать обработчик импорта данных в solr, я отредактировал следующие файлы:
- solrconfig.xml
<requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler">
<lst name="defaults">
<str name="config">data-config.xml</str>
</lst>
</requestHandler>
- данные-config.xml
<dataConfig>
<dataSource type="JdbcDataSource"
driver="com.mysql.jdbc.Driver"
url="jdbc:mysql://examplerds.cuhj86yfdpid.us-east-1.rds.amazonaws.com:3306/TRAVASKODB1"
user="examplerds"
password="examplerds#123"/>
<document>
<entity name="MOMENTS"
pk="MOMENT_ID"
query="SELECT MOMENT_ID,MOMENT_TEXT FROM MOMENTS"
deltaImportQuery="SELECT MOMENT_ID,MOMENT_TEXT FROM MOMENTS WHERE MOMENT_ID='${dih.delta.MOMENT_ID}'"
deltaQuery="SELECT MOMENT_ID FROM MOMENTS WHERE LAST_MODIFIED > '${dih.last_index_time}'"
>
<field column="MOMENT_ID" name="MOMENT_ID"/>
<field column="MOMENT_TEXT" name="MOMENT_TEXT"/>
</entity>
</document>
</dataConfig>
- управляемая_схема
<schema name="MOMENTS" version="1.5">
<field name="_version_" type="long" indexed="true" stored="true"/>
<field name="MOMENT_ID" type="integer" indexed="true" stored="true" required="true" multiValued="false" />
<field name="MOMENT_TEXT" type="string" indexed="true" stored="true" multiValued="false" />
</schema>
- Скачал mysql jdbc, используя следующую команду:
wget -q "http://search.maven.org/remotecontent?filepath=mysql/mysql-connector-java/5.1.32/mysql-connector-java-5.1.32.jar" -O mysql-connector-java.jar
- Добавьте в solrconfig.xml:
<lib dir="${solr.install.dir:../../../..}/dist/" regex="solr-dataimporthandler-.*\.jar" />
<lib dir="${solr.install.dir:../../../..}/dist/" regex="mysql-connector-java.jar" />
- После редактирования файлов выше я загрузил их в solr-cloud, используя следующую команду zookeper ->
bin/solr zk -n travasko_config -z solr-node-1:9983 cp /opt/solr-8.3.0/server/solr/configsets/_default/conf/managed-schema zk:/configs/travasko_config/managed-schema
- Затем я проверил все указанные выше файлы в облаке solr и заметил внесенные мной изменения.
- Текущая проблема заключается в том, что когда я выбираю коллекцию, созданную мной выше, и нажимаю Dataimport, она выдает ошибку, как показано ниже --->
The solrconfig.xml file for this index does not have an operational DataImportHandler defined!
Примечание. Экземпляры AWS RDS и EC2 находятся в одном VPC и имеют одну и ту же группу безопасности.
Так почему же файл solrconfig.xml выдает ошибку при импорте данных? Что мне здесь не хватает?
-c
, конфигурации сохраняются в Zookeeper - см. Использование Zookeeper для управления файлами конфигурации. По сути, вы, вероятно, не сделали свои изменения видимыми для Solr, поскольку они недоступны до загрузки в Zookeeper. Вдобавок - будьте очень осторожны при раскрытии Solr на публичных IP-адресах без дополнительной защиты; он не предназначен для публичного доступа. - person MatsLindh   schedule 07.04.2020zk
команде вы загрузили только управляемую схему? Вы хотите загрузить полный набор конфигураций: stackoverflow.com/questions/50238528/ - person MatsLindh   schedule 07.04.2020