build

Сборка проекта

Пока предварительно!

Внешние зависимости

• WebHarvest — библиотеки проекта должны располагаться в каталоге common/lib/web-harvest/. Их можно скачать здесь
• Интерфейс JDBC для MySQL — должен располагаться в каталоге common/lib/.
• Библиотеки проекта Apache для доступа к данным. Пока используется эта и эта. Эти библиотеки должны располагаться в каталоге common/lib.
• Модуль по работе с JSON. Должен располагаться в каталоге common/lib.
• Spring Framework. Из архива следует извлечь каталог dist и разместить его содержимое в каталоге common/lib/spring.
• HTTP-сервер Jetty. Содержимое каталога lib/ дистрибутива следует разместить в каталоге common/lib/jetty.
• Библиотека сериализации XStream. Содержимое каталога lib/ дистрибутива следует разместить в каталоге common/lib/xstream.

Важно проследить, что в файле miner/config/config.xml и processing/config/config.xml правильно указаны название базы данных, логин и пароль для доступа, а также правильно настроены параметры сети (использование прокси-сервера).

Для снижения нагрузки на внешние серверы предлагаю использовать кэширующий прокси-сервер SQUID. Пользователи Linux-дистрибутива, основанного на Debian, могут установить его командой

apt-get install squid

Конфигурация по умолчанию вполне подходит для локального использования. Сервер будет слушать порт 3128 на всех интерфейсах.

При использовании прокси-сервера править конфигурационный файл не требуется. В противном случае в каждом из кофигурационны файлов miner/config/config.xml и processing/config/config.xml следует удалить строчку <property name="peoxy" .../>

Организация репозитория

• исходный файлы модуля проекта лежат в каталоге <название модуля>/src/java/,
• скомпилированные файлы классов складываются в каталог <название модуля>/build/classes/,
• готовые модули складываются (в виде JAR-архивов) в каталог common/lib/.