Использование jmh для тестирования кода без создания отдельного проекта maven

Короткий ответ: да.

Я сталкивался с этой компоновкой каталогов в своих проектах (но вы определенно можете ее изменить)

+- src/
   +- main/java   - sources
   +- test/
      +- java        - test sources
      +- perf        - benchmarks

Для этого вам понадобится пара плагинов.

1. build-helper-maven-plugin для прикрепления местоположения пользовательских тестовых источников
   

<execution>
    <id>add-test-source</id>
    <phase>generate-test-sources</phase>
    <goals>
        <goal>add-test-source</goal>
    </goals>
    <configuration>
        <sources>
            <source>src/test/perf</source>
        </sources>
    </configuration>
</execution>

2. maven-compiler-plugin для запуска _ 5_ обработчик аннотаций на test-compile фазе
   

<execution>
    <goals>
        <goal>testCompile</goal>
    </goals>

    <configuration>
        <annotationProcessorPaths>
            <path>
                <groupId>org.openjdk.jmh</groupId>
                <artifactId>jmh-generator-annprocess</artifactId>
                <version>${jmh.version}</version>
            </path>
        </annotationProcessorPaths>
    </configuration>
</execution>

3. maven-assembly-plugin для создания исполняемого jar-файла с тестами
   

<execution>
    <id>make-assembly</id>
    <phase>package</phase>
    <goals>
        <goal>single</goal>
    </goals>
    <configuration>
        <attach>true</attach>
        <archive>
            <manifest>
                <mainClass>org.openjdk.jmh.Main</mainClass>
            </manifest>
        </archive>
    </configuration>
</execution>

<assembly>
    <id>perf-tests</id>
    <formats>
        <format>jar</format>
    </formats>
    <includeBaseDirectory>false</includeBaseDirectory>
    <dependencySets>
        <dependencySet>
            <outputDirectory>/</outputDirectory>
            <useProjectArtifact>true</useProjectArtifact>
            <unpack>true</unpack>
            <scope>test</scope>
        </dependencySet>
    </dependencySets>
    <fileSets>
        <fileSet>
            <directory>${project.build.directory}/test-classes</directory>
            <outputDirectory>/</outputDirectory>
            <includes>
                <include>**/*</include>
            </includes>
            <useDefaultExcludes>true</useDefaultExcludes>
        </fileSet>
    </fileSets>
</assembly>

После этого вы получите исполняемый файл jar с тестами, который можно будет запускать как обычно.

java -jar target/your-project-version-perf-tests.jar

Вы можете увидеть рабочий пример здесь.

ПРИМЕЧАНИЕ

Единственным недостатком этого решения является то, что все тестовые классы и тестовые зависимости также будут включены в jar с тестами, которые определенно раздувают его. Но вы можете избежать этого, собрав тесты в отдельном (кроме ${project.build.directory}/test-classes) каталоге.