Sim, é possível. Para isto você vai usar uma biblioteca como iText ou PDFBox por exemplo.
O problema é que nem todo PDF é gerado igual, e há situações nas quais texto é armazenado como imagem.
Aproveitando o tópico, neste link ( <!-- m --><a class="postlink" href="http://java-source.net/open-source/pdf-libraries">http://java-source.net/open-source/pdf-libraries</a><!-- m --> ) você pode ver diversas opções de bibliotecas para você se divertir. <!-- s:) --><img src="{SMILIES_PATH}/icon_smile.gif" alt=":)" title="Smile" /><!-- s:) -->