WARNING: abandonware and buggy: use at your own risk Note: I haven’t used this package since many years, and just recently looked at the code: this is scary, buggy and unfinished. Please don’t use it on any production server!
これは、ライブラリの憂慮すべき状態を裏付けています。
代替ライブラリの評価基準と候補
代替ライブラリは、以下の基準に基づいて評価しました。
機能性：基本的なDOM操作（テキスト・属性の取得など）を網羅しているか。
パフォーマンス: 処理速度とメモリ使用量が優れているか。
CSSセレクタのサポート: phpQuery のようにCSSセレクタで直感的に要素を検索できるか。
メンテナンス状況: 活発に開発・保守されているか。
使いやすさ: APIが直感的で、ドキュメントが充実しているか。
これらの評価基準を踏まえ、対象となるPHPライブラリを検討しました。
評価対象として選定したライブラリ
Simple HTML DOM (voku/simple_html_dom): PHPでHTMLを簡単にパース・操作できる軽量で使いやすいライブラリ。
Benchmark Scrape Results:
Library Time (s) Memory (bytes) Content Accuracy URL Accuracy
---------------------------------------------------------------------------------------
phpQuery 1960.323722 46551904 Same Same
SimpleHtmlDom 321.486812 11377960 Same Same
DiDOM 284.750994 13716144 Same Same
SymfonyDom 277.364323 8804352 Same Same
Total sites to test: 4604
...
========================================
CSS SELECTOR TEST RESULTS
========================================
Simple HTML DOM : 222 errors
Symfony Dom Crawler : 222 errors
DiDOM : 642 errors
========================================
テストコード
/**
* CSS Selector compatibility tester for multiple HTML parsing libraries
*/
class ProductionCssSelectorTest
{
private const DATA_FILE = __DIR__ . '/data_test/crawler_site_20250609.json';
private const HTML_FILE = __DIR__ . '/data_test/largeSite.html';
private const ERROR_DIR = __DIR__ . '/errors_css_selector';
private const SCRAPERS = [
'Simple HTML DOM' => '\PRTIMES\Clipping\Platform\Feature\Crawler\Lib\SimpleHtmlDomScraper',
'Symfony Dom Crawler' => '\PRTIMES\Clipping\Platform\Feature\Crawler\Lib\SymfonyDomScraper',
'DiDOM' => '\PRTIMES\Clipping\Platform\Feature\Crawler\Lib\DiDOMScraper'
];
/**
* Run CSS selector tests for all libraries
*/
public function execute(): void
{
$data = json_decode(file_get_contents(self::DATA_FILE), true);
$htmlContent = file_get_contents(self::HTML_FILE);
echo "Starting CSS Selector Test...\n";
echo "Total sites to test: " . count($data) . "\n";
$results = [];
foreach (self::SCRAPERS as $name => $class) {
$errorFile = self::ERROR_DIR . '/' . strtolower(str_replace(' ', '_', $name)) . '_errors.txt';
$this->clearErrorFile($errorFile);
$scraper = new $class($htmlContent);
$results[$name] = $this->testLibrary($scraper, $data, $errorFile, $name);
}
$this->displayResults($results);
}
/**
* Test a scraper library against all sites
*/
private function testLibrary($scraper, array $data, string $errorFile, string $name): int
{
echo "\nTesting {$name}...\n";
$errorCount = 0;
foreach ($data as $site) {
$listSettings = json_decode($site['list_setting'], true);
$detailSettings = json_decode($site['detail_setting'], true);
$siteErrors = 0;
// Test all selectors
$selectors = [
['block', $listSettings['block'] ?? null, $site['full_resource_flag']],
['list_ignore', $listSettings['list_ignore'] ?? null, $site['full_resource_flag']],
['next_page', $listSettings['next_page'] ?? null, $site['full_resource_flag']],
['title', $detailSettings['title'] ?? null, $site['detail_resource_flag']],
['body', $detailSettings['body'] ?? null, $site['detail_resource_flag']],
['detail_ignore', $detailSettings['detail_ignore'] ?? null, $site['detail_resource_flag']],
['all_view', $detailSettings['all_view'] ?? null, $site['detail_resource_flag']],
['writer_tag', $detailSettings['writer_tag'] ?? null, $site['detail_resource_flag']],
['pageing', $detailSettings['pageing'] ?? null, null] // Always test if present
];
foreach ($selectors as [$name, $selector, $flag]) {
if ($this->shouldTest($selector, $flag) && !$this->testSelector($scraper, $selector, $site['id'], $errorFile)) {
$siteErrors++;
}
}
$errorCount += $siteErrors;
echo $siteErrors > 0 ? 'E' : '.';
}
echo "\n";
return $errorCount;
}
/**
* Test a single CSS selector
*/
private function testSelector($scraper, string $selector, int $siteId, string $errorFile): bool
{
try {
$scraper->hasElement($selector);
return true;
} catch (\Exception $e) {
file_put_contents($errorFile, "Site {$siteId}: {$selector} - {$e->getMessage()}\n", FILE_APPEND);
return false;
}
}
/**
* Check if selector should be tested
*/
private function shouldTest(?string $selector, $flag): bool
{
return !empty($selector) && ($flag === null || (int)$flag === 0);
}
/**
* Clear error file
*/
private function clearErrorFile(string $file): void
{
if (file_exists($file)) unlink($file);
}
/**
* Display test results
*/
private function displayResults(array $results): void
{
echo "\n" . str_repeat("=", 40) . "\n";
echo "CSS SELECTOR TEST RESULTS\n";
echo str_repeat("=", 40) . "\n";
foreach ($results as $library => $errors) {
printf("%-20s: %d errors\n", $library, $errors);
}
echo str_repeat("=", 40) . "\n";
}
}
// Suppress deprecated warnings for cleaner output
error_reporting(E_ALL & ~E_DEPRECATED);
// Set memory limit for processing large datasets
ini_set('memory_limit', '2048M');
// Run the benchmark test
(new ProductionCssSelectorTest())->execute();
Symfony Dom Crawler と Simple HTML DOM は、内部で同じ CSS セレクタ変換ライブラリ（symfony/css-selector）を使用しているため、結果は同数でした。一方、DiDOM はサポートしていないセレクタ構文が比較的多く、エラー件数が最も多くなりました。発生したエラーの多くは、無効なCSSセレクターや各ライブラリがサポートしていない特定のCSSセレクタです。以下は各ライブラリーのテスト結果（エラー数）です。
移行計画の第一歩である「ラッパークラスの実装」について、具体的なコード例を見ていきましょう。ここでの目的は、Symfony Dom Crawler の強力な機能を、より使いやすく、再利用可能なメソッドとしてカプセル化（隠蔽）することです。 以下に、記事のテキストコンテンツやURLを抽出するための基本的なメソッドの実装例を示します。
DomManipulatorInterface.php
<?php
declare(strict_types=1);
namespace PRTIMES\Clipping\Platform\Feature\Crawler\Lib;
use DOMElement;
interface DomManipulatorInterface
{
/**
* Find an element matching the given CSS selector.
*
* @param string $selector a CSS selector
* @return DOMElement|null the first element found, or null if no element is found
*/
public function querySelector(string $selector): ?DOMElement;
/**
* Find all elements matching the given CSS selector.
*
* @param string $selector a CSS selector
* @return DOMElement[] an array of elements found
*/
public function querySelectorAll(string $selector): array;
/**
* Remove all elements from DOM matching the given CSS selector.
*
* @param string $selector a CSS selector
* @return void
*/
public function remove(string $selector): void;
/**
* Get text of an element
*
* @param string $selector a CSS selector
* @return string|null
*/
public function getTextContent(string $selector): ?string;
/**
* Get an attribute of an element
*
* @param string $selector a CSS selector
* @param string $attribute the attribute name
* @return string|null the attribute value
*/
public function getAttribute(string $selector, string $attribute): ?string;
}
PHPQueryScrapper.php
<?php
declare(strict_types=1);
namespace PRTIMES\Clipping\Platform\Feature\Crawler\Lib;
require_once __DIR__ . '/../../../../../../class/phpQuery/phpQuery.php';
use DOMElement;
use Exception;
use phpQuery;
use phpQueryObject;
class PHPQueryScraper implements DomManipulatorInterface
{
/**
* @var phpQueryObject
*/
protected $dom;
/**
* PHPQueryScraper constructor.
*
* @param string $html_source The HTML source to be parsed.
* @throws Exception If the HTML source is invalid or cannot be parsed.
*/
public function __construct(string $html_source)
{
// Using `newDocumentHTML` instead of `newDocument` to ensure that the HTML is parsed correctly.
$this->dom = phpQuery::newDocumentHTML($html_source);
}
public function querySelector(string $selector): ?DOMElement
{
$queryResults = $this->dom->find($selector);
if ($queryResults instanceof phpQueryObject && $queryResults->length > 0) {
$element = $queryResults->get(0);
if ($element instanceof DOMElement) {
// Ensure that the element is an instance of DOMElement before adding it to the array
return $element;
}
}
return null;
}
public function querySelectorAll(string $selector): array
{
$queryResults = $this->dom->find($selector);
$elements = [];
if ($queryResults instanceof phpQueryObject && $queryResults->length > 0) {
for ($i = 0; $i < $queryResults->length; $i++) {
$element = $queryResults->get($i);
if ($element instanceof DOMElement) {
// Ensure that the element is an instance of DOMElement before adding it to the array
$elements[] = $element;
}
}
}
return $elements;
}
public function remove(string $selector): void
{
/** @var phpQueryObject $elements */
$elements = $this->dom->find($selector);
if ($elements->length > 0) {
$elements->remove();
}
}
public function getTextContent(string $selector): ?string
{
$element = $this->querySelector($selector);
if ($element === null) {
return null;
}
return $element->textContent;
}
public function getAttribute(string $selector, string $attribute): ?string
{
$element = $this->querySelector($selector);
if (is_null($element)) {
return null;
}
return $element->getAttribute($attribute);
}
}
SymfonyDomManipulator.php
<?php
declare(strict_types=1);
namespace PRTIMES\Clipping\Platform\Feature\Crawler\Lib;
use DOMElement;
use Symfony\Component\DomCrawler\Crawler;
class SymfonyDomManipulator implements DomManipulatorInterface
{
/** @var Crawler */
protected $crawler;
public function __construct(string $htmlSource)
{
$this->crawler = new Crawler($htmlSource);
}
public function querySelector(string $selector): ?DOMElement
{
$node = $this->crawler->filter($selector)->first();
if ($node->count() > 0) {
$element = $node->getNode(0);
if ($element instanceof DOMElement) {
return $element;
}
}
return null;
}
public function querySelectorAll(string $selector): array
{
$nodes = $this->crawler->filter($selector);
$elements = [];
foreach ($nodes as $node) {
if ($node instanceof DOMElement) {
$elements[] = $node;
}
}
return $elements;
}
public function remove(string $selector): void
{
$this->crawler->filter($selector)->each(function (Crawler $node) {
$domNode = $node->getNode(0);
if ($domNode !== null && $domNode->parentNode !== null) {
$domNode->parentNode->removeChild($domNode);
}
});
}
public function getTextContent(string $selector): ?string
{
$node = $this->crawler->filter($selector)->first();
if ($node->count() > 0) {
return $node->text();
}
return null;
}
public function getAttribute(string $selector, string $attribute): ?string
{
$node = $this->crawler->filter($selector)->first();
if ($node->count() > 0) {
$element = $node->getNode(0);
if ($element instanceof DOMElement) {
return $element->getAttribute($attribute);
}
}
return null;
}
}
/**
* Check if the given CSS selector is supported.
*
* @param string $selector The CSS selector to check.
* @return array{
* status: bool,
* message: string
* } An associative array with 'status' indicating support and 'message' providing details.
*/
public static function checkSupport(string $selector): array
{
$converter = new CssSelectorConverter();
try {
// Attempt to convert the CSS selector to XPath to validate its syntax
$converter->toXPath($selector);
return [
'status' => true,
'message' => 'The CSS selector is supported.'
];
} catch (Exception $e) {
// If the selector is not supported, it will throw an exception
return [
'status' => false,
'message' => $e->getMessage()
];
}
}
本記事の要点は、phpQueryという技術的負債を解消し、Symfony DOM Crawlerへ移行した経験の共有です。 このプロジェクトで最も学びが多かったのは、ライブラリの置き換えは「コードを書き換えるだけではない」という点でした。既存の不正データを洗い出して修正し、安全にリリースするためのテスト戦略を立てる。そうした地道な準備こそが、移行を成功に導く鍵だと実感しました。 古い技術を刷新する取り組みは大変ですが、やり遂げた後の達成感は格別です。この経験が、誰かの次の一歩を後押しできれば嬉しく思います。
