プログラミング 【Puppeteer】Attempted to use detached Frame の対応
問題点Puppeteerを利用しているとAttempted to use detached Frameがたまに表示される｡中で起動しているブラウザとnode.jsの通信が切れてしまうと発生する｡※ ECSのコンテナで常時稼働しているみたいな...
Puppeteer
プログラミング 
プログラミング Next.js×Puppeteerでビルドエラーになった話
起こった問題Next.js14でビルドをしようとしたときに､以下のようなエラーが出力されていました｡修正を入れてもいないのに､puppeteer周りでエラーが出力されていた｡エラー内容> next buildFailed to compil...
プログラミング 【Tips】cert9.dbのせいでDocker上のPuppeteerをmitmproxy経由の通信でハマっていた件
キジ(@kiji)です｡タイトルにある通り､Docker上で動かすPuppeteerアプリをmitmproxyを経由させて通信させるときに､ハマったため､メモとして残します｡構造は､以下のようになります｡症状mitmproxyは起動できてい...
プログラミング 第6回 TypeScript×Puppeteerで始めるスクレイピング – キャッシュ
キジ(@kiji)です｡今回はキャッシュについてやっていこうと思います｡前回の内容同様､通信量､速度にも関係してくるお話になります｡前回の記事は以下になります｡本記事でできることスクレイピングでデータなどを集める際に､同じページを何回も行き...
プログラミング 第5回 TypeScript×Puppeteerで始めるスクレイピング – 取得するファイルを絞り込む
キジ(@kiji)です｡今回はスクレイピング時に取得するファイルの種類によって､絞り込みをしたいと思います｡これは､大規模なデータを取得するさいにおいて､大きく力を発揮します｡詳しくは､以下のような効果があります｡通信量の削減処理の高速化特...
プログラミング 第4回 TypeScript×Puppeteerで始めるスクレイピング – キーボード入力
キジ(@kiji) です｡今回はPuppeteerで入力フォームに入力して､検索することをやりたいと思います｡前回の記事はこちらです｡本記事でできること今回もYahooファイナンスを利用します｡検索ボックスに､銘柄コードを入力して､隣りにあ...
プログラミング 第3回 TypeScript×Puppeteerで始めるスクレイピング – 画面遷移
キジです｡前回は株の配当率の表を取得するプログラムを紹介しました｡今回は､順序が逆になりましたがページの表示､画面遷移についてまとめたいと思います｡ソースコードは､前回のものを使います｡各銘柄の詳細ページへ行き､以下のパラメータを取得したい...
プログラミング 第2回 TypeScript×Puppeteerで始めるスクレイピング – データ取得
@kijiです｡TyepScript×Puppeteerで始めるスクレイピングの2回目です！前回の記事は以下になります｡まだやっていない方はこちらで環境構築を行いましょう｡今回は､とあるサイトに接続した後､DOMの情報を読み取り､ログに出力...
プログラミング 第1回 TypeScript×Puppeteerで始めるスクレイピング – 環境構築
キジです｡こんばんわ｡今回は､TypeScriptでスクレイピングをやってみたいと思います｡TypeScriptの環境構築は以下で解説してます｡先に見ていただけるとスムーズに進められると思います｡TypeScirptでスクレイピングをするに...