Google公式のドキュメントより
自動クロールの過程で、Google のクローラは robots.txt ファイルに加えられた変更を検知し、キャッシュに保存されたバージョンを 24 時間おきに更新します。キャッシュをより迅速に更新する必要がある場合は、robots.txt テスターの [送信] 機能を使用してください。
https://developers.google.com/search/docs/advanced/robots/submit-updated-robots-txt?hl=ja
robots.txtの書き方はこちらを参照していただきたい。
https://developers.google.com/search/docs/advanced/robots/create-robots-txt?hl=ja#create_rules
既存のrobots.txtを取得する場合は、curlを使うと便利
$ curl https://example.com/robots.txt -o robots.txt