剑庭安
首页
黑客安全首页全部安全栏目 黑客技术黑客技术、渗透测试、漏洞利用工具与教程 安全软件安全工具、扫描器、检测与审计软件 病毒分析恶意软件分析、样本、逆向与沙箱 CTF思路CTF 题目、writeup、解题思路与工具 防护思路防御技术、加固、检测响应与蓝队 红蓝攻防红队攻击模拟、蓝队对抗、攻防演练 漏洞知识库漏洞、CVE、PoC、EXP 与安全研究
逆向|反编译
PHP源码PHP 网站源码、程序、系统 APP源码安卓/iOS APP 源码 ASP源码ASP 网站源码与程序 NET源码.NET 网站源码与系统 小程序源码微信/支付宝小程序源码 Dedecms风格模板Dedecms 织梦风格模板 Empirecms风格模板EmpireCMS 帝国风格模板 Discuz商业模板/插件Discuz 商业模板与插件 WordPress主题/插件WordPress 主题与插件 其它源码、模板其它各类源码与模板 游戏源码游戏源码与引擎项目 加密货币源码加密货币、区块链、钱包、USDT/比特币相关源码与工具 手游源码手机游戏源码、服务端、客户端与引擎项目 传奇源码热血传奇、传奇世界、复古传奇等客户端/服务端/引擎源码 页游源码网页游戏、H5 游戏、浏览器游戏源码 端游源码电脑单机游戏、PC 网游客户端/服务端源码
最新万能免驱动支持所有型号打印机下载程序 日历天气老黄历 · 每天同步真实日期与天气
站长工具站长工具 自助开通会员浏览该分类 其他资源qtziy SEO工具SEO工具 站群源码站群源码 泛程序泛程序 蜘蛛模板蜘蛛模板 蜘蛛池蜘蛛池 外链工具外链工具
搜索 自助开通会员🔓 破甲 API
登录 注册
首页 分类列表 病毒分析 blackweb - Domains Blacklist…
blackweb - Domains Blacklist for Squid-Cache 病毒分析 点击放大
作者:admin 发布:2026-10-05

blackweb - Domains Blacklist for Squid-Cache

项目说明BlackWeb![status-maintained]()![last commit]()![Stargazers]()![Twitter Follow]()<!-- markdownlint-disable MD033 --><table width="100…
资源可下载 免费下载 0 条讨论
会员资源
开通会员后即可下载全部资源。
登录后开通会员
会员方案
333浏览量
0讨论
2下载链接
可下载资源状态
内容可验证
更新 2026-10-05
人工审核发布
评论区答疑

blackweb - Domains Blacklist for Squid-Cache

项目说明

BlackWeb

![status-maintained]()
![last commit]()
![Stargazers]()
![Twitter Follow]()

<!-- markdownlint-disable MD033 -->

<table width="100%">
<tr>
<td style="width: 50%; : top;">
<b>BlackWeb</b> is a project that collects and unifies public blocklists of domains (porn, downloads, drugs, malware, spyware, trackers, bots, social networks, warez, weapons, etc.) to make them compatible with <a href=" target="_blank">Squid-Cache</a>.
</td>
<td style="width: 50%; : top;">
<b>BlackWeb</b> es un proyecto que recopila y unifica listas públicas de bloqueo de dominios (porno, descargas, drogas, malware, spyware, trackers, bots, redes sociales, warez, armas, etc.) para hacerlas compatibles con <a href=" target="_blank">Squid-Cache</a>.
</td>
</tr>
</table>

REQUIREMENTS

---

  • squid (or squid-openssl) (for Squid Rule)
  • REPOSITORY STRUCTURE

    ---

    DATA SHEET

    ---

    | ACL | Blocked Domains | File Size |
    | :---: | :---: | :---: |
    | blackweb.txt | 7963236 | 194,5 MB |

    GIT CLONE

    ---

    HOW TO USE

    ---

    <table width="100%">
    <tr>
    <td style="width: 50%; : top;">
    <code>blackweb.txt</code> is already updated and optimized for <a href=" target="_blank">Squid-Cache</a>. Download it and unzip it in the path of your preference and activate the <b>BlackWeb Rule for Squid-Cache</b>.
    </td>
    <td style="width: 50%; : top;">
    <code>blackweb.txt</code> ya viene actualizada y optimizada para <a href=" target="_blank">Squid-Cache</a>. Descárguela y descomprímala en la ruta de su preferencia y active la <b>BlackWeb Rule for Squid-Cache</b>.
    </td>
    </tr>
    </table>

    Download

    #### If Multiparts Exist

    Checksum

    BlackWeb Rule for Squid-Cache

    ---

    <table width="100%">
    <tr>
    <td style="width: 50%; : top;">
    Edit:
    </td>
    <td style="width: 50%; : top;">
    Edite:
    </td>
    </tr>
    </table>

    <table width="100%">
    <tr>
    <td style="width: 50%; : top;">
    And add the following lines:
    </td>
    <td style="width: 50%; : top;">
    Y agregue las siguientes líneas:
    </td>
    </tr>
    </table>

    #### Ad Rules

    <table width="100%">
    <tr>
    <td style="width: 50%; : top;">
    BlackWeb contains millions of domains, therefore it is recommended:
    </td>
    <td style="width: 50%; : top;">
    BlackWeb contiene millones de dominios, por tanto se recomienda:
    </td>
    </tr>
    </table>

    ##### Allow Rule for Domains

    <table width="100%">
    <tr>
    <td style="width: 50%; : top;">
    Use <code>allowdomains.txt</code> to exclude essential domains or subdomains, such as <code>.accounts.google.com</code>, <code>.yahoo.com</code> or <code>.github.com</code>. <br>
    <br>
    According to <a href=" target="_blank">Squid's documentation</a>, Google may use the subdomains <code>accounts.google.com</code> and <code>accounts.youtube.com</code> for authentication within its ecosystem. Blocking them could disrupt access to services such as Gmail, Drive and Docs.
    </td>
    <td style="width: 50%; : top;">
    Use <code>allowdomains.txt</code> para excluir dominios o subdominios esenciales, como <code>.accounts.google.com</code>, <code>.yahoo.com</code> o <code>.github.com</code>. <br>
    <br>
    Según la <a href=" target="_blank">documentación de Squid</a>, Google puede utilizar los subdominios <code>accounts.google.com</code> y <code>accounts.youtube.com</code> para la autenticación dentro de su ecosistema. Bloquearlos podría interrumpir el acceso a ser como Gmail, Drive y Docs.
    </td>
    </tr>
    </table>

    ##### Block Rule for Domains

    <table width="100%">
    <tr>
    <td style="width: 50%; : top;">
    Use <code>blockdomains.txt</code> to block any other domain not included in <code>blackweb.txt</code>
    </td>
    <td style="width: 50%; : top;">
    Utilice <code>blockdomains.txt</code> para bloquear cualquier otro dominio no incluido en <code>blackweb.txt</code>
    </td>
    </tr>
    </table>

    ##### Block Rule for gTLD, sTLD, ccTLD, etc

    <table width="100%">
    <tr>
    <td style="width: 50%; : top;">
    Use <code>blocktlds.txt</code> to block gTLD, sTLD, ccTLD, etc.
    </td>
    <td style="width: 50%; : top;">
    Use <code>blocktlds.txt</code> para bloquear gTLD, sTLD, ccTLD, etc.
    </td>
    </tr>
    </table>

    Input:

    Output:

    ##### Block Rule for Punycode

    <table width="100%">
    <tr>
    <td style="width: 50%; : top;">
    Use this rule to block <a href=" target="_blank">Punycode - RFC3492</a>, IDN | Non-ASCII (TLDs or Domains), to prevent an <a href=" target="_blank">IDN homograph attack</a>. For more information visit <a href=" target="_blank">weli: Homograph attacks</a>.
    </td>
    <td style="width: 50%; : top;">
    Usar esta regla para bloquear <a href=" target="_blank">Punycode - RFC3492</a>, IDN | Non-ASCII (TLDs o Dominios), para prevenir un <a href=" target="_blank">ataque homógrafo IDN</a>. Para mayor información <a href=" target="_blank">weli: Ataques homográficos</a>.
    </td>
    </tr>
    </table>

    Input:

    ASCII Output:

    ##### Block Rule for Patterns

    <table width="100%">
    <tr>
    <td style="width: 50%; : top;">
    Use this rule to block patterns (Optional. Can generate false positives).
    </td>
    <td style="width: 50%; : top;">
    Use esta regla para bloquear patrones (Opcional. Puede generar falsos positivos).
    </td>
    </tr>
    </table>

    Input:

    Output:

    ##### Streaming (Optional)

    <table width="100%">
    <tr>
    <td style="width: 50%; : top;">
    Use <code>streaming.txt</code> to block (or allow) streaming domains not included in <code>blackweb.txt</code> (for example: <code>.youtube.com</code>, <code>.googlevideo.com</code>, <code>.ytimg.com</code>, etc.).
    </td>
    <td style="width: 50%; : top;">
    Utilice <code>streaming.txt</code> para bloquear (o permitir) dominios de streaming no incluidos en <code>blackweb.txt</code> (por ejemplo: <code>.youtube.com</code>, <code>.googlevideo.com</code>, <code>.ytimg.com</code>, etc.).
    </td>
    </tr>
    </table>

    <table width="100%">
    <tr>
    <td style="width: 50%; : top;">
    <b>Note:</b> This list may contain o domains. It is important to manually clean it according to the proposed objecti:
    <ul>
    <li>If your goal is to block Facebook, keep the primary domains and remo subdomains.</li>
    <li>If your goal is to block features, like Facebook streaming, keep the specific subdomains and remove the primary domains to avoid impacting o site access. Example:</li>
    </ul>
    </td>
    <td style="width: 50%; : top;">
    <b>Nota:</b> Esta lista puede contener dominios superpuestos. Es importante depurarla manualmente según el objeti. Ejemplo:
    <ul>
    <li>Si el objetivo es bloquear Facebook, conserva los dominios principales y elimina los subdominios específicos.</li>
    <li>Si el objetivo es bloquear funcionalidades, como el streaming de Facebook, mantén los subdominios específicos y elimina los dominios principales para no afectar el acceso general al sitio. Ejemplo:</li>
    </ul>
    </td>
    </tr>
    </table>

    ##### AI (Optional)

    <table width="100%">
    <tr>
    <td style="width: 50%; : top;">
    Use <code>ai.txt</code> to block (or allow) domains related to artificial intelligence AI.
    </td>
    <td style="width: 50%; : top;">
    Utilice <code>ai.txt</code> para bloquear (o permitir) dominios relacionados con inteligencia artificial IA.
    </td>
    </tr>
    </table>

    #### Ad Rules Summary

    BLACKWEB UPDATE

    ---

    ⚠️ WARNING: BEFORE YOU CONTINUE

    <table width="100%">
    <tr>
    <td style="width: 50%; : top;">
    This section is only to explain how the update and optimization process works. It is not necessary for the user to run it. This process can take time and consume a lot of hardware and bandwidth resources, therefore it is recommended to use test equipment.
    </td>
    <td style="width: 50%; : top;">
    Esta sección es únicamente para explicar cómo funciona el proceso de actualización y optimización. No es necesario que el usuario la ejecute. Este proceso puede tardar y consumir muchos recursos de hardware y ancho de banda, por tanto se recomienda usar equipos de pruebas.
    </td>
    </tr>
    <tr>
    <td style="width: 50%; : top;">
    <b>Note:</b> <code>bwupdate.sh</code> tested on Ubuntu 24.04/26.04 LTS. Use on other or distributions is at your own risk.
    </td>
    <td style="width: 50%; : top;">
    <b>Nota:</b> <code>bwupdate.sh</code> ha sido probado en Ubuntu 24.04/26.04 LTS. Su uso en otras o distribuciones queda bajo su propio riesgo.
    </td>
    </tr>
    </table>

    Dependencies (for bwupdate.sh)

  • Python 3.x, Bash 5.x

  • wget, curl, tar, gzip, idn2, squid (or squid-openssl), python3, bind9-host, findutils, grep, sed, coreutils, util-linux, file, libc-bin, sudo

  • Python module: requests (required by domfilter.py)
  • #### Bash Update

    <table width="100%">
    <tr>
    <td style="width: 50%; : top;">
    The update process of <code>blackweb.txt</code> consists of several steps and is executed in sequence by the script <code>bwupdate.sh</code>. The script will request pri when required.
    </td>
    <td style="width: 50%; : top;">
    El proceso de actualización de <code>blackweb.txt</code> consta de pasos y es ejecutado en secuencia por el script <code>bwupdate.sh</code>. El script solicitará pri cuando lo requiera.
    </td>
    </tr>
    </table>

    <table width="100%">
    <tr>
    <td style="width: 50%; : top;">
    Make sure your Squid is installed correctly. If you have any problems, run the following script: (<code>sudo ./squid_install.sh</code>):
    </td>
    <td style="width: 50%; : top;">
    Asegúrese de que Squid esté instalado correctamente. Si tiene algún problema, ejecute el siguiente script: (<code>sudo ./squid_install.sh</code>):
    </td>
    </tr>
    </table>

    #### Capture Public Blocklists

    <table width="100%">
    <tr>
    <td style="width: 50%; : top;">
    Capture domains from downloaded public blocklists (see <b>SOURCES</b>) and unify them in a single file.
    </td>
    <td style="width: 50%; : top;">
    Captura los dominios de las listas de bloqueo públicas descargadas (ver <b>SOURCES</b>) y las unifica en un solo archivo.
    </td>
    </tr>
    </table>

    #### Domains Debugging

    <table width="100%">
    <tr>
    <td style="width: 50%; : top;">
    Remo domains (<code>'.sub.example.com' is a subdomain of '.example.com'</code>), does homologation to Squid-Cache format and excludes false positives (google, hotmail, yahoo, etc.) with an allowlist (<code>debugwl.txt</code>).
    </td>
    <td style="width: 50%; : top;">
    Elimina dominios superpuestos (<code>'.sub.example.com' es un dominio de '.example.com'</code>), hace la homologación al formato de Squid-Cache y excluye falsos positivos (google, hotmail, yahoo, etc.) con una lista de permitidos (<code>debugwl.txt</code>).
    </td>
    </tr>
    </table>

    Input:

    Output:

    #### TLD

    <table width="100%">
    <tr>
    <td style="width: 50%; : top;">
    Remo with invalid TLDs (with a list of Public and Private Suffix TLDs: ccTLD, ccSLD, sTLD, uTLD, gSLD, gTLD, eTLD, etc., up to 4th level 4LDs).
    </td>
    <td style="width: 50%; : top;">
    Elimina dominios con TLD in (con una lista de TLDs Public and Private Suffix: ccTLD, ccSLD, sTLD, uTLD, gSLD, gTLD, eTLD, etc., hasta 4to nivel 4LDs).
    </td>
    </tr>
    </table>

    Input:

    Output:

    #### Debugging Punycode-IDN

    <table width="100%">
    <tr>
    <td style="width: 50%; : top;">
    Remo longer than 63 characters, as defined in <a href=" target="_blank">RFC 1035</a>, and other characters not admitted by <a href=" target="_blank">IDN</a>. <br>
    <br>
    It also converts domains with international, non-ASCII characters, used for <a href=" target="_blank">homograph attacks</a>, to the <a href=" target="_blank">Punycode/IDNA</a> format.
    </td>
    <td style="width: 50%; : top;">
    Elimina hostnames de más de 63 caracteres, según define el <a href=" target="_blank">RFC 1035</a>, y otros caracteres no admitidos por <a href=" target="_blank">IDN</a>. <br>
    <br>
    También con los dominios con caracteres internacionales, no ASCII, usados para <a href=" target="_blank">ataques homográficos</a>, al formato <a href=" target="_blank">Punycode/IDNA</a>.
    </td>
    </tr>
    </table>

    Input:

    Output:

    #### Debugging non-ASCII characters

    <table width="100%">
    <tr>
    <td style="width: 50%; : top;">
    Remo with invalid encoding, non-printable characters, whitespace, disallowed symbols, and any content that does not conform to the strict ASCII format for valid domain names (CP1252, ISO-8859-1, corrupted UTF-8, etc.). Converts the output to plain text with <code>charset=us-ascii</code>, ensuring a clean, standardized list ready for , comparison, or DNS resolution:
    </td>
    <td style="width: 50%; : top;">
    Elimina entradas con codificación incorrecta, caracteres no imprimibles, espacios en blanco, símbolos no permitidos y cualquier contenido que no se ajuste al formato ASCII estricto para nombres de dominio (CP1252, ISO-8859-1, UTF-8 corrupto, etc.) y con la salida a texto sin formato <code>charset=us-ascii</code>, lo que garantiza una lista limpia y estandarizada, lista para ón, comparación o resolución DNS:
    </td>
    </tr>
    </table>

    Input:

    Output:

    #### DNS Lookup

    <table width="100%">
    <tr>
    <td style="width: 50%; : top;">
    Most of the <b>SOURCES</b> contain millions of invalid or nonexistent domains, so each domain is double-checked via DNS (in 2 steps) to exclude those entries from Blackweb. This process is performed in parallel and can be resource-intensi on your hardware and network conditions. You can control concurrency with the <code>PROCS</code> :
    </td>
    <td style="width: 50%; : top;">
    La mayoría de las <b>SOURCES</b> contienen millones de dominios in o inexistentes, por lo que cada dominio se mediante DNS (en dos pasos) para excluir esas entradas de Blackweb. Este proceso se realiza en paralelo y puede consumir muchos recursos, dependiendo del hardware y las condiciones de la red. Puede controlar la concurrencia con la <code>PROCS</code>:
    </td>
    </tr>
    </table>

    <table width="100%">
    <tr>
    <td style="width: 50%; : top;">
    For example, on a system with a Core i5 CPU (4 physical cores / 8 threads with Hyper-Threading):
    </td>
    <td style="width: 50%; : top;">
    Por ejemplo, en un sistema con una CPU Core i5 (4 núcleos físicos/8 subprocesos con Hyper-Threading):
    </td>
    </tr>
    </table>

    <table width="100%">
    <tr>
    <td style="width: 50%; : top;">
    <b>⚠️ Warning:</b> High <code>PROCS</code> increase DNS resolution speed but may saturate your CPU or bandwidth, especially on limited networks like satellite links. Adjust accordingly. Real-time processing example:
    </td>
    <td style="width: 50%; : top;">
    <b>⚠️ Ad:</b> Los altos de <code>PROCS</code> aumentan la de resolución del DNS, pero pueden saturar la CPU o el ancho de banda, especialmente en redes limitadas como enlaces satelitales. Ajuste el sistema según corresponda. Ejemplo de procesamiento en tiempo real:
    </td>
    </tr>
    </table>

    Output (manual run):

    #### Excludes go TLDs

    <table width="100%">
    <tr>
    <td style="width: 50%; : top;">
    Remo domains (.gov) and other related TLDs from BlackWeb.
    </td>
    <td style="width: 50%; : top;">
    Elimina de BlackWeb los dominios de gobierno (.gov) y otros TLD relacionados.
    </td>
    </tr>
    </table>

    Input:

    Output:

    #### Run Squid-Cache with BlackWeb

    <table width="100%">
    <tr>
    <td style="width: 50%; : top;">
    Run Squid-Cache with BlackWeb and any error sends it to <code>SquidErrors.txt</code>.
    </td>
    <td style="width: 50%; : top;">
    Corre Squid-Cache con BlackWeb y cualquier error lo envía a <code>SquidErrors.txt</code>.
    </td>
    </tr>
    </table>

    #### Log

    <table width="100%">
    <tr>
    <td style="width: 50%; : top;">
    Both <code>bwupdate.sh</code> and <code>checksources.sh</code> generate a log file (<code>bwupdate.log</code> / <code>checksources.log</code>) in the same directory as the script itself.
    </td>
    <td style="width: 50%; : top;">
    <code>bwupdate.sh</code> y <code>checksources.sh</code> generan un archivo de log (<code>bwupdate.log</code> / <code>checksources.log</code>) en el mismo directorio donde reside el script.
    </td>
    </tr>
    </table>

    #### Download Status

    | Tag | Shows | English | Español |
    |---|---|---|---|
    | SAVED: | File name | The transfer completed and the file was written | La transferencia terminó completa y el archivo quedó escrito |
    | PARTIAL: | Full URL | The download started and was cut off before finishing | La descarga arrancó y se cortó antes de terminar |
    | BUSY: | Full URL | The ser 5xx: it is up but not serving the list right now | El servidor respondió 5xx: está activo pero no sirve la lista en ese momento |
    | TIMEOUT: | Full URL | The server did not answer at all | El servidor no respondió nada |
    | BROKEN: | Full URL | The ser 404 or 410: broken or nonexistent URL | El servidor respondió 404 o 410: URL rota o inexistente |

    #### Important about BlackWeb Update

    <table width="100%">
    <tr>
    <td style="width: 50%; : top;">
    <ul>
    <li>The default path of BlackWeb is <code>/etc/acl</code>. You can change it for your preference.</li>
    <li>If you need to interrupt the execution of <code>bwupdate.sh</code> (ctrl + c) and it stopped at the <b>DNS Lookup</b> part, it will restart at that point. If you stop it earlier, you will have to start from the beginning or modify the script manually so that it starts from the desired point.</li>
    <li>If you use <code>aufs</code>, temporarily change it to <code>ufs</code> during the upgrade, to avoid: <code>ERROR: Can't change type of existing cache_dir aufs //squid to ufs. Restart required</code>.</li>
    <li><code>bwupdate.sh</code> intentionally uses <code>--no-check-certificate</code> (wget) and <code>-k</code> (curl). Several public blocklist sources ha/SSL issues that block the download when strict is enabled. This is a deliberate design choice, not an o .</li>
    </ul>
    </td>
    <td style="width: 50%; : top;">
    <ul>
    <li>El path por default de BlackWeb es <code>/etc/acl</code>. Puede cambiarlo por el de su preferencia.</li>
    <li>Si necesita interrumpir la ejecución de <code>bwupdate.sh</code> (ctrl + c) y se detuvo en la parte de <b>DNS Lookup</b>, reiniciará en ese punto. Si lo detiene antes deberá comenzar desde el principio o modificar el script manualmente para que inicie desde el punto deseado.</li>
    <li>Si usa <code>aufs</code>, cámbielo temporalmente a <code>ufs</code> durante la actualización, para evitar: <code>ERROR: Can't change type of existing cache_dir aufs //squid to ufs. Restart required</code>.</li>
    <li><code>bwupdate.sh</code> usa intencionalmente <code>--no-check-certificate</code> (wget) y <code>-k</code> (curl). fuentes públicas de listas de bloqueo tienen problemas de certificado/SSL que impiden la descarga si se activa la ón estricta. Es una decisión de diseño deliberada, no una pasada por alto.</li>
    </ul>
    </td>
    </tr>
    </table>

    SOURCES

    ---

    BLOCKLISTS

  • ABPindo - indonesianadblockrules

  • abuse.ch - hostfile

  • Adaway - host

  • adblockplus - ad Russian

  • adblockplus - antiadblockfilters

  • adblockplus - easylistchina

  • adblockplus - easylistlithuania

  • anudeepND - adservers

  • anudeepND - coinminer

  • AssoEchap - stalkerware-indicators

  • azet12 - KADhosts

  • BarbBlock - blacklists

  • BBcan177 - minerchk

  • BBcan177 - MS-2

  • BBcan177 - referrer-spam-blacklist

  • betterwebleon - slo

  • bigdargon - hostsVN

  • BlackJack8 - iOSAdblockList

  • BlackJack8 - webannoyances

  • blocklistproject - e

  • chadmayfield - porn top

  • chadmayfield - porn_all

  • chainapsis - phishing-block-list

  • cjx82630 - Chinese CJX's Annoyance List

  • cobaltdisco - Google-Chinese-Results-Blocklist

  • CriticalPathSecurity - Public-Intelligence-Feeds

  • DandelionSprout - adfilt

  • Dawsey21 - adblock-list

  • Dawsey21 - main-blacklist

  • de - ads-and-tracking-extended

  • Disconnect.me - simple_ad

  • Disconnect.me - simple_mal

  • Disconnect.me - simple_tracking

  • Eallion - uBlacklist

  • EasyList - EasyListHebrew

  • ethanr - dns-blacklists

  • fabriziosalmi - blacklists

  • firebog - AdguardDNS

  • firebog - Admiral

  • firebog - Easylist

  • firebog - Easyprivacy

  • firebog - Kowabit

  • firebog - neohostsbasic

  • firebog - Prigent-Ads

  • firebog - Prigent-Crypto

  • firebog - Prigent-Malware

  • firebog - RPiList-Malware

  • firebog - RPiList-Phishing

  • firebog - WaLLy3K

  • frogeye - firstparty-trackers-hosts

  • gardar - Icelandic ABP List

  • greatis - Anti-WebMiner

  • hagezi - dns-blocklists

  • hexxium - threat-list/

  • hoshsadiq - adblock-nocoin-list

  • jawz101 - potentialTrackers

  • jdlingyu - ad-wars

  • kaabir - AdBlock_Hosts

  • kevle1 - Windows-Telemetry-Blocklist - xiaomiblock

  • liamja - Prebake Filter Obtrusi Notices

  • malware-filter - URLhaus Malicious URL Blocklist

  • malware-filter.- phishing-filter-hosts

  • Matomo-org - spammers

  • MBThreatIntel - malspam

  • mine.nu - hosts0

  • mitchellkrogza - Badd-Boyz-Hosts

  • mitchellkrogza - hacked-domains

  • mitchellkrogza - nginx-ultimate-bad-bot-blocker

  • mitchellkrogza - strip_domains

  • molinero - hBlock

  • NanoAdblocker - NanoFilters

  • neodevpro - neodevhost

  • notracking - hosts-blocklists

  • Oleksiig - Squid-BlackList

  • openphish - feed

  • pengelana - domains blocklist

  • phishing.army - phishing_army_blocklist_extended

  • piperun - iploggerfilter

  • quidsup - notrack-blocklists

  • quidsup - notrack-malware

  • reddestdream - MinimalHostsBlocker

  • RooneyMcNibNug - pihole-stuff

  • Rpsl - adblock-leadgenerator-list

  • ruvelro - Halt-and-Block-Mining

  • ryanbr - fanboy-adblock

  • scamaNet - blocklist

  • ShadowWhisperer - Adult

  • ShadowWhisperer - Cryptocurrency

  • ShadowWhisperer - Dating

  • ShadowWhisperer - Gambling

  • ShadowWhisperer - Malware

  • ShadowWhisperer - Risk

  • ShadowWhisperer - Scam

  • ShadowWhisperer - Shock

  • ShadowWhisperer - Tracking

  • ShadowWhisperer - Typo

  • ShadowWhisperer - UrlShortener

  • simeononsecurity/System-Wide-Windows-Ad-Blocker

  • Someonewhocares - hosts

  • stanev.org - Bulgarian adblock list

  • Ste - add.2o7Net

  • Ste - add.Risk

  • Ste - fakenews-gambling-porn-social

  • Ste - hosts

  • Ste - spam

  • Ste - uncheckyAds

  • Stopforumspam - Toxic Domains

  • sumatipru - squid-blacklist

  • tomasko126 - Easylist Czech and Slo list

  • txthinking - blackwhite

  • txthinking - bypass china domains

  • Ultimate Hosts Blacklist - hosts

  • Unié Toulouse 1 Capitole - Blacklists UT1 - Olbat

  • Unié Toulouse 1 Capitole - Blacklists UT1

  • Winhelp2002 - hosts

  • yourduskquibbles - Web Annoyances Ultralist

  • yous - YousList

  • yoyo - Peter Lowe's Ad and tracking server list

  • zoso - Romanian Adblock List
  • DEBUG LISTS

  • google supported domains

  • iana

  • ip (Partial)

  • publicsuffix

  • Ransomware Database

  • Uni Domains and Names Data List

  • whoisxmlapi
  • SUBPROJECTS

    ---

    <table width="100%">
    <tr>
    <td style="width: 50%; : top;">
    BlackWeb's core is the domain/TLD blocklist (<code>blackweb.txt</code>, <code>bwupdate.sh</code>). The following are related subprojects, each with its own tooling and update flow.
    </td>
    <td style="width: 50%; : top;">
    El núcleo de BlackWeb es la lista de bloqueo de dominios/TLDs (<code>blackweb.txt</code>, <code>bwupdate.sh</code>). Lo siguiente son subproyectos relacionados, cada uno con sus propias herramientas y flujo de actualización.
    </td>
    </tr>
    </table>

    Filter Pack (fpack)

    <table width="100%">
    <tr>
    <td style="width: 50%; : top;">
    <code>fpack/</code> holds ACLs that are <b>optional and not part of BlackWeb's core flow</b> — <code>bwupdate.sh</code> ne it. If interested, download the lists, run <code>fpack.sh</code>, and apply the Squid rules below yourself: ransomware file extensions, malicious User-Agents, and static web3 lists. <code>fpack.sh</code> generates the first two; web3 lists are curated by hand and not touched by the script.
    </td>
    <td style="width: 50%; : top;">
    <code>fpack/</code> contiene ACLs <b>opcionales, fuera del flujo core de BlackWeb</b> — <code>bwupdate.sh</code> nunca lo invoca. Si te interesa, descarga las listas, corre <code>fpack.sh</code>, y aplica tú mismo las reglas de Squid de abajo: extensiones de archivo de ransomware, User-Agents maliciosos y listas web3 estáticas. <code>fpack.sh</code> genera las dos primeras; las listas web3 se curan a mano y el script no las toca.
    </td>
    </tr>
    </table>

    #### Requirements

  • wget, grep, sed, coreutils, util-linux
  • #### Download

    <table width="100%">
    <tr>
    <td style="width: 50%; : top;">
    Either clone the whole BlackWeb repo, or download just the <code>fpack/</code> folder with <code>gitfolder.py</code> (same tool vault subprojects use):
    </td>
    <td style="width: 50%; : top;">
    Clone todo el repo de BlackWeb, o descargue solo la carpeta <code>fpack/</code> con <code>gitfolder.py</code> (la misma herramienta que usan los subproyectos de vault):
    </td>
    </tr>
    </table>

    #### Run

    <table width="100%">
    <tr>
    <td style="width: 50%; : top;">
    <code>fpack.sh</code> only produces Squid ACLs. Run it manually, as a non-root user — it is not scheduled by any installer:
    </td>
    <td style="width: 50%; : top;">
    <code>fpack.sh</code> solo produce ACLs para Squid. Se ejecuta manualmente, como usuario no root — ningún instalador la programa:
    </td>
    </tr>
    </table>

    <table width="100%">
    <tr>
    <td style="width: 50%; : top;">
    Log: <code>fpack.log</code>, generated in <code>fpack/</code>, emptied at the start of every run.
    </td>
    <td style="width: 50%; : top;">
    Log: <code>fpack.log</code>, generado en <code>fpack/</code>, al inicio de cada ejecución.
    </td>
    </tr>
    </table>

    #### Squid Rules

    ---

    Domain Filtering (DoFi)

    <table width="100%">
    <tr>
    <td style="width: 50%; : top;">
    Domain Filtering — remo domains, TLDs, and checks domain existence via DNS. It's a <b>mandatory dependency of <code>bwupdate.sh</code></b> (called internally via <code>domfilter.py</code>; the update aborts if it fails) — but it can also be used as an <b>independent project</b> to process domain lists unrelated to BlackWeb:
    </td>
    <td style="width: 50%; : top;">
    Filtrado de Dominios — elimina dominios superpuestos, TLDs y existencia de dominios vía DNS. Es una <b>dependencia obligatoria de <code>bwupdate.sh</code></b> (se invoca internamente vía <code>domfilter.py</code>; la actualización aborta si falla) — pero también puede usarse como <b>proyecto independiente</b> para procesar listas de dominios ajenas a BlackWeb:
    </td>
    </tr>
    </table>

    #### Requirements

  • Python 3.12.3, Bash 5.2.21

  • python3-requests (required by domfilter.py), bind9-host, findutils, coreutils, util-linux (required by domcheck.sh)
  • #### Download

    #### Domain Filter

    <table width="100%">
    <tr>
    <td style="width: 50%; : top;">
    Ensure the input list has no <code> <code> or <code>www.</code> prefixes. What it does:<br>
    - Downloads public suffix TLDs from multiple sources.<br>
    - Remo or duplicate TLDs.<br>
    - Filters domains to ensure they end with a valid TLD.<br>
    - Remo domains.<br>
    - Excludes duplicates from pre domains.<br>
    - Outputs results to a file.
    </td>
    <td style="width: 50%; : top;">
    Asegúrese de que la lista de entrada no tenga prefijos <code> <code> o <code>www.</code>. Qué hace:<br>
    - Descarga TLD de sufijo público de fuentes.<br>
    - Elimina TLD no o duplicados.<br>
    - Filtra dominios para garantizar que terminen con un TLD válido.<br>
    - Elimina dominios superpuestos.<br>
    - Excluye duplicados de dominios pre .<br>
    - Envía los resultados a un archivo.
    </td>
    </tr>
    </table>

    <table width="100%">
    <tr>
    <td style="width: 50%; : top;">
    Replace <code>mylst.txt</code> with the name of your domain list. By default, output goes to <code>output.txt</code> and remo to <code>removed.txt</code> — customize with:
    </td>
    <td style="width: 50%; : top;">
    Reemplace <code>mylst.txt</code> con el nombre de su lista de dominios. Por defecto, la salida va a <code>output.txt</code> y las líneas eliminadas a <code>removed.txt</code> — personalice con:
    </td>
    </tr>
    </table>

    TLD Includes: ccTLDs, gTLDs, sTLDs, eTLDs, and 4LDs (file: tlds.txt)

    #### Domains Check with Host Command

    <table width="100%">
    <tr>
    <td style="width: 50%; : top;">
    Checks if each domain exists, using the <code>host</code> command, and cleans the input list, separating the output as follows:<br>
    - <code>hit.txt</code>: existing domains from your list.<br>
    - <code>fault.txt</code>: non-existent domains removed.
    </td>
    <td style="width: 50%; : top;">
    si cada dominio existe, con el comando <code>host</code>, y limpia la lista de entrada, separando la salida de la siguiente manera:<br>
    - <code>hit.txt</code>: dominios existentes de su lista.<br>
    - <code>fault.txt</code>: dominios inexistentes eliminados.
    </td>
    </tr>
    </table>

    <table width="100%">
    <tr>
    <td style="width: 50%; : top;">
    Replace <code>my_domain_list.txt</code> with your input list. Optional: replace <code>50</code> with the number of parallel processes (default: <code>nproc × 4</code>):
    </td>
    <td style="width: 50%; : top;">
    Reemplace <code>my_domain_list.txt</code> con su lista de entrada. Opcional: reemplace <code>50</code> con el número de procesos paralelos (por defecto: <code>nproc × 4</code>):
    </td>
    </tr>
    </table>

    #### Sources

  • tlds-alpha-by-domain

  • tldsappx

  • public_suffix_list

  • supported_gtlds
  • BACKLINKS

    ---

  • Awesome Open Source: Blackweb

  • Community IPfire: url filter and self updating blacklists

  • covert.io: Getting Started with DGA Domain Detection Research

  • Crazymax: WindowsSpyBlocker

  • egirna: Allowing/Blocking Websites Using Squid

  • Jason Trost: Getting Started with DGA Domain Detection Research

  • Kandi Openweaver: Domains Blocklist for Squid-Cache

  • Kerry Cordero: Blocklists of Suspected Malicious IPs and URLs

  • Keystone Solutions: blocklists

  • Lifars: Sites with blocklist of malicious IPs and URLs

  • Opensourcelibs: Blackweb

  • OSINT Framework: Domain Name/Domain Blacklists/Blackweb

  • Osintbay: Blackweb

  • Reddit: Blackweb

  • Secrepo: Samples of Security Related Data

  • Segu-Info: Análisis de malware y sitios web en tiempo real

  • Segu-Info: Dominios/TLD dañinos que pueden ser bloqueados para evitar spam y #phishing

  • Soficas: CiberSeguridad - Protección Activa

  • Stacko: Blacklist IP database

  • Wikipedia: Blacklist_(computing)#:~:text=There%20are%20also%20free%20blacklists%20for%20Squid%20(software)%20proxy%2C%20such%20as%20Blackweb>)

  • Xploitlab: Projects using WindowsSpyBlocker

  • Zeltser: Free Blocklists of Suspected Malicious IPs and URLs

  • Zenarmor: How-to-enable-web-filtering-on-OPNsense-proxy?
  • NOTICE

    ---

    <table width="100%">
    <tr>
    <td style="width: 50%; : top;">
    <ul>
    <li>This project includes third-party components.</li>
    <li>Changes must be proposed . Pull Requests are not accepted.</li>
    <li>BlackWeb is designed exclusively for <a href=" target="_blank">Squid-Cache</a>. Because of the large number of blocked domains, it is not recommended in other en, such as DNSMasq or Pi-Hole, nor in the Windows Hosts file, since it could slow them down or crash them. <b>Use it at your own risk</b>. For more information see <a href=" target="_blank">Issue 10</a>.</li>
    <li><b>Blackweb is NOT a blacklist service itself</b>. It does not independently domains. Its purpose is to consolidate and reformat public blacklist sources to make them compatible with Squid.</li>
    <li>If your domain appears in Blackweb and you believe this is an error, review the public sources in <b>SOURCES</b> to identify which list includes it, and contact the maintainer of that list to request its removal. Once the domain is removed from the upstream source, it disappears from Blackweb on the next update. You can also use the following script to perform the same check:</li>
    </ul>
    </td>
    <td style="width: 50%; : top;">
    <ul>
    <li>Este proyecto incluye componentes de terceros.</li>
    <li>Los cambios deben proponerse mediante Issues. No se aceptan Pull Requests.</li>
    <li>BlackWeb está diseñado exclusi para <a href=" target="_blank">Squid-Cache</a>. Debido a la gran cantidad de dominios bloqueados, no se recomienda usarlo en otros entornos, como DNSMasq o Pi-Hole, ni en el archi de Windows, ya que podría ralentizarlos o bloquearlos. <b>Úselo bajo su propio riesgo</b>. Para más información revise el <a href=" target="_blank">Issue 10</a>.</li>
    <li><b>Blackweb NO es un servicio de listas negras como tal</b>. No de forma independiente los dominios. Su función es consolidar y formatear listas negras públicas para hacerlas compatibles con Squid.</li>
    <li>Si su dominio aparece en Blackweb y considera que es un error, revise las fuentes públicas en <b>SOURCES</b> para identificar en cuál lista aparece, y contacte al responsable de esa lista para solicitar su eliminación. Una en la fuente original, el dominio desaparece de Blackweb en la siguiente actualización. También puede usar el siguiente script para hacer la misma comprobación:</li>
    </ul>
    </td>
    </tr>
    </table>

    e.g:

    ACKNOWLEDGMENTS

    ---

    Special thanks to: Jhonatan Sneider

    SPONSOR THIS PROJECT

    ---

    ![Image]()

    PROJECT LICENSES

    ---

    <table width="100%">
    <tr>
    <td style="width: 50%; : top;">
    This project uses a dual-licensing model to balance software freedom with content protection:
    </td>
    <td style="width: 50%; : top;">
    Este proyecto utiliza un modelo de licencia dual para equilibrar la libertad del software con la protección del contenido:
    </td>
    </tr>
    </table>

    | Content | Licensed Under |
    |---|---|
    |Scripts, Binaries, Infrastructure|![GPL-3.0](LICENSE)|
    |RAG, Workers, Specialized Modules, Docs|![CC](docs/LICENSE-CC-BY-NC-ND-4.0.md)|

    DISCLAIMER

    ---

    THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE SOFTWARE.

    OBJECTION

    ---

    <table width="100%">
    <tr>
    <td style="width: 50%; : top;">
    Due to recent arbitrary changes in computer terminology, it is necessary to clarify the meaning and connotation of the term <b>blacklist</b>, associated with this project:
    <br><br>
    <i>In computing, a blacklist, denylist or blocklist is a basic access control mechanism that allows through all elements (email addresses, users, passwords, URLs, IP addresses, domain names, file hashes, etc.), except those explicitly mentioned. Those items on the list are denied access. The opposite is a whitelist, which means only items on the list are let through whatever gate is being used.</i> Source <a href=")" target="_blank">Wikipedia</a>
    <br><br>
    Therefore, <b>blacklist</b>, <b>blocklist</b>, <b>blackweb</b>, <b>blackip</b>, <b>whitelist</b> and similar, are terms that ha to do with racial discrimination.
    </td>
    <td style="width: 50%; : top;">
    Debido a los recientes cambios arbitrarios en la terminología informática, es necesario aclarar el significado y connotación del término <b>blacklist</b>, asociado a este proyecto:
    <br><br>
    <i>En informática, una lista negra, lista de denegación o lista de bloqueo es un mecanismo básico de control de acceso que permite a través de todos los elementos (direcciones de correo electrónico, usuarios, contraseñas, URL, direcciones IP, nombres de dominio, hashes de archivos, etc.), excepto los mencionados explícitamente. Esos elementos en la lista tienen acceso denegado. Lo opuesto es una lista blanca, lo que significa que solo los elementos de la lista pueden pasar por cualquier puerta que se esté utilizando.</i> Fuente <a href=")" target="_blank">Wikipedia</a>
    <br><br>
    Por tanto, <b>blacklist</b>, <b>blocklist</b>, <b>blackweb</b>, <b>blackip</b>, <b>whitelist</b> y similares, son términos que no tienen ninguna relación con la discriminación racial.
    </td>
    </tr>
    </table>

    项目信息

    开发语言:Shell

    Star 数:399

    技术要点

    该项目属于病毒分析方向的开源资源,代码结构清晰,适合安全研究人员学习参考。项目围绕Domains Blacklist for Squid-Cache展开,提供了可运行的实现,对理解相关安全机制、工具原理与攻防技术具有较高的研究价值。

    从技术实现角度看,此类项目的核心在于对底层原理的深入理解与工程化落地。开发者在研究过程中可以结合官方文档与社区讨论,梳理项目的初始化流程、核心模块职责与数据流转,逐步掌握其中的技术细节与设计思路。

    使用与学习建议

    1. 下载源码压缩包,解压到本地环境。

    2. 根据项目类型准备对应的运行环境与依赖。

    3. 按照 README 中的步骤完成配置与部署。

    4. 在隔离的测试环境中运行验证,避免影响生产系统。

    免责声明

    本资源来源于开源社区,仅供安全研究、技术学习与合法授权范围内的攻防演练使用,请勿用于任何非法或侵害他人权益的用途。使用本项目产生的一切后果由使用者自行承担。

    资源标题blackweb - Domains Blacklist for Squid-Cache
    所属分类病毒分析
    发布作者admin
    发布时间2026-10-05 23:20:50
    下载权限 免费下载
    附件数量2 个下载链接
    浏览次数333
    讨论数量0
    主题状态正常讨论中

    本资源免费,登录后即可在本页「下载链接」区域获取全部附件。

    请在评论区留言说明具体链接,或联系作者补档。楼主更新后本页会同步最新的下载地址。

    请先阅读正文中的授权说明;未注明的默认仅限站内学习交流,禁止直接搬运到其他站点二次售卖。
    还没有讨论,快来抢沙发~
    登录 后才能参与讨论
    下载链接
    会员才能下载
    登录后开通会员
    同分类推荐
    暂无同类资源
    免费登录即可下载
    查看会员
    放大预览

    © 2026 剑庭安 - 网站开发定制 SEO 优化蜘蛛池代做 在线看手相算命. 保留所有权利。

    Powered by 酷像SEOv3.0

    网站地图 Sitemap.xml
    首页 全部分类 黑客安全 逆向|反编译 精品源码 站长工具自助开通会员其他资源SEO工具站群源码泛程序蜘蛛模板蜘蛛池外链工具创意乐园 搜索 会员服务 登录 注册