Template
1
0
mirror of https://github.com/bol-van/zapret2.git synced 2026-03-21 16:55:49 +00:00

96 Commits

Author SHA1 Message Date
bol-van
7c320c8d57 update docs 2026-01-12 10:13:26 +03:00
bol-van
b18f0770c8 update docs 2026-01-12 10:12:35 +03:00
bol-van
f7fc845014 update docs 2026-01-12 10:11:10 +03:00
bol-van
2c1a885a07 update docs 2026-01-12 10:10:01 +03:00
bol-van
9eb308d84c update docs 2026-01-12 10:09:02 +03:00
bol-van
3e724c3810 update docs 2026-01-12 10:03:35 +03:00
bol-van
c179d55d88 nfqws2: harden wireguard detector 2026-01-12 09:34:56 +03:00
bol-van
3f1af1441e nfqws2: check quit flag outside of EINTR context 2026-01-12 09:08:19 +03:00
bol-van
4c1b2b65f3 nfqws2: gracefully shutdown on SIGINT and SIGTERM 2026-01-11 21:01:18 +03:00
bol-van
918258413f nfqws2: fix tls reasm logic 2026-01-11 19:41:13 +03:00
bol-van
e6206c5a5f nfqws2: fix tls reasm 2026-01-11 18:20:29 +03:00
bol-van
f93c6de772 nfqws2: --payload-disable 2026-01-11 17:25:53 +03:00
bol-van
5a7e2b1ca2 nfqws2: alternative representation of payload filter in execution_plan item 2026-01-11 16:20:45 +03:00
bol-van
ca8104c72a zapret-lib: remove bitable, use barray 2026-01-11 15:36:10 +03:00
bol-van
3aad1f9ed9 nfqws2: optimize ctx userdata 2026-01-11 14:10:42 +03:00
bol-van
fd288d5e7d nfqws2: move ctx from lightuserdata to userdata. prevents crashes on specific ARM cpus 2026-01-11 13:58:31 +03:00
bol-van
349fe3f7d7 update docs 2026-01-11 12:32:44 +03:00
bol-van
4554b7c15b zapret-lib, zapret-antidpi: use numeric indexes in http dissects 2026-01-11 12:29:53 +03:00
bol-van
0b595ae3a8 AI inspired fixes 2026-01-11 11:39:37 +03:00
bol-van
3e69e1b8c1 zapret-lib: bitable 2026-01-11 11:21:12 +03:00
bol-van
02b895910b dvtws2: openbsd compile fix 2026-01-11 11:04:09 +03:00
bol-van
b2a53e9c64 nfqws2: AI inspired fixes 2026-01-11 10:56:24 +03:00
bol-van
a626cfce8a update docs 2026-01-11 09:36:47 +03:00
bol-van
ebcbfc37ba update docs 2026-01-10 20:14:44 +03:00
bol-van
33d3c94b68 update docs 2026-01-10 20:12:45 +03:00
bol-van
d55dbb7717 update docs 2026-01-10 20:05:21 +03:00
bol-van
cb82be9eab update docs 2026-01-10 20:04:01 +03:00
bol-van
024d36acc4 update docs 2026-01-10 20:02:06 +03:00
bol-van
08c6151a4c update docs 2026-01-10 19:56:22 +03:00
bol-van
520317dc3c update docs 2026-01-10 19:24:02 +03:00
bol-van
6bc0bf1b97 AI inspired fixes 2026-01-10 18:54:26 +03:00
bol-van
d18fec9053 update docs 2026-01-10 16:47:40 +03:00
bol-van
e60e5a0578 update docs 2026-01-10 16:46:44 +03:00
bol-van
84576a7039 update docs 2026-01-10 16:44:07 +03:00
bol-van
7957a0a425 update docs 2026-01-10 16:42:58 +03:00
bol-van
7ba4110416 update docs 2026-01-10 16:35:54 +03:00
bol-van
4babaef6a8 update docs 2026-01-10 16:32:54 +03:00
bol-van
872e37d160 update docs 2026-01-10 16:28:48 +03:00
bol-van
a8219f4897 update docs 2026-01-10 16:25:24 +03:00
bol-van
36267b7e9b update docs 2026-01-10 16:22:35 +03:00
bol-van
99a7f06976 eng manual 2026-01-10 15:42:42 +03:00
bol-van
3617b8934f blockcheck2: 23-seqovl fix 2026-01-10 14:58:38 +03:00
bol-van
8e6387a6df config.default add MDIG comments 2026-01-09 13:14:36 +03:00
bol-van
3bc0e8e350 mdig: EAGAIN->EAI_AGAIN help text 2026-01-09 12:38:06 +03:00
bol-van
7f12334872 update docs 2026-01-09 12:04:48 +03:00
bol-van
0f42ff1731 ipset: mdig eagain support 2026-01-09 12:00:56 +03:00
bol-van
801328dc02 mdig: --eagain, --eagain-delay 2026-01-09 11:42:33 +03:00
bol-van
fdb9c9be60 mdig: increase EAGAIN attempts 2026-01-09 10:17:13 +03:00
bol-van
5e89db0c7b replace spaces with tabs 2026-01-08 20:43:55 +03:00
bol-van
0e95de6083 replace spaces with tabs 2026-01-08 20:43:20 +03:00
bol-van
3ec585c97e init.d: 99-lan-filter custom script 2026-01-08 20:20:52 +03:00
bol-van
577959f442 init.d: nft_detele_chain => nft_del_chain 2026-01-08 19:14:47 +03:00
bol-van
36731cd9b5 zapret1 unfixed parts 2026-01-08 19:13:34 +03:00
bol-van
b3b8133c39 nfqws2: minor safety fix 2026-01-08 12:19:41 +03:00
bol-van
5f96ce1099 nfqws2: minor safety fix 2026-01-08 12:18:54 +03:00
bol-van
2088f593d4 nfqws2: remove unused code 2026-01-08 11:55:51 +03:00
bol-van
03152ba76f nfqws2: move rawsend_cleanup 2026-01-08 11:46:45 +03:00
bol-van
f94d1b1d16 nfqws2: ignore trailing spaces and tabs in hostlists and ipsets 2026-01-08 11:38:13 +03:00
bol-van
790a2ca355 nfqws2: params leaks fix 2026-01-07 14:45:09 +03:00
bol-van
f318397726 AI inspired fixes 2026-01-07 13:44:56 +03:00
bol-van
5a116cf9be nfqws2: memleak fix 2026-01-07 13:18:30 +03:00
bol-van
d40f05865b zapret-tests: improve resolve tests 2026-01-07 12:35:19 +03:00
bol-van
e47603281c zapret-tests: improve resolve tests 2026-01-07 12:27:27 +03:00
bol-van
8ba58c8f16 update docs 2026-01-07 08:32:44 +03:00
bol-van
2def9397a0 zapret-lib: add expected_ratio to z_readfile 2026-01-07 08:31:23 +03:00
bol-van
a61895778b update docs 2026-01-07 08:26:51 +03:00
bol-van
a622061b45 nfqws2: optimize realloc increment 2026-01-07 08:24:04 +03:00
bol-van
1bbd342ff2 update docs 2026-01-07 08:15:43 +03:00
bol-van
84f978cee4 update docs 2026-01-07 08:14:24 +03:00
bol-van
dd3cffca5f update docs 2026-01-07 08:13:02 +03:00
bol-van
b699e5d9ec nfqws2, zapret-lib: more gzip optimizations 2026-01-07 08:09:41 +03:00
bol-van
e6591575fe ipset: -9 gzip ratio 2026-01-07 07:03:12 +03:00
bol-van
ca7569f68a update docs 2026-01-07 06:52:51 +03:00
bol-van
3a16523399 update docs 2026-01-07 06:51:58 +03:00
bol-van
2fd172118c nfqws2: change default expected gzip ratio 2026-01-07 06:50:15 +03:00
bol-van
c43574d056 nfqws2: gzip optimize memory alloc 2026-01-07 06:45:27 +03:00
bol-van
22d4df73f6 update docs 2026-01-07 06:36:14 +03:00
bol-van
23d6cddb30 nfqws2: coroutine compat 2026-01-06 23:12:28 +03:00
bol-van
c3b5d5e9ed update docs 2026-01-06 22:17:53 +03:00
bol-van
20856321c3 update docs 2026-01-06 22:15:31 +03:00
bol-van
75f3c7eac3 nfqws2: free zlib stream in __gc 2026-01-06 22:14:53 +03:00
bol-van
129461dc45 zapret-tests: gzip test 2026-01-06 21:06:14 +03:00
bol-van
91a3badc67 AI inspired fixes 2026-01-06 20:35:42 +03:00
bol-van
ff15bcceae nfqws2: fix clang warning 2026-01-06 17:18:46 +03:00
bol-van
61b20f86a7 update docs 2026-01-06 17:07:16 +03:00
bol-van
2de8809ead zapret-lib: writefile 2026-01-06 17:07:08 +03:00
bol-van
c77e8f799f update docs 2026-01-06 16:49:46 +03:00
bol-van
4cdf498a14 update docs 2026-01-06 16:48:33 +03:00
bol-van
4bbfc3081d update docs 2026-01-06 16:47:25 +03:00
bol-van
1099cf013d update docs 2026-01-06 16:46:42 +03:00
bol-van
cb85f6e672 zapret-lib: fix error message 2026-01-06 16:42:00 +03:00
bol-van
823f4a6fb6 zapret-lib: fix error message 2026-01-06 16:41:35 +03:00
bol-van
05647e84ef zapret-lib: do not error on premature file end 2026-01-06 16:40:58 +03:00
bol-van
8bc74d0c4f nfqws2, zapret-lib: gzip 2026-01-06 16:23:18 +03:00
bol-van
0eb6cc9722 nfqws2: remove unused lua code 2026-01-06 12:08:35 +03:00
bol-van
13594401c6 init.d: 80-dns-intercept fix wrong comments 2026-01-05 10:43:35 +03:00
40 changed files with 6996 additions and 1311 deletions

View File

@@ -47,14 +47,14 @@ pktws_seqovl_tests_tls()
ok=0 ok=0
pktws_curl_test_update $testf $domain $pre $PAYLOAD --lua-desync=tcpseg:pos=0,-1:seqovl=1 --lua-desync=drop && ok=1 pktws_curl_test_update $testf $domain $pre $PAYLOAD --lua-desync=tcpseg:pos=0,-1:seqovl=1 --lua-desync=drop && ok=1
pktws_curl_test_update $testf $domain ${SEQOVL_PATTERN_HTTPS:+--blob=$pat:@"$SEQOVL_PATTERN_HTTPS" }$rnd_mod $pre $PAYLOAD --lua-desync=tcpseg:pos=0,-1:seqovl=#$pat:seqovl_pattern=$pat --lua-desync=drop && ok=1 pktws_curl_test_update $testf $domain ${SEQOVL_PATTERN_HTTPS:+--blob=$pat:@"$SEQOVL_PATTERN_HTTPS" }$rnd_mod $pre $PAYLOAD --lua-desync=tcpseg:pos=0,-1:seqovl=#$pat:seqovl_pattern=$pat --lua-desync=drop && ok=1
pktws_curl_test_update $testf $domain ${SEQOVL_PATTERN_HTTPS:+--blob=$pat:@"$SEQOVL_PATTERN_HTTPS" }$pre $PAYLOAD $padencap_mod --lua-desync=tcpseg:pos=0,-1:seqovl=#pat:seqovl_pattern=pat --lua-desync=drop && ok=1 pktws_curl_test_update $testf $domain ${SEQOVL_PATTERN_HTTPS:+--blob=$pat:@"$SEQOVL_PATTERN_HTTPS" }$pre $PAYLOAD $padencap_mod --lua-desync=tcpseg:pos=0,-1:seqovl=#pat:seqovl_pattern=$pat --lua-desync=drop && ok=1
ok_any=$ok ok_any=$ok
ok=0 ok=0
for split in 10 10,sniext+1 10,sniext+4 10,midsld; do for split in 10 10,sniext+1 10,sniext+4 10,midsld; do
pktws_curl_test_update $testf $domain $pre $PAYLOAD --lua-desync=multisplit:pos=$split:seqovl=1 && ok=1 pktws_curl_test_update $testf $domain $pre $PAYLOAD --lua-desync=multisplit:pos=$split:seqovl=1 && ok=1
pktws_curl_test_update $testf $domain ${SEQOVL_PATTERN_HTTPS:+--blob=$pat:@"$SEQOVL_PATTERN_HTTPS" }$rnd_mod $pre $PAYLOAD --lua-desync=multisplit:pos=$split:seqovl=#$pat:seqovl_pattern=$pat && ok=1 pktws_curl_test_update $testf $domain ${SEQOVL_PATTERN_HTTPS:+--blob=$pat:@"$SEQOVL_PATTERN_HTTPS" }$rnd_mod $pre $PAYLOAD --lua-desync=multisplit:pos=$split:seqovl=#$pat:seqovl_pattern=$pat && ok=1
pktws_curl_test_update $testf $domain ${SEQOVL_PATTERN_HTTPS:+--blob=$pat:@"$SEQOVL_PATTERN_HTTPS" }$pre $PAYLOAD $padencap_mod --lua-desync=multisplit:pos=$split:seqovl=#pat:seqovl_pattern=pat && ok=1 pktws_curl_test_update $testf $domain ${SEQOVL_PATTERN_HTTPS:+--blob=$pat:@"$SEQOVL_PATTERN_HTTPS" }$pre $PAYLOAD $padencap_mod --lua-desync=multisplit:pos=$split:seqovl=#pat:seqovl_pattern=$pat && ok=1
[ "$ok" = 1 -a "$SCANLEVEL" != force ] && break [ "$ok" = 1 -a "$SCANLEVEL" != force ] && break
done done
for split in '1 2' 'sniext sniext+1' 'sniext+3 sniext+4' 'midsld-1 midsld' '1 2,midsld'; do for split in '1 2' 'sniext sniext+1' 'sniext+3 sniext+4' 'midsld-1 midsld' '1 2,midsld'; do

View File

@@ -366,7 +366,7 @@ random()
local r rs local r rs
setup_random setup_random
if [ -c /dev/urandom ]; then if [ -c /dev/urandom ]; then
read rs </dev/urandom rs=$(dd if=/dev/urandom count=1 bs=16 2>/dev/null | hexdump -e '1 "%02x"')
else else
rs="$RANDOM$RANDOM$(date)" rs="$RANDOM$RANDOM$(date)"
fi fi

View File

@@ -37,8 +37,7 @@ ask_list()
local M_DEFAULT local M_DEFAULT
eval M_DEFAULT="\$$1" eval M_DEFAULT="\$$1"
local M_ALL=$M_DEFAULT local M_ALL=$M_DEFAULT
local M="" local M="" m M_OLD
local m
[ -n "$3" ] && { find_str_in_list "$M_DEFAULT" "$2" || M_DEFAULT="$3" ;} [ -n "$3" ] && { find_str_in_list "$M_DEFAULT" "$2" || M_DEFAULT="$3" ;}
@@ -54,5 +53,5 @@ ask_list()
echo selected : $M echo selected : $M
eval $1="\"$M\"" eval $1="\"$M\""
[ "$M" != "$M_OLD" ] [ "$M" != "$M_DEFAULT" ]
} }

View File

@@ -522,11 +522,6 @@ install_openwrt_firewall()
{ {
echo \* installing firewall script $1 echo \* installing firewall script $1
[ -n "MODE" ] || {
echo should specify MODE in $ZAPRET_CONFIG
exitp 7
}
echo "linking : $FW_SCRIPT_SRC => $OPENWRT_FW_INCLUDE" echo "linking : $FW_SCRIPT_SRC => $OPENWRT_FW_INCLUDE"
ln -fs "$FW_SCRIPT_SRC" "$OPENWRT_FW_INCLUDE" ln -fs "$FW_SCRIPT_SRC" "$OPENWRT_FW_INCLUDE"

View File

@@ -41,7 +41,7 @@ ipt6_add_del()
} }
ipt6a_add_del() ipt6a_add_del()
{ {
on_off_function ipt6 ipt6a_del "$@" on_off_function ipt6a ipt6_del "$@"
} }
is_ipt_flow_offload_avail() is_ipt_flow_offload_avail()

View File

@@ -25,7 +25,7 @@ filter_apply_hostlist_target()
{ {
# $1 - var name of nfqws params # $1 - var name of nfqws params
local v parm parm1 parm2 parm3 parm4 parm5 parm6 parm7 parm8 parm9 parm10 param11 param12 param13 parmNA local v parm parm1 parm2 parm3 parm4 parm5 parm6 parm7 parm8 parm9 parm10 parm11 parm12 parm13 parmNA
eval v="\$$1" eval v="\$$1"
if contains "$v" "$HOSTLIST_MARKER" || contains "$v" "$HOSTLIST_NOAUTO_MARKER"; then if contains "$v" "$HOSTLIST_MARKER" || contains "$v" "$HOSTLIST_NOAUTO_MARKER"; then
[ "$MODE_FILTER" = hostlist -o "$MODE_FILTER" = autohostlist ] && [ "$MODE_FILTER" = hostlist -o "$MODE_FILTER" = autohostlist ] &&

View File

@@ -24,7 +24,7 @@ nft_add_chain()
# $2 - params # $2 - params
nft add chain inet $ZAPRET_NFT_TABLE $1 "{ $2 }" nft add chain inet $ZAPRET_NFT_TABLE $1 "{ $2 }"
} }
nft_delete_chain() nft_del_chain()
{ {
# $1 - chain # $1 - chain
nft delete chain inet $ZAPRET_NFT_TABLE $1 nft delete chain inet $ZAPRET_NFT_TABLE $1

View File

@@ -41,6 +41,10 @@ AUTOHOSTLIST_DEBUGLOG=0
# number of parallel threads for domain list resolves # number of parallel threads for domain list resolves
MDIG_THREADS=30 MDIG_THREADS=30
# EAI_AGAIN retries
MDIG_EAGAIN=10
# delay between EAI_AGAIN retries (ms)
MDIG_EAGAIN_DELAY=500
# ipset/*.sh can compress large lists # ipset/*.sh can compress large lists
GZIP_LISTS=1 GZIP_LISTS=1
@@ -54,7 +58,7 @@ GZIP_LISTS=1
DESYNC_MARK=0x40000000 DESYNC_MARK=0x40000000
DESYNC_MARK_POSTNAT=0x20000000 DESYNC_MARK_POSTNAT=0x20000000
# do not pass outgoing traffic to tpws/nfqws not marked with this bit # do not pass outgoing traffic to nfqws not marked with this bit
# this setting allows to write your own rules to limit traffic that should be fooled # this setting allows to write your own rules to limit traffic that should be fooled
# for example based on source IP or incoming interface name # for example based on source IP or incoming interface name
# no filter if not defined # no filter if not defined

View File

@@ -162,3 +162,19 @@ v0.8.1
* init.d: 80-dns-intercept * init.d: 80-dns-intercept
* winws2: --wf-filter-loopback * winws2: --wf-filter-loopback
* blockcheck2: NOTEST_MISC_HTTP[S], NOTEST_SYNDATA_HTTP[S] * blockcheck2: NOTEST_MISC_HTTP[S], NOTEST_SYNDATA_HTTP[S]
0.8.3
* nfqws2, zapret-lib: gzip compression and decompression
* nfqws2: ignore trailing spaces and tabs in hostlists and ipsets. "host.com " or "1.2.3.4 " are ok now
* init.d: 99-lan-filter custom script
* mdig: --eagain, --eagain-delay
0.8.4
* winws2: fix loopback large packets processing (up to 64K)
* zapret-lib, zapret-antidpi: use numeric indexes in http dissects
* nfqws2: move ctx from lightuserdata to userdata. prevents crashes on specific ARM cpus
* nfqws2: alternative representation of payload filter in execution_plan item
* nfqws2: --payload-disable
* nfqws2: gracefully shutdown on SIGINT and SIGTERM

5098
docs/manual.en.md Normal file

File diff suppressed because it is too large Load Diff

View File

@@ -14,6 +14,7 @@
- [nfqws2](#nfqws2) - [nfqws2](#nfqws2)
- [Общие принципы задания параметров](#общие-принципы-задания-параметров) - [Общие принципы задания параметров](#общие-принципы-задания-параметров)
- [Полный список опций](#полный-список-опций) - [Полный список опций](#полный-список-опций)
- [Распознавание протоколов](#распознавание-протоколов)
- [Использование множественных профилей](#использование-множественных-профилей) - [Использование множественных профилей](#использование-множественных-профилей)
- [Шаблоны профилей](#шаблоны-профилей) - [Шаблоны профилей](#шаблоны-профилей)
- [Фильтрация по листам](#фильтрация-по-листам) - [Фильтрация по листам](#фильтрация-по-листам)
@@ -60,6 +61,9 @@
- [aes\_gcm](#aes_gcm) - [aes\_gcm](#aes_gcm)
- [aes\_ctr](#aes_ctr) - [aes\_ctr](#aes_ctr)
- [hkdf](#hkdf) - [hkdf](#hkdf)
- [Компрессия](#компрессия)
- [gunzip](#gunzip)
- [gzip](#gzip)
- [Системные функции](#системные-функции) - [Системные функции](#системные-функции)
- [uname](#uname) - [uname](#uname)
- [clock\_gettime](#clock_gettime) - [clock\_gettime](#clock_gettime)
@@ -119,6 +123,8 @@
- [genhost](#genhost) - [genhost](#genhost)
- [host\_ip](#host_ip) - [host\_ip](#host_ip)
- [Операции с именами файлов и путями](#операции-с-именами-файлов-и-путями) - [Операции с именами файлов и путями](#операции-с-именами-файлов-и-путями)
- [Чтение и запись файлов](#чтение-и-запись-файлов)
- [Компрессия данных](#компрессия-данных)
- [autottl](#autottl) - [autottl](#autottl)
- [Операции с диссектами](#операции-с-диссектами) - [Операции с диссектами](#операции-с-диссектами)
- [standard ipid](#standard-ipid) - [standard ipid](#standard-ipid)
@@ -663,10 +669,11 @@ nfqws2 использует стандартный парсер getopt_long_only
--pidfile=<filename> ; запись PID в файл --pidfile=<filename> ; запись PID в файл
--ctrack-timeouts=S:E:F[:U] ; таймауты conntrack для стадий tcp SYN, ESTABLISHED, FIN и для udp --ctrack-timeouts=S:E:F[:U] ; таймауты conntrack для стадий tcp SYN, ESTABLISHED, FIN и для udp
--ctrack-disable=[0|1] ; 1 отключает conntrack --ctrack-disable=[0|1] ; 1 отключает conntrack
--payload-disable=[type[,type]] ; отключить распознавание указанных типов пейлоадов. без аргумента - отключить все.
--server=[0|1] ; серверный режим. для обслуживания listener-ов меняются многие аспекты выбора направления и ip/port источника/приемника --server=[0|1] ; серверный режим. для обслуживания listener-ов меняются многие аспекты выбора направления и ip/port источника/приемника
--ipcache-lifetime=<int> ; время жизни записей кэша IP в секундах. 0 - без ограничений. --ipcache-lifetime=<int> ; время жизни записей кэша IP в секундах. 0 - без ограничений.
--ipcache-hostname=[0|1] ; 1 или отсутствие аргумента включают кэширование имен хостов для применения в стратегиях нулевой фазы --ipcache-hostname=[0|1] ; 1 или отсутствие аргумента включают кэширование имен хостов для применения в стратегиях нулевой фазы
--reasm-disable=[proto[,proto]] ; отключить сборку фрагментов для списка пейлоадов : tls_client_hello quic_initial . без аргумента - отключить reasm для всего. --reasm-disable=[type[,type]] ; отключить сборку фрагментов для списка пейлоадов : tls_client_hello quic_initial . без аргумента - отключить reasm для всего.
DESYNC ENGINE INIT: DESYNC ENGINE INIT:
--writeable[=<dir_name>] ; создать директорию для Lua с разрешением записи и поместить путь к ней в переменную env "WRITEABLE" (только одна директория) --writeable[=<dir_name>] ; создать директорию для Lua с разрешением записи и поместить путь к ней в переменную env "WRITEABLE" (только одна директория)
@@ -684,7 +691,7 @@ MULTI-STRATEGY:
--filter-l3=ipv4|ipv6 ; фильтр профиля : версия ip протокола --filter-l3=ipv4|ipv6 ; фильтр профиля : версия ip протокола
--filter-tcp=[~]port1[-port2]|* ; фильтр профиля : порты tcp или диапазоны портов через запятую --filter-tcp=[~]port1[-port2]|* ; фильтр профиля : порты tcp или диапазоны портов через запятую
--filter-udp=[~]port1[-port2]|* ; фильтр профиля : порты udp или диапазоны портов через запятую --filter-udp=[~]port1[-port2]|* ; фильтр профиля : порты udp или диапазоны портов через запятую
--filter-l7=proto[,proto] ; фильтр профиля : список протоколов потока. полный список доступен в help тексте программы. --filter-l7=proto[,proto] ; фильтр профиля : список протоколов потока
--ipset=<filename> ; фильтр профиля : включающий список ip адресов или подсетей из файла. может быть смешанным ipv4+ipv6. --ipset=<filename> ; фильтр профиля : включающий список ip адресов или подсетей из файла. может быть смешанным ipv4+ipv6.
--ipset-ip=<ip_list> ; фильтр профиля : включающий фиксированный список ip адресов или подсетей через запятую --ipset-ip=<ip_list> ; фильтр профиля : включающий фиксированный список ip адресов или подсетей через запятую
--ipset-exclude=<filename> ; фильтр профиля : исключающий список ip адресов или подсетей из файла. может быть смешанным ipv4+ipv6. --ipset-exclude=<filename> ; фильтр профиля : исключающий список ip адресов или подсетей из файла. может быть смешанным ipv4+ipv6.
@@ -705,7 +712,7 @@ MULTI-STRATEGY:
--hostlist-auto-debug=<logfile> ; дебаг лог автолиста --hostlist-auto-debug=<logfile> ; дебаг лог автолиста
LUA PACKET PASS MODE: LUA PACKET PASS MODE:
--payload=type[,type] ; внутрипрофильный фильтр : фильтр пейлоада для последующих инстансов внутри профиля. список пейлоадов доступен в help тексте программы. --payload=type[,type] ; внутрипрофильный фильтр : фильтр пейлоада для последующих инстансов внутри профиля
--out-range=[(n|a|d|s|p)<int>](-|<)[(n|a|d|s|p)<int>] ; внутрипрофильный фильтр : диапазон счетчиков conntrack для последующих инстансов внутри профиля - исходящее направление --out-range=[(n|a|d|s|p)<int>](-|<)[(n|a|d|s|p)<int>] ; внутрипрофильный фильтр : диапазон счетчиков conntrack для последующих инстансов внутри профиля - исходящее направление
--in-range=[(n|a|d|s|p)<int>](-|<)[(n|a|d|s|p)<int>] ; внутрипрофильный фильтр : диапазон счетчиков conntrack для последующих инстансов внутри профиля - входящее направление --in-range=[(n|a|d|s|p)<int>](-|<)[(n|a|d|s|p)<int>] ; внутрипрофильный фильтр : диапазон счетчиков conntrack для последующих инстансов внутри профиля - входящее направление
@@ -753,6 +760,30 @@ LOGICAL NETWORK FILTER:
--nlm-list[=all] ; вывести список подключенных NLM сетей. all - список всех NLM сетей --nlm-list[=all] ; вывести список подключенных NLM сетей. all - список всех NLM сетей
``` ```
## Распознавание протоколов
nfqws2 сигнатурно распознает типы пейлоадов отдельно взятых пакетов или групп пакетов.
Все пустые пакеты имеют пейлоад empty, неизвестные - unknown.
Протокол потока присваивается после получение первого известного пейлоада и остается с потоком до конца его существования.
При этом последующие пейлоады могут иметь как известный тип, так и неизвестный.
В фильтрах по пейлоаду и протоколу потока доступны специальные значения - all и known. All означает любой, known - не empty и не unknown.
Таблица распознаваемых типов пейлоада и протоколов потока
| Протокол потока | L4 | Пейлоады |
| :-------------- | :-- | :------- |
| http | tcp | http_req<br>http_reply |
| tls | tcp | tls_client_hello<br>tls_server_hello |
| xmpp | tcp | xmpp_stream<br>xmpp_starttls<br>xmpp_proceed<br>xmpp_features |
| mtproto | tcp | mtproto_initial |
| quic | udp | quic_initial |
| wireguard | udp | wireguard_initiation<br>wireguard_response<br>wireguard_cookie<br>wireguard_keepalive |
| dht | udp | dht |
| discord | udp | discord_ip_discovery |
| stun | udp | stun |
| dns | udp | dns_query<br>dns_response |
| dtls | udp | dtls_client_hello<br>dtls_server_hello |
## Использование множественных профилей ## Использование множественных профилей
Профили существуют, чтобы в зависимости от указанных условий фильтра выбрать ту или иную стратегию воздействия на трафик. Профили существуют, чтобы в зависимости от указанных условий фильтра выбрать ту или иную стратегию воздействия на трафик.
@@ -1080,7 +1111,7 @@ Lua код выполняется с ограниченными правами,
Они бывают трех видов - `--payload`, `--in-range`, `--out-range`. Они бывают трех видов - `--payload`, `--in-range`, `--out-range`.
Значения фильтров действуют с момента их указания до следующего переопределения. Значения фильтров действуют с момента их указания до следующего переопределения.
- `--payload=type1[,type2][,type2]...` принимает список известных пейлоадов через зяпятую, "all" или "known". Список известных пейлоадов доступен в help тексте nfqws2. По умолчанию `--payload=all`. - `--payload=type1[,type2][,type2]...` принимает список известных пейлоадов через зяпятую, "all" или "known". [Список известных пейлоадов](#распознавание-протоколов). По умолчанию `--payload=all`.
- `--(in-range|out-range)=[(n|a|d|s|p)<int>](-|<)[(n|a|d|s|p)<int>]` задает диапазоны счетчиков conntrack по входящему и исходящему направлениям. По умолчанию `--in-range=x`, `--out-range=a`. - `--(in-range|out-range)=[(n|a|d|s|p)<int>](-|<)[(n|a|d|s|p)<int>]` задает диапазоны счетчиков conntrack по входящему и исходящему направлениям. По умолчанию `--in-range=x`, `--out-range=a`.
Диапазоны задаются в формах : `mX-mY`, `mX<mY`, `-mY`, `<mY`, `mX-`, где m - режим счетчика, X - нижнее значение, Y - верхнее значение. Диапазоны задаются в формах : `mX-mY`, `mX<mY`, `-mY`, `<mY`, `mX-`, где m - режим счетчика, X - нижнее значение, Y - верхнее значение.
@@ -1412,8 +1443,8 @@ desync
| replay_piece | number | номер проигрываемой части | нумерация с 1 | | replay_piece | number | номер проигрываемой части | нумерация с 1 |
| replay_piece_count | number | количество проигрываемых частей | | | replay_piece_count | number | количество проигрываемых частей | |
| replay_piece_last | bool | последняя проигрываемая часть | | | replay_piece_last | bool | последняя проигрываемая часть | |
| l7payload | string | тип пейлоада текущего пакета или группы пакетов. список возможных в help тексте nfqws2 | если неизвестно - unknown | | l7payload | string | тип [пейлоада](#распознавание-протоколов) текущего пакета или группы пакетов | если неизвестно - unknown |
| l7proto | string | тип протокола потока | если неизвестно - unknown | | l7proto | string | тип [протокола потока](#распознавание-протоколов) | если неизвестно - unknown |
| reasm_data | string | результат сборки многопакетного сообщения, либо сам пейлоад, если сборки не было | пока применяется только для tcp | | reasm_data | string | результат сборки многопакетного сообщения, либо сам пейлоад, если сборки не было | пока применяется только для tcp |
| reasm_offset | string | смещение текущего переигрываемого пакета в сборке | пока применяется только для tcp | | reasm_offset | string | смещение текущего переигрываемого пакета в сборке | пока применяется только для tcp |
| decrypt_data | string | результат сборки и дешифровки пейлоада или пейлоадов нескольких пакетов | применяется для quic | | decrypt_data | string | результат сборки и дешифровки пейлоада или пейлоадов нескольких пакетов | применяется для quic |
@@ -1549,7 +1580,7 @@ ipv6 extension headers и tcp options представляются в форме
| Поле | Тип | Описание | Примечание | | Поле | Тип | Описание | Примечание |
| :------------- | :----- | :-------------------------------------------------------------- | :----------------------------------------------- | | :------------- | :----- | :-------------------------------------------------------------- | :----------------------------------------------- |
| incoming_ttl | number | ttl/hl первого входящего пакета по потоку | может не быть, если не определено | | incoming_ttl | number | ttl/hl первого входящего пакета по потоку | может не быть, если не определено |
| l7proto | string | протокол потока. список возможных доступен в help тексте nfqws2 | есть всегда. если неизвестно - unknown | | l7proto | string | [протокол потока](#распознавание-протоколов) | есть всегда. если неизвестно - unknown |
| hostname | string | имя хоста. определяется на основе анализа L6/L7 протоколов | появляется только после определения | | hostname | string | имя хоста. определяется на основе анализа L6/L7 протоколов | появляется только после определения |
| hostname_is_ip | bool | является ли hostname ip адресом | только если есть hostname | | hostname_is_ip | bool | является ли hostname ip адресом | только если есть hostname |
| lua_state | table | таблица для хранения состояния, привязанного к потоку | есть всегда, передается с каждым пакетом потока | | lua_state | table | таблица для хранения состояния, привязанного к потоку | есть всегда, передается с каждым пакетом потока |
@@ -1919,6 +1950,34 @@ HKDF - HMAC-based Key Derivation Function. Генератор ключей на
- okm_len - требуемая длина okm - output keying material - okm_len - требуемая длина okm - output keying material
- возвращается raw строка - okm - возвращается raw строка - okm
### Компрессия
#### gunzip
```
function gunzip_init(windowBits)
function gunzip_end(zstream)
function gunzip_inflate(zstream, compressed_data, expected_uncompressed_chunk_size)
```
* gunzip_init создает и возвращает контекст gzip потока для последующих вызовов других функций. Значение windowBits см. в документации по zlib (по умолчанию 47).
* gunzip_end освобождает контекст gzip. может быть освобожден сборщиком мусора, но лучше вызывать явно.
* gunzip_inflate разжимает очередную часть зипованных данных. Данные можно скармливать частями. Разжатые части конкатенируются для получения полных данных. Возвращается 2 аргумента : расжатые данные и bool признак конца gzip. В случае испорченных данных или при нехватке памяти возвращается nil.
* expected_uncompressed_chunk_size - необязательный параметр для оптимизации выделения памяти под разжимаемые данные. Если буфера не хватает, вызываются realloc, копирующие блоки памяти и влияющие на производительность. Размер следует выбирать согласно ожидаемой степени сжатия с небольшим запасом. По умолчанию - четырехкратный размер compressed_data.
#### gzip
```
function gzip_init(windowBits, level, memlevel)
function gzip_end(zstream)
function gzip_deflate(zstream, uncompressed_data, expected_compressed_chunk_size)
```
* gzip_init создает и возвращает контекст gzip потока для последующих вызовов других функций. Значение windowBits см. в документации по zlib (по умолчанию 31). level - уровень сжатия от 1 до 9 (по умолчанию 9), memlevel - допустимый уровень использования памяти от 1 до 8 (по умолчанию 8).
* gzip_end освобождает контекст gzip. может быть освобожден сборщиком мусора, но лучше вызывать явно.
* gzip_deflate cжимает очередную часть данных. Данные можно скармливать частями. Cжатые части конкатенируются для получения полных данных. Для финализации потока по окончанию скармливания данных функция должна быть вызвана с uncompressed_data=nil или uncompressed_data="". Возвращается 2 аргумента : сжатые данные и bool признак конца gzip. При ошибках gzip или нехватке памяти возвращается nil.
* expected_compressed_chunk_size - необязательный параметр для оптимизации выделения памяти под cжимаемые данные. Если буфера не хватает, вызываются realloc, копирующие блоки памяти и влияющие на производительность. Размер следует выбирать согласно ожидаемой степени сжатия с небольшим запасом. По умолчанию - половина размера uncompressed_data.
### Системные функции ### Системные функции
#### uname #### uname
@@ -2179,7 +2238,8 @@ function execution_plan(ctx)
| func_n | number | номер инстанса внутри профиля | | func_n | number | номер инстанса внутри профиля |
| func_instance | string | название инстанса | производная имени функции, номера инстанса и номера профиля | | func_instance | string | название инстанса | производная имени функции, номера инстанса и номера профиля |
| range | table | эффективный диапазон [счетчиков](#внутрипрофильные-фильтры) `--in-range` или `--out-range` в зависимости от текущего направления | | range | table | эффективный диапазон [счетчиков](#внутрипрофильные-фильтры) `--in-range` или `--out-range` в зависимости от текущего направления |
| payload_filter | string | эффективный `--payload-filter` . список названий пейлоадов через запятую | | payload | table | эффективный `--payload-filter` . таблица с индексами - названиями типа пейлоада |
| payload_filter | string | эффективный `--payload-filter` . список названий пейлоадов через запятую (иное представление payload) |
**range** **range**
@@ -2487,7 +2547,9 @@ function http_reconstruct_req(hdis, unixeol)
Разборка HTTP запроса или ответа http. http представляет собой многострочный текст. Разборка HTTP запроса или ответа http. http представляет собой многострочный текст.
Разборка представляет собой таблицу с вложенными подтаблицами. Разборка представляет собой таблицу с вложенными подтаблицами.
В заголовках выдаются позиции начала и конца названия заголовка и самого значения. В заголовках выдаются позиции начала и конца названия заголовка и самого значения.
Названия полей в таблице headers соответствуют названию заголовков в нижнем регисте. Все позиции - внутри строки http. Все позиции - внутри строки http.
Для нахождения хедеров по названию используйте [array_field_search](#array_search) по полю "header_low", которое содержит название хедера в нижнем регистре.
Реконструктор http запроса берет таблицу-разбор и воссоздает raw string. Параметр unixeol заменяет стандартный для http перевод сктроки 0D0A на 0A. Это нестандарт и ломает все сервера, кроме nginx. Реконструктор http запроса берет таблицу-разбор и воссоздает raw string. Параметр unixeol заменяет стандартный для http перевод сктроки 0D0A на 0A. Это нестандарт и ломает все сервера, кроме nginx.
@@ -2497,9 +2559,11 @@ function http_reconstruct_req(hdis, unixeol)
.uri .uri
string /test_uri string /test_uri
.headers .headers
.content-length .1
.header .header
string Content-Length string Content-Length
.header_low
string content-length
.value .value
string 330 string 330
.pos_start .pos_start
@@ -2510,9 +2574,11 @@ function http_reconstruct_req(hdis, unixeol)
number 56 number 56
.pos_value_start .pos_value_start
number 59 number 59
.host .2
.header .header
string Host string Host
.header_low
string host
.value .value
string testhost.com string testhost.com
.pos_start .pos_start
@@ -2533,26 +2599,30 @@ function http_reconstruct_req(hdis, unixeol)
.code .code
number 200 number 200
.headers .headers
.content-type .1
.pos_header_end .pos_header_end
number 28 number 28
.pos_value_start .pos_value_start
number 31 number 31
.header .header
string Content-Type string Content-Type
.header_low
string content-type
.value .value
string text/html string text/html
.pos_start .pos_start
number 17 number 17
.pos_end .pos_end
number 39 number 39
.content-length .2
.pos_header_end .pos_header_end
number 54 number 54
.pos_value_start .pos_value_start
number 57 number 57
.header .header
string Content-Length string Content-Length
.header_low
string content-length
.value .value
string 650 string 650
.pos_start .pos_start
@@ -2895,7 +2965,7 @@ function tls_reconstruct(tdis)
Для некоторых элементов заполняется поле "name". Оно служит для удобства визуального анализа и больше ни для чего не используется. Для некоторых элементов заполняется поле "name". Оно служит для удобства визуального анализа и больше ни для чего не используется.
Первичными являются поля type. Первичными являются поля type.
Для нахождения значений в списках используйте [функции поиска в массивах](#служебные-функции). Для нахождения значений в списках используйте [функции поиска в массивах](#array_search).
Множество констант, связанных с TLS, определено в `zapret-lib.lua`. Прежде чем писать фиксированные значения, посмотрите нет ли нужной константы. Множество констант, связанных с TLS, определено в `zapret-lib.lua`. Прежде чем писать фиксированные значения, посмотрите нет ли нужной константы.
@@ -3025,6 +3095,51 @@ function writeable_file_name(filename)
- writeable_file_name возвращает filename, если filename содержит абсолютный путь или env `WRITEABLE` отсутствует. - writeable_file_name возвращает filename, если filename содержит абсолютный путь или env `WRITEABLE` отсутствует.
Иначе берется путь из env `WRITEABLE` и к нему дописывается имя файла filename через append_path. Иначе берется путь из env `WRITEABLE` и к нему дописывается имя файла filename через append_path.
## Чтение и запись файлов
```
function readfile(filename)
```
Читает весь файл. Вызывается error в случае ошибки при открытии или чтении файла.
```
function z_readfile(filename, expected_ratio)
```
Автоматически определяет является ли файл gzip. Если да - разжимает, если нет - читает без изменений. Вызывается error в случае ошибки при открытии или чтении файла.
expected_ratio - ожидаемое соотношение длины разжатых данных к длине сжатых данных (по умолчанию 4).
```
function writefile(filename, data)
```
Записывает data в файл. Вызывается error в случае ошибки при открытии файла.
## Компрессия данных
```
function is_gzip_file(filename)
```
true, если файл является gzip, иначе false. При ошибке открытия файла вызывается error.
```
function gunzip_file(filename, expected_ratio, read_block_size)
```
Разжимает файл и возвращает raw string. В случае ошибки открытия или чтения файла вызывается error. При нехватке памяти возвращается nil. read_block_size - частями какого размера читается файл (по умолчанию 16K).
expected_ratio - ожидаемое соотношение длины разжатых данных к длине сжатых данных (по умолчанию 4).
```
function gzip_file(filename, data, expected_ratio, level, memlevel, compress_block_size)
```
Сжимает raw строку в gzip файл. В случае ошибки открытия или чтения файла вызывается error. При испорченных gzip данных или нехватке памяти возвращается nil.
level - уровень сжатия от 1 до 9 (по умолчанию 9), memlevel - допустимый уровень использования памяти от 1 до 8 (по умолчанию 8). compress_block_size - частями какого размера жмется файл (по умолчанию 16K).
expected_ratio - ожидаемое соотношение длины разжатых данных к длине сжатых данных (по умолчанию 2).
## autottl ## autottl
``` ```
@@ -3241,7 +3356,8 @@ function payload_match_filter(l7payload, l7payload_filter, def)
function payload_check(desync, def) function payload_check(desync, def)
``` ```
Функции работают со строкой - списком пейлоадов через запятую. Список известных типов пейлоада можно получить из help текста nfqws2. Все пустые пакеты имеют пейлоад empty, неизвестные - unknown. Особые значения - all и known. all означает любой пейлоад, known - не unknown и не empty. Префикс `~` в начале означает логическую инверсию - несоответствие списку. Функции работают со строкой - списком пейлоадов через запятую. Особые значения - all и known. all означает любой пейлоад, known - не unknown и не empty. Префикс `~` в начале означает логическую инверсию - несоответствие списку.
См. [распознавание протоколов](#распознавание-протоколов).
- payload_match_filter проверяет соответствие l7payload списку l7payload_filter или def, если l7payload_filter=nil. Если оба nil - список берется как "known". - payload_match_filter проверяет соответствие l7payload списку l7payload_filter или def, если l7payload_filter=nil. Если оба nil - список берется как "known".
- payload_check вызывает `payload_match_filter(desync.l7payload, desync.arg.payload, def)` - payload_check вызывает `payload_match_filter(desync.l7payload, desync.arg.payload, def)`
@@ -3390,7 +3506,7 @@ nfqws2 ничего не знает о том, что нужно `--lua-desync`
### standard payload ### standard payload
Фильтр по пейлоаду берет список типов пейлоада. Список известных типов пейлоада можно получить из help текста nfqws2. Все пустые пакеты имеют пейлоад empty, неизвестные - unknown. Особые значения - all и known. all означает любой пейлоад, known - не unknown и не empty. Фильтр по пейлоаду берет список [типов пейлоада](#распознавание-протоколов).
**standard payload** **standard payload**
@@ -3472,6 +3588,7 @@ function http_methodeol(ctx, desync)
- arg: [standard direction](#standard-direction) - arg: [standard direction](#standard-direction)
Вставляет '\r\n' перед методом, отрезая 2 последних символа из содержимого заголовка `User-Agent:`. Работает только на nginx, остальные сервера ломает. Вставляет '\r\n' перед методом, отрезая 2 последних символа из содержимого заголовка `User-Agent:`. Работает только на nginx, остальные сервера ломает.
Если используется совместно с другими функциями http тамперинга, должен идти последним.
### http_unixeol ### http_unixeol
@@ -3888,7 +4005,7 @@ function udplen(ctx, desync)
- arg: pattern_offset - начальное смещение внутри pattern - arg: pattern_offset - начальное смещение внутри pattern
- payload фильтр по умолчанию - "known" - payload фильтр по умолчанию - "known"
Функция увеличивает или уменьшает длину L4 пейлоада udp. При уменьшении часть информации обрезается и теряется, при увеличении - заполняется pattern. Сегментация udp невозможна - при превышении MTU или PMTU пакет не дойдет до адресата. Ошибка в случае превышения MTU будет только на Linux, остальные системы молча не отправят пакет (windivert и ipdivert не имеют средств обнаружения ошибки). Функция увеличивает или уменьшает длину L4 пейлоада udp. При уменьшении часть информации обрезается и теряется, при увеличении - заполняется pattern. Сегментация udp невозможна - при превышении MTU или PMTU ОС выполнит фрагментацию на уровне IP. Ошибка в случае превышения MTU будет только на Linux, остальные системы молча не отправят пакет (windivert и ipdivert не имеют средств обнаружения ошибки).
### dht_dn ### dht_dn
@@ -3970,7 +4087,7 @@ function standard_hostkey(desync)
### automate_host_record ### automate_host_record
``` ```
function automate_conn_record(desync) function automate_host_record(desync)
``` ```
- arg: key - ключ внутри глобальной таблицы autostate. если не задано, в качестве ключа используется имя текущего инстанса - arg: key - ключ внутри глобальной таблицы autostate. если не задано, в качестве ключа используется имя текущего инстанса
@@ -4246,8 +4363,10 @@ ip2net фильтрует входные данные, выкидывая неп
Она берет из stdin список доменов и выводит в stdout результат ресолвинга. Ошибки выводятся в stderr. Она берет из stdin список доменов и выводит в stdout результат ресолвинга. Ошибки выводятся в stderr.
``` ```
--threads=<threads_number> ; количество потоков. по умолчанию 1.
--family=<4|6|46> ; выбор семейства IP адресов : ipv4, ipv6, ipv4+ipv6 --family=<4|6|46> ; выбор семейства IP адресов : ipv4, ipv6, ipv4+ipv6
--threads=<threads_number> ; количество потоков. по умолчанию 1.
--eagain=<eagain_retries> ; количество попыток повтора после EAI_AGAIN. по умолчанию 10
--eagain-delay=<ms> ; время ожидания в мсек между повторами по EAI_AGAIN. по умолчанию 500.
--verbose ; дебаг-лог на консоль --verbose ; дебаг-лог на консоль
--stats=N ; выводить статистику каждые N доменов --stats=N ; выводить статистику каждые N доменов
--log-resolved=<file> ; сохранять успешно отресолвленные домены в файл --log-resolved=<file> ; сохранять успешно отресолвленные домены в файл
@@ -4588,6 +4707,8 @@ nfqws2 может работать и самостоятельно без скр
| IPSET_HOOK | скрипт, который получает имя ipset в $1, выдает в stdout список ip, и они добавляются в ipset | | IPSET_HOOK | скрипт, который получает имя ipset в $1, выдает в stdout список ip, и они добавляются в ipset |
| IP2NET_OPT4<br>IP2NET_OPT6 | настройки ip2net для скриптов получения ip листов | | IP2NET_OPT4<br>IP2NET_OPT6 | настройки ip2net для скриптов получения ip листов |
| MDIG_THREADS | количество потоков mdig. используется при ресолвинге хостлистов | | MDIG_THREADS | количество потоков mdig. используется при ресолвинге хостлистов |
| MDIG_EAGAIN | количество попыток при получении EAI_AGAIN |
| MDIG_EAGAIN_DELAY | задержка в мсек между попытками при получении EAI_AGAIN |
| AUTOHOSTLIST_INCOMING_MAXSEQ<br>AUTOHOSTLIST_RETRANS_MAXSEQ<br>AUTOHOSTLIST_RETRANS_THRESHOLD<br>AUTOHOSTLIST_RETRANS_RESET<br>AUTOHOSTLIST_FAIL_THRESHOLD<br>AUTOHOSTLIST_FAIL_TIME<br>AUTOHOSTLIST_UDP_IN<br>AUTOHOSTLIST_UDP_OUT | параметры [автохостлистов](#детектор-неудач-автохостлистов) | | AUTOHOSTLIST_INCOMING_MAXSEQ<br>AUTOHOSTLIST_RETRANS_MAXSEQ<br>AUTOHOSTLIST_RETRANS_THRESHOLD<br>AUTOHOSTLIST_RETRANS_RESET<br>AUTOHOSTLIST_FAIL_THRESHOLD<br>AUTOHOSTLIST_FAIL_TIME<br>AUTOHOSTLIST_UDP_IN<br>AUTOHOSTLIST_UDP_OUT | параметры [автохостлистов](#детектор-неудач-автохостлистов) |
| AUTOHOSTLIST_DEBUGLOG | включение autohostlist debug log. лог пишется в `ipset/zapret-hosts-auto-debug.log` | | AUTOHOSTLIST_DEBUGLOG | включение autohostlist debug log. лог пишется в `ipset/zapret-hosts-auto-debug.log` |
| GZIP_LISTS | применять ли сжатие gzip для генерируемых хост и ip листов | | GZIP_LISTS | применять ли сжатие gzip для генерируемых хост и ip листов |

View File

@@ -1,3 +1,7 @@
## English
[Manual](manual.en.md)
## Зачем это нужно ## Зачем это нужно
Автономное средство противодействия DPI, которое не требует подключения каких-либо сторонних серверов. Может помочь Автономное средство противодействия DPI, которое не требует подключения каких-либо сторонних серверов. Может помочь
@@ -11,11 +15,13 @@ VPN. Может использоваться для частичной проз
[Полный мануал](manual.md) [Полный мануал](manual.md)
## Поддержать разработчика ## Поддержать разработчика. Donations
Если вы считаете проект полезным и желаете поддержать разработку, направляйте ваши пожертвования на следующие адреса криптокошельков : Если вы считаете проект полезным и желаете поддержать разработку, направляйте ваши пожертвования на следующие адреса криптокошельков :
USDT `0x3d52Ce15B7Be734c53fc9526ECbAB8267b63d66E` (предпочительно сеть ERC-20) If you find this project useful and wish to donate here are crypto wallets :
USDT `0x3d52Ce15B7Be734c53fc9526ECbAB8267b63d66E` (предпочительно сеть ERC-20. ERC-20 preferred)
BTC `bc1qhqew3mrvp47uk2vevt5sctp7p2x9m7m5kkchve` BTC `bc1qhqew3mrvp47uk2vevt5sctp7p2x9m7m5kkchve`

View File

@@ -1,30 +1,30 @@
# this custom script demonstrates how to launch extra nfqws instance limited by ipset # this custom script demonstrates how to launch extra nfqws instance limited by ipset
# can override in config : # can override in config :
NFQWS_MY1_OPT="${NFQWS_MY1_OPT:---filter-udp=* --payload known,unknown --lua-desync=fake:blob=0x00000000000000000000000000000000:repeats=2:payload=all --new --filter-tcp=* --payload=known,unknown --lua-desync=multisplit}" NFQWS2_MY1_OPT="${NFQWS2_MY1_OPT:---filter-udp=* --payload known,unknown --lua-desync=fake:blob=0x00000000000000000000000000000000:repeats=2:payload=all --new --filter-tcp=* --payload=known,unknown --lua-desync=multisplit}"
NFQWS_MY1_SUBNETS4="${NFQWS_MY1_SUBNETS4:-173.194.0.0/16 108.177.0.0/17 74.125.0.0/16 64.233.160.0/19 172.217.0.0/16}" NFQWS2_MY1_SUBNETS4="${NFQWS2_MY1_SUBNETS4:-173.194.0.0/16 108.177.0.0/17 74.125.0.0/16 64.233.160.0/19 172.217.0.0/16}"
NFQWS_MY1_SUBNETS6="${NFQWS_MY1_SUBNETS6:-2a00:1450::/29}" NFQWS2_MY1_SUBNETS6="${NFQWS2_MY1_SUBNETS6:-2a00:1450::/29}"
NFQWS_MY1_PORTS_TCP=${NFQWS_MY1_PORTS_TCP:-$NFQWS_PORTS_TCP} NFQWS2_MY1_PORTS_TCP=${NFQWS2_MY1_PORTS_TCP:-$NFQWS2_PORTS_TCP}
NFQWS_MY1_PORTS_UDP=${NFQWS_MY1_PORTS_UDP:-$NFQWS_PORTS_UDP} NFQWS2_MY1_PORTS_UDP=${NFQWS2_MY1_PORTS_UDP:-$NFQWS2_PORTS_UDP}
NFQWS_MY1_TCP_PKT_OUT=${NFQWS_MY1_TCP_PKT_OUT:-$NFQWS_TCP_PKT_OUT} NFQWS2_MY1_TCP_PKT_OUT=${NFQWS2_MY1_TCP_PKT_OUT:-$NFQWS2_TCP_PKT_OUT}
NFQWS_MY1_UDP_PKT_OUT=${NFQWS_MY1_UDP_PKT_OUT:-$NFQWS_UDP_PKT_OUT} NFQWS2_MY1_UDP_PKT_OUT=${NFQWS2_MY1_UDP_PKT_OUT:-$NFQWS2_UDP_PKT_OUT}
NFQWS_MY1_TCP_PKT_IN=${NFQWS_MY1_TCP_PKT_IN:-$NFQWS_TCP_PKT_IN} NFQWS2_MY1_TCP_PKT_IN=${NFQWS2_MY1_TCP_PKT_IN:-$NFQWS2_TCP_PKT_IN}
NFQWS_MY1_UDP_PKT_IN=${NFQWS_MY1_UDP_PKT_IN:-$NFQWS_UDP_PKT_IN} NFQWS2_MY1_UDP_PKT_IN=${NFQWS2_MY1_UDP_PKT_IN:-$NFQWS2_UDP_PKT_IN}
NFQWS_MY1_IPSET_SIZE=${NFQWS_MY1_IPSET_SIZE:-4096} NFQWS2_MY1_IPSET_SIZE=${NFQWS2_MY1_IPSET_SIZE:-4096}
NFQWS_MY1_IPSET_OPT="${NFQWS_MY1_IPSET_OPT:-hash:net hashsize 8192 maxelem $NFQWS_MY1_IPSET_SIZE}" NFQWS2_MY1_IPSET_OPT="${NFQWS2_MY1_IPSET_OPT:-hash:net hashsize 8192 maxelem $NFQWS2_MY1_IPSET_SIZE}"
alloc_dnum DNUM_NFQWS_MY1 alloc_dnum DNUM_NFQWS2_MY1
alloc_qnum QNUM_NFQWS_MY1 alloc_qnum QNUM_NFQWS2_MY1
NFQWS_MY1_NAME4=my1nfqws4 NFQWS2_MY1_NAME4=my1nfqws4
NFQWS_MY1_NAME6=my1nfqws6 NFQWS2_MY1_NAME6=my1nfqws6
zapret_custom_daemons() zapret_custom_daemons()
{ {
# $1 - 1 - run, 0 - stop # $1 - 1 - run, 0 - stop
local opt="--qnum=$QNUM_NFQWS_MY1 $NFQWS_MY1_OPT" local opt="--qnum=$QNUM_NFQWS2_MY1 $NFQWS2_MY1_OPT"
do_nfqws $1 $DNUM_NFQWS_MY1 "$opt" do_nfqws $1 $DNUM_NFQWS2_MY1 "$opt"
} }
zapret_custom_firewall() zapret_custom_firewall()
@@ -32,103 +32,103 @@ zapret_custom_firewall()
# $1 - 1 - run, 0 - stop # $1 - 1 - run, 0 - stop
local f4 f6 subnet local f4 f6 subnet
local NFQWS_MY1_PORTS_TCP=$(replace_char - : $NFQWS_MY1_PORTS_TCP) local NFQWS2_MY1_PORTS_TCP=$(replace_char - : $NFQWS2_MY1_PORTS_TCP)
local NFQWS_MY1_PORTS_UDP=$(replace_char - : $NFQWS_MY1_PORTS_UDP) local NFQWS2_MY1_PORTS_UDP=$(replace_char - : $NFQWS2_MY1_PORTS_UDP)
[ "$1" = 1 -a "$DISABLE_IPV4" != 1 ] && { [ "$1" = 1 -a "$DISABLE_IPV4" != 1 ] && {
ipset create $NFQWS_MY1_NAME4 $NFQWS_MY1_IPSET_OPT family inet 2>/dev/null ipset create $NFQWS2_MY1_NAME4 $NFQWS2_MY1_IPSET_OPT family inet 2>/dev/null
ipset flush $NFQWS_MY1_NAME4 ipset flush $NFQWS2_MY1_NAME4
for subnet in $NFQWS_MY1_SUBNETS4; do for subnet in $NFQWS2_MY1_SUBNETS4; do
echo add $NFQWS_MY1_NAME4 $subnet echo add $NFQWS2_MY1_NAME4 $subnet
done | ipset -! restore done | ipset -! restore
} }
[ "$1" = 1 -a "$DISABLE_IPV6" != 1 ] && { [ "$1" = 1 -a "$DISABLE_IPV6" != 1 ] && {
ipset create $NFQWS_MY1_NAME6 $NFQWS_MY1_IPSET_OPT family inet6 2>/dev/null ipset create $NFQWS2_MY1_NAME6 $NFQWS2_MY1_IPSET_OPT family inet6 2>/dev/null
ipset flush $NFQWS_MY1_NAME6 ipset flush $NFQWS2_MY1_NAME6
for subnet in $NFQWS_MY1_SUBNETS6; do for subnet in $NFQWS2_MY1_SUBNETS6; do
echo add $NFQWS_MY1_NAME6 $subnet echo add $NFQWS2_MY1_NAME6 $subnet
done | ipset -! restore done | ipset -! restore
} }
[ -n "$NFQWS_MY1_PORTS_TCP" ] && { [ -n "$NFQWS2_MY1_PORTS_TCP" ] && {
[ -n "$NFQWS_MY1_TCP_PKT_OUT" -a "$NFQWS_MY1_TCP_PKT_OUT" != 0 ] && { [ -n "$NFQWS2_MY1_TCP_PKT_OUT" -a "$NFQWS2_MY1_TCP_PKT_OUT" != 0 ] && {
f4="-p tcp -m multiport --dports $NFQWS_MY1_PORTS_TCP $ipt_connbytes 1:$NFQWS_MY1_TCP_PKT_OUT -m set --match-set" f4="-p tcp -m multiport --dports $NFQWS2_MY1_PORTS_TCP $ipt_connbytes 1:$NFQWS2_MY1_TCP_PKT_OUT -m set --match-set"
f6="$f4 $NFQWS_MY1_NAME6 dst" f6="$f4 $NFQWS2_MY1_NAME6 dst"
f4="$f4 $NFQWS_MY1_NAME4 dst" f4="$f4 $NFQWS2_MY1_NAME4 dst"
fw_nfqws_post $1 "$f4" "$f6" $QNUM_NFQWS_MY1 fw_nfqws_post $1 "$f4" "$f6" $QNUM_NFQWS2_MY1
} }
[ -n "$NFQWS_MY1_TCP_PKT_IN" -a "$NFQWS_MY1_TCP_PKT_IN" != 0 ] && { [ -n "$NFQWS2_MY1_TCP_PKT_IN" -a "$NFQWS2_MY1_TCP_PKT_IN" != 0 ] && {
f4="-p tcp -m multiport --sports $NFQWS_MY1_PORTS_TCP $ipt_connbytes 1:$NFQWS_MY1_TCP_PKT_IN -m set --match-set" f4="-p tcp -m multiport --sports $NFQWS2_MY1_PORTS_TCP $ipt_connbytes 1:$NFQWS2_MY1_TCP_PKT_IN -m set --match-set"
f6="$f4 $NFQWS_MY1_NAME6 src" f6="$f4 $NFQWS2_MY1_NAME6 src"
f4="$f4 $NFQWS_MY1_NAME4 src" f4="$f4 $NFQWS2_MY1_NAME4 src"
fw_nfqws_pre $1 "$f4" "$f6" $QNUM_NFQWS_MY1 fw_nfqws_pre $1 "$f4" "$f6" $QNUM_NFQWS2_MY1
} }
} }
[ -n "$NFQWS_MY1_PORTS_UDP" ] && { [ -n "$NFQWS2_MY1_PORTS_UDP" ] && {
[ -n "$NFQWS_MY1_UDP_PKT_OUT" -a "$NFQWS_MY1_UDP_PKT_OUT" != 0 ] && { [ -n "$NFQWS2_MY1_UDP_PKT_OUT" -a "$NFQWS2_MY1_UDP_PKT_OUT" != 0 ] && {
f4="-p udp -m multiport --dports $NFQWS_MY1_PORTS_UDP $ipt_connbytes 1:$NFQWS_MY1_UDP_PKT_OUT -m set --match-set" f4="-p udp -m multiport --dports $NFQWS2_MY1_PORTS_UDP $ipt_connbytes 1:$NFQWS2_MY1_UDP_PKT_OUT -m set --match-set"
f6="$f4 $NFQWS_MY1_NAME6 dst" f6="$f4 $NFQWS2_MY1_NAME6 dst"
f4="$f4 $NFQWS_MY1_NAME4 dst" f4="$f4 $NFQWS2_MY1_NAME4 dst"
fw_nfqws_post $1 "$f4" "$f6" $QNUM_NFQWS_MY1 fw_nfqws_post $1 "$f4" "$f6" $QNUM_NFQWS2_MY1
} }
[ -n "$NFQWS_MY1_UDP_PKT_IN" -a "$NFQWS_MY1_UDP_PKT_IN" != 0 ] && { [ -n "$NFQWS2_MY1_UDP_PKT_IN" -a "$NFQWS2_MY1_UDP_PKT_IN" != 0 ] && {
f4="-p udp -m multiport --sports $NFQWS_MY1_PORTS_UDP $ipt_connbytes 1:$NFQWS_MY1_UDP_PKT_IN -m set --match-set" f4="-p udp -m multiport --sports $NFQWS2_MY1_PORTS_UDP $ipt_connbytes 1:$NFQWS2_MY1_UDP_PKT_IN -m set --match-set"
f6="$f4 $NFQWS_MY1_NAME6 src" f6="$f4 $NFQWS2_MY1_NAME6 src"
f4="$f4 $NFQWS_MY1_NAME4 src" f4="$f4 $NFQWS2_MY1_NAME4 src"
fw_nfqws_pre $1 "$f4" "$f6" $QNUM_NFQWS_MY1 fw_nfqws_pre $1 "$f4" "$f6" $QNUM_NFQWS2_MY1
} }
} }
[ "$1" = 1 ] || { [ "$1" = 1 ] || {
ipset destroy $NFQWS_MY1_NAME4 2>/dev/null ipset destroy $NFQWS2_MY1_NAME4 2>/dev/null
ipset destroy $NFQWS_MY1_NAME6 2>/dev/null ipset destroy $NFQWS2_MY1_NAME6 2>/dev/null
} }
} }
zapret_custom_firewall_nft() zapret_custom_firewall_nft()
{ {
local f4 f6 subnets local f4 f6 subnets
local first_packets_only="$nft_connbytes 1-$NFQWS_MY1_PKT_OUT" local first_packets_only="$nft_connbytes 1-$NFQWS2_MY1_PKT_OUT"
[ "$DISABLE_IPV4" != 1 ] && { [ "$DISABLE_IPV4" != 1 ] && {
make_comma_list subnets $NFQWS_MY1_SUBNETS4 make_comma_list subnets $NFQWS2_MY1_SUBNETS4
nft_create_set $NFQWS_MY1_NAME4 "type ipv4_addr; size $NFQWS_MY1_IPSET_SIZE; auto-merge; flags interval;" nft_create_set $NFQWS2_MY1_NAME4 "type ipv4_addr; size $NFQWS2_MY1_IPSET_SIZE; auto-merge; flags interval;"
nft_flush_set $NFQWS_MY1_NAME4 nft_flush_set $NFQWS2_MY1_NAME4
nft_add_set_element $NFQWS_MY1_NAME4 "$subnets" nft_add_set_element $NFQWS2_MY1_NAME4 "$subnets"
} }
[ "$DISABLE_IPV6" != 1 ] && { [ "$DISABLE_IPV6" != 1 ] && {
make_comma_list subnets $NFQWS_MY1_SUBNETS6 make_comma_list subnets $NFQWS2_MY1_SUBNETS6
nft_create_set $NFQWS_MY1_NAME6 "type ipv6_addr; size $NFQWS_MY1_IPSET_SIZE; auto-merge; flags interval;" nft_create_set $NFQWS2_MY1_NAME6 "type ipv6_addr; size $NFQWS2_MY1_IPSET_SIZE; auto-merge; flags interval;"
nft_flush_set $NFQWS_MY1_NAME6 nft_flush_set $NFQWS2_MY1_NAME6
nft_add_set_element $NFQWS_MY1_NAME6 "$subnets" nft_add_set_element $NFQWS2_MY1_NAME6 "$subnets"
} }
[ -n "$NFQWS_MY1_PORTS_TCP" ] && { [ -n "$NFQWS2_MY1_PORTS_TCP" ] && {
[ -n "$NFQWS_MY1_TCP_PKT_OUT" -a "$NFQWS_MY1_TCP_PKT_OUT" != 0 ] && { [ -n "$NFQWS2_MY1_TCP_PKT_OUT" -a "$NFQWS2_MY1_TCP_PKT_OUT" != 0 ] && {
f4="tcp dport {$NFQWS_MY1_PORTS_TCP} $(nft_first_packets $NFQWS_MY1_TCP_PKT_OUT)" f4="tcp dport {$NFQWS2_MY1_PORTS_TCP} $(nft_first_packets $NFQWS2_MY1_TCP_PKT_OUT)"
f6="$f4 ip6 daddr @$NFQWS_MY1_NAME6" f6="$f4 ip6 daddr @$NFQWS2_MY1_NAME6"
f4="$f4 ip daddr @$NFQWS_MY1_NAME4" f4="$f4 ip daddr @$NFQWS2_MY1_NAME4"
nft_fw_nfqws_post $1 "$f4" "$f6" $QNUM_NFQWS_MY1 nft_fw_nfqws_post $1 "$f4" "$f6" $QNUM_NFQWS2_MY1
} }
[ -n "$NFQWS_MY1_TCP_PKT_IN" -a "$NFQWS_MY1_TCP_PKT_IN" != 0 ] && { [ -n "$NFQWS2_MY1_TCP_PKT_IN" -a "$NFQWS2_MY1_TCP_PKT_IN" != 0 ] && {
f4="tcp sport {$NFQWS_MY1_PORTS_TCP} $(nft_first_packets $NFQWS_MY1_TCP_PKT_IN)" f4="tcp sport {$NFQWS2_MY1_PORTS_TCP} $(nft_first_packets $NFQWS2_MY1_TCP_PKT_IN)"
f6="$f4 ip6 saddr @$NFQWS_MY1_NAME6" f6="$f4 ip6 saddr @$NFQWS2_MY1_NAME6"
f4="$f4 ip saddr @$NFQWS_MY1_NAME4" f4="$f4 ip saddr @$NFQWS2_MY1_NAME4"
nft_fw_nfqws_pre $1 "$f4" "$f6" $QNUM_NFQWS_MY1 nft_fw_nfqws_pre $1 "$f4" "$f6" $QNUM_NFQWS2_MY1
} }
} }
[ -n "$NFQWS_MY1_PORTS_UDP" ] && { [ -n "$NFQWS2_MY1_PORTS_UDP" ] && {
[ -n "$NFQWS_MY1_UDP_PKT_OUT" -a "$NFQWS_MY1_UDP_PKT_OUT" != 0 ] && { [ -n "$NFQWS2_MY1_UDP_PKT_OUT" -a "$NFQWS2_MY1_UDP_PKT_OUT" != 0 ] && {
f4="udp dport {$NFQWS_MY1_PORTS_UDP} $(nft_first_packets $NFQWS_MY1_UDP_PKT_OUT)" f4="udp dport {$NFQWS2_MY1_PORTS_UDP} $(nft_first_packets $NFQWS2_MY1_UDP_PKT_OUT)"
f6="$f4 ip6 daddr @$NFQWS_MY1_NAME6" f6="$f4 ip6 daddr @$NFQWS2_MY1_NAME6"
f4="$f4 ip daddr @$NFQWS_MY1_NAME4" f4="$f4 ip daddr @$NFQWS2_MY1_NAME4"
nft_fw_nfqws_post $1 "$f4" "$f6" $QNUM_NFQWS_MY1 nft_fw_nfqws_post $1 "$f4" "$f6" $QNUM_NFQWS2_MY1
} }
[ -n "$NFQWS_MY1_UDP_PKT_IN" -a "$NFQWS_MY1_UDP_PKT_IN" != 0 ] && { [ -n "$NFQWS2_MY1_UDP_PKT_IN" -a "$NFQWS2_MY1_UDP_PKT_IN" != 0 ] && {
f4="udp sport {$NFQWS_MY1_PORTS_UDP} $(nft_first_packets $NFQWS_MY1_UDP_PKT_IN)" f4="udp sport {$NFQWS2_MY1_PORTS_UDP} $(nft_first_packets $NFQWS2_MY1_UDP_PKT_IN)"
f6="$f4 ip6 saddr @$NFQWS_MY1_NAME6" f6="$f4 ip6 saddr @$NFQWS2_MY1_NAME6"
f4="$f4 ip saddr @$NFQWS_MY1_NAME4" f4="$f4 ip saddr @$NFQWS2_MY1_NAME4"
nft_fw_nfqws_pre $1 "$f4" "$f6" $QNUM_NFQWS_MY1 nft_fw_nfqws_pre $1 "$f4" "$f6" $QNUM_NFQWS2_MY1
} }
} }
} }
@@ -139,6 +139,6 @@ zapret_custom_firewall_nft_flush()
# this function is called after all nft fw rules are deleted # this function is called after all nft fw rules are deleted
# however sets are not deleted. it's desired to clear sets here. # however sets are not deleted. it's desired to clear sets here.
nft_del_set $NFQWS_MY1_NAME4 2>/dev/null nft_del_set $NFQWS2_MY1_NAME4 2>/dev/null
nft_del_set $NFQWS_MY1_NAME6 2>/dev/null nft_del_set $NFQWS2_MY1_NAME6 2>/dev/null
} }

View File

@@ -34,19 +34,22 @@ zapret_custom_firewall_nft()
local rule="udp sport 53 queue num $QNUM bypass" local rule="udp sport 53 queue num $QNUM bypass"
# dns client # router
nft_print_op "oifname @lanif $rule" "nfqws forward (qnum $QNUM)" "4+6" nft_print_op "oifname @lanif $rule" "nfqws forward (qnum $QNUM)" "4+6"
nft_add_chain forward_dns_feed "type filter hook forward priority mangle;" nft_add_chain forward_dns_feed "type filter hook forward priority mangle;"
nft_flush_chain forward_dns_feed
nft_add_rule forward_dns_feed oifname @lanif $rule nft_add_rule forward_dns_feed oifname @lanif $rule
# router # dns client
nft_print_op "$rule" "nfqws input (qnum $QNUM)" "4+6" nft_print_op "$rule" "nfqws input (qnum $QNUM)" "4+6"
nft_add_chain input_dns_feed "type filter hook input priority mangle;" nft_add_chain input_dns_feed "type filter hook input priority mangle;"
nft_flush_chain input_dns_feed
nft_add_rule input_dns_feed $rule nft_add_rule input_dns_feed $rule
# dns server # dns server
nft_print_op "$rule" "nfqws output (qnum $QNUM)" "4+6" nft_print_op "$rule" "nfqws output (qnum $QNUM)" "4+6"
nft_add_chain output_dns_feed "type filter hook output priority mangle;" nft_add_chain output_dns_feed "type filter hook output priority mangle;"
nft_flush_chain output_dns_feed
nft_add_rule output_dns_feed $rule nft_add_rule output_dns_feed $rule
} }
@@ -54,6 +57,6 @@ zapret_custom_firewall_nft_flush()
{ {
local chain local chain
for chain in forward_dns_feed input_dns_feed output_dns_feed; do for chain in forward_dns_feed input_dns_feed output_dns_feed; do
nft_delete_chain $chain 2>/dev/null nft_del_chain $chain 2>/dev/null
done done
} }

View File

@@ -0,0 +1,145 @@
# this custom script sets FILTER_MARK to specified source ips
# NOTE !!! SCRIPT REQUIRES FILTER_MARK VAR IN CONFIG FILE !!!
# NOTE !!! WITHOUT FILTER_MARK IT DOES NOTHING !!!
# NOTE !!! ON NON-OPENWRT SYSTEMS SCRIPT REQUIRES IFACE_LAN VAR IN CONFIG FILE !!!
# can override in config :
# LAN ip/cidr list to be fooled. elements are space separated
FILTER_LAN_IP="${FILTER_LAN_IP:-192.168.0.0/16}"
FILTER_LAN_IP6="${FILTER_LAN_IP6:-fc00::/7}"
# allow fooling from local system (0|1) ?
FILTER_LAN_ALLOW_OUTPUT="${FILTER_LAN_ALLOW_OUTPUT:-1}"
FILTER_LAN_SET="lanfilter"
FILTER_LAN_SET6="${FILTER_LAN_SET}6"
FILTER_LAN_IPSET_SIZE=${FILTER_LAN_IPSET_SIZE:-256}
FILTER_LAN_IPSET_OPT="${FILTER_LAN_IPSET_OPT:-hash:net hashsize 8192 maxelem $FILTER_LAN_IPSET_SIZE}"
filter_mark_check()
{
[ -n "$FILTER_MARK" ] || {
echo "WARNING ! lan filter cannot work without FILTER_MARK set in config"
return 1
}
[ "$DISABLE_IPV4" = 1 -a "$DISABLE_IPV6" = 1 ] && return 1
return 0
}
zapret_custom_firewall()
{
# $1 - 1 - run, 0 - stop
filter_mark_check || return
local subnet lanifs rule
local setmark="-j MARK --set-mark $FILTER_MARK/$FILTER_MARK"
local filt4="-m set --match-set $FILTER_LAN_SET src"
local filt6="-m set --match-set $FILTER_LAN_SET6 src"
get_lanif lanifs
[ "$DISABLE_IPV4" != 1 ] && {
[ "$FILTER_LAN_ALLOW_OUTPUT" = 1 ] && {
ipt_print_op $1 "$setmark" "filter output"
ipt_add_del $1 OUTPUT -t mangle $setmark
}
[ -n "$lanifs" ] && {
[ "$1" = 1 ] && {
ipset create $FILTER_LAN_SET $FILTER_LAN_IPSET_OPT family inet 2>/dev/null
ipset flush $FILTER_LAN_SET
for subnet in $FILTER_LAN_IP; do
echo add $FILTER_LAN_SET $subnet
done | ipset -! restore
}
for lan in $lanifs; do
rule="-i $lan $filt4 $setmark"
ipt_print_op $1 "$rule" "filter forward"
ipt_add_del $1 FORWARD -t mangle $rule
done
}
}
[ "$DISABLE_IPV6" != 1 ] && {
[ "$FILTER_LAN_ALLOW_OUTPUT" = 1 ] && {
ipt_print_op $1 "$setmark" "filter output" 6
ipt6_add_del $1 OUTPUT -t mangle $setmark
}
[ -n "$lanifs" ] && {
[ "$1" = 1 ] && {
ipset create $FILTER_LAN_SET6 $FILTER_LAN_IPSET_OPT family inet6 2>/dev/null
ipset flush $FILTER_LAN_SET6
for subnet in $FILTER_LAN_IP6; do
echo add $FILTER_LAN_SET6 $subnet
done | ipset -! restore
}
for lan in $lanifs; do
rule="-i $lan $filt6 $setmark"
ipt_print_op $1 "$rule" "filter forward" 6
ipt6_add_del $1 FORWARD -t mangle $rule
done
}
}
[ "$1" = 1 ] || {
ipset destroy $FILTER_LAN_SET 2>/dev/null
ipset destroy $FILTER_LAN_SET6 2>/dev/null
}
}
zapret_custom_firewall_nft()
{
filter_mark_check || return
local subnets rule
local setmark="meta mark set meta mark or $FILTER_MARK"
local filt4="ip saddr == @$FILTER_LAN_SET"
local filt6="ip6 saddr == @$FILTER_LAN_SET6"
local lanif="iifname @lanif"
nft_add_chain forward_lan_filter "type filter hook forward priority mangle;"
nft_flush_chain forward_lan_filter
if [ "$FILTER_LAN_ALLOW_OUTPUT" = 1 ]; then
nft_add_chain output_lan_filter "type filter hook output priority mangle;"
nft_flush_chain output_lan_filter
nft_print_op "$setmark" "filter output" "4+6"
nft_add_rule output_lan_filter $setmark
else
nft_del_chain output_lan_filter 2>/dev/null
fi
[ "$DISABLE_IPV4" != 1 ] && {
make_comma_list subnets $FILTER_LAN_IP
nft_create_set $FILTER_LAN_SET "type ipv4_addr; size $FILTER_LAN_IPSET_SIZE; auto-merge; flags interval;"
nft_flush_set $FILTER_LAN_SET
nft_add_set_element $FILTER_LAN_SET "$subnets"
rule="$lanif $filt4 $setmark"
nft_print_op "$rule" "filter forward" "4"
nft_add_rule forward_lan_filter $rule
}
[ "$DISABLE_IPV6" != 1 ] && {
make_comma_list subnets $FILTER_LAN_IP6
nft_create_set $FILTER_LAN_SET6 "type ipv6_addr; size $FILTER_LAN_IPSET_SIZE; auto-merge; flags interval;"
nft_flush_set $FILTER_LAN_SET6
nft_add_set_element $FILTER_LAN_SET6 "$subnets"
rule="$lanif $filt6 $setmark"
nft_print_op "$rule" "filter forward" "6"
nft_add_rule forward_lan_filter $rule
}
}
zapret_custom_firewall_nft_flush()
{
# this function is called after all nft fw rules are deleted
# however sets are not deleted. it's desired to clear sets here.
nft_del_chain forward_lan_filter 2>/dev/null
nft_del_chain output_lan_filter 2>/dev/null
nft_del_set $FILTER_LAN_SET 2>/dev/null
nft_del_set $FILTER_LAN_SET6 2>/dev/null
}

View File

@@ -1,3 +1,3 @@
udp.PayloadLength=148 and udp.Payload[0]=0x01 or udp.PayloadLength=148 and udp.Payload32[0]=0x01000000 or
udp.PayloadLength=92 and udp.Payload[0]=0x02 or udp.PayloadLength=92 and udp.Payload32[0]=0x02000000 or
udp.PayloadLength=64 and udp.Payload[0]=0x03 udp.PayloadLength=64 and udp.Payload32[0]=0x03000000

View File

@@ -601,7 +601,7 @@ check_dns()
install_systemd() install_systemd()
{ {
INIT_SCRIPT_SRC="$EXEDIR/init.d/sysv/zapret" INIT_SCRIPT_SRC="$EXEDIR/init.d/sysv/zapret2"
CUSTOM_DIR="$ZAPRET_RW/init.d/sysv" CUSTOM_DIR="$ZAPRET_RW/init.d/sysv"
check_bins check_bins

View File

@@ -49,7 +49,7 @@ static int ucmp(const void * a, const void * b, void *arg)
} }
static uint32_t mask_from_bitcount(uint32_t zct) static uint32_t mask_from_bitcount(uint32_t zct)
{ {
return zct<32 ? ~((1 << zct) - 1) : 0; return zct<32 ? ~((1u << zct) - 1) : 0;
} }
// make presorted array unique. return number of unique items. // make presorted array unique. return number of unique items.
// 1,1,2,3,3,0,0,0 (ct=8) => 1,2,3,0 (ct=4) // 1,1,2,3,3,0,0,0 (ct=8) => 1,2,3,0 (ct=4)
@@ -138,7 +138,7 @@ static void mask_from_bitcount6_make(uint32_t zct, struct in6_addr *a)
int32_t n = (127 - zct) >> 3; int32_t n = (127 - zct) >> 3;
memset(a->s6_addr,0xFF,n); memset(a->s6_addr,0xFF,n);
memset(a->s6_addr+n,0x00,16-n); memset(a->s6_addr+n,0x00,16-n);
a->s6_addr[n] = ~((1 << (zct & 7)) - 1); a->s6_addr[n] = ~((1u << (zct & 7)) - 1);
} }
} }
static struct in6_addr ip6_mask[129]; static struct in6_addr ip6_mask[129];

View File

@@ -68,7 +68,6 @@ ipset_restore()
{ {
# $1 - ipset name # $1 - ipset name
# $2 - filename # $2 - filename
zzexist "$2" || return zzexist "$2" || return
local fsize=$(zzsize "$2") local fsize=$(zzsize "$2")
local svram=0 local svram=0
@@ -77,7 +76,7 @@ ipset_restore()
local T="Adding to ipset $1 " local T="Adding to ipset $1 "
[ "$svram" = "1" ] && T="$T (saveram)" [ "$svram" = "1" ] && T="$T (saveram)"
T="$T : $f" T="$T : $2"
echo $T echo $T
if [ "$svram" = "1" ]; then if [ "$svram" = "1" ]; then

View File

@@ -44,7 +44,9 @@ ZUSERLIST_EXCLUDE="$IPSET_RW_DIR/zapret-hosts-user-exclude.txt"
[ -n "$IP2NET" ] || IP2NET="$ZAPRET_BASE/ip2net/ip2net" [ -n "$IP2NET" ] || IP2NET="$ZAPRET_BASE/ip2net/ip2net"
[ -n "$MDIG" ] || MDIG="$ZAPRET_BASE/mdig/mdig" [ -n "$MDIG" ] || MDIG="$ZAPRET_BASE/mdig/mdig"
[ -z "$MDIG_THREADS" ] && MDIG_THREADS=30 MDIG_THREADS=${MDIG_THREADS:-30}
MDIG_EAGAIN=${MDIG_EAGAIN:-10}
MDIG_EAGAIN_DELAY=${MDIG_EAGAIN_DELAY:-500}
@@ -124,7 +126,7 @@ zzcat()
zz() zz()
{ {
if [ "$GZIP_LISTS" = "1" ]; then if [ "$GZIP_LISTS" = "1" ]; then
gzip -c >"$1.gz" gzip -9c >"$1.gz"
rm -f "$1" rm -f "$1"
else else
cat >"$1" cat >"$1"
@@ -161,7 +163,7 @@ digger()
if [ -x "$MDIG" ]; then if [ -x "$MDIG" ]; then
local cmd local cmd
[ "$2" = "s" ] && cmd=--stats=1000 [ "$2" = "s" ] && cmd=--stats=1000
"$MDIG" --family=$1 --threads=$MDIG_THREADS $cmd "$MDIG" --family=$1 --threads=$MDIG_THREADS --eagain=$MDIG_EAGAIN --eagain-delay=$MDIG_EAGAIN_DELAY $cmd
else else
local A=A local A=A
[ "$1" = "6" ] && A=AAAA [ "$1" = "6" ] && A=AAAA
@@ -272,11 +274,10 @@ hup_zapret_daemons()
{ {
echo forcing zapret daemons to reload their hostlist echo forcing zapret daemons to reload their hostlist
if exists killall; then if exists killall; then
killall -HUP tpws nfqws dvtws 2>/dev/null killall -HUP nfqws2 dvtws2 2>/dev/null
elif exists pkill; then elif exists pkill; then
pkill -HUP ^tpws$ pkill -HUP ^nfqws2$
pkill -HUP ^nfqws$ pkill -HUP ^dvtws2$
pkill -HUP ^dvtws$
else else
echo no mass killer available ! cant HUP zapret daemons echo no mass killer available ! cant HUP zapret daemons
fi fi

View File

@@ -149,12 +149,17 @@ function http_hostcase(ctx, desync)
error("http_hostcase: invalid host spelling '"..spell.."'") error("http_hostcase: invalid host spelling '"..spell.."'")
else else
local hdis = http_dissect_req(desync.dis.payload) local hdis = http_dissect_req(desync.dis.payload)
if hdis.headers.host then if hdis then
DLOG("http_hostcase: 'Host:' => '"..spell.."'") local idx_host = array_field_search(hdis.headers, "header_low", "host")
desync.dis.payload = string.sub(desync.dis.payload,1,hdis.headers.host.pos_start-1)..spell..string.sub(desync.dis.payload,hdis.headers.host.pos_header_end+1) if idx_host then
return VERDICT_MODIFY DLOG("http_hostcase: 'Host:' => '"..spell.."'")
desync.dis.payload = string.sub(desync.dis.payload,1,hdis.headers[idx_host].pos_start-1)..spell..string.sub(desync.dis.payload,hdis.headers[idx_host].pos_header_end+1)
return VERDICT_MODIFY
else
DLOG("http_hostcase: 'Host:' header not found")
end
else else
DLOG("http_hostcase: 'Host:' header not found") DLOG("http_hostcase: http dissect error")
end end
end end
end end
@@ -162,6 +167,7 @@ end
-- nfqws1 : "--methodeol" -- nfqws1 : "--methodeol"
-- standard args : direction -- standard args : direction
-- NOTE : if using with other http tampering methodeol should be the last !
function http_methodeol(ctx, desync) function http_methodeol(ctx, desync)
if not desync.dis.tcp then if not desync.dis.tcp then
instance_cutoff_shim(ctx, desync) instance_cutoff_shim(ctx, desync)
@@ -170,17 +176,22 @@ function http_methodeol(ctx, desync)
direction_cutoff_opposite(ctx, desync) direction_cutoff_opposite(ctx, desync)
if desync.l7payload=="http_req" and direction_check(desync) then if desync.l7payload=="http_req" and direction_check(desync) then
local hdis = http_dissect_req(desync.dis.payload) local hdis = http_dissect_req(desync.dis.payload)
local ua = hdis.headers["user-agent"] if hdis then
if ua then local idx_ua = array_field_search(hdis.headers, "header_low", "user-agent")
if (ua.pos_end - ua.pos_value_start) < 2 then if idx_ua then
DLOG("http_methodeol: 'User-Agent:' header is too short") local ua = hdis.headers[idx_ua]
if (ua.pos_end - ua.pos_value_start) < 2 then
DLOG("http_methodeol: 'User-Agent:' header is too short")
else
DLOG("http_methodeol: applied")
desync.dis.payload="\r\n"..string.sub(desync.dis.payload,1,ua.pos_end-2)..(string.sub(desync.dis.payload,ua.pos_end+1) or "");
return VERDICT_MODIFY
end
else else
DLOG("http_methodeol: applied") DLOG("http_methodeol: 'User-Agent:' header not found")
desync.dis.payload="\r\n"..string.sub(desync.dis.payload,1,ua.pos_end-2)..(string.sub(desync.dis.payload,ua.pos_end+1) or "");
return VERDICT_MODIFY
end end
else else
DLOG("http_methodeol: 'User-Agent:' header not found") DLOG("http_methodeol: http dissect error")
end end
end end
end end
@@ -197,10 +208,11 @@ function http_unixeol(ctx, desync)
if desync.l7payload=="http_req" and direction_check(desync) then if desync.l7payload=="http_req" and direction_check(desync) then
local hdis = http_dissect_req(desync.dis.payload) local hdis = http_dissect_req(desync.dis.payload)
if hdis then if hdis then
if hdis.headers["user-agent"] then local idx_ua = array_field_search(hdis.headers, "header_low", "user-agent")
if idx_ua then
local http = http_reconstruct_req(hdis, true) local http = http_reconstruct_req(hdis, true)
if #http < #desync.dis.payload then if #http < #desync.dis.payload then
hdis.headers["user-agent"].value = hdis.headers["user-agent"].value .. string.rep(" ", #desync.dis.payload - #http) hdis.headers[idx_ua].value = hdis.headers[idx_ua].value .. string.rep(" ", #desync.dis.payload - #http)
end end
local http = http_reconstruct_req(hdis, true) local http = http_reconstruct_req(hdis, true)
if #http==#desync.dis.payload then if #http==#desync.dis.payload then
@@ -211,7 +223,7 @@ function http_unixeol(ctx, desync)
DLOG("http_unixeol: reconstruct differs in size from original: "..#http.."!="..#desync.dis.payload) DLOG("http_unixeol: reconstruct differs in size from original: "..#http.."!="..#desync.dis.payload)
end end
else else
DLOG("http_unixeol: user-agent header absent") DLOG("http_unixeol: 'User-Agent:' header absent")
end end
else else
DLOG("http_unixeol: could not dissect http") DLOG("http_unixeol: could not dissect http")

View File

@@ -569,7 +569,6 @@ function array_search(a, v)
return k return k
end end
end end
return nil
end end
-- linear search array a for a[index].f==v. return index -- linear search array a for a[index].f==v. return index
function array_field_search(a, f, v) function array_field_search(a, f, v)
@@ -578,7 +577,6 @@ function array_field_search(a, f, v)
return k return k
end end
end end
return nil
end end
-- find pos of the next eol and pos of the next non-eol character after eol -- find pos of the next eol and pos of the next non-eol character after eol
@@ -1426,6 +1424,114 @@ function tls_client_hello_mod(tls, options)
return tls return tls
end end
-- checks if filename is gzip compressed
function is_gzip_file(filename)
local f, err = io.open(filename, "r")
if not f then
error("is_gzip_file: "..err)
end
local hdr = f:read(2)
f:close()
return hdr and hdr=="\x1F\x8B"
end
-- ungzip file to raw string
-- expected_ratio = uncompressed_size/compressed_size (default 4)
function gunzip_file(filename, expected_ratio, read_block_size)
local f, err = io.open(filename, "r")
if not f then
error("gunzip_file: "..err)
end
if not read_block_size then read_block_size=16384 end
if not expected_ratio then expected_ratio=4 end
local decompressed=""
gz = gunzip_init()
if not gz then
error("gunzip_file: stream init error")
end
repeat
local compressed, err = f:read(read_block_size)
if not compressed then
f:close()
gunzip_end(gz)
if err then
error("gunzip_file: file read error : "..err)
else
return nil
end
end
local decomp, eof = gunzip_inflate(gz, compressed, #compressed * expected_ratio)
if not decomp then
f:close()
gunzip_end(gz)
return nil
end
decompressed = decompressed .. decomp
until eof
f:close()
gunzip_end(gz)
return decompressed
end
-- zip file to raw string
-- expected_ratio = uncompressed_size/compressed_size (default 2)
-- level : 1..9 (default 9)
-- memlevel : 1..8 (default 8)
function gzip_file(filename, data, expected_ratio, level, memlevel, compress_block_size)
local f, err = io.open(filename, "w")
if not f then
error("gzip_file: "..err)
end
if not write_block_size then compress_block_size=16384 end
if not expected_ratio then expected_ratio=2 end
gz = gzip_init(nil, level, memlevel)
if not gz then
error("gzip_file: stream init error")
end
local off=1, block_size
repeat
block_size = #data-off+1
if block_size>compress_block_size then block_size=compress_block_size end
local comp, eof = gzip_deflate(gz, string.sub(data,off,off+block_size-1), block_size / expected_ratio)
if not comp then
f:close()
gzip_end(gz)
return nil
end
f:write(comp)
off = off + block_size
until eof
f:close()
gzip_end(gz)
end
-- reads the whole file
function readfile(filename)
local f, err = io.open(filename, "r")
if not f then
error("readfile: "..err)
end
local s,err = f:read("*a")
f:close()
if err then
error("readfile: "..err)
end
return s
end
-- reads plain or gzipped file with transparent decompression
-- expected_ratio = uncompressed_size/compressed_size (default 4)
function z_readfile(filename, expected_ratio)
return is_gzip_file(filename) and gunzip_file(filename, expected_ratio) or readfile(filename)
end
-- write data to filename
function writefile(filename, data)
local f, err = io.open(filename, "w")
if not f then
error("writefile: "..err)
end
local s,err = f:write(data)
f:close()
end
-- DISSECTORS -- DISSECTORS
function http_dissect_header(header) function http_dissect_header(header)
@@ -1450,7 +1556,7 @@ function http_dissect_headers(http, pos)
end end
header,value,pos_endheader,pos_startvalue = http_dissect_header(header) header,value,pos_endheader,pos_startvalue = http_dissect_header(header)
if header then if header then
headers[string.lower(header)] = { header = header, value = value, pos_start = pos, pos_end = eol, pos_header_end = pos+pos_endheader-1, pos_value_start = pos+pos_startvalue-1 } headers[#headers+1] = { header_low = string.lower(header), header = header, value = value, pos_start = pos, pos_end = eol, pos_header_end = pos+pos_endheader-1, pos_value_start = pos+pos_startvalue-1 }
end end
pos=pnext pos=pnext
end end
@@ -1501,11 +1607,16 @@ function http_dissect_reply(http)
code = tonumber(string.sub(http,10,pos-1)) code = tonumber(string.sub(http,10,pos-1))
if not code then return nil end if not code then return nil end
pos = find_next_line(http,pos) pos = find_next_line(http,pos)
return { code = code, headers = http_dissect_headers(http,pos) } local hdis = { code = code }
hdis.headers, hdis.pos_headers_end = http_dissect_headers(http,pos)
if hdis.pos_headers_end then
hdis.body = string.sub(http, hdis.pos_headers_end)
end
return hdis
end end
function http_reconstruct_headers(headers, unixeol) function http_reconstruct_headers(headers, unixeol)
local eol = unixeol and "\n" or "\r\n" local eol = unixeol and "\n" or "\r\n"
return headers and btable(headers, function(a) return a.header..": "..a.value..eol end) or "" return headers and barray(headers, function(a) return a.header..": "..a.value..eol end) or ""
end end
function http_reconstruct_req(hdis, unixeol) function http_reconstruct_req(hdis, unixeol)
local eol = unixeol and "\n" or "\r\n" local eol = unixeol and "\n" or "\r\n"

View File

@@ -13,7 +13,7 @@ end
function test_all(...) function test_all(...)
test_run({test_crypto, test_bin, test_ipstr, test_dissect, test_csum, test_resolve, test_rawsend},...) test_run({test_crypto, test_bin, test_gzip, test_ipstr, test_dissect, test_csum, test_resolve, test_rawsend},...)
end end
@@ -366,6 +366,35 @@ function test_bin(...)
test_run({test_ub, test_bit, test_swap, test_ux},...) test_run({test_ub, test_bit, test_swap, test_ux},...)
end end
function test_gzip()
local s=""
for i=1,math.random(2000,3000) do
local rnd=brandom(math.random(1,50))
s=s..rnd..string.rep(bu8(math.random(0,255)),100-#rnd)
end
local v=math.random(100001,199999)
local level=math.random(1,9)
local memlevel=math.random(1,8)
print("gzip: original size "..#s)
print("gzip: cut point "..(v+1))
print("gzip: level "..level)
print("gzip: memlevel "..memlevel)
local gz = gzip_init(nil, level, memlevel)
local zip = gzip_deflate(gz,string.sub(s,1,v))
zip = zip..gzip_deflate(gz,string.sub(s,v+1))
zip = zip..gzip_deflate(gz,nil) -- finalize
gzip_end(gz)
print("gzip: deflated size "..#zip)
local v=math.random(2,#zip-1)
print("gunzip: cut point "..(v+1))
gz = gunzip_init()
local unzip = gunzip_inflate(gz,string.sub(zip,1,v))
unzip = unzip..gunzip_inflate(gz,string.sub(zip,v+1))
gunzip_end(gz)
print("gunzip: inflated size "..#unzip)
print("gzip+gunzip: "..(s==unzip and "OK" or "FAIL"))
test_assert(s==unzip)
end
function test_ipstr() function test_ipstr()
local s_ip, ip, s_ip2 local s_ip, ip, s_ip2
@@ -603,25 +632,50 @@ end
function test_resolve() function test_resolve()
local pos local pos
pos = zero_based_pos(resolve_multi_pos(fake_default_tls,"tls_client_hello","1,extlen,sniext,host,sld,midsld,endsld,endhost,-5")) local tdis = tls_dissect(fake_default_tls)
local extlen_pos = 5 + 6 + 32 + 1 + 2 + 1 + #tdis.handshake[TLS_HANDSHAKE_TYPE_CLIENT].dis.session_id + #tdis.handshake[TLS_HANDSHAKE_TYPE_CLIENT].dis.cipher_suites*2 + #tdis.handshake[TLS_HANDSHAKE_TYPE_CLIENT].dis.compression_methods
print("fake_default_tls size "..#fake_default_tls.." extlen="..extlen_pos)
local m="1,extlen,sniext,host,sld,midsld,endsld,endhost,-5"
pos = resolve_multi_pos(fake_default_tls,"tls_client_hello",m,true)
test_assert(pos) test_assert(pos)
print("resolve_multi_pos tls : "..table.concat(pos," ")) print("resolve_multi_pos tls : "..m.." : "..table.concat(pos," "))
pos = zero_based_pos(resolve_range(fake_default_tls,"tls_client_hello","host,endhost")) m = "host,endhost"
pos = resolve_range(fake_default_tls,"tls_client_hello",m,false,true)
test_assert(pos) test_assert(pos)
print("resolve_range tls : "..table.concat(pos," ")) print("resolve_range tls : "..m.." : "..table.concat(pos," "))
pos = resolve_pos(fake_default_tls,"tls_client_hello","midsld") m = "1"
pos = resolve_pos(fake_default_tls,"tls_client_hello",m,true)
test_assert(pos==1)
print("resolve_pos tls : "..m.." : "..pos)
m = "-1"
pos = resolve_pos(fake_default_tls,"tls_client_hello",m,true)
test_assert(pos==(#fake_default_tls-1))
print("resolve_pos tls : "..m.." : "..pos)
m = "extlen"
pos = resolve_pos(fake_default_tls,"tls_client_hello",m,true)
test_assert(pos==extlen_pos)
print("resolve_pos tls : "..m.." : "..pos)
m = "midsld"
pos = resolve_pos(fake_default_tls,"tls_client_hello",m,true)
test_assert(pos) test_assert(pos)
print("resolve_pos tls : "..pos - 1) print("resolve_pos tls : "..m.." : "..pos)
pos = resolve_pos(fake_default_tls,"tls_client_hello","method") m = "method"
pos = resolve_pos(fake_default_tls,"tls_client_hello",m,true)
test_assert(not pos) test_assert(not pos)
print("resolve_pos tls non-existent : "..tostring(pos)) print("resolve_pos tls non-existent : "..m.." : "..tostring(pos))
pos = zero_based_pos(resolve_multi_pos(fake_default_http,"http_req","method,host,sld,midsld,endsld,endhost,-5")) local host_pos = string.find(fake_default_http,"Host: ")+6-1
print("fake_default_http size "..#fake_default_http.." host="..host_pos)
m = "method,host,sld,midsld,endsld,endhost,-5"
pos = resolve_multi_pos(fake_default_http,"http_req",m,true)
test_assert(pos) test_assert(pos)
print("resolve_multi_pos http : "..table.concat(pos," ")) test_assert(pos[1]==0)
pos = resolve_pos(fake_default_http,"http_req","sniext") test_assert(pos[2]==host_pos)
print("resolve_multi_pos http : "..m.." : "..table.concat(pos," "))
m = "sniext"
pos = resolve_pos(fake_default_http,"http_req",m,true)
test_assert(not pos) test_assert(not pos)
print("resolve_pos http non-existent : "..tostring(pos)) print("resolve_pos http non-existent : "..m.." : "..tostring(pos))
end end
function test_rawsend(opts) function test_rawsend(opts)

View File

@@ -30,7 +30,8 @@
#endif #endif
#include <time.h> #include <time.h>
#define RESOLVER_EAGAIN_ATTEMPTS 2 #define RESOLVER_EAGAIN_ATTEMPTS 10
#define RESOLVER_EAGAIN_DELAY 500
static void trimstr(char *s) static void trimstr(char *s)
{ {
@@ -87,7 +88,7 @@ static bool dom_valid(char *dom)
static void invalid_domain_beautify(char *dom) static void invalid_domain_beautify(char *dom)
{ {
for (int i = 0; *dom && i < 64; i++, dom++) for (int i = 0; *dom && i < 64; i++, dom++)
if (*dom < 0x20 || *dom>0x7F) *dom = '?'; if (*dom < 0x20 || *dom<0) *dom = '?';
if (*dom) *dom = 0; if (*dom) *dom = 0;
} }
@@ -97,7 +98,7 @@ static struct
{ {
char verbose; char verbose;
char family; char family;
int threads; int threads, eagain, eagain_delay;
time_t start_time; time_t start_time;
pthread_mutex_t flock; pthread_mutex_t flock;
pthread_mutex_t slock; // stats lock pthread_mutex_t slock; // stats lock
@@ -193,11 +194,12 @@ static void *t_resolver(void *arg)
int i, r; int i, r;
char dom[256]; char dom[256];
bool is_ok; bool is_ok;
struct addrinfo hints; struct addrinfo hints, *result;
struct addrinfo *result; struct timespec ts_eagain = { .tv_sec = glob.eagain_delay/1000, .tv_nsec=glob.eagain_delay%1000*1000000 };
VLOG("started"); VLOG("started");
memset(&hints, 0, sizeof(struct addrinfo)); memset(&hints, 0, sizeof(struct addrinfo));
hints.ai_family = (glob.family == FAMILY4) ? AF_INET : (glob.family == FAMILY6) ? AF_INET6 : AF_UNSPEC; hints.ai_family = (glob.family == FAMILY4) ? AF_INET : (glob.family == FAMILY6) ? AF_INET6 : AF_UNSPEC;
hints.ai_socktype = SOCK_DGRAM; hints.ai_socktype = SOCK_DGRAM;
@@ -244,12 +246,16 @@ static void *t_resolver(void *arg)
else if (dom_valid(dom)) else if (dom_valid(dom))
{ {
VLOG("resolving %s", dom); VLOG("resolving %s", dom);
for (i = 0; i < RESOLVER_EAGAIN_ATTEMPTS; i++) for (i = 0; i < glob.eagain; i++)
{ {
if ((r = getaddrinfo(dom, NULL, &hints, &result))) if ((r = getaddrinfo(dom, NULL, &hints, &result)))
{ {
VLOG("failed to resolve %s : result %d (%s)", dom, r, eai_str(r)); VLOG("failed to resolve %s : result %d (%s)", dom, r, eai_str(r));
if (r == EAI_AGAIN) continue; // temporary failure. should retry if (r == EAI_AGAIN)
{
nanosleep(&ts_eagain, NULL);
continue; // temporary failure. should retry
}
} }
else else
{ {
@@ -447,14 +453,18 @@ int dns_parse_query()
static void exithelp(void) static void exithelp(void)
{ {
printf( printf(
" --threads=<threads_number>\n"
" --family=<4|6|46>\t\t; ipv4, ipv6, ipv4+ipv6\n" " --family=<4|6|46>\t\t; ipv4, ipv6, ipv4+ipv6\n"
" --threads=<threads_number>\n"
" --eagain=<eagain_retries>\t; how many times to retry if EAI_AGAIN received. default %u\n"
" --eagain-delay=<ms>\t\t; time in msec to wait between EAI_AGAIN attempts. default %u\n"
" --verbose\t\t\t; print query progress to stderr\n" " --verbose\t\t\t; print query progress to stderr\n"
" --stats=N\t\t\t; print resolve stats to stderr every N domains\n" " --stats=N\t\t\t; print resolve stats to stderr every N domains\n"
" --log-resolved=<file>\t\t; log successfully resolved domains to a file\n" " --log-resolved=<file>\t\t; log successfully resolved domains to a file\n"
" --log-failed=<file>\t\t; log failed domains to a file\n" " --log-failed=<file>\t\t; log failed domains to a file\n"
" --dns-make-query=<domain>\t; output to stdout binary blob with DNS query. use --family to specify ip version.\n" " --dns-make-query=<domain>\t; output to stdout binary blob with DNS query. use --family to specify ip version.\n"
" --dns-parse-query\t\t; read from stdin binary DNS answer blob and parse it to ipv4/ipv6 addresses\n" " --dns-parse-query\t\t; read from stdin binary DNS answer blob and parse it to ipv4/ipv6 addresses\n",
RESOLVER_EAGAIN_ATTEMPTS,
RESOLVER_EAGAIN_DELAY
); );
exit(1); exit(1);
} }
@@ -469,6 +479,8 @@ static void exithelp(void)
enum opt_indices { enum opt_indices {
IDX_HELP, IDX_HELP,
IDX_EAGAIN,
IDX_EAGAIN_DELAY,
IDX_THREADS, IDX_THREADS,
IDX_FAMILY, IDX_FAMILY,
IDX_VERBOSE, IDX_VERBOSE,
@@ -483,6 +495,8 @@ enum opt_indices {
static const struct option long_options[] = { static const struct option long_options[] = {
[IDX_HELP] = {"help", no_argument, 0, 0}, [IDX_HELP] = {"help", no_argument, 0, 0},
[IDX_THREADS] = {"threads", required_argument, 0, 0}, [IDX_THREADS] = {"threads", required_argument, 0, 0},
[IDX_EAGAIN] = {"eagain", required_argument, 0, 0},
[IDX_EAGAIN_DELAY] = {"eagain-delay", required_argument, 0, 0},
[IDX_FAMILY] = {"family", required_argument, 0, 0}, [IDX_FAMILY] = {"family", required_argument, 0, 0},
[IDX_VERBOSE] = {"verbose", no_argument, 0, 0}, [IDX_VERBOSE] = {"verbose", no_argument, 0, 0},
[IDX_STATS] = {"stats", required_argument, 0, 0}, [IDX_STATS] = {"stats", required_argument, 0, 0},
@@ -503,6 +517,8 @@ int main(int argc, char **argv)
*fn1 = *fn2 = *dom = 0; *fn1 = *fn2 = *dom = 0;
glob.family = FAMILY4; glob.family = FAMILY4;
glob.threads = 1; glob.threads = 1;
glob.eagain = RESOLVER_EAGAIN_ATTEMPTS;
glob.eagain_delay = RESOLVER_EAGAIN_DELAY;
while ((v = getopt_long_only(argc, argv, "", long_options, &option_index)) != -1) while ((v = getopt_long_only(argc, argv, "", long_options, &option_index)) != -1)
{ {
if (v) exithelp(); if (v) exithelp();
@@ -513,13 +529,29 @@ int main(int argc, char **argv)
exithelp(); exithelp();
break; break;
case IDX_THREADS: case IDX_THREADS:
glob.threads = optarg ? atoi(optarg) : 0; glob.threads = atoi(optarg);
if (glob.threads <= 0 || glob.threads > 100) if (glob.threads <= 0 || glob.threads > 100)
{ {
fprintf(stderr, "thread number must be within 1..100\n"); fprintf(stderr, "thread number must be within 1..100\n");
return 1; return 1;
} }
break; break;
case IDX_EAGAIN:
glob.eagain = atoi(optarg);
if (glob.eagain <= 0 || glob.eagain > 1000)
{
fprintf(stderr, "eagain must be within 1..1000\n");
return 1;
}
break;
case IDX_EAGAIN_DELAY:
glob.eagain_delay = atoi(optarg);
if (glob.eagain_delay < 0 || glob.eagain_delay > 100000)
{
fprintf(stderr, "eagain-delay must be within 0..100000\n");
return 1;
}
break;
case IDX_FAMILY: case IDX_FAMILY:
if (!strcmp(optarg, "4")) if (!strcmp(optarg, "4"))
glob.family = FAMILY4; glob.family = FAMILY4;

View File

@@ -51,11 +51,6 @@ uint32_t net16_add(uint16_t netorder_value, uint16_t cpuorder_increment)
return htons(ntohs(netorder_value)+cpuorder_increment); return htons(ntohs(netorder_value)+cpuorder_increment);
} }
bool ip_has_df(const struct ip *ip)
{
return ip && !!(ntohs(ip->ip_off) & IP_DF);
}
uint8_t *tcp_find_option(struct tcphdr *tcp, uint8_t kind) uint8_t *tcp_find_option(struct tcphdr *tcp, uint8_t kind)
{ {
uint8_t *t = (uint8_t*)(tcp+1); uint8_t *t = (uint8_t*)(tcp+1);
@@ -80,11 +75,6 @@ uint8_t *tcp_find_option(struct tcphdr *tcp, uint8_t kind)
} }
return NULL; return NULL;
} }
uint32_t *tcp_find_timestamps(struct tcphdr *tcp)
{
uint8_t *t = tcp_find_option(tcp, TCP_KIND_TS);
return (t && t[1]==10) ? (uint32_t*)(t+2) : NULL;
}
uint8_t tcp_find_scale_factor(const struct tcphdr *tcp) uint8_t tcp_find_scale_factor(const struct tcphdr *tcp)
{ {
uint8_t *scale = tcp_find_option((struct tcphdr*)tcp, TCP_KIND_SCALE); uint8_t *scale = tcp_find_option((struct tcphdr*)tcp, TCP_KIND_SCALE);
@@ -632,7 +622,7 @@ BOOL LowMandatoryLevel(void)
label_low.Label.Sid = (PSID)buf1; label_low.Label.Sid = (PSID)buf1;
InitializeSid(label_low.Label.Sid, &label_authority, 1); InitializeSid(label_low.Label.Sid, &label_authority, 1);
label_low.Label.Attributes = 0; label_low.Label.Attributes = SE_GROUP_INTEGRITY;
*GetSidSubAuthority(label_low.Label.Sid, 0) = SECURITY_MANDATORY_LOW_RID; *GetSidSubAuthority(label_low.Label.Sid, 0) = SECURITY_MANDATORY_LOW_RID;
// S-1-16-12288 : Mandatory Label\High Mandatory Level // S-1-16-12288 : Mandatory Label\High Mandatory Level
@@ -902,7 +892,7 @@ bool win_dark_init(const struct str_list_head *ssid_filter, const struct str_lis
wlan_filter_ssid = ssid_filter; wlan_filter_ssid = ssid_filter;
return true; return true;
} }
bool win_dark_deinit(void) void win_dark_deinit(void)
{ {
if (pNetworkListManager) if (pNetworkListManager)
{ {
@@ -1007,11 +997,12 @@ bool nlm_list(bool bAll)
} }
else else
bRet = false; bRet = false;
CoUninitialize();
} }
else else
bRet = false; bRet = false;
CoUninitialize();
return bRet; return bRet;
} }
@@ -1181,8 +1172,11 @@ static HANDLE windivert_init_filter(const char *filter, UINT64 flags)
FormatMessageA(FORMAT_MESSAGE_ALLOCATE_BUFFER | FORMAT_MESSAGE_FROM_SYSTEM | FORMAT_MESSAGE_IGNORE_INSERTS, FormatMessageA(FORMAT_MESSAGE_ALLOCATE_BUFFER | FORMAT_MESSAGE_FROM_SYSTEM | FORMAT_MESSAGE_IGNORE_INSERTS,
NULL, w_win32_error, MAKELANGID(LANG_ENGLISH, SUBLANG_DEFAULT), (LPSTR)&errormessage, 0, NULL); NULL, w_win32_error, MAKELANGID(LANG_ENGLISH, SUBLANG_DEFAULT), (LPSTR)&errormessage, 0, NULL);
DLOG_ERR("windivert: error opening filter: %s", errormessage); if (errormessage)
LocalFree(errormessage); {
DLOG_ERR("windivert: error opening filter: %s", errormessage);
LocalFree(errormessage);
}
if (w_win32_error == ERROR_INVALID_IMAGE_HASH) if (w_win32_error == ERROR_INVALID_IMAGE_HASH)
DLOG_ERR("windivert: try to disable secure boot and install OS patches\n"); DLOG_ERR("windivert: try to disable secure boot and install OS patches\n");

View File

@@ -80,15 +80,11 @@ void extract_ports(const struct tcphdr *tcphdr, const struct udphdr *udphdr, uin
void extract_endpoints(const struct ip *ip,const struct ip6_hdr *ip6hdr,const struct tcphdr *tcphdr,const struct udphdr *udphdr, struct sockaddr_storage *src, struct sockaddr_storage *dst); void extract_endpoints(const struct ip *ip,const struct ip6_hdr *ip6hdr,const struct tcphdr *tcphdr,const struct udphdr *udphdr, struct sockaddr_storage *src, struct sockaddr_storage *dst);
bool extract_dst(const uint8_t *data, size_t len, struct sockaddr* dst); bool extract_dst(const uint8_t *data, size_t len, struct sockaddr* dst);
uint8_t *tcp_find_option(struct tcphdr *tcp, uint8_t kind); uint8_t *tcp_find_option(struct tcphdr *tcp, uint8_t kind);
uint32_t *tcp_find_timestamps(struct tcphdr *tcp);
uint8_t tcp_find_scale_factor(const struct tcphdr *tcp); uint8_t tcp_find_scale_factor(const struct tcphdr *tcp);
uint16_t tcp_find_mss(const struct tcphdr *tcp); uint16_t tcp_find_mss(const struct tcphdr *tcp);
bool tcp_synack_segment(const struct tcphdr *tcphdr); bool tcp_synack_segment(const struct tcphdr *tcphdr);
bool tcp_syn_segment(const struct tcphdr *tcphdr); bool tcp_syn_segment(const struct tcphdr *tcphdr);
bool ip_has_df(const struct ip *ip);
bool make_writeable_dir(); bool make_writeable_dir();
bool ensure_file_access(const char *filename); bool ensure_file_access(const char *filename);
#ifdef __CYGWIN__ #ifdef __CYGWIN__
@@ -98,7 +94,7 @@ bool ensure_dir_access(const char *filename);
bool prepare_low_appdata(); bool prepare_low_appdata();
bool win_sandbox(void); bool win_sandbox(void);
bool win_dark_init(const struct str_list_head *ssid_filter, const struct str_list_head *nlm_filter); bool win_dark_init(const struct str_list_head *ssid_filter, const struct str_list_head *nlm_filter);
bool win_dark_deinit(void); void win_dark_deinit(void);
bool logical_net_filter_present(void); bool logical_net_filter_present(void);
bool logical_net_filter_match(void); bool logical_net_filter_match(void);
bool nlm_list(bool bAll); bool nlm_list(bool bAll);

View File

@@ -30,7 +30,7 @@ static void protocol_probe(t_protocol_probe *probe, int probe_count, const uint8
{ {
for (int i = 0; i < probe_count; i++) for (int i = 0; i < probe_count; i++)
{ {
if ((!probe[i].l7match || *l7proto==probe[i].l7) && probe[i].check(data_payload, len_payload)) if (!l7_payload_match(probe[i].l7p, params.payload_disable) && (!probe[i].l7match || *l7proto==probe[i].l7) && probe[i].check(data_payload, len_payload))
{ {
*l7payload = probe[i].l7p; *l7payload = probe[i].l7p;
if (*l7proto == L7_UNKNOWN) if (*l7proto == L7_UNKNOWN)
@@ -274,14 +274,14 @@ static bool auto_hostlist_retrans
if (dis->tcp && ctrack->dp->hostlist_auto_retrans_reset && (dis->ip || dis->ip6)) if (dis->tcp && ctrack->dp->hostlist_auto_retrans_reset && (dis->ip || dis->ip6))
{ {
uint8_t pkt[sizeof(struct ip6_hdr)+sizeof(struct tcphdr)]; uint8_t pkt[sizeof(struct ip6_hdr)+sizeof(struct tcphdr)];
struct ip *ip; struct ip *ip=NULL;
struct ip6_hdr *ip6; struct ip6_hdr *ip6=NULL;
struct tcphdr *tcp; struct tcphdr *tcp;
uint16_t pktlen; uint16_t pktlen;
if (dis->ip) if (dis->ip)
{ {
ip = (struct ip*)pkt; ip6=NULL; ip = (struct ip*)pkt;
pktlen = sizeof(struct ip) + sizeof(struct tcphdr); pktlen = sizeof(struct ip) + sizeof(struct tcphdr);
*ip = *dis->ip; *ip = *dis->ip;
ip->ip_hl = sizeof(struct ip)/4; // remove ip options ip->ip_hl = sizeof(struct ip)/4; // remove ip options
@@ -292,7 +292,7 @@ static bool auto_hostlist_retrans
} }
else if (dis->ip6) else if (dis->ip6)
{ {
ip6 = (struct ip6_hdr*)pkt; ip=NULL; ip6 = (struct ip6_hdr*)pkt;
pktlen = sizeof(struct ip6_hdr) + sizeof(struct tcphdr); pktlen = sizeof(struct ip6_hdr) + sizeof(struct tcphdr);
*ip6 = *dis->ip6; *ip6 = *dis->ip6;
ip6->ip6_plen = htons(sizeof(struct tcphdr)); ip6->ip6_plen = htons(sizeof(struct tcphdr));
@@ -753,7 +753,6 @@ static uint8_t desync(
struct func_list *func; struct func_list *func;
int ref_arg = LUA_NOREF, status; int ref_arg = LUA_NOREF, status;
bool b, b_cutoff_all, b_unwanted_payload; bool b, b_cutoff_all, b_unwanted_payload;
t_lua_desync_context ctx = { .magic = 0, .dp = dp, .ctrack = ctrack, .dis = dis, .cancel = false, .incoming = bIncoming };
const char *sDirection = bIncoming ? "in" : "out"; const char *sDirection = bIncoming ? "in" : "out";
struct packet_range *range; struct packet_range *range;
size_t l; size_t l;
@@ -782,13 +781,24 @@ static uint8_t desync(
if (LIST_FIRST(&dp->lua_desync)) if (LIST_FIRST(&dp->lua_desync))
{ {
lua_rawgeti(params.L, LUA_REGISTRYINDEX, params.ref_desync_ctx);
t_lua_desync_context *ctx = (t_lua_desync_context *)luaL_checkudata(params.L, 1, "desync_ctx");
// this is singleton stored in the registry. safe to pop
lua_pop(params.L,1);
ctx->dp = dp;
ctx->ctrack = ctrack;
ctx->dis = dis;
ctx->cancel = false;
ctx->incoming = bIncoming;
b_cutoff_all = b_unwanted_payload = true; b_cutoff_all = b_unwanted_payload = true;
ctx.func_n = 1; ctx->func_n = 1;
LIST_FOREACH(func, &dp->lua_desync, next) LIST_FOREACH(func, &dp->lua_desync, next)
{ {
ctx.func = func->func; ctx->func = func->func;
desync_instance(func->func, dp->n, ctx.func_n, instance, sizeof(instance)); desync_instance(func->func, dp->n, ctx->func_n, instance, sizeof(instance));
ctx.instance = instance; ctx->instance = instance;
range = bIncoming ? &func->range_in : &func->range_out; range = bIncoming ? &func->range_in : &func->range_out;
if (b_unwanted_payload) if (b_unwanted_payload)
@@ -796,7 +806,7 @@ static uint8_t desync(
if (b_cutoff_all) if (b_cutoff_all)
{ {
if (lua_instance_cutoff_check(&ctx, bIncoming)) if (lua_instance_cutoff_check(params.L, ctx, bIncoming))
DLOG("* lua '%s' : voluntary cutoff\n", instance); DLOG("* lua '%s' : voluntary cutoff\n", instance);
else if (check_pos_cutoff(pos, range)) else if (check_pos_cutoff(pos, range))
{ {
@@ -814,7 +824,7 @@ static uint8_t desync(
else else
b_cutoff_all = false; b_cutoff_all = false;
} }
ctx.func_n++; ctx->func_n++;
} }
if (b_cutoff_all) if (b_cutoff_all)
{ {
@@ -827,54 +837,54 @@ static uint8_t desync(
{ {
// create arg table that persists across multiple desync function calls // create arg table that persists across multiple desync function calls
lua_newtable(params.L); lua_newtable(params.L);
lua_pushf_dissect(dis); lua_pushf_dissect(params.L, dis);
lua_pushf_ctrack(ctrack, tpos, bIncoming); lua_pushf_ctrack(params.L, ctrack, tpos, bIncoming);
lua_pushf_int("profile_n", dp->n); lua_pushf_int(params.L, "profile_n", dp->n);
if (dp->name) lua_pushf_str("profile_name", dp->name); if (dp->name) lua_pushf_str(params.L, "profile_name", dp->name);
if (dp->n_tpl) lua_pushf_int("template_n", dp->n_tpl); if (dp->n_tpl) lua_pushf_int(params.L, "template_n", dp->n_tpl);
if (dp->name_tpl) lua_pushf_str("template_name", dp->name_tpl); if (dp->name_tpl) lua_pushf_str(params.L, "template_name", dp->name_tpl);
if (dp->cookie) lua_pushf_str("cookie", dp->cookie); if (dp->cookie) lua_pushf_str(params.L, "cookie", dp->cookie);
lua_pushf_bool("outgoing", !bIncoming); lua_pushf_bool(params.L, "outgoing", !bIncoming);
lua_pushf_str("ifin", (ifin && *ifin) ? ifin : NULL); lua_pushf_str(params.L, "ifin", (ifin && *ifin) ? ifin : NULL);
lua_pushf_str("ifout", (ifout && *ifout) ? ifout : NULL); lua_pushf_str(params.L, "ifout", (ifout && *ifout) ? ifout : NULL);
lua_pushf_lint("fwmark", fwmark); lua_pushf_lint(params.L, "fwmark", fwmark);
lua_pushf_table("target"); lua_pushf_table(params.L, "target");
lua_getfield(params.L,-1,"target"); lua_getfield(params.L,-1,"target");
if (sdport) lua_pushf_int("port",sdport); if (sdport) lua_pushf_int(params.L, "port",sdport);
if (sdp4) lua_pushf_lstr("ip",(const char*)sdp4,sizeof(*sdp4)); if (sdp4) lua_pushf_lstr(params.L, "ip",(const char*)sdp4,sizeof(*sdp4));
if (sdp6) lua_pushf_lstr("ip6",(const char*)sdp6,sizeof(*sdp6)); if (sdp6) lua_pushf_lstr(params.L, "ip6",(const char*)sdp6,sizeof(*sdp6));
lua_pop(params.L,1); lua_pop(params.L,1);
lua_pushf_bool("replay", !!replay_piece_count); lua_pushf_bool(params.L, "replay", !!replay_piece_count);
if (replay_piece_count) if (replay_piece_count)
{ {
lua_pushf_int("replay_piece", replay_piece+1); lua_pushf_int(params.L, "replay_piece", replay_piece+1);
lua_pushf_int("replay_piece_count", replay_piece_count); lua_pushf_int(params.L, "replay_piece_count", replay_piece_count);
lua_pushf_bool("replay_piece_last", (replay_piece+1)>=replay_piece_count); lua_pushf_bool(params.L, "replay_piece_last", (replay_piece+1)>=replay_piece_count);
} }
lua_pushf_str("l7payload", l7payload_str(l7payload)); lua_pushf_str(params.L, "l7payload", l7payload_str(l7payload));
lua_pushf_str("l7proto", l7proto_str(l7proto)); lua_pushf_str(params.L, "l7proto", l7proto_str(l7proto));
lua_pushf_int("reasm_offset", reasm_offset); lua_pushf_int(params.L, "reasm_offset", reasm_offset);
lua_pushf_raw("reasm_data", rdata_payload, rlen_payload); lua_pushf_raw(params.L, "reasm_data", rdata_payload, rlen_payload);
lua_pushf_raw("decrypt_data", data_decrypt, len_decrypt); lua_pushf_raw(params.L, "decrypt_data", data_decrypt, len_decrypt);
//if (ctrack) lua_pushf_reg("instance_cutoff", ctrack->lua_instance_cutoff); //if (ctrack) lua_pushf_reg("instance_cutoff", ctrack->lua_instance_cutoff);
if (dis->tcp) if (dis->tcp)
{ {
// recommended mss value for generated packets // recommended mss value for generated packets
if (rpos && rpos->mss) if (rpos && rpos->mss)
lua_pushf_int("tcp_mss", rpos->mss); lua_pushf_int(params.L, "tcp_mss", rpos->mss);
else else
lua_pushf_global("tcp_mss", "DEFAULT_MSS"); lua_pushf_global(params.L, "tcp_mss", "DEFAULT_MSS");
} }
ref_arg = luaL_ref(params.L, LUA_REGISTRYINDEX); ref_arg = luaL_ref(params.L, LUA_REGISTRYINDEX);
ctx.func_n = 1; ctx->func_n = 1;
LIST_FOREACH(func, &dp->lua_desync, next) LIST_FOREACH(func, &dp->lua_desync, next)
{ {
ctx.func = func->func; ctx->func = func->func;
desync_instance(func->func, dp->n, ctx.func_n, instance, sizeof(instance)); desync_instance(func->func, dp->n, ctx->func_n, instance, sizeof(instance));
ctx.instance = instance; ctx->instance = instance;
if (!lua_instance_cutoff_check(&ctx, bIncoming)) if (!lua_instance_cutoff_check(params.L, ctx, bIncoming))
{ {
range = bIncoming ? &func->range_in : &func->range_out; range = bIncoming ? &func->range_in : &func->range_out;
if (check_pos_range(pos, range)) if (check_pos_range(pos, range))
@@ -897,19 +907,17 @@ static uint8_t desync(
DLOG_ERR("desync function '%s' does not exist\n", func->func); DLOG_ERR("desync function '%s' does not exist\n", func->func);
goto err; goto err;
} }
lua_pushlightuserdata(params.L, &ctx); lua_rawgeti(params.L, LUA_REGISTRYINDEX, params.ref_desync_ctx);
lua_rawgeti(params.L, LUA_REGISTRYINDEX, ref_arg); lua_rawgeti(params.L, LUA_REGISTRYINDEX, ref_arg);
lua_pushf_args(&func->args, -1, true); lua_pushf_args(params.L, &func->args, -1, true);
lua_pushf_str("func", func->func); lua_pushf_str(params.L, "func", func->func);
lua_pushf_int("func_n", ctx.func_n); lua_pushf_int(params.L, "func_n", ctx->func_n);
lua_pushf_str("func_instance", instance); lua_pushf_str(params.L, "func_instance", instance);
// lua should not store and access ctx outside of this call // prevent use of desync ctx object outside of function call
// if this happens make our best to prevent access to bad memory ctx->valid = true;
// this is not crash-proof but better than nothing
ctx.magic = MAGIC_CTX; // mark struct as valid
status = lua_pcall(params.L, 2, LUA_MULTRET, 0); status = lua_pcall(params.L, 2, LUA_MULTRET, 0);
ctx.magic = 0; // mark struct as invalid ctx->valid = false;
if (status) if (status)
{ {
@@ -939,8 +947,8 @@ static uint8_t desync(
range->upper_cutoff ? '<' : '-', range->upper_cutoff ? '<' : '-',
range->to.mode, range->to.pos); range->to.mode, range->to.pos);
} }
if (ctx.cancel) break; if (ctx->cancel) break;
ctx.func_n++; ctx->func_n++;
} }
} }
@@ -960,7 +968,7 @@ static uint8_t desync(
} }
else else
{ {
b = lua_reconstruct_dissect(-1, mod_pkt, len_mod_pkt, false, false); b = lua_reconstruct_dissect(params.L, -1, mod_pkt, len_mod_pkt, false, false);
lua_pop(params.L, 2); lua_pop(params.L, 2);
if (!b) if (!b)
{ {
@@ -1117,7 +1125,7 @@ static uint8_t dpi_desync_tcp_packet_play(
} }
} }
// in absence of conntrack guess direction by presence of interface names. won't work on BSD // in absence of conntrack guess direction by presence of interface names. won't work on BSD
bReverseFixed = ctrack ? (bReverse ^ params.server) : (bReverse = ifin && ifin && (!ifout || !*ifout)); bReverseFixed = ctrack ? (bReverse ^ params.server) : (bReverse = ifin && *ifin && (!ifout || !*ifout));
setup_direction(dis, bReverseFixed, &src, &dst, &sdip4, &sdip6, &sdport); setup_direction(dis, bReverseFixed, &src, &dst, &sdip4, &sdip6, &sdport);
ifname = bReverse ? ifin : ifout; ifname = bReverse ? ifin : ifout;
#ifdef HAS_FILTER_SSID #ifdef HAS_FILTER_SSID
@@ -1272,19 +1280,32 @@ static uint8_t dpi_desync_tcp_packet_play(
process_retrans_fail(ctrack, dis, (struct sockaddr*)&src, ifin); process_retrans_fail(ctrack, dis, (struct sockaddr*)&src, ifin);
if (IsHttp(rdata_payload, rlen_payload)) // do not detect payload if reasm is in progress
if (!ctrack_replay || ReasmIsEmpty(&ctrack_replay->reasm_client))
{ {
DLOG("packet contains HTTP request\n"); t_protocol_probe testers[] = {
l7payload = L7P_HTTP_REQ; {L7P_TLS_CLIENT_HELLO,L7_TLS,IsTLSClientHelloPartial},
if (l7proto == L7_UNKNOWN) {L7P_HTTP_REQ,L7_HTTP,IsHttp,false},
{L7P_XMPP_STREAM,L7_XMPP,IsXMPPStream,false},
{L7P_XMPP_STARTTLS,L7_XMPP,IsXMPPStartTLS,false}
};
protocol_probe(testers, sizeof(testers) / sizeof(*testers), dis->data_payload, dis->len_payload, ctrack, &l7proto, &l7payload);
if (l7payload==L7P_UNKNOWN)
{ {
l7proto = L7_HTTP; // this is special type. detection requires AES and can be successful only for the first data packet. no reason to AES every packet
if (ctrack && ctrack->l7proto == L7_UNKNOWN) ctrack->l7proto = l7proto; if (ctrack && (ctrack->pos.client.seq_last - ctrack->pos.client.seq0)==1)
{
t_protocol_probe testers[] = {
{L7P_MTPROTO_INITIAL,L7_MTPROTO,IsMTProto}
};
protocol_probe(testers, sizeof(testers) / sizeof(*testers), dis->data_payload, dis->len_payload, ctrack, &l7proto, &l7payload);
}
} }
}
// we do not reassemble http if (l7payload==L7P_HTTP_REQ)
reasm_client_cancel(ctrack); {
bHaveHost = HttpExtractHost(rdata_payload, rlen_payload, host, sizeof(host)); bHaveHost = HttpExtractHost(rdata_payload, rlen_payload, host, sizeof(host));
if (!bHaveHost) if (!bHaveHost)
{ {
@@ -1292,21 +1313,17 @@ static uint8_t dpi_desync_tcp_packet_play(
goto pass; goto pass;
} }
} }
else if (IsTLSClientHello(rdata_payload, rlen_payload, TLS_PARTIALS_ENABLE)) else if (l7payload==L7P_TLS_CLIENT_HELLO || l7proto==L7_TLS && l7payload==L7P_UNKNOWN && ctrack_replay && !ReasmIsEmpty(&ctrack_replay->reasm_client))
{ {
bool bReqFull = IsTLSRecordFull(rdata_payload, rlen_payload);
DLOG(bReqFull ? "packet contains full TLS ClientHello\n" : "packet contains partial TLS ClientHello\n");
l7payload = L7P_TLS_CLIENT_HELLO; l7payload = L7P_TLS_CLIENT_HELLO;
if (l7proto == L7_UNKNOWN)
{ bool bReqFull = IsTLSRecordFull(rdata_payload, rlen_payload);
l7proto = L7_TLS; DLOG(bReqFull ? "TLS client hello is FULL\n" : "TLS client hello is PARTIAL\n");
if (ctrack && ctrack->l7proto == L7_UNKNOWN) ctrack->l7proto = l7proto;
}
if (bReqFull) TLSDebug(rdata_payload, rlen_payload); if (bReqFull) TLSDebug(rdata_payload, rlen_payload);
bHaveHost = TLSHelloExtractHost(rdata_payload, rlen_payload, host, sizeof(host), TLS_PARTIALS_ENABLE); bHaveHost = TLSHelloExtractHost(rdata_payload, rlen_payload, host, sizeof(host), true);
if (ctrack && !(params.reasm_payload_disable && l7_payload_match(l7payload, params.reasm_payload_disable))) if (ctrack && !l7_payload_match(l7payload, params.reasm_payload_disable))
{ {
// do not reasm retransmissions // do not reasm retransmissions
if (!bReqFull && ReasmIsEmpty(&ctrack->reasm_client) && !is_retransmission(&ctrack->pos.client)) if (!bReqFull && ReasmIsEmpty(&ctrack->reasm_client) && !is_retransmission(&ctrack->pos.client))
@@ -1336,26 +1353,6 @@ static uint8_t dpi_desync_tcp_packet_play(
} }
} }
} }
else if (ctrack && (ctrack->pos.client.seq_last - ctrack->pos.client.seq0)==1 && IsMTProto(dis->data_payload, dis->len_payload))
{
DLOG("packet contains telegram mtproto2 initial\n");
// mtproto detection requires aes. react only on the first tcp data packet. do not detect if ctrack unavailable.
l7payload = L7P_MTPROTO_INITIAL;
if (l7proto == L7_UNKNOWN)
{
l7proto = L7_MTPROTO;
if (ctrack->l7proto == L7_UNKNOWN) ctrack->l7proto = l7proto;
}
}
else
{
t_protocol_probe testers[] = {
{L7P_XMPP_STREAM,L7_XMPP,IsXMPPStream,false},
{L7P_XMPP_STARTTLS,L7_XMPP,IsXMPPStartTLS,false}
};
protocol_probe(testers, sizeof(testers) / sizeof(*testers), dis->data_payload, dis->len_payload, ctrack, &l7proto, &l7payload);
}
} }
if (bHaveHost) if (bHaveHost)
@@ -1663,7 +1660,7 @@ static uint8_t dpi_desync_udp_packet_play(
} }
} }
// in absence of conntrack guess direction by presence of interface names. won't work on BSD // in absence of conntrack guess direction by presence of interface names. won't work on BSD
bReverseFixed = ctrack ? (bReverse ^ params.server) : (bReverse = ifin && ifin && (!ifout || !*ifout)); bReverseFixed = ctrack ? (bReverse ^ params.server) : (bReverse = ifin && *ifin && (!ifout || !*ifout));
setup_direction(dis, bReverseFixed, &src, &dst, &sdip4, &sdip6, &sdport); setup_direction(dis, bReverseFixed, &src, &dst, &sdip4, &sdip6, &sdport);
ifname = bReverse ? ifin : ifout; ifname = bReverse ? ifin : ifout;
@@ -1756,7 +1753,7 @@ static uint8_t dpi_desync_udp_packet_play(
} }
if (pclean) if (pclean)
{ {
bool reasm_disable = params.reasm_payload_disable && l7_payload_match(l7payload, params.reasm_payload_disable); bool reasm_disable = l7_payload_match(l7payload, params.reasm_payload_disable);
if (ctrack && !reasm_disable && !ReasmIsEmpty(&ctrack->reasm_client)) if (ctrack && !reasm_disable && !ReasmIsEmpty(&ctrack->reasm_client))
{ {
if (ReasmHasSpace(&ctrack->reasm_client, clean_len)) if (ReasmHasSpace(&ctrack->reasm_client, clean_len))
@@ -1818,7 +1815,7 @@ static uint8_t dpi_desync_udp_packet_play(
{ {
data_decrypt = defrag + hello_offset; data_decrypt = defrag + hello_offset;
len_decrypt = hello_len; len_decrypt = hello_len;
bHaveHost = TLSHelloExtractHostFromHandshake(data_decrypt, len_decrypt, host, sizeof(host), TLS_PARTIALS_ENABLE); bHaveHost = TLSHelloExtractHostFromHandshake(data_decrypt, len_decrypt, host, sizeof(host), true);
} }
else else
{ {

View File

@@ -31,7 +31,12 @@ int z_readfile(FILE *F, char **buf, size_t *size, size_t extra_alloc)
r = Z_ERRNO; r = Z_ERRNO;
goto zerr; goto zerr;
} }
if (!zs.avail_in) break; if (!zs.avail_in)
{
// file is not full
r = Z_DATA_ERROR;
goto zerr;
}
zs.next_in = in; zs.next_in = in;
do do
{ {

View File

@@ -12,7 +12,7 @@
#define UNIQ_SORT \ #define UNIQ_SORT \
{ \ { \
int i, j, u; \ size_t i, j, u; \
for (i = j = 0; j < ct; i++) \ for (i = j = 0; j < ct; i++) \
{ \ { \
u = pu[j++]; \ u = pu[j++]; \
@@ -396,16 +396,16 @@ void phton64(uint8_t *p, uint64_t v)
p[7] = (uint8_t)v; p[7] = (uint8_t)v;
} }
uint16_t swap16(uint16_t u) uint16_t bswap16(uint16_t u)
{ {
// __builtin_bswap16 is absent in ancient lexra gcc 4.6 // __builtin_bswap16 is absent in ancient lexra gcc 4.6
return (u>>8) | ((u&0xFF)<<8); return (u>>8) | ((u&0xFF)<<8);
} }
uint32_t swap24(uint32_t u) uint32_t bswap24(uint32_t u)
{ {
return (u>>16) & 0xFF | u & 0xFF00 | (u<<16) & 0xFF0000; return (u>>16) & 0xFF | u & 0xFF00 | (u<<16) & 0xFF0000;
} }
uint64_t swap48(uint64_t u) uint64_t bswap48(uint64_t u)
{ {
return ((u & 0xFF0000000000) >> 40) | ((u & 0xFF00000000) >> 24) | ((u & 0xFF000000) >> 8) | ((u & 0xFF0000) << 8) | ((u & 0xFF00) << 24) | ((u & 0xFF) << 40); return ((u & 0xFF0000000000) >> 40) | ((u & 0xFF00000000) >> 24) | ((u & 0xFF000000) >> 8) | ((u & 0xFF0000) << 8) | ((u & 0xFF00) << 24) | ((u & 0xFF) << 40);
} }
@@ -642,42 +642,13 @@ bool set_env_exedir(const char *argv0)
if ((s = strdup(argv0))) if ((s = strdup(argv0)))
{ {
if ((d = dirname(s))) if ((d = dirname(s)))
setenv("EXEDIR",s,1); bOK = !setenv("EXEDIR",d,1);
free(s); free(s);
} }
return bOK; return bOK;
} }
static void mask_from_preflen6_make(uint8_t plen, struct in6_addr *a)
{
if (plen >= 128)
memset(a->s6_addr,0xFF,16);
else
{
uint8_t n = plen >> 3;
memset(a->s6_addr,0xFF,n);
memset(a->s6_addr+n,0x00,16-n);
a->s6_addr[n] = (uint8_t)(0xFF00 >> (plen & 7));
}
}
struct in6_addr ip6_mask[129];
void mask_from_preflen6_prepare(void)
{
for (int plen=0;plen<=128;plen++) mask_from_preflen6_make(plen, ip6_mask+plen);
}
#if defined(__GNUC__) && !defined(__llvm__)
__attribute__((optimize ("no-strict-aliasing")))
#endif
void ip6_and(const struct in6_addr * restrict a, const struct in6_addr * restrict b, struct in6_addr * restrict result)
{
// int128 requires 16-bit alignment. in struct sockaddr_in6.sin6_addr is 8-byte aligned.
// it causes segfault on x64 arch with latest compiler. it can cause misalign slowdown on other archs
// use 64-bit AND
((uint64_t*)result->s6_addr)[0] = ((uint64_t*)a->s6_addr)[0] & ((uint64_t*)b->s6_addr)[0];
((uint64_t*)result->s6_addr)[1] = ((uint64_t*)a->s6_addr)[1] & ((uint64_t*)b->s6_addr)[1];
}
void str_cidr4(char *s, size_t s_len, const struct cidr4 *cidr) void str_cidr4(char *s, size_t s_len, const struct cidr4 *cidr)
{ {

View File

@@ -66,9 +66,9 @@ void phton48(uint8_t *p, uint64_t v);
uint64_t pntoh64(const uint8_t *p); uint64_t pntoh64(const uint8_t *p);
void phton64(uint8_t *p, uint64_t v); void phton64(uint8_t *p, uint64_t v);
uint16_t swap16(uint16_t u); uint16_t bswap16(uint16_t u);
uint32_t swap24(uint32_t u); uint32_t bswap24(uint32_t u);
uint64_t swap48(uint64_t u); uint64_t bswap48(uint64_t u);
bool parse_hex_str(const char *s, uint8_t *pbuf, size_t *size); bool parse_hex_str(const char *s, uint8_t *pbuf, size_t *size);
char hex_digit(uint8_t v); char hex_digit(uint8_t v);
@@ -139,15 +139,3 @@ bool parse_cidr4(char *s, struct cidr4 *cidr);
bool parse_cidr6(char *s, struct cidr6 *cidr); bool parse_cidr6(char *s, struct cidr6 *cidr);
bool parse_int16(const char *p, int16_t *v); bool parse_int16(const char *p, int16_t *v);
static inline uint32_t mask_from_preflen(uint32_t preflen)
{
return preflen ? preflen<32 ? ~((1 << (32-preflen)) - 1) : 0xFFFFFFFF : 0;
}
void ip6_and(const struct in6_addr * restrict a, const struct in6_addr * restrict b, struct in6_addr * restrict result);
extern struct in6_addr ip6_mask[129];
void mask_from_preflen6_prepare(void);
static inline const struct in6_addr *mask_from_preflen6(uint8_t preflen)
{
return ip6_mask+preflen;
}

View File

@@ -8,13 +8,8 @@ static bool addpool(hostlist_pool **hostlist, char **s, const char *end, int *ct
{ {
char *p=*s; char *p=*s;
// comment line // comment line ?
if ( *p == '#' || *p == ';' || *p == '/' || *p == '\r' || *p == '\n') if ( *p != '#' && *p != ';' && *p != '/' && *p != '\r' && *p != '\n')
{
// advance until eol
for (; p<end && *p && *p!='\r' && *p != '\n'; p++);
}
else
{ {
// advance until eol lowering all chars // advance until eol lowering all chars
uint32_t flags = 0; uint32_t flags = 0;
@@ -23,7 +18,7 @@ static bool addpool(hostlist_pool **hostlist, char **s, const char *end, int *ct
p = ++(*s); p = ++(*s);
flags |= HOSTLIST_POOL_FLAG_STRICT_MATCH; flags |= HOSTLIST_POOL_FLAG_STRICT_MATCH;
} }
for (; p<end && *p && *p!='\r' && *p != '\n'; p++) *p=tolower(*p); for (; p<end && *p && *p!=' ' && *p!='\t' && *p!='\r' && *p != '\n'; p++) *p=tolower(*p);
if (!HostlistPoolAddStrLen(hostlist, *s, p-*s, flags)) if (!HostlistPoolAddStrLen(hostlist, *s, p-*s, flags))
{ {
HostlistPoolDestroy(hostlist); HostlistPoolDestroy(hostlist);
@@ -32,6 +27,8 @@ static bool addpool(hostlist_pool **hostlist, char **s, const char *end, int *ct
} }
if (ct) (*ct)++; if (ct) (*ct)++;
} }
// skip remaining non-eol chars
for (; p<end && *p && *p!='\r' && *p != '\n'; p++);
// advance to the next line // advance to the next line
for (; p<end && (!*p || *p=='\r' || *p=='\n') ; p++); for (; p<end && (!*p || *p=='\r' || *p=='\n') ; p++);
*s = p; *s = p;
@@ -82,7 +79,7 @@ bool AppendHostList(hostlist_pool **hostlist, const char *filename)
} }
else else
{ {
DLOG_ERR("zlib decompression failed : result %d\n",r); DLOG_ERR("zlib decompression failed : result %d\n", r);
return false; return false;
} }
} }

View File

@@ -4,7 +4,6 @@
#include "helpers.h" #include "helpers.h"
// inplace tolower() and add to pool
static bool addpool(ipset *ips, char **s, const char *end, int *ct) static bool addpool(ipset *ips, char **s, const char *end, int *ct)
{ {
char *p, cidr[128]; char *p, cidr[128];
@@ -12,8 +11,7 @@ static bool addpool(ipset *ips, char **s, const char *end, int *ct)
struct cidr4 c4; struct cidr4 c4;
struct cidr6 c6; struct cidr6 c6;
// advance until eol for (p=*s; p<end && *p && *p!=' ' && *p!='\t' && *p!='\r' && *p != '\n'; p++);
for (p=*s; p<end && *p && *p!='\r' && *p != '\n'; p++);
// comment line // comment line
if (!(**s == '#' || **s == ';' || **s == '/' || **s == '\r' || **s == '\n' )) if (!(**s == '#' || **s == ';' || **s == '/' || **s == '\r' || **s == '\n' ))
@@ -22,7 +20,6 @@ static bool addpool(ipset *ips, char **s, const char *end, int *ct)
if (l>=sizeof(cidr)) l=sizeof(cidr)-1; if (l>=sizeof(cidr)) l=sizeof(cidr)-1;
memcpy(cidr,*s,l); memcpy(cidr,*s,l);
cidr[l]=0; cidr[l]=0;
rtrim(cidr);
if (parse_cidr4(cidr,&c4)) if (parse_cidr4(cidr,&c4))
{ {
@@ -46,6 +43,8 @@ static bool addpool(ipset *ips, char **s, const char *end, int *ct)
DLOG_ERR("bad ip or subnet : %s\n",cidr); DLOG_ERR("bad ip or subnet : %s\n",cidr);
} }
// skip remaining non-eol chars
for (; p<end && *p && *p!='\r' && *p != '\n'; p++);
// advance to the next line // advance to the next line
for (; p<end && (!*p || *p=='\r' || *p=='\n') ; p++); for (; p<end && (!*p || *p=='\r' || *p=='\n') ; p++);
*s = p; *s = p;

1722
nfq2/lua.c

File diff suppressed because it is too large Load Diff

View File

@@ -57,59 +57,58 @@ int lua_absindex(lua_State *L, int idx);
// push - create object and push to the stack // push - create object and push to the stack
// pushf - create object and set it as a named field of a table already present on the stack // pushf - create object and set it as a named field of a table already present on the stack
// pushi - create object and set it as a index field of a table already present on the stack // pushi - create object and set it as a index field of a table already present on the stack
void lua_pushf_nil(const char *field); void lua_pushf_nil(lua_State *L, const char *field);
void lua_pushi_nil(lua_Integer idx); void lua_pushi_nil(lua_State *L, lua_Integer idx);
void lua_pushf_bool(const char *field, bool b); void lua_pushf_bool(lua_State *L, const char *field, bool b);
void lua_pushi_bool(lua_Integer idx, bool b); void lua_pushi_bool(lua_State *L, lua_Integer idx, bool b);
void lua_pushf_str(const char *field, const char *str); void lua_pushf_str(lua_State *L, const char *field, const char *str);
void lua_pushi_str(lua_Integer idx, const char *str); void lua_pushi_str(lua_State *L, lua_Integer idx, const char *str);
void lua_pushf_lstr(const char *field, const char *str, size_t len); void lua_pushf_lstr(lua_State *L, const char *field, const char *str, size_t len);
void lua_pushi_lstr(lua_Integer idx, const char *str, size_t len); void lua_pushi_lstr(lua_State *L, lua_Integer idx, const char *str, size_t len);
void lua_pushf_int(const char *field, lua_Integer v); void lua_pushf_int(lua_State *L, const char *field, lua_Integer v);
void lua_pushi_int(lua_Integer idx, lua_Integer v); void lua_pushi_int(lua_State *L, lua_Integer idx, lua_Integer v);
void lua_pushf_lint(const char *field, int64_t v); void lua_pushf_lint(lua_State *L, const char *field, int64_t v);
void lua_pushi_lint(lua_Integer idx, int64_t v); void lua_pushi_lint(lua_State *L, lua_Integer idx, int64_t v);
void lua_pushf_number(const char *field, lua_Number v); void lua_pushf_number(lua_State *L, const char *field, lua_Number v);
void lua_pushi_number(lua_Integer idx, lua_Number v); void lua_pushi_number(lua_State *L, lua_Integer idx, lua_Number v);
void lua_push_raw(const void *v, size_t l); void lua_push_raw(lua_State *L, const void *v, size_t l);
void lua_pushf_raw(const char *field, const void *v, size_t l); void lua_pushf_raw(lua_State *L, const char *field, const void *v, size_t l);
void lua_pushi_raw(lua_Integer idx, const void *v, size_t l); void lua_pushi_raw(lua_State *L, lua_Integer idx, const void *v, size_t l);
void lua_pushf_reg(const char *field, int ref); void lua_pushf_reg(lua_State *L, const char *field, int ref);
void lua_pushf_lud(const char *field, void *p); void lua_pushf_lud(lua_State *L, const char *field, void *p);
void lua_pushf_table(const char *field); void lua_pushf_table(lua_State *L, const char *field);
void lua_pushi_table(lua_Integer idx); void lua_pushi_table(lua_State *L, lua_Integer idx);
void lua_push_blob(int idx_desync, const char *blob); void lua_push_blob(lua_State *L, int idx_desync, const char *blob);
void lua_pushf_blob(int idx_desync, const char *field, const char *blob); void lua_pushf_blob(lua_State *L, int idx_desync, const char *field, const char *blob);
void lua_pushf_tcphdr_options(const struct tcphdr *tcp, size_t len); void lua_pushf_tcphdr_options(lua_State *L, const struct tcphdr *tcp, size_t len);
void lua_pushf_tcphdr(const struct tcphdr *tcp, size_t len); void lua_pushf_tcphdr(lua_State *L, const struct tcphdr *tcp, size_t len);
void lua_pushf_udphdr(const struct udphdr *udp, size_t len); void lua_pushf_udphdr(lua_State *L, const struct udphdr *udp, size_t len);
void lua_pushf_iphdr(const struct ip *ip, size_t len); void lua_pushf_iphdr(lua_State *L, const struct ip *ip, size_t len);
void lua_pushf_ip6hdr(const struct ip6_hdr *ip6, size_t len); void lua_pushf_ip6hdr(lua_State *L, const struct ip6_hdr *ip6, size_t len);
void lua_push_dissect(const struct dissect *dis); void lua_push_dissect(lua_State *L, const struct dissect *dis);
void lua_pushf_dissect(const struct dissect *dis); void lua_pushf_dissect(lua_State *L, const struct dissect *dis);
void lua_pushf_ctrack(const t_ctrack *ctrack, const t_ctrack_positions *tpos, bool bIncoming); void lua_pushf_ctrack(lua_State *L, const t_ctrack *ctrack, const t_ctrack_positions *tpos, bool bIncoming);
void lua_pushf_args(const struct str2_list_head *args, int idx_desync, bool subst_prefix); void lua_pushf_args(lua_State *L, const struct str2_list_head *args, int idx_desync, bool subst_prefix);
void lua_pushf_pos(const char *name, const struct packet_pos *pos); void lua_pushf_pos(lua_State *L, const char *name, const struct packet_pos *pos);
void lua_pushf_range(const char *name, const struct packet_range *range); void lua_pushf_range(lua_State *L, const char *name, const struct packet_range *range);
void lua_pushf_global(const char *field, const char *global); void lua_pushf_global(lua_State *L, const char *field, const char *global);
bool lua_reconstruct_ip6hdr(int idx, struct ip6_hdr *ip6, size_t *len, uint8_t last_proto, bool preserve_next); bool lua_reconstruct_ip6hdr(lua_State *L, int idx, struct ip6_hdr *ip6, size_t *len, uint8_t last_proto, bool preserve_next);
bool lua_reconstruct_iphdr(int idx, struct ip *ip, size_t *len); bool lua_reconstruct_iphdr(lua_State *L, int idx, struct ip *ip, size_t *len);
bool lua_reconstruct_tcphdr(int idx, struct tcphdr *tcp, size_t *len); bool lua_reconstruct_tcphdr(lua_State *L, int idx, struct tcphdr *tcp, size_t *len);
bool lua_reconstruct_udphdr(int idx, struct udphdr *udp); bool lua_reconstruct_udphdr(lua_State *L, int idx, struct udphdr *udp);
bool lua_reconstruct_dissect(int idx, uint8_t *buf, size_t *len, bool badsum, bool ip6_preserve_next); bool lua_reconstruct_dissect(lua_State *L, int idx, uint8_t *buf, size_t *len, bool badsum, bool ip6_preserve_next);
#define MAGIC_CTX 0xE73DC935
typedef struct { typedef struct {
uint32_t magic;
unsigned int func_n; unsigned int func_n;
const char *func, *instance; const char *func, *instance;
const struct desync_profile *dp; const struct desync_profile *dp;
const struct dissect *dis; const struct dissect *dis;
t_ctrack *ctrack; t_ctrack *ctrack;
bool incoming,cancel; bool incoming, cancel;
bool valid;
} t_lua_desync_context; } t_lua_desync_context;
bool lua_instance_cutoff_check(const t_lua_desync_context *ctx, bool bIn); bool lua_instance_cutoff_check(lua_State *L, const t_lua_desync_context *ctx, bool bIn);

View File

@@ -52,9 +52,7 @@
struct params_s params; struct params_s params;
static volatile sig_atomic_t bReload = false; static volatile sig_atomic_t bReload = false;
#ifdef __CYGWIN__
bool bQuit = false; bool bQuit = false;
#endif
static void onhup(int sig) static void onhup(int sig)
{ {
@@ -102,12 +100,37 @@ static void onusr2(int sig)
ipcachePrint(&params.ipcache); ipcachePrint(&params.ipcache);
printf("\n"); printf("\n");
} }
static void onint(int sig)
{
const char *msg = "INT received !\n";
size_t wr = write(1, msg, strlen(msg));
bQuit = true;
}
static void onterm(int sig)
{
const char *msg = "TERM received !\n";
size_t wr = write(1, msg, strlen(msg));
bQuit = true;
}
static void pre_desync(void) static void pre_desync(void)
{ {
signal(SIGHUP, onhup); struct sigaction sa;
signal(SIGUSR1, onusr1);
signal(SIGUSR2, onusr2); sigemptyset(&sa.sa_mask);
sa.sa_sigaction = NULL;
sa.sa_flags = 0;
sa.sa_handler = onhup;
sigaction(SIGHUP, &sa, NULL);
sa.sa_handler = onusr1;
sigaction(SIGUSR1, &sa, NULL);
sa.sa_handler = onusr2;
sigaction(SIGUSR2, &sa, NULL);
sa.sa_handler = onint;
sigaction(SIGINT, &sa, NULL);
sa.sa_handler = onterm;
sigaction(SIGTERM, &sa, NULL);
} }
@@ -156,13 +179,14 @@ static int nfq_cb(struct nfq_q_handle *qh, struct nfgenmsg *nfmsg, struct nfq_da
uint8_t *data; uint8_t *data;
uint32_t ifidx_out, ifidx_in; uint32_t ifidx_out, ifidx_in;
char ifout[IFNAMSIZ], ifin[IFNAMSIZ]; char ifout[IFNAMSIZ], ifin[IFNAMSIZ];
uint8_t mod[RECONSTRUCT_MAX_SIZE];
size_t modlen; size_t modlen;
uint32_t mark;
uint8_t mod[RECONSTRUCT_MAX_SIZE];
ph = nfq_get_msg_packet_hdr(nfa); ph = nfq_get_msg_packet_hdr(nfa);
id = ph ? ntohl(ph->packet_id) : 0; id = ph ? ntohl(ph->packet_id) : 0;
uint32_t mark = nfq_get_nfmark(nfa); mark = nfq_get_nfmark(nfa);
ilen = nfq_get_payload(nfa, &data); ilen = nfq_get_payload(nfa, &data);
ifidx_out = nfq_get_outdev(nfa); ifidx_out = nfq_get_outdev(nfa);
@@ -282,12 +306,12 @@ static void notify_ready(void)
static int nfq_main(void) static int nfq_main(void)
{ {
uint8_t buf[RECONSTRUCT_MAX_SIZE] __attribute__((aligned));
struct nfq_handle *h = NULL; struct nfq_handle *h = NULL;
struct nfq_q_handle *qh = NULL; struct nfq_q_handle *qh = NULL;
int res, fd, e; int res, fd, e;
ssize_t rd; ssize_t rd;
FILE *Fpid = NULL; FILE *Fpid = NULL;
uint8_t buf[RECONSTRUCT_MAX_SIZE] __attribute__((aligned));
if (*params.pidfile && !(Fpid = fopen(params.pidfile, "w"))) if (*params.pidfile && !(Fpid = fopen(params.pidfile, "w")))
{ {
@@ -348,6 +372,7 @@ static int nfq_main(void)
{ {
while ((rd = recv(fd, buf, sizeof(buf), 0)) >= 0) while ((rd = recv(fd, buf, sizeof(buf), 0)) >= 0)
{ {
if (bQuit) goto quit;
ReloadCheck(); ReloadCheck();
lua_do_gc(); lua_do_gc();
#ifdef HAS_FILTER_SSID #ifdef HAS_FILTER_SSID
@@ -363,6 +388,11 @@ static int nfq_main(void)
else else
DLOG("recv from nfq returned 0 !\n"); DLOG("recv from nfq returned 0 !\n");
} }
if (errno==EINTR)
{
if (bQuit) goto quit;
continue;
}
e = errno; e = errno;
DLOG_ERR("recv: recv=%zd errno %d\n", rd, e); DLOG_ERR("recv: recv=%zd errno %d\n", rd, e);
errno = e; errno = e;
@@ -370,6 +400,7 @@ static int nfq_main(void)
// do not fail on ENOBUFS // do not fail on ENOBUFS
} while (e == ENOBUFS); } while (e == ENOBUFS);
exok:
res=0; res=0;
ex: ex:
nfq_deinit(&h, &qh); nfq_deinit(&h, &qh);
@@ -377,18 +408,21 @@ ex:
#ifdef HAS_FILTER_SSID #ifdef HAS_FILTER_SSID
wlan_info_deinit(); wlan_info_deinit();
#endif #endif
rawsend_cleanup();
return res; return res;
err: err:
if (Fpid) fclose(Fpid); if (Fpid) fclose(Fpid);
res=1; res=1;
goto ex; goto ex;
quit:
DLOG_CONDUP("quit requested\n");
goto exok;
} }
#elif defined(BSD) #elif defined(BSD)
static int dvt_main(void) static int dvt_main(void)
{ {
uint8_t buf[RECONSTRUCT_MAX_SIZE] __attribute__((aligned));
struct sockaddr_storage sa_from; struct sockaddr_storage sa_from;
int fd[2] = { -1,-1 }; // 4,6 int fd[2] = { -1,-1 }; // 4,6
int i, r, res = 1, fdct = 1, fdmax; int i, r, res = 1, fdct = 1, fdmax;
@@ -397,6 +431,9 @@ static int dvt_main(void)
ssize_t rd, wr; ssize_t rd, wr;
fd_set fdset; fd_set fdset;
FILE *Fpid = NULL; FILE *Fpid = NULL;
struct sockaddr_in bp4;
struct sockaddr_in6 bp6;
uint8_t buf[RECONSTRUCT_MAX_SIZE] __attribute__((aligned));
if (*params.pidfile && !(Fpid = fopen(params.pidfile, "w"))) if (*params.pidfile && !(Fpid = fopen(params.pidfile, "w")))
{ {
@@ -404,49 +441,42 @@ static int dvt_main(void)
return 1; return 1;
} }
bp4.sin_family = AF_INET;
bp4.sin_port = htons(params.port);
bp4.sin_addr.s_addr = INADDR_ANY;
DLOG_CONDUP("creating divert4 socket\n");
fd[0] = socket_divert(AF_INET);
if (fd[0] == -1) {
DLOG_PERROR("socket (DIVERT4)");
goto exiterr;
}
DLOG_CONDUP("binding divert4 socket\n");
if (bind(fd[0], (struct sockaddr*)&bp4, sizeof(bp4)) < 0)
{ {
struct sockaddr_in bp4; DLOG_PERROR("bind (DIVERT4)");
bp4.sin_family = AF_INET; goto exiterr;
bp4.sin_port = htons(params.port);
bp4.sin_addr.s_addr = INADDR_ANY;
DLOG_CONDUP("creating divert4 socket\n");
fd[0] = socket_divert(AF_INET);
if (fd[0] == -1) {
DLOG_PERROR("socket (DIVERT4)");
goto exiterr;
}
DLOG_CONDUP("binding divert4 socket\n");
if (bind(fd[0], (struct sockaddr*)&bp4, sizeof(bp4)) < 0)
{
DLOG_PERROR("bind (DIVERT4)");
goto exiterr;
}
} }
#ifdef __OpenBSD__ #ifdef __OpenBSD__
{ // in OpenBSD must use separate divert sockets for ipv4 and ipv6
// in OpenBSD must use separate divert sockets for ipv4 and ipv6 memset(&bp6, 0, sizeof(bp6));
struct sockaddr_in6 bp6; bp6.sin6_family = AF_INET6;
memset(&bp6, 0, sizeof(bp6)); bp6.sin6_port = htons(params.port);
bp6.sin6_family = AF_INET6;
bp6.sin6_port = htons(params.port);
DLOG_CONDUP("creating divert6 socket\n"); DLOG_CONDUP("creating divert6 socket\n");
fd[1] = socket_divert(AF_INET6); fd[1] = socket_divert(AF_INET6);
if (fd[1] == -1) { if (fd[1] == -1) {
DLOG_PERROR("socket (DIVERT6)"); DLOG_PERROR("socket (DIVERT6)");
goto exiterr; goto exiterr;
}
DLOG_CONDUP("binding divert6 socket\n");
if (bind(fd[1], (struct sockaddr*)&bp6, sizeof(bp6)) < 0)
{
DLOG_PERROR("bind (DIVERT6)");
goto exiterr;
}
fdct++;
} }
DLOG_CONDUP("binding divert6 socket\n");
if (bind(fd[1], (struct sockaddr*)&bp6, sizeof(bp6)) < 0)
{
DLOG_PERROR("bind (DIVERT6)");
goto exiterr;
}
fdct++;
#endif #endif
fdmax = (fd[0] > fd[1] ? fd[0] : fd[1]) + 1; fdmax = (fd[0] > fd[1] ? fd[0] : fd[1]) + 1;
@@ -486,13 +516,14 @@ static int dvt_main(void)
FD_ZERO(&fdset); FD_ZERO(&fdset);
for (i = 0; i < fdct; i++) FD_SET(fd[i], &fdset); for (i = 0; i < fdct; i++) FD_SET(fd[i], &fdset);
r = select(fdmax, &fdset, NULL, NULL, NULL); r = select(fdmax, &fdset, NULL, NULL, NULL);
if (bQuit)
{
DLOG_CONDUP("quit requested\n");
goto exitok;
}
if (r == -1) if (r == -1)
{ {
if (errno == EINTR) if (errno == EINTR) continue;
{
// a signal received
continue;
}
DLOG_PERROR("select"); DLOG_PERROR("select");
goto exiterr; goto exiterr;
} }
@@ -570,12 +601,14 @@ static int dvt_main(void)
} }
} }
exitok:
res = 0; res = 0;
exiterr: exiterr:
if (Fpid) fclose(Fpid); if (Fpid) fclose(Fpid);
if (fd[0] != -1) close(fd[0]); if (fd[0] != -1) close(fd[0]);
if (fd[1] != -1) close(fd[1]); if (fd[1] != -1) close(fd[1]);
lua_shutdown(); lua_shutdown();
rawsend_cleanup();
return res; return res;
} }
@@ -588,11 +621,11 @@ static int win_main()
unsigned int id; unsigned int id;
uint8_t verdict; uint8_t verdict;
bool bOutbound; bool bOutbound;
uint8_t packet[RECONSTRUCT_MAX_SIZE];
uint32_t mark; uint32_t mark;
WINDIVERT_ADDRESS wa; WINDIVERT_ADDRESS wa;
char ifname[IFNAMSIZ]; char ifname[IFNAMSIZ];
int res=0; int res=0;
uint8_t packet[RECONSTRUCT_MAX_SIZE];
if (params.daemon) daemonize(); if (params.daemon) daemonize();
@@ -619,7 +652,7 @@ static int win_main()
{ {
if (bQuit) if (bQuit)
{ {
DLOG("QUIT requested\n"); DLOG("quit requested\n");
goto ex; goto ex;
} }
usleep(500000); usleep(500000);
@@ -660,12 +693,11 @@ static int win_main()
else if (errno == ENODEV) else if (errno == ENODEV)
{ {
DLOG_CONDUP("logical network disappeared. deinitializing windivert.\n"); DLOG_CONDUP("logical network disappeared. deinitializing windivert.\n");
rawsend_cleanup();
break; break;
} }
else if (errno == EINTR) else if (errno == EINTR)
{ {
DLOG("QUIT requested\n"); DLOG("quit requested\n");
goto ex; goto ex;
} }
DLOG_ERR("windivert: recv failed. errno %d\n", errno); DLOG_ERR("windivert: recv failed. errno %d\n", errno);
@@ -711,6 +743,7 @@ static int win_main()
ex: ex:
win_dark_deinit(); win_dark_deinit();
lua_shutdown(); lua_shutdown();
rawsend_cleanup();
return res; return res;
} }
@@ -1338,7 +1371,7 @@ static void exithelp(void)
*all_payloads=0; *all_payloads=0;
for (t_l7payload pl=0 ; pl<L7P_LAST; pl++) for (t_l7payload pl=0 ; pl<L7P_LAST; pl++)
{ {
if (pl) strncat(all_payloads, " ", sizeof(all_payloads)-1-1); if (pl) strncat(all_payloads, " ", sizeof(all_payloads)-strlen(all_payloads)-1);
strncat(all_payloads, l7payload_str(pl), sizeof(all_payloads)-strlen(all_payloads)-1); strncat(all_payloads, l7payload_str(pl), sizeof(all_payloads)-strlen(all_payloads)-1);
} }
*all_protos=0; *all_protos=0;
@@ -1380,10 +1413,11 @@ static void exithelp(void)
#endif #endif
" --ctrack-timeouts=S:E:F[:U]\t\t\t\t; internal conntrack timeouts for TCP SYN, ESTABLISHED, FIN stages, UDP timeout. default %u:%u:%u:%u\n" " --ctrack-timeouts=S:E:F[:U]\t\t\t\t; internal conntrack timeouts for TCP SYN, ESTABLISHED, FIN stages, UDP timeout. default %u:%u:%u:%u\n"
" --ctrack-disable=[0|1]\t\t\t\t\t; 1 or no argument disables conntrack\n" " --ctrack-disable=[0|1]\t\t\t\t\t; 1 or no argument disables conntrack\n"
" --payload-disable=[type[,type]]\t\t\t; do not discover these payload types. for available payload types see '--payload'. disable all if no argument.\n"
" --server=[0|1]\t\t\t\t\t\t; change multiple aspects of src/dst ip/port handling for incoming connections\n" " --server=[0|1]\t\t\t\t\t\t; change multiple aspects of src/dst ip/port handling for incoming connections\n"
" --ipcache-lifetime=<int>\t\t\t\t; time in seconds to keep cached hop count and domain name (default %u). 0 = no expiration\n" " --ipcache-lifetime=<int>\t\t\t\t; time in seconds to keep cached hop count and domain name (default %u). 0 = no expiration\n"
" --ipcache-hostname=[0|1]\t\t\t\t; 1 or no argument enables ip->hostname caching\n" " --ipcache-hostname=[0|1]\t\t\t\t; 1 or no argument enables ip->hostname caching\n"
" --reasm-disable=[proto[,proto]]\t\t\t; disable reasm for these L7 payloads : tls_client_hello quic_initial . if no argument - disable all reasm.\n" " --reasm-disable=[type[,type]]\t\t\t\t; disable reasm for these L7 payloads : tls_client_hello quic_initial . if no argument - disable all reasm.\n"
#ifdef __CYGWIN__ #ifdef __CYGWIN__
"\nWINDIVERT FILTER:\n" "\nWINDIVERT FILTER:\n"
" --wf-iface=<int>[.<int>]\t\t\t\t; numeric network interface and subinterface indexes\n" " --wf-iface=<int>[.<int>]\t\t\t\t; numeric network interface and subinterface indexes\n"
@@ -1525,6 +1559,7 @@ enum opt_indices {
#endif #endif
IDX_CTRACK_TIMEOUTS, IDX_CTRACK_TIMEOUTS,
IDX_CTRACK_DISABLE, IDX_CTRACK_DISABLE,
IDX_PAYLOAD_DISABLE,
IDX_SERVER, IDX_SERVER,
IDX_IPCACHE_LIFETIME, IDX_IPCACHE_LIFETIME,
IDX_IPCACHE_HOSTNAME, IDX_IPCACHE_HOSTNAME,
@@ -1618,6 +1653,7 @@ static const struct option long_options[] = {
#endif #endif
[IDX_CTRACK_TIMEOUTS] = {"ctrack-timeouts", required_argument, 0, 0}, [IDX_CTRACK_TIMEOUTS] = {"ctrack-timeouts", required_argument, 0, 0},
[IDX_CTRACK_DISABLE] = {"ctrack-disable", optional_argument, 0, 0}, [IDX_CTRACK_DISABLE] = {"ctrack-disable", optional_argument, 0, 0},
[IDX_PAYLOAD_DISABLE] = {"payload-disable", optional_argument, 0, 0},
[IDX_SERVER] = {"server", optional_argument, 0, 0}, [IDX_SERVER] = {"server", optional_argument, 0, 0},
[IDX_IPCACHE_LIFETIME] = {"ipcache-lifetime", required_argument, 0, 0}, [IDX_IPCACHE_LIFETIME] = {"ipcache-lifetime", required_argument, 0, 0},
[IDX_IPCACHE_HOSTNAME] = {"ipcache-hostname", optional_argument, 0, 0}, [IDX_IPCACHE_HOSTNAME] = {"ipcache-hostname", optional_argument, 0, 0},
@@ -1732,7 +1768,6 @@ int main(int argc, char **argv)
srandom(time(NULL)); srandom(time(NULL));
aes_init_keygen_tables(); // required for aes aes_init_keygen_tables(); // required for aes
mask_from_preflen6_prepare();
set_env_exedir(argv[0]); set_env_exedir(argv[0]);
set_console_io_buffering(); set_console_io_buffering();
#ifdef __CYGWIN__ #ifdef __CYGWIN__
@@ -1948,6 +1983,18 @@ int main(int argc, char **argv)
case IDX_IPCACHE_HOSTNAME: case IDX_IPCACHE_HOSTNAME:
params.cache_hostname = !optarg || atoi(optarg); params.cache_hostname = !optarg || atoi(optarg);
break; break;
case IDX_PAYLOAD_DISABLE:
if (optarg)
{
if (!parse_l7p_list(optarg, &params.payload_disable))
{
DLOG_ERR("Invalid payload filter : %s\n", optarg);
exit_clean(1);
}
}
else
params.payload_disable = L7P_ALL;
break;
case IDX_REASM_DISABLE: case IDX_REASM_DISABLE:
if (optarg) if (optarg)
{ {
@@ -1958,7 +2005,7 @@ int main(int argc, char **argv)
} }
} }
else else
params.reasm_payload_disable = 0xFFFFFFFFFFFFFFFF; params.reasm_payload_disable = L7P_ALL;
break; break;
#if defined(__linux__) #if defined(__linux__)
case IDX_FWMARK: case IDX_FWMARK:
@@ -2639,7 +2686,8 @@ int main(int argc, char **argv)
HANDLE hMutexArg; HANDLE hMutexArg;
{ {
char mutex_name[128]; char mutex_name[128];
snprintf(mutex_name, sizeof(mutex_name), "Global\\winws2_arg_%u_%u_%u_%u_%u_%u_%u_%u_%u_%u", hash_wf_tcp_in, hash_wf_udp_in, hash_wf_tcp_out, hash_wf_udp_out, hash_wf_raw, hash_wf_raw_part, hash_ssid_filter, hash_nlm_filter, IfIdx, SubIfIdx, wf_ipv4, wf_ipv6); snprintf(mutex_name, sizeof(mutex_name), "Global\\winws2_arg_%u_%u_%u_%u_%u_%u_%u_%u_%u_%u_%u_%u",
hash_wf_tcp_in, hash_wf_udp_in, hash_wf_tcp_out, hash_wf_udp_out, hash_wf_raw, hash_wf_raw_part, hash_ssid_filter, hash_nlm_filter, IfIdx, SubIfIdx, wf_ipv4, wf_ipv6);
hMutexArg = CreateMutexA(NULL, TRUE, mutex_name); hMutexArg = CreateMutexA(NULL, TRUE, mutex_name);
if (hMutexArg && GetLastError() == ERROR_ALREADY_EXISTS) if (hMutexArg && GetLastError() == ERROR_ALREADY_EXISTS)
@@ -2690,7 +2738,6 @@ int main(int argc, char **argv)
#error unsupported OS #error unsupported OS
#endif #endif
ex: ex:
rawsend_cleanup();
cleanup_params(&params); cleanup_params(&params);
#ifdef __CYGWIN__ #ifdef __CYGWIN__
if (hMutexArg) if (hMutexArg)

View File

@@ -496,6 +496,9 @@ void cleanup_params(struct params_s *params)
hostlist_files_destroy(&params->hostlists); hostlist_files_destroy(&params->hostlists);
ipset_files_destroy(&params->ipsets); ipset_files_destroy(&params->ipsets);
ipcacheDestroy(&params->ipcache); ipcacheDestroy(&params->ipcache);
blob_collection_destroy(&params->blobs);
strlist_destroy(&params->lua_init_scripts);
#ifdef __CYGWIN__ #ifdef __CYGWIN__
strlist_destroy(&params->ssid_filter); strlist_destroy(&params->ssid_filter);
strlist_destroy(&params->nlm_filter); strlist_destroy(&params->nlm_filter);
@@ -529,6 +532,8 @@ void init_params(struct params_s *params)
LIST_INIT(&params->blobs); LIST_INIT(&params->blobs);
LIST_INIT(&params->lua_init_scripts); LIST_INIT(&params->lua_init_scripts);
params->reasm_payload_disable = params->payload_disable = 1<<L7P_NONE;
#ifdef __CYGWIN__ #ifdef __CYGWIN__
LIST_INIT(&params->ssid_filter); LIST_INIT(&params->ssid_filter);
LIST_INIT(&params->nlm_filter); LIST_INIT(&params->nlm_filter);

View File

@@ -21,8 +21,6 @@
#include <wordexp.h> #include <wordexp.h>
#endif #endif
#define TLS_PARTIALS_ENABLE true
#define RAW_SNDBUF (64*1024) // in bytes #define RAW_SNDBUF (64*1024) // in bytes
#define Q_MAXLEN 1024 // in packets #define Q_MAXLEN 1024 // in packets
@@ -45,7 +43,7 @@
// this MSS is used for ipv6 in windows and linux // this MSS is used for ipv6 in windows and linux
#define DEFAULT_MSS 1220 #define DEFAULT_MSS 1220
#define RECONSTRUCT_MAX_SIZE 16384 #define RECONSTRUCT_MAX_SIZE 65536
#define LUA_GC_INTERVAL 60 #define LUA_GC_INTERVAL 60
@@ -176,12 +174,14 @@ struct params_s
unsigned int ipcache_lifetime; unsigned int ipcache_lifetime;
ip_cache ipcache; ip_cache ipcache;
uint64_t reasm_payload_disable; uint64_t reasm_payload_disable;
uint64_t payload_disable;
struct str_list_head lua_init_scripts; struct str_list_head lua_init_scripts;
bool writeable_dir_enable; bool writeable_dir_enable;
char writeable_dir[PATH_MAX]; char writeable_dir[PATH_MAX];
int lua_gc; int lua_gc;
int ref_desync_ctx; // desync ctx userdata registry ref
lua_State *L; lua_State *L;
}; };

View File

@@ -98,6 +98,7 @@ hostfail_pool *HostFailPoolFind(hostfail_pool *p,const char *s)
} }
void HostFailPoolDel(hostfail_pool **p, hostfail_pool *elem) void HostFailPoolDel(hostfail_pool **p, hostfail_pool *elem)
{ {
free(elem->str);
HASH_DEL(*p, elem); HASH_DEL(*p, elem);
free(elem); free(elem);
} }
@@ -108,11 +109,7 @@ void HostFailPoolPurge(hostfail_pool **pp)
HASH_ITER(hh, *pp, elem, tmp) HASH_ITER(hh, *pp, elem, tmp)
{ {
if (now >= elem->expire) if (now >= elem->expire)
{ HostFailPoolDel(pp, elem);
free(elem->str);
HASH_DEL(*pp, elem);
free(elem);
}
} }
} }
static time_t host_fail_purge_prev=0; static time_t host_fail_purge_prev=0;

View File

@@ -675,7 +675,7 @@ ssize_t TLSPos(t_marker posmarker, int16_t pos, const uint8_t *data, size_t sz)
case PM_HOST_MIDSLD: case PM_HOST_MIDSLD:
case PM_HOST_ENDSLD: case PM_HOST_ENDSLD:
case PM_SNI_EXT: case PM_SNI_EXT:
if (TLSFindExt(data,sz,0,&ext,&elen,TLS_PARTIALS_ENABLE)) if (TLSFindExt(data,sz,0,&ext,&elen,true))
{ {
if (posmarker==PM_SNI_EXT) if (posmarker==PM_SNI_EXT)
{ {
@@ -989,24 +989,18 @@ bool IsQUICCryptoHello(const uint8_t *data, size_t len, size_t *hello_offset, si
uint8_t QUICDraftVersion(uint32_t version) uint8_t QUICDraftVersion(uint32_t version)
{ {
/* IETF Draft versions */ /* IETF Draft versions */
if ((version >> 8) == 0xff0000) { if ((version >> 8) == 0xff0000)
return (uint8_t)version; return (uint8_t)version;
}
/* Facebook mvfst, based on draft -22. */ /* Facebook mvfst, based on draft -22. */
if (version == 0xfaceb001) { if (version == 0xfaceb001)
return 22; return 22;
}
/* Facebook mvfst, based on draft -27. */ /* Facebook mvfst, based on draft -27. */
if (version == 0xfaceb002 || version == 0xfaceb00e) { if (version == 0xfaceb002 || version == 0xfaceb00e)
return 27; return 27;
}
/* GQUIC Q050, T050 and T051: they are not really based on any drafts, /* GQUIC Q050, T050 and T051: they are not really based on any drafts,
* but we must return a sensible value */ * but we must return a sensible value */
if (version == 0x51303530 || if (version == 0x51303530 || version == 0x54303530 || version == 0x54303531)
version == 0x54303530 ||
version == 0x54303531) {
return 27; return 27;
}
/* https://tools.ietf.org/html/draft-ietf-quic-transport-32#section-15 /* https://tools.ietf.org/html/draft-ietf-quic-transport-32#section-15
"Versions that follow the pattern 0x?a?a?a?a are reserved for use in "Versions that follow the pattern 0x?a?a?a?a are reserved for use in
forcing version negotiation to be exercised" forcing version negotiation to be exercised"
@@ -1014,19 +1008,17 @@ uint8_t QUICDraftVersion(uint32_t version)
used to select a proper salt (which depends on the version itself), but used to select a proper salt (which depends on the version itself), but
we don't have a real version here! Let's hope that we need to handle we don't have a real version here! Let's hope that we need to handle
only latest drafts... */ only latest drafts... */
if ((version & 0x0F0F0F0F) == 0x0a0a0a0a) { if ((version & 0x0F0F0F0F) == 0x0a0a0a0a)
return 29; return 29;
}
/* QUIC (final?) constants for v1 are defined in draft-33, but draft-34 is the /* QUIC (final?) constants for v1 are defined in draft-33, but draft-34 is the
final draft version */ final draft version */
if (version == 0x00000001) { if (version == 0x00000001)
return 34; return 34;
}
/* QUIC Version 2 */ /* QUIC Version 2 */
/* TODO: for the time being use 100 as a number for V2 and let see how v2 drafts evolve */ /* TODO: for the time being use 100 as a number for V2 and let see how v2 drafts evolve */
if (version == 0x709A50C4) { if ((version == 0x709A50C4) || (version == 0x6b3343cf))
return 100; return 100;
}
return 0; return 0;
} }
@@ -1036,7 +1028,7 @@ static bool is_quic_draft_max(uint32_t draft_version, uint8_t max_version)
} }
static bool is_quic_v2(uint32_t version) static bool is_quic_v2(uint32_t version)
{ {
return version == 0x6b3343cf; return (version == 0x709A50C4) || (version == 0x6b3343cf);
} }
static bool quic_hkdf_expand_label(const uint8_t *secret, uint8_t secret_len, const char *label, uint8_t *out, size_t out_len) static bool quic_hkdf_expand_label(const uint8_t *secret, uint8_t secret_len, const char *label, uint8_t *out, size_t out_len)
@@ -1386,24 +1378,24 @@ bool IsDNSResponse(const uint8_t *data, size_t len)
} }
bool IsWireguardHandshakeInitiation(const uint8_t *data, size_t len) bool IsWireguardHandshakeInitiation(const uint8_t *data, size_t len)
{ {
return len==148 && data[0]==1; return len==148 && pntoh32(data)==0x01000000;
} }
bool IsWireguardHandshakeResponse(const uint8_t *data, size_t len) bool IsWireguardHandshakeResponse(const uint8_t *data, size_t len)
{ {
return len==92 && data[0]==2; return len==92 && pntoh32(data)==0x02000000;
} }
bool IsWireguardHandshakeCookie(const uint8_t *data, size_t len) bool IsWireguardHandshakeCookie(const uint8_t *data, size_t len)
{ {
return len==64 && data[0]==3; return len==64 && pntoh32(data)==0x03000000;
} }
bool IsWireguardData(const uint8_t *data, size_t len) bool IsWireguardData(const uint8_t *data, size_t len)
{ {
// 16 bytes wg header + min 20 bytes for ipv4 encrypted header + 16 byte auth tag // 16 bytes wg header + min 20 bytes for ipv4 encrypted header + 16 byte auth tag
return len>=52 && data[0]==4; return len>=52 && pntoh32(data)==0x04000000;
} }
bool IsWireguardKeepalive(const uint8_t *data, size_t len) bool IsWireguardKeepalive(const uint8_t *data, size_t len)
{ {
return len==32 && data[0]==4; return len==32 && pntoh32(data)==0x04000000;
} }
bool IsDht(const uint8_t *data, size_t len) bool IsDht(const uint8_t *data, size_t len)
{ {

View File

@@ -20,7 +20,7 @@ typedef enum {
L7_XMPP, L7_XMPP,
L7_DNS, L7_DNS,
L7_MTPROTO, L7_MTPROTO,
L7_LAST, L7_INVALID=L7_LAST L7_LAST, L7_INVALID=L7_LAST, L7_NONE=L7_LAST
} t_l7proto; } t_l7proto;
const char *l7proto_str(t_l7proto l7); const char *l7proto_str(t_l7proto l7);
t_l7proto l7proto_from_name(const char *name); t_l7proto l7proto_from_name(const char *name);
@@ -53,7 +53,7 @@ typedef enum {
L7P_DNS_QUERY, L7P_DNS_QUERY,
L7P_DNS_RESPONSE, L7P_DNS_RESPONSE,
L7P_MTPROTO_INITIAL, L7P_MTPROTO_INITIAL,
L7P_LAST, L7P_INVALID=L7P_LAST L7P_LAST, L7P_INVALID=L7P_LAST, L7P_NONE=L7P_LAST
} t_l7payload; } t_l7payload;
t_l7payload l7payload_from_name(const char *name); t_l7payload l7payload_from_name(const char *name);
const char *l7payload_str(t_l7payload l7); const char *l7payload_str(t_l7payload l7);