Estimativas Das Séries Fourier e Hermite de Regração de Funções
-
Upload
alfredo-assis -
Category
Documents
-
view
214 -
download
0
Transcript of Estimativas Das Séries Fourier e Hermite de Regração de Funções
7/23/2019 Estimativas Das Séries Fourier e Hermite de Regração de Funções
http://slidepdf.com/reader/full/estimativas-das-series-fourier-e-hermite-de-regracao-de-funcoes 1/12
Ann. Inst. Statist. Math.
37 1985), Part A, 443-454
FOURIER A N D HERMITE SERIES ESTIMATES OF
REGRESSION FUNCTIONS
W L ODZ l M I ERZ GREBLICKI AND M I RO SL A W PAW I AK
Received May 7, 1984; revised May 13, 1985)
S u m m a r y
I n t h e p a p e r w e e s t i m a t e a r e g r e s s i o n ~ n ( x ) : E [ Y ] X : x } f r o m a
s e q u e n c e o f i n d e p e n d e n t o b s e r v a t i o n s ( X I, Y 1 ) , - , ( X ~ , Y ,) o f a p a i r ( X ,
Y ) o f r a n d o m v a r i a bl e s . W e e x a m i n e an e s t i m a t e o f a t y p e
Fn(x)=
Y j ~ ( x , X j ) ~ ( x , X j ), w h e r e N d e p e n d s o n n a n d ~N is D i r i c h l e t
3=
k e r n e l a n d t h e k e r n e l a s s oc i a te d w i t h t h e H e r m i t e s e ri e s. A s s u m i n g ,
t h a t E I Y l < o o a n d IYl~_r~oo, w e g i v e c o n d i t io n f o r ~ ( x ) t o c o n v e r g e
t o re(x) a t a l m o s t a ll x , p r o v i d e d t h a t X h a s a d e n s i t y . I f t h e r e g r e s -
s i o n h a s s d e r i v a t i v e s , t h e n ~ ( x ) c o n v e r g e s to z n(x) a s r a p i d l y a s
O ( n - a ~ - ~ n 9 i n p r o b a b i l i t y a n d O(n -a -~/~ l o g n ) a l m o s t c o m p l e t e l y .
1 I n t r o d u c t i o n
I n t h i s p a p e r w e e s t i m a t e a r e g r e s s io n f u n c t i o n ~ n ( x ) = E { Y ] X = x }
f r o m a s e q u e n c e o f i n d e p e n d e n t o b s e r v a t i o n s ( X , Y ~ ) , . . ., ( X , , Y ,) o f a
p a i r ( X , Y ) o f r a n d o m v a r i a b le s . A s s u m i n g t h a t X h a s a d e n s i t y f ,
w e u s e t h e f o ll o w i n g e s t i m a t o r :
n
w h e r e ~(x)-- ~ Yj~n(x , X~)
j = l
n
and O(x) = ~ ~ ( x , X j )
3=
a n d w h e r e N d e p e n d s o n n a n d { ~,} i s a s e q u e n c e o f s o m e k e r n e l
f u n c t i o n s . F o r X t a k i n g v a l u e s i n a n i n t e r v a l [ - - ~ , n ], ~ i s t h e
D i r i c h l e t k e r n e l , w h e r e a s , f o r X v a l u e d i n t h e w h o l e r e a l li n e , ~ i s a
k e r n e l a s so c i a te d w i t h t h e H e r m i t e s e r ie s . W e w i ll t r e a t 0 /0 i n t h e
Key words and phrases: Regression function, Fourier series, Hermite series, nonparamet -
ric estimate.
44
7/23/2019 Estimativas Das Séries Fourier e Hermite de Regração de Funções
http://slidepdf.com/reader/full/estimativas-das-series-fourier-e-hermite-de-regracao-de-funcoes 2/12
WLODZIMIERZ GREBLICKI AND MIROSLAW PAWLAK
a b o v e d e f in i ti o n as 0 a n d m o r e o v e r w e d e f in e r e ( x ) = 0 f o r s u c h p o i n t s
w h e r e f ( x ) = 0 . T h e e s t i m a t e is c lo se ly r e l a t e d w i t h t h e o r t h o g o n a l
s e r i e s e s t i m a t e ~l(x)/n o f t h e d e n s i t y f ( x ) s t u d i e d i n t h e l i t e r a t u r e .
D e n s i t y e s t i m a t e s d e r iv e d f r o m t h e t r i g o n o m e t r i c s e r ie s w e r e s t u d ie d
b y K r o n m a l a n d T a r t e r [1 0], F o l d e s a n d R ~ v ~ sz [3 ], W a h b a [ 1 9], B l e u e z
a n d B os q [1] a s w e l l a s T a r t e r a n d K r o n m a l [18]. I n t u r n , t h e H e r m i t e
s e r i e s w a s e m p l o y e d b y S c h w a r t z [1 4], F o l d e s a n d R ~ v ~ s z [3 ], B l e u e z
an d B o s q [1 ] , W a l t e r [2 0 ] , a s we l l a s Greb l i ck i an d Pawlak [6 ] , [7 ] .
T h e e s t i m a t e e x a m i n e d i n th i s p a p e r r e s e m b l e s t h e k e r n e l o n e
C--E-/h=
w h e r e h d e p e n d s o n n a n d K is a B o r el k e r n e l , d e e p l y s t u d i e d b y m a n y
a u t h o r s , s e e e . q . W a t s o n [21 ], N a d a r a y a [1 2] a n d m o r e r e c e n t w o r k s
o f K r z y z a k a n d P a w l a k [11] a s w e ll a s G r e b li c ki , K r z y z a k a n d P a w l a k
[5 ]. A d d i t i o n a l r e f e r e n c e s a b o u t r e g r e s s i o n e s t i m a t e s c a n b e f o u n d in
t h e s u r v e y p a p e r o f C o l l o m b [ 2 ] .
W e s h o w t h a t t h e e s t i m a t e s u s in g b o t h t h e t r i g o n o m e t r i c a n d t h e
H e r m i t e s e r ie s c o n v e r g e t o t h e t r u e r e g r e s s i o n i n p r o b a b i l i ty a n d a l m o s t
c o m p l e t e l y f o r a l m o s t a ll p o i nt s . M o r e o v e r t h e r a t e s o f t h e c o n v e r g e n c e
e q u a l s
O(n-a -~/49
i n p r o b a b i l i t y a n d
O(n -a - /4.
l o g n ) a l m o s t c o m p l e t e l y .
P o i n t w i s e r a t e s o f c o n v e r g e n c e fo r a c la ss n o n p a r a m e t r i c r e g r e s s i o n
e s t i m a t o r s h a v e b e e n i n v e s t i g a t e d b y S t o n e [1 5]. T h e r a t e g i v e n b y
h i m is s li g h t l y b e t t e r t h a n t h a t o b t a i n e d b y u s, b u t hi s a s s u m p t i o n s
a r e n o t c o m p a r a b l e w i t h o u r s .
2 Trigon om etr ic series est imate
L e t ( X , Y ) b e a p a i r o f r a n d o m v a r i a b le s t a k i n g v a l u e s i n Q a n d
R , r e sp e c ti v e l y , w h e r e Q = [ - m ~ ] . W e e s t i m a t e
m ( x ) = E { Y I X = x }
f r o m a s e q u e n c e ( X 1 , Y 1 ) , - , ( X ~, Y~) o f i n d e p e n d e n t o b s e r v a t i o n s o f
( X , Y ) . W e a s s u m e t h a t t h e r e e x i s t s a d e n s i t y o f X d e n o t e d b y f
a n d t h a t , f o r s o m e p > l , f ~ L p a n d g ~ L p, w h e r e g(x)=m(x) f (x) .
L e t
a n d f ( ~ ) ~ ~ b~e k~
i . e . l e t ak = (2 = ) -1 E {
Ye -~x}
an d b~ - (2=) -1 E {e ~x}
b e F o u r i e r c o e f f ic i e n ts o f g a n d f , r e s p e c t i v e l y .
S i n c e re(x)= g(x )/f(x), w e e s t i m a t e re(x) w i t h t h e f o l lo w i n g f o r m u l a :
7/23/2019 Estimativas Das Séries Fourier e Hermite de Regração de Funções
http://slidepdf.com/reader/full/estimativas-das-series-fourier-e-hermite-de-regracao-de-funcoes 3/12
F O U R I E R A N D H E R M I T E S E R IE S E S T I M A T E S
~ ^ l k x
~e
l~ l A r
w h e r e N d e p e n d s on n a n d
a~=(2~)- ~ - ~ yjo- ~,
J l
an d /~- - (2zr )- n -1 ~ , e- * x J
a r e u n b i a s e d e s t i m a t e s o f a ~ a n d b ~ , r e s p e c t i v e l y .
O n e ca n r e w r i t e t h e e s t i m a t e w i t h t h e f o ll o w in g f o r m :
~ , Y j D ~ ( x - X j )
~ ( x ) = ~ :
~ , D ~ x - - X + )
w h e r e = D ~ is t h e D i r i c h le t k e r n e l o f t h e N t h o r d e r i .e . w h e r e
N
2 u D ~ ( y ) =
m N
e - ~ = ( si n [ ( N +
1/2 )x] ) / s in
( x / 2 ) .
5
a n d
ons is tency o f t r igonometr ic ser ies es t imate
L e t u s d e n o t e
~ ( x ) = n -~ ~ , Y ~ D ~ ( x - Z j )
C l e a r l y
~ x ) = [ 7 x ) / / x ) .
( i )
( 2 )
t h e n
/ ( ~ ) = ~ - ~ ,
D , ~ ( x - X j ) .
j = l
THEOREYI1.
L e t f , g e L p , p > l . L e t E I Y [ < o o .
a n d
PROOF
a s N - ~ c o f o r a l m o s t a l l
x ~ Q,
s e e H u n t [9].
3 ) E {l x)
'~
g x )
I f
N ( n ) ~ c o
N n ) l n , , ~
,0
~ x ) ~ , r e x ) i n p r o b a b il it y f o r a l m o s t a l l x ~ Q .
F r o m g e L ~, p > l , i t f o ll o w s t h a t f
D ~ x - y ) g y ) d y - - ~ g x )
T h u s
7/23/2019 Estimativas Das Séries Fourier e Hermite de Regração de Funções
http://slidepdf.com/reader/full/estimativas-das-series-fourier-e-hermite-de-regracao-de-funcoes 4/12
6
WLODZIMIERZ GREBLICKI AND MIROSLAW PAWLAK
fo r a l m o s t a l l x e Q .
F o r Y s u c h t h a t E y 2< ~ oo w e h a v e
v a r ~(x)_~ n -~ f D ~v (z- y)w(y)dy,
w h e r e w ( z ) - - E { Y~] X - - x } . H e n c e
v a r ~ ( x ) ~ ( 2 u ) - l n -~ ( 2 N + l ) f GN(x-y)w(y)dy ,
w h e r e = F ~ i s t h e F e j 6 r k e r n e l o f t h e N t h o r d e r i .e . 2 ~ F ~ ( x ) = ( s i n ~ [ (N
+l)x/2])/(N+l)
s in 2 (x /2 ) . S i n c e w e L I , b y v i r t u e o f t h e L e b e s q u e t h e -
t h e C e z a r o s u m m a b i l it y , s e e Z y g m u n d [22], f Fs(x-y)w(y)dyr e m o n
--~w(x) a s N - ~ c o f o r a l m o s t a l l x e Q . T h u s ,
4 )
T h e r e f o r e
.vat O x)=O Nln) .
( 5 ) va r f i(x) ~ , 0
f o r a l m o s t a l l x e Q , w h e n e v e r E y ~ ( o o .
L e t n o w E [ Y [ ( o o . W e s h al l n o w u s e (5) a n d a p p ly t r u n c a t i o n
a r g u m e n t s . F o r t > 0 , l e t Y / e q u a l Y~ o r z e r o d e p e n d i n g o n Y j is n o t
g r e a t e r o r g r e a t e r t h a n t, r e s p e c ti v e ly . L e t , m o r e o v e r ,
y] t=y_y] , m ' ( x )=E{Y[[X l=x}
a n d
~n (x)=E{Y/ ' [Xl=x} .
T h u s
6 )
E { l ~ ( x ) - E (re)l} ~ - * E
-m ' (Xj ) )DN(x-
+ n -I E {[s~_,( Y / ' - m ( X ~ ) ) D ~ ( x - X j ) } .
T h e s e c o n d t e r m i n ( 6) d o e s n o t e x c e e d 2 f
g,(y)[DN(x-y)[dy,
w h e r e
g,(x)=E{[Y[tl[X~=x}. T h e f a c t t h a t g t i s m o n o t o n e i n t a n d t h a t
E g d X ) - - * 0 a s t- -~ o o i m p l y g,(x)---.O a s t - - . o o f o r a l m o s t a l l x e Q .
H e n c e , I gt(y)[DN(x-y)[dy c a n b e m a d e a r b i t r a r i l y s m a l l b y t a k i n g t
l a r g e e n o u g h .
O n t h e o t h e r h a n d , b y ( 5), f o r e v e r y f i x e d t , t h e f i r st t e r m i n (6 )
c o n v e r g e s t o z e r o a s n t e n d s t o i n f i n i t y f o r a l m o s t a ll x e Q .
F i n a l l y , t h e q u a n t i t y i n ( 6) c o n v e r g e s t o z e r o a s n t e n d s t o i n f i n i t y
f o r a l m o s t a l l x ~ Q . F r o m t h i s a n d ( 3) i t f o l lo w s t h a t
7/23/2019 Estimativas Das Séries Fourier e Hermite de Regração de Funções
http://slidepdf.com/reader/full/estimativas-das-series-fourier-e-hermite-de-regracao-de-funcoes 5/12
F O U R I E R A N D H E R M I T E S E R IE S E S T I M A T E S
447
~ ( x ) ~ , g ( x )
i n p r o b a b i l i t y f o r a l m o s t a ll x e Q .
U s i n g s i m i l a r a r g u m e n t s o n e c a n e a s i l y v e r i f y t h a t
/ ( x ) - - + f ( x )
a s
n - - * c o f o r a l m o s t a ll x e Q . T h e t h e o r e m h a s b e e n p r o v e d .
T H E O R E M 2 .
L e t l Y ] ~ _ r < o o a l m o s t s u r d y . L e t f , g 6 L ~ , p > l . I f ,
i n a d d i t i o n t o
1),
7 ) ~ e x p { - - a n / N n ) } < co
al l
a > 0 ,
t h e n
~ ( x ) ~-~ m ( x ) a l m o s t co m p l e te l y f o r a l m o s t a l l x 6 Q .
P R O O F . U s i n g H o e f f d i n g [8] i n e q u a l i t y o n e g e t s
P {I~ x)--E~ x)I>t}=Pn - l t ~ [ Y j D ~ x - X j ) - E { Y ~ D ~ x - X ~ ) } ] [t
< 2 e x p
{ - ( 2 u ) t 2 n / 2 ( N + l ) } .
B y th i s , 3 ), co n d i t i o n s 1 ) an d 7 ),
~ ( x ) ~ , g ( z )
a l m o s t c o m p l e t e l y f o r a l m o s t a ll x 6 Q .
I n t h e s a m e w a y o n e c a n v e r i f y t h a t
/ ( x ) - - t , f ( x ) a l m o s t c o m p l e t e l y
f o r a l m o s t a ll x e Q . T h u s , t h e p r o o f h a s b e e n c o m p l e t e d .
I t i s w e l l k n o w n t h a t t h e r e e x i s t f u n c t i o n s in t e g r a b l e o v e r Q s u c h
t h a t t h e i r F o u r i e r s e r ie s d o n o t c o n v e r g e t o t h e s e f u n c t i o n s f o r a l m o s t
a l l x e Q , s e e Z y g m u n d [2 2], S e c t i o n 8 .4 ) . T h u s , t h e r e e x i s t d e n s i t i e s
f o r w h i c h E f z ) d o e s n o t c o n v e r g e t o
f ( x )
a s N t e n d s t o i n f i n i t y f o r
a l m o s t a ll x ~ Q . I n t h e c o n s e q ue n c e , f o r p = l , o n e s h o u l d n o t e x p e c t
t h e c o n s i s t e n c y o f t h e e s t i m a t e f o r a l m o s t a ll x ~ Q .
onvergence rate for Fourier series estimate
B y m u l t i p le i n t e g r a t i n g f e - ~ g ( x ) d x a n d I e-~k~f (x) dx b y p a r t s
J
J
g e t .
L E M M A 1
t h e n
w e
L e t k r I f , f o r ] = 0 , 1 , . . . , s - l ,
f f J ( - - ~ ) = f f J ( ~ ) = O ,
7/23/2019 Estimativas Das Séries Fourier e Hermite de Regração de Funções
http://slidepdf.com/reader/full/estimativas-das-series-fourier-e-hermite-de-regracao-de-funcoes 6/12
4 4 8
b ~=( - i ) ' d k ~
w h e r e
~
i s t h e F o u r i e r c o e ~ c i e n t o f f f ' ~ .
s - - i
t h e n
W L O D Z I M I E R Z G R E B L I C K I A N D M I R O S L A W P A W L A K
I f , m o r eo v er , f o r
j = O , I , . 9
m 'J ' ( -~ )=m ~J~(=)=O ,
a , = ( - l ) a , l k
w h er e ~ i s t h e k th F o u r i e r co e ~ c i en t o f gC~).
B y v i r t u e o f ( 3 ) a n d L e m m a 1 ,
8 ) ] E
~ x)-g x)l=l ~I, a~l
I~l>~V
I 2\ 3 ~
~1/2
- ~ ~ 1 ~ 1 ) ~ J -~
~--
(2~)- n I
g '
II
N-(~-w ~'= O(N-(~-w2~)
f o r a l m o s t a l l x e Q , w h e r e I[ [] i s t h e L 2 n o r m . B y t h i s a n d ( 4 ) ,
E ( O ( x ) - g(~ ))~ = O ( N I n ) + O ( N ~ -~ /~ ,) ,
H e n c e , f o r
N ( n ) N n 'n* ,
E (~ l (x ) - -g (x) )~= O ( n - ( 2 ~ - ' n 9
S i m i l a ri l y , f o r { N ( n ) } p i c k e d u p a c c o r d i n g t o (9 )
E ( ] ( x ) - - f( x ) ) 2 : O ( n - a ~ - 1 ' / ~ 9
f o r a l m o s t a l l x e Q .
9 )
( I 0 )
f o r a l m o s t a l l x ~ Q .
( i i )
f o r a l m o s t a l l 9 e Q .
I n o r d e r t o g e t t h e c o n v e r g e n c e r a t e f o r ~ ( z ) w e s h a l l u s e .
L E M M A 2 I f
E (O(x)- - g (x) ) ~= O (a .) a n d E ( / ( x ) - - f ( z )) ~ = 0 ( # . ) ,
t h e n P { ] ~ ( x ) - m ( x ) l > ~ [ m ( x ) [ } = O ( r .) , w h e r e
r ~ = m a x ( a~ , fl~ ).
P R O O F . W e b e g i n w i t h t h e f o l lo w i n g i n e q u a l i t y
. ~ ( x ) - m ( x ) l ~ I 0(x)f(x) I ~ (~) f (x ) -f (x ) I + I O (x)-g(x)f(x) I
M a k i n g u s e o f t h e a b o v e i n e q u a l i t y o n e c a n e a s il y v e r i f y t h a t , f o r ~ > 0 ,
I ~ ( x ) - g ( x ) [ < l g ( x ) [ ~ / ( 2 + ~ ) a n d [ ] ( x ) - f ( x ) I < f ( x ) r
7/23/2019 Estimativas Das Séries Fourier e Hermite de Regração de Funções
http://slidepdf.com/reader/full/estimativas-das-series-fourier-e-hermite-de-regracao-de-funcoes 7/12
F O U R I E R A N D H E R M I T E S ER IE S E S T I M A T E S 9
imply
l ~ ( x ) - - m ( x ) l < ~ I m ( x ) l 9
T h u s
P { l ~ n ( x ) - m ( x ) l > ~ l m ( x ) [ } -< P { ] ~ ( x ) - g ( x ) [ > l g ( x ) l ~ / ( 2 + ~ ) }
+ P
{ ] / w ) - f x ) l> f (x) (2 + ~ ) } .
U s i n g C h e b y s h e v s i n e q u a l i ty w e c o m p l e t e t h e p r o o f.
THEOREM 3.
L e t E Y 2 < o o . L e t f , g e L ~ ,
p > l .
F o r s o m e s , l e t m
a n d f s a t i s f y c o n d i t io n o f L e m m a 1 . T h e n , f o r {N(n)} p i c k e d u p a c -
c o r d i n g t o (9)
{I~ ( x ) - - m(x ) ] > ~ Ira(x)I} = O(n-C2s-1)/2s)
a n d [ ~ ( x ) - m ( x ) l = O ( n - ( 2 ' - " $ i n p r o b a b il it y
f o r a l m o s t a l l x e Q .
P R O O F. T h e f i r st p a r t o f t h e a s s e r t io n i s a c o n s e q u e n c e o f L e m m a
2 , (1 0) an d (1 1). T h e s eco n d p a r t i s e a s y t o v e r i f y an d i t s p ro o f i s
o m i t t e d .
THEOREM 4.
L e t I Y l ~ r < oo a l m o s t s u r e l y . L e t f , g e L ~ , p > l . F o r
s o m e s , le t m a n d f s a t i s f y c o n d i t io n o f L e m m a 1 . T h e n , f o r {N(n)}
s e le c te d a s i n T h e o r e m 3
] ~ ( x ) - m (x ) l =
O (n - (2"~/4~
l o g
n ) a l m o s t c o m p l e t e l y
f o r a l m o s t a l l x e Q .
T h e p r o o f i s e a s y a n d i s o m i t t e d .
ermi te ser ies es t imate
N o w w e e m p l oy t h e H e r m i t e s y s t e m { h~ ,
k = O ,
1 , . . - } , w h e r e
h~(x ) = ( 2~k rdn)-l/~e-~ /2Hk ( x ) ,
a n d w h e r e
H ~ ( x ) = e ~ ( d ~ / d x ~ ) e - ~
i s t h e k t h H e r m i t e p o l y n o m i a l .
L e t n o w
g x )N :~ a~h ~ ~ )
k=
a ~ = I g ( x ) h ~ ( x )d x
. e . l e t
a n d
a n d
f ( x ) ~ ~ ,
b~hk(x)
k=
bk-= f f ( x ) h ~ ( x ) d x .
7/23/2019 Estimativas Das Séries Fourier e Hermite de Regração de Funções
http://slidepdf.com/reader/full/estimativas-das-series-fourier-e-hermite-de-regracao-de-funcoes 8/12
4 5
WLODZIMIERZ GREBLICKI ND MIROSL W P WL K
N o w
N
N ^
~,, b~h~(x)
w h e r e ^ -~~ = n ~ , Y ~ hk (X ~ )
J l
a n d ~)~= n -~ ~ , h k ( X j )
j l
e s t i m a t e a ~ a n d b ~, r e s p e c t i v e l y . W e s h a l l a ls o u s e t h e f o l l o w i n g r e p -
r e s e n t a t i o n o f t h e e s t i m a t e :
Y j d x , Z j )
~ ( x ) = J = '
j f f i l
N
w h e r e d ~ ( x , y ) - - Z h k ( x ) h ~ ( y ) .
A p p l y i n g C h r i s t o ff e l s f o r m u l a o n e g e t s
(12)
d • (x , y ) --= N +
1) ~n
h ~ + ~ ( x ) h ~ ( y ) - h N + ~ ( y ) h ~ ( x )
2 1 /2 (y -x )
W e s h a l l n e e d t h e n e x t t w o L e m m a s :
LEMMA 3.
m a x I d a ( x , y ) ] ~ _ c ( x ) ( N + l ) ~/~ 9
y
T h e p r o o f o f L e m m a 3 m a y b e f o u n d i n G r e b li c ki a n d P a w l a k [7].
LEMMA 4 . I f E y 2 ~ ~ , t h e n
v a r { Y d . ( x , X ) } ~ _ d ( x ) ( N + l ) 'n f o r a l m o s t a l l x e Q .
PR OOF. C lea r l y
(1 3 ) v a r { Y d . ( x , X)} ~ I
d ~ ( x ,
y ) w ( y ) f ( y ) d y ,
w h e r e w ( x ) = E { y z [ X = x } .
L e t u s fi x x e R . L e t / ~ : > 0. F r o m t h e i n e q u a l i t i e s
m a x Ih , ( x ) l ~ c ( a ) ( k + 1 ) - ' z ' ,
I x [ a
m a x Ih~(x ) I_~c (k + 1 ) - ~ ,
x
7/23/2019 Estimativas Das Séries Fourier e Hermite de Regração de Funções
http://slidepdf.com/reader/full/estimativas-das-series-fourier-e-hermite-de-regracao-de-funcoes 9/12
FOURIER AND HERMITE SERIES ESTIMATES 45
s ee Szeg 5 ( [1 6] , p . 2 42 ) an d C h r i s t o f f e l s fo r m u l a (12 ), w e g e t
(14) I d~v x, y ) w y ) f y ) d y < m a x d } x , y ) E Y ~
3 I x y l> = ~ I x v l ~
< e2c Ix l) ( N + 1)1n13~= O N In) .
I n S a n s o n e [ 1 3 ] w e f i n d
~cdN x,
y) = [s in
p x - - y ) ] / x - - y ) + T ~ x , y) l,~ ,
w h e r e 2 , u = 2 N + 1 ) ~ n + 2 N + 3 ) m , a n d w h e r e T r i s b o u n d e d b y a c on -
s t a n t i n d e p e n d e n t o f N , f o r x a n d y v a r y i n g i n f in i te i n t e r v a l s. T h u s
f
~ x , y ) w y ) f y ) d y ~ ,~ E Y ~ ,
I x y l < ~
w h e r e 2 i s i n d e p e n d e n t o f N . M o r e o v e r ,
(/~=)- fl~-vtz~ [[sin s t 2 x - Y ) ] / x -Y ) ~ } w Y ) f Y ) g Y
15)
( ~ ) - t f J~-,JLz~ {[sin2/~(x-- y)] /si n 2 (x - - y )} w y ) f y )d y
L e t u s o b s e r v e t h a t t h e f u n c t i o n i n b r a c k e t s is t h e F e j e r k e r n e l . T h e r e -
f o r e, b y v i r t u e o f t h e L e b e s q u e t h e o r e m o n t h e C e s a r o s u m m a b i l i t y of
t h e t r i g o n o m e t r i c s er ie s , t h e q u a n t i t y i n (15) c o n v e r g e s to w x ) f x ) a s
n t e n d s t o i n f i n i t y f o r a l m o s t al l x e R . F i n a l l y
f d~ v x, y ) w y ) f y ) d y = O N tn )
I x y l < ~
f o r a l m o s t a l l x e R .
T h i s a n d (14 ) y i e l d t h e d e s i r e d a s s e r t i o n . T h e p r o o f h a s b e e n c o m -
p l e t e d .
W e a r e n o w i n a p o s i t i o n t o g i v e .
THEOREM 5.
L e t f , g e L ~ ,
p > l .
L e t
E l Y [ < o o .
I f , i n a d d it io n
to 1),
16) N t n ~ ) / n ~ , 0 ,
t h e n ~ x ) ~ , r e x ) i n p r o b a b il it y f o r a l m o s t a ll x e R .
P R O O F . L e t u s t a k e ~ (x) i n t o a c c o u n t . C l e a r l y
N
1 7 ) E ~ x ) = : E
a ~ h ~ x ) .
e=0
T h e e q u i c o n v e r g e n c e t h e o r e m i n S z e g 5 ([1 6], p . 24 7) s a y s t h a t a t
e v e r y p o i n t x e R b o t h t h e H e r m i t e e x p a n s i o n o f a n y i n t e g r a b l e f u n c -
7/23/2019 Estimativas Das Séries Fourier e Hermite de Regração de Funções
http://slidepdf.com/reader/full/estimativas-das-series-fourier-e-hermite-de-regracao-de-funcoes 10/12
45 WLODZIMIERZ GREBLICKI AND MIROSLAW PAWLAK
t io n a n d t h e F o u r i e r e x p a n si o n o f t h e f u n c t i o n t a k e n a t a r b i t r a r y in -
t e r v a l c o n t a i n i n g x i n i ts i n t e r i o r h a v e t h e s a m e l im i t . B y v i r t u e o f
t h i s , H u n t ' s [ 9 ] r e s u l t a n d ( 1 7 ) ,
1 8 ) E g x )
f o r a l m o s t a l l x ~ R .
F r o m t h i s a n d L e m m a 4 i t f o l lo w s t h a t
E ( ( x , ) - - g ( x ) ) ~ ' ~ , 0
f o r a l m o s t a ll x 6 R , w h e n e v e r E Y ~ < o o . N o w , u s i n g t r u n c a t i o n a r g u -
m e n t s s i m i l a r t o t h o s e i n t h e p r o o f o f T h e o r e m 1 on e c a n ea s il y s h o w
t h a t i f E I Y l < o o ,
~ z ) ~ - - ~ g x ) i n p r o b a b i l i t y f o r a l m o s t a ll x e R .
S i n c e a l s o , s e e G r e b l i c k i a n d P a w l a k [ 7 ]
^
(19) f x ) ~ - - ~ f x ) i n p r o b a b i l i t y
f o r a l m o s t a ll x e R , t h e p r o o f h a s b e e n c o m p l e t e d .
T h e n e x t t h e o r e m c a n b e v e r if ie d b y u s i n g H o e f f d i n g 's [8] i n e q u a l i t y ,
L e m m a 3 a n d L e m m a 4 .
THEOREM 6
L e t J Y ] ~ _r < o o a l m o s t s u r e l y .
i n a d d i t i o n t o
(1)
a l l a > O , t h e n
L e t f , g E L p ,
p > l .
I f ,
~ , e x p - a n / N * / ~ n ) ) < oo
n l
Z z x ) ~ -- ~m x ) a l m o s t c o m p l e t e ly f o r a l m o s t a l l x s R .
T h e H e r m i t e s e r ie s d e n s i t y e s t i m a t e s e e m s t o b e u s e f u l i f i t i s s u s-
p e c t e d t h a t t h e u n k n o w n d e n s i ty to b e e s t i m a t e d i s clo se t o a n o r m a l
d e n s i t y , s e e T a p i a a n d T h o m p s o n [1 7]. A s f a r a s t h e r e g r e s s i o n e s t i-
m a t e is c o n c e r n e d t h e H e r m i t e s e ri es e s t im a t e s e e m s to b e a d e q u a t e i f
d e n s i t y f is n o t to o f a r f r o m n o r m a l d e n s i t y an d m o r e o v e r t h e r e g r e s -
s i o n f u n c t i o n i s c lo s e t o p o l y n o m i a l o n e w i t h f e w n o n z e r o c o e f f ic i e n ts .
onvergence ra te
F o r a n i n t e g e r s l e t u s d e n o t e
re( ; f ) = x - d / d x ) ~ f x ) .
W a l t e r [2 0] h a s s h o w n t h a t i f r~ (. ; g ) a n d g a r e s q u a r e i n t e g r a b l e ,
7/23/2019 Estimativas Das Séries Fourier e Hermite de Regração de Funções
http://slidepdf.com/reader/full/estimativas-das-series-fourier-e-hermite-de-regracao-de-funcoes 11/12
FOURIER AND HERMITE SERIES ESTIM ATES 453
( 2 0 ) l l i / ( k + 1 ) ` 2 ,
w h e r e a ~ is t h e k t h c o ef fi ci en t o f t h e e x p a n s i o n o f r , ( - ; g ) i n t h e H e r -
m i t e s e r ie s . F o r s i m i l a r r e a s o n s
(21) Ib ~ l < l ~ + , l / ( k + l ) / '
w h e r e /~ i s t h e k t h c o e ff ic i en t o f t h e e x p a n s i o n o f r ~ (. ; f ) , p r o v i d e d
t h a t f a n d r ~ (. ; f ) a r e s q u a r e i n t e g r a b l e . B y L e m m a s 2 , 3 , 4 a n d (2 0)
a n d ( 2 1 ) w e h a v e
THEOREM 7. L e t E Y 2 < o o . L e t f , g , rs( ; f ) an d v~(. ; g ) ~ L2 . I f
N ( n ) . . . n u8 ,
t h e n P {I~ ( x ) - m ( x) l> ~ Ira(x)I} = O(n-(2 -1>/29
a n d I~ h (x )- m (x ) I= O (n -(2~-'>/4~) i n p r o b a b i l i t y .
THEOREM
8
L e t I Y ] < : y < c o a l m o s t s u r e l y . L e t f , g , r~(. ; f ) a n d
rs( . ; g) ~ L~. I f {N(n)} i s s e l ec t ed a s i n T h eo r em 7 , t h en
i ~ h ( x ) - m ( x ) l = O (n -a*-1)/4~ l o g n ) a l m o s t c o m p l e t e l y .
7 Conclusion
I n t h e p a p e r w e h a v e d i s c u s s e d t h e p o i n t w i s e p r o p e r t i e s o f t h e
o r t h o g o n a l s e r ie s r e g r e s s i o n e s t im a t e s . O n t h e o t h e r h a n d b y v i r t u e
o f t h e L e b e s q u e d o m i n a t e d c o n v e r g e n c e t h e o r e m o n p r o d u c t s p a c es , s e e
G l i ck [4 ], w e h a v e t h e f o l lo w i n g g lo b a l r e s u l t :
COROLLARY. L e t
IYl<r<~o
T h e n , w i t h t h e c o n d i ti o n s o f T h e o r e m
I o r 2 a n d T h e o r e m 5 o r 6
f o
i n p r o b a b i l it y o r a l m o s t s u r e l y , r e s p e c t iv e l y . H e r e w i s p o s it i v e a n d
b o u n de d w e i g h t f u n c t i o n .
Acknowledgement
T h e a u t h o r s w i s h to e x p r e s s t h e i r t h a n k s t o t h e r e f e r e e f o r h i s
s u g g e s t i o n s c o n c e r n i n g s o m e i m p r o v e m e n t s .
INSTITUTE OF ENGINEERING CYBERNETICS TECHNICAL UNIVERSITY OF WROCLAW
CONCORDIA UNIVERSITY
7/23/2019 Estimativas Das Séries Fourier e Hermite de Regração de Funções
http://slidepdf.com/reader/full/estimativas-das-series-fourier-e-hermite-de-regracao-de-funcoes 12/12
454
WLODZIMIERZ GREBLICKI AND MIROSLAW PAWLAK
~EFERENCES
[ 1 ] Bluez, J. and Bosq, D. (1976). Conditions ndcessaires et suffisantes de convergence
pour une class d estimateurs de la densitd, C. R . A ca d . S c i . Paris, 282, 636-666.
[2 ] Collomb, G. (1981). Estimation non param~trique de la regression: revue biblio-
graphique, I n t e rn a t . S ta t i s t . R ev . 49, 75-93.
[ 3 ] F~Ides, A. and R6v6sz, R. (1974). A general method for density estimation , S tu d ia
S c i . M a t h . H u n g a r .
9, 81-92.
[ 4 ] Glick, N. (1974). Consistency conditions for probability estimators and integrals for
density estimators, Utili tas Math. 5, 61-74.
[5 ] Greblicki, W., Krzyzak, A. and Pawlak, M. (1984). Distribution-free pointwise con-
sistency of kernel regression estimates, A n n . S ta t i s t . 1 2 1570-1575.
[ 6 ] Greblicki, W. and Pawlak, M. (1984). Hermite series estimate of a probabili ty den-
sity and its derivatives,
J . Mu l t i va r ia t e A n a l .
15, 174-182.
[ 7 ] Greblicki , W. and Pawlak, M. (1985). Pointwise consistency of the Hermite series
density estimate, Probabili ty and Statist ics Letters to appear.
[ 8 ] Hoeffding, W. (1963). Probability inequal ities for sums of bounded random variables,
J . A m e r . S t a t i s t . A s s . 58, 13-30.
[9 ] Hunt, R. A. (1968). On the convergence of Fourie r series, Orthogonal Expansion and
their Continuous Analogues, Proc . Conf . Edwardsv i l le 1967, 235-255, Southern Illinois
Univ. Press, Carbondale, Ill.
[10] Kronmal, R. and Ta rter, M. (1968). The estimation of probability densities and cumu-
latives by Fourier series methods,
J . A mer . S ta t i s t . A ss .
63, 925-952.
[11] Krzyzak, A. and Pawlak, M. (1984). Distribution-free consistency of nonparametr ic
kernel regression estimate and classification, I E E E T r a n s . I n f o r m . T h e o r y IT-30, 78-
81.
[12] Nadaraya, E. A. (1964). On estimating regression, Theory o f Probabi l i ty and i t s Ap-
plications 9, 141-142.
[13] Sansone, G. (1959). Orthogonal Functions Interscience Publishers Inc.
[14] Schwartz, S. C. (1967). Estimation of probability density by an orthogonal series,
A n n . M a t h . S t a t i s t . 38, 1261-1265.
[15] Stone, C. J. (1980). Optimal rates of convergence for non-parametr ic estimators, A n n .
S ta t i s t . 8, 1348-1360.
[16] SzegS, G. (1959). Orthogonal Polynomials, A mer . Ma th . S o c . Co l l . P u b l .
[17] Tapia , R. A. and Thompson, J. R. (1978). Nontmrametr ic Probabi l i ty Densi ty Est ima-
tion The John Hopkins University Press, Baltimore.
[18] Tarter, M. and Kronmal, R. (1970). On multivar iate density estimates based on or-
thogonal expansions,
A n n . M a t h . S t a t i s t .
41, 718-722.
[19] Wahba, G. (1975). Optimal convergence properties of variable knot, kernel and or-
thogonal series methods for density estimation, A n n . S ta t i s t . 3 15-29.
[20] Walter, G. G. (1977). Properties of Hermite series estimation of probability density,
A n n . S t a t i s t . 5, 1258-1264.
[21] Watson, G. S. (1964). Smooth regression analys is, S a n kh ya A, 26, 359-372.
[22] Zygmund, A. (1959). Trigonometric series II, Cambridge University Press.